PS：AI 落地点击预约直播。
这两年陪 70 多家企业做 Agent 落地，我听到最多的一句吐槽是：效果还没跑出来，账单先跑出来了。Demo 阶段一天几十块，大家都不在意；一上生产，并发一拉，多轮对话一长，工具一多，月度账单直接翻几十倍。很多项目不是死在效果上，而是死在 ROI 上。今天这篇，我把我们在判责 Agent 等真实项目里的降本打法，加上 2026 年业界最新的几项实践，系统梳理成一套从认知到架构的完整方法论：简单优化三招：零架构改造，成本先砍一半
高级优化三招：从架构层面动刀，降幅可达 90% 以上
2026 最新实践：工具按需加载、代码执行模式、上下文编辑压缩、错峰与批处理
一句话先说透：Token 优化的本质不是抠门，而是资源的精准配置。该花的地方一分不省，该省的地方一分不花。
PS：AI 更多案例深入免费学习去这里，扫码直达：
1.打开 AITutor 新一代 AI 原生学习伙伴：www.aiaitutor.com 2.在首页输入"你想学习的AI知识” 就能看到更详细更丰富案例。3.包含了图文、视频、播客、闪卡、代码、测验等9种学习模态。
一、先搞懂 Token：你的钱到底花在哪了
Token 是大模型处理文本的最小单位。它不是字数，也不是单词数。模型并不直接读文字，而是先用分词器把文本切成 Token，再转成向量参与计算。你付的每一分钱，最终都折算成 Token。1. 中英文的 Token 效率天然不同
同样的信息量，中文和英文消耗的 Token 差别很大。原因有三条：- BPE 合并频率低：如果中文在模型的训练语料里占比小，常用汉字组合被合并成一个 Token 的机会就少，切出来的 Token 数自然更多。
- UTF-8 编码成本高：一个汉字占 3 个字节，一个英文字母只占 1 个字节，在字节层面就差了 3 倍。
- 没有词间分隔符：英文有空格天然标出词边界，中文没有，分词器更难猜准边界，容易切得更碎。
2. 划重点
这三条原因，决定了后面「语言匹配」这一招为什么有效：分词器的效率，就是你的成本系数。二、计费公式：四类 Token 构成总成本
Agent 的账单由四类 Token 构成，搞清楚它们，优化才有抓手。Token 类型 | 说明 | 价格水平 |
|---|
输入 Token | 发给模型的全部文本：系统提示词、工具描述、历史对话、用户消息 | 基准价 |
输出 Token | 模型生成的回复文本，含推理过程 | 最贵，通常是输入的 3 到 6 倍 |
缓存命中 Token | 命中 Prompt 缓存的那部分输入 | 最便宜，可低至输入价的 10%，部分国产模型更低 |
缓存创建 Token | 首次写入缓存的那部分输入 | 与输入持平，部分厂商有溢价 |
1. 核心结论
- 输出 Token 单价最贵，而且无法缓存，通常是成本占比最高的部分，必须从源头控制长度。
缓存命中最便宜，要想尽一切办法让更多 Token 走缓存。
2. 2026 年的新变化：各家缓存规则差异很大
别用一个折扣数字套所有模型。以 2026 年 8 月的公开信息为例：GLM、Kimi、DeepSeek 默认自动缓存，Qwen 则是显式与隐式两套并存。Qwen 显式缓存需要手动加 cache_control，有效期 5 分钟，创建按 125% 计费，命中按 10% 计费；隐式缓存自动生效，命中按 20% 计费。海外方面，Claude 的缓存读取约为基础输入价的 10%，写入有 25% 溢价，同一前缀在有效期内至少命中几次才回本；默认有效期 5 分钟，可以付费延长到 1 小时。还有一个容易被忽略的变量：时段。DeepSeek 已改为高峰与闲时分时计价，高峰时段各项价格为闲时的 2 倍，缓存命中与未命中的价差高达数十倍。这意味着，非实时任务错峰跑，本身就是一个降本手段。提醒：缓存命中率和调用时段，现在和模型单价同样重要。账单要按自己的真实命中率去算，而不是看官网的标价。
三、简单优化：三招立省 50%，零架构改造
1. 前缀匹配：让固定内容永远排在最前面
大模型的 Prompt 缓存采用前缀匹配机制：只有本次请求的前 N 个 Token 和之前某次请求逐字节完全一致，缓存才能命中。从第一个不一致的 Token 开始，后面全部按原价计费。听起来简单，但很多团队的第一版 Agent 都踩过这个坑：把用户数据放在最前面，固定内容放在后面，结果缓存完全失效。System Prompt（固定）→ 工具描述（固定）→ 历史对话（半固定）→ 用户消息（变化）用户消息（变化）→ System Prompt（固定）→ 工具描述（固定）顺序一颠倒，哪怕有几千个 Token 的固定内容，缓存也一个都命中不了。反过来，把固定内容全部前置，缓存命中率能轻松做到 70% 到 90%，相当于这部分 Token 直接打一折。- 在 System Prompt 里拼当前时间戳、请求 ID、用户名
2026 年业界有个很反直觉的观察：有了缓存之后，更长但稳定的 Prompt，反而可能比短但每轮都变的 Prompt 更便宜。优化的关键词从「压缩」变成了「稳定」：前缀钉死，只在末尾追加增量。
2. 模型分层路由：不是所有任务都需要旗舰模型
这是性价比最高的优化手段，没有之一。核心思路是：按任务复杂度匹配不同价位的模型，简单任务用便宜模型，复杂任务才上旗舰。- 主 Agent：负责调用数据读取脚本、识别诉点、分发任务给子 Agent、生成判责报告。任务偏流程化，用 Qwen3.5 足够。
- 子 Agent：负责核心的逻辑推理和判责。任务复杂度高，用 Qwen3.7-plus。
主 Agent 承担了大部分交互和流程调度，换成便宜模型后，这部分成本直接下降一个数量级；而真正需要推理能力的判责环节，依然保持旗舰模型的质量。算一笔账：如果主 Agent 占 60% 的调用量，两档模型价格差 5 倍，那么这部分成本降为原来的 1/5，总成本下降约 48%，再叠加主 Agent 输入更短的因素，光这一项就能省 50% 左右。路由怎么做？推荐三档由简到繁：
- 静态路由：按 Agent 角色写死模型，主控用便宜模型，推理用旗舰模型，最简单也最稳。
- 级联路由：先用小模型答，置信度不够或校验不过再升级到大模型。
3. 语言匹配：中文任务用中文原生模型
这一条容易被忽略，但效果惊人。英文任务用英文语料训练的模型，中文任务用中文语料优化的模型。这不是性能问题，而是成本问题：中文原生模型的分词器对中文的压缩效率高得多。原理就是第一章讲的：中文原生模型训练数据里中文占比高，BPE 合并频率更高，同样一段中文能被压成更少的 Token。按我们的实测，选择 Qwen、DeepSeek、GLM 等中文原生模型，同样的中文内容可少用 30% 到 50% 的 Token，再叠加单价优势，总成本可降到 GPT 系列的 1/5 左右。4. 本章小结
手段 | 原理 | 预期收益 | 改造成本 |
|---|
前缀匹配 | 利用 Prompt 缓存 | 输入成本省 50% 到 70% | 半天 |
分层路由 | 按复杂度匹配模型 | 总成本省 50% 以上 | 1 到 2 天 |
语言匹配 | 分词器效率 | Token 数省 30% 到 50% | 选型阶段 |
四、高级优化：从架构层面降本，降幅 90% 以上
1. 脚本优先原则：AI 是大脑，不是手
定时检查、数据获取、API 调用、数据处理、排版格式化，这些事情脚本比大模型更便宜、更快、更稳定。在我们的判责 Agent 中，数据读取和判责报告排版全部改用脚本完成，效果如下：维度 | 大模型通过 MCP 处理 | 改用脚本后 |
|---|
成本 | 每次都消耗 Token | 0 Token，几乎零成本 |
稳定性 | 约 15% 的概率读取失败 | 失败问题彻底消失 |
速度 | 一次模型往返，秒级到十秒级 | 1 到 2 秒完成 |
判断标准很简单：如果一件事能用 if-else 和正则搞定，就别让 LLM 插手。LLM 只做它真正擅长的三件事：理解、推理、生成。2. Workflow 编排：按需加载，拒绝全量上下文
传统的 Agent 工作流是静态的：每次请求都加载全部工具定义、全部记忆文件、全部上下文，不管当前任务用不用得上。Dynamic Workflow 的核心思想是：按需加载，动态编排，只把当前步骤真正需要的资源注入上下文。在判责 Agent 中，我们发现主 Agent 的工作完全是流程化的：读取数据 → 识别诉点 → 分发任务给子 Agent → 接收结果 → 整理成报告既然流程是确定的，就没必要让大模型来「想」。我们用一个 Workflow（一个 .js 文件）完全替代了主 Agent，主 Agent 的 Token 消耗直接降为 0。整个调度过程零 LLM 调用，零 Token 消耗。大模型只在子 Agent 的判责推理环节出场。划重点：这就是我常讲的「确定性交给工程，不确定性交给模型」。能写成流程图的，就别交给 Agent 自由发挥。
3. 信息检索增强：全量塞上下文是最大的 Token 黑洞
当 Agent 需要访问大量文档（知识库、代码库、笔记）时，「全量塞进上下文」是 Token 消耗的最大黑洞。举个例子：MEMORY.md 超过 2000 Token，如果 Agent 每次查询都全量读取，50 次查询就是 10 万 Token。而真正相关的内容，可能只有几十个字。我们使用的是 QMD，一个专为 Markdown 文件设计的本地语义检索引擎，完全本地运行，零 API 成本。它的核心是三层混合搜索管线：- BM25 全文搜索：精确关键词匹配，约 10 到 50 毫秒
- 向量语义搜索：理解语义相似性，约 50 到 200 毫秒
- LLM 重排序：交叉编码器精选最终结果，约 100 毫秒
三路结果通过 RRF（倒数排名融合）合并排序，最终只返回 Top 5 最相关的片段。效果是：从「全量读取」变成「精准检索」，每次注入上下文的内容从几千 Token 降到几百 Token，记忆读取这一块的消耗下降一个数量级。五、2026 最新实践：上下文工程成为降本主战场
过去一年，业界的共识越来越清晰：Token 优化不再只是「写短一点的 Prompt」，而是系统层面的上下文工程，也就是决定模型每一轮到底看到哪些 Token。下面四个方向，是我认为企业最值得跟进的。1. 工具按需加载：别让工具定义吃掉上下文
工具一多，光工具描述就能吃掉几万 Token，而且每一轮都要重复发送。2025 年 11 月 Anthropic 推出了 Tool Search 机制：把不常用的工具标记为延迟加载，模型初始只看到一个约 500 Token 的搜索工具，需要时再检索并加载具体工具定义。官方给出的数据是工具相关 Token 消耗下降约 85%，同时大工具库下的选工具准确率反而提升。不过要注意，这多了一次检索往返，官方建议工具定义超过约 1 万 Token、或者模型经常选错工具时再上。五六个工具的小 Agent，没必要折腾。落到国产模型上怎么做？思路完全可以平移：常用工具常驻并放在前缀里吃缓存；长尾工具做成一个工具目录，用 BM25 或向量检索按需注入。2. 代码执行模式：脚本优先原则的升级版
这是第四章「脚本优先」的进化形态。传统 MCP 调用方式下，每个中间结果都要流经模型上下文，一张大表来回传几遍，Token 就爆了。Anthropic 的做法是把 MCP 服务器包装成代码 API，让 Agent 写代码去调用，中间数据留在执行环境里过滤，只把最终结果交给模型；示例任务从 15 万 Token 降到 2000 Token，降幅 98.7%。Cloudflare 也提出了同样思路的 Code Mode。第三方实测同样有效：有网关产品在 500 多个工具的规模下测得 Token 下降约 93%。划重点：脚本优先是「人写脚本」，代码执行模式是「Agent 自己写脚本」。前者适合固定流程，后者适合长尾、多变的数据处理。两者的本质一样：数据在执行环境里流动，模型只看结论。
代价也要算清楚：需要沙箱、网络白名单、资源限额和审计，安全永远排在省钱前面。3. 上下文编辑与压缩：长程 Agent 的必修课
长程 Agent 跑上百轮，历史对话和工具结果越积越多，每一轮都在为过期信息重复付费，而且上下文越长，模型表现越不稳定。- 上下文编辑：自动清理陈旧的工具调用结果。Anthropic 在 100 轮网页搜索评测中，用这个方法把 Token 消耗降了 84%。
- 上下文压缩（Compaction）：接近上限时把历史总结成摘要再继续。注意别压得太狠，丢掉关键细节会让后续推理出错。
- 子 Agent 隔离：把检索、探索这类「脏活」交给子 Agent，在独立上下文里跑完，只把精炼结论回传主 Agent。我们判责 Agent 的主子拆分，本质上也是这个思路。
这里有个和缓存的冲突要特别注意：编辑和压缩会改动前缀，导致缓存失效。建议批量做、低频做，比如攒到一定长度再整体压缩一次，而不是每轮都改。4. 错峰调度与批处理：时间也能换钱
- 错峰：像 DeepSeek 这样分时计价的模型，把报表生成、离线评测、数据标注这类非实时任务排到闲时，同样的 Token 直接省一半。
- 批处理：主流厂商的批量接口普遍有大幅折扣，适合离线场景，代价是结果非实时返回。
- 控输出：设置 max_tokens，要求结构化 JSON 输出，让模型只输出差异而非全文，从源头控制最贵的输出 Token。
六、落地路线图：按 ROI 从易到难推进
Token 优化不是玄学，核心思路就三条：减少输入，多命中缓存，减少输出。推荐按下面的优先级推进：先做监控：没有度量就没有优化。把每次调用的模型、输入 Token、输出 Token、缓存命中 Token、成本、所属功能模块全部记下来，先找到成本大头，再盯住缓存命中率这个核心指标。
简单方法先上：前缀匹配 + max_tokens + 响应缓存，半天搞定，通常能省 30% 到 50%。
模型路由：按任务复杂度分级选模型，中文场景优先中文原生模型，这是性价比最高的一步。
架构改造：脚本优先 + Workflow 编排 + 检索增强，根据业务场景选做。
上下文工程：工具按需加载、代码执行模式、上下文编辑与压缩，适合工具多、链路长的复杂 Agent。
极致优化：错峰调度、批量处理、自托管、量化、推测解码，量大了再考虑。
七、写在最后
Token 优化的本质，是资源的精准配置：该花的地方不省，该省的地方不花。把昂贵的 LLM 算力，用在真正需要推理和理解的环节；其余一切，能脚本化就脚本化，能缓存就缓存，能检索就检索，能按需加载就别全量加载。如果你对企业级 AI 原生研发体系（Skills、SDD、Harness、Loop、知识飞轮、治理度量）感兴趣，去 AITutor 领取福利。AITutor 福利：AITutor 每个人的 AI 原生学习伙伴，业界最丰富 AI 实践和案例，4500+ 门多模态 AI 课程、7×24 小时 AI 导师已全面开放，快来免费体验吧。- 打开 AITutor，新一代 AI 原生学习伙伴：www.aiaitutor.com
- 在首页输入「你想学习的 AI 知识」，就能看到更详细、更丰富的案例
- 包含图文、视频、播客、闪卡、代码、测验等 9 种学习模态
PS：AI 落地点击预约直播。
八、加我微信
扫码加我👇有很多不方便公开发公众号的我会直接分享在朋友圈，欢迎你扫码加我个人微信来看👇
加星标★，不错过每一次更新！
⬇戳”阅读原文“，立即体验 AITutor