JevAgentHarness：谷歌4B模型让Agent降本8成

论文的出发点是一笔账。Claude Code、Codex、OpenHands 这类 Harness 负责给模型工具、管理上下文、决定何时停止，但大多默认每一步都调用大模型，作者引用的数据是：为一个公开排行榜评测智能体，花费约 4 万美元。图 1 把问题画得很直白：上排每一步都是一颗“大脑”，下排把有把握的步骤交给决策模型，只在它没把握时才叫醒大模型。

图 1｜现状是每步一次大模型调用，改造后决策模型在有把握时直接作答；示意图只表达思路，不代表各步骤的实际比例。

所谓决策模型（decision model），指 JEV 这类模型：输入任务、历史和一道选择题，直接给每个选项一个概率，而不生成文本。作者把它比作“快思考”的系统 1。在一条录制的轨迹里，一次 JEV 调用耗时约为一次大模型调用的 28%，价格约为 2.6%。这个比例来自单条轨迹，不能当作所有部署下的固定折扣；附录也说明，价格和延迟会随供应商、硬件和部署方式变化。

1.1 只在孤立题目上测，看不出它在智能体里表现如何

把工作从大模型身上挪走并不新：路由器和级联（FrugalGPT、RouteLLM）挑选每次调用的模型，小型函数调用模型专做工具选择。作者指出，它们大多只在固定题目或单一类选择上评测，而智能体基准只报整任务成败，看不出哪一步选错了。

决策模型进入智能体后，会遇到固定题库里很少有的情况：一步选错，后面的状态全跟着变；智能体犯错之后走到的状态，题库里几乎没有；每多问一次，也多一份延迟。由此作者提出假设：决策模型要真正帮上智能体，需要满足三个条件——在智能体内部检验、只在有把握时使用、用智能体自己走到的状态训练。图 2 为每个条件各做了一个部件。

图 2｜左侧是先单独测、再组合测的预注册流程，中间是基准与 Harness，右侧是训练 AgentDecision-4B；三栏分别对应三个条件，底部横条是预注册的两阶段检验顺序。

1.2 把“交出去”当作一个需要检验的工程决定

与已有工作相比，这篇论文的切入点是把“委托”本身当作要检验的对象，而不是默认小模型越准越好。最接近的 REFLEX 用一个全局阈值决定何时交还大模型，本文改为每类选择单独拟合阈值；路由器选择“哪个模型写这一步”，决策模型则直接在列出的选项里打分，置信不足时交还，思路接近“学会弃权”（learning to defer）。

论文为此设定了明确的验收线：一组委托只有在比只用大模型更便宜、且任务成功率下降不到 3 个百分点（τ²-bench 上 5 个百分点）时才算通过。这条线是作者自己定的，它回答的是“损失是否小于某个幅度”，不等于“成功率与大模型相同”；论文也承认，没有在相同任务上与 RouteLLM 等学习型路由器做对比。

2.1 先确定在哪里交出去、以什么方式交出去

图 3(a) 在智能体循环里标出了 8 个决策点：3 个决定智能体做什么（选工具、填参数、在没有工具的文字游戏里选动作），5 个控制循环本身（是否写记忆、读哪些记忆、失败后是否反思、是否停止、这一步是否转给更便宜的大模型）。前提是 Harness 能把这一步的选项列出来，这也划出了方法的适用范围。

图 3｜(a) 是 8 个决策点在循环中的位置，(b) 是 5 种接入方式；箭头颜色表示谁拍板，图中位置不代表每个点都值得委托。

图 3(b) 给出 5 种接入方式。REPLACE 让决策模型永远拍板；CASCADE（级联）让它先答，置信度过阈值就采用，否则照常问大模型；ASSIST 让它给大模型列短名单；GUARD 让它审批或驳回大模型的选择；TRIGGER 让它决定反思这类可选步骤要不要执行。8 个点乘 5 种方式，论文实现了全部 40 种组合，主力是级联。“决策点 + 接入方式 + 阈值”合在一起称为一个委托（delegation）。

开头的客服例子正是级联：Harness 每步要在 69 个工具里选一个，第 3 步 JEV 在“问客户”（0.63）和“取消”（0.37）之间没过阈值，交给大模型；第 4 步它对“取消”、订单号和理由都有把握，这次调用就不经过大模型。需要自由文本的参数仍由大模型写，决策模型省下的只是“选”的部分。

2.2 阈值允许小模型比大模型略差

把一个选择交给决策模型，省下一次调用，也承担选错的风险。论文推导出一个简单的规则：当决策模型的置信度 c(s) ≥ q_L − ΔC/V 时，交出去才划算。q_L 是大模型在这类选择上的正确率，ΔC 是省下的调用费，V 是一次选错造成的损失。它的含义是，只要省下的钱能覆盖多出来的风险，决策模型可以比大模型略差一点。

这个阈值不是拍脑袋定的。每个智能体大模型先在 150 个独立任务上照常运行，决策模型在旁边“影子模式”下回答每道题但不起作用；由这些轨迹估计 q_L、单次调用价格，以及 V（选错一次后任务成功率的下降，按每个成功任务 1 美元计）。阈值取“高于它就值得采纳”的最低置信度，因此并不要求决策模型的置信度完全等于真实正确率。用 JEV 搭配 Flash 时，拟合出的阈值是工具 1.00、参数 0.99，几乎只采用接近确定的答案。阈值依赖具体的大模型、决策模型和任务规则，任何一项变了都要重拟合。

JevAgentHarness 把这套规则做成三部分：一个类型化的决策接口，把一次工具调用拆成“选工具”加“每个可枚举的参数”；在轨迹上拟合的阈值；以及接入现有 Harness 的适配器，包括 mini-SWE-agent 的强弱模型路由、pi 的守卫和触发器，以及 Codex CLI 和 Claude Code 的命令钩子。适配器或决策模型出故障时，Harness 照旧运行。作者特别提醒，正因为失败时默认放行，适配器只能控制成本和速度，不能当作安全边界。

2.3 三级基准：从孤立题目到真实运行

要知道决策模型在智能体里靠不靠得住，AgentDecisionBench 把测试分成三级，一级比一级接近部署。L1 是孤立题目：把 BFCL v4 的 1,114 道选工具题、1,949 道参数题和 When2Call 的 928 道题改成选择题。L2 是录制轨迹上的逐步评分：所有模型回答同样的 5,314 个状态（来自 200 个新 DecisionGym 任务），答案只打分、不执行，一步错不会连累下一步。L3 让决策模型在不设阈值的情况下接管每一次工具选择，大模型只写参数，每个选择都真的执行。

L2 和 L3 需要一个在任何可达状态下都知道“哪些下一步可以接受”的环境，公开基准大多只检查最终状态，于是作者搭了 DecisionGym：一个模拟小店客服台，每个任务提供同样的 68 个工具加 finish，其中 7 个核心工具、1 个询问客户、31 个核心工具的近似重复、29 个无关工具，顺序打乱。任务由脚本计划生成，因此即使智能体绕了弯路，环境也能在每个仍可完成的状态给出标准答案；训练、拟合阈值和测试使用互不重叠的随机种子。DecisionGym 是作者自建的单一领域环境，在这里得到的排名能否推广到其他领域，需要看后文在公开基准上的结果。

2.4 训练：让 4B 模型见过智能体犯错后的状态

作者训练自己的决策模型有两个理由：JEV 按次计费，学不到某个 Harness 自己的规则；现成模型的训练数据来自固定题目和成功示范，很少包含智能体犯错之后的状态。AgentDecision-4B 以 Qwen3-4B 加 LoRA（r=32）为底座，先在 587 个训练任务上运行 Harness，记录 15,694 个决策状态；为了覆盖犯错后的情形，由脚本策略复现开发中见过的错误，30.9% 的状态出现在一次错误之后。

监督微调（SFT）的标签以 JEV 为老师：JEV 把正确答案排第一时，目标是 0.3 份标准答案加 0.7 份 JEV 的概率分布，否则只用标准答案；损失在交叉熵之外加了一项 Brier 平方误差，用来保持概率校准，这对后面按置信度做级联是必要的。随后在智能体循环里做 GRPO：每个任务跑 8 局，成功得分，按大模型调用次数打折（10 次以上只得一半），出现不可逆的错误再扣 0.2。不过论文自己报告，GRPO 在 SFT 之上没有带来可测量的增益，因此后文的效果主要应归于 SFT 和训练状态的选择。

3.1 先单独测每个委托，再组合测

实验分两阶段，并在读取结果之前做了预注册。第一阶段逐个检验委托：决策模型主要是 JEV，智能体大模型是 Gemini 3.5 Flash，更便宜的 Flash-Lite 作为第二个大模型；共 11 项注册检验，用 Holm 方法把“任何一项误判通过”的概率控制在 5%。第二阶段由脚本按事先定好的规则，在每个决策点挑出通过检验且省钱最多的委托组合起来，在 500 个新 DecisionGym 任务和 τ²-bench telecom 上再测。

读结果之前要先知道两点限制。第一，只用大模型时 Flash 在 DecisionGym 上已经解出 99.4% 的任务，非常接近上限，所以表 1 到表 3 补做了更难的设定，这些实验在第一阶段之后加入，属于探索性结果，不在两组注册检验之内。第二，除非表格注明多次尝试，每组在每个任务上只以温度 0 跑一次，数字都来自这一次运行。

3.2 孤立题目上的分数，排错了模型的顺序

图 4(a) 先看 L1：在孤立题目上，JEV 比 Flash 低 1.7 个百分点，成本约为后者的 1/50；在一块 L4 GPU 上，AgentDecision-4B 和 AgentDecision-0.8B 每次决策的成本约为 JEV 的 1/4 和 1/9。图 4(b) 把同一批模型放进智能体，三列从左到右分别是 L1、L2、L3。

图 4｜(a) 是孤立准确率对每千次决策成本，(b) 是同一批模型在三级测试中的成绩；(b) 用的是改名后的 Shift 任务，横条长度不能跨列比较。

最直观的反差出在 StartLux-9B 身上：它在 BFCL 选工具题上准确率最高，为 92.2%，但接管智能体的工具选择后只完成了 69.5% 的任务；AgentDecision-4B 在 BFCL 上是 89.3%，任务完成率却是 91.5%，JEV 为 82.0%。三列的最大差距从 L1 的 5.1 个百分点拉开到 L2 的 19.7 和 L3 的 57.5。按附录统计，在 5 个预先指定的模型上，孤立排名和任务排名的 Kendall 相关系数为 −0.200，而逐步准确率与任务成功率的排名相关系数为 0.84。差距集中在“必须先问客户”的状态：AgentDecision-4B 答对 67.4%，JEV 答对 58.3%。

这组结果要放回测试对象里读。(b) 列的 L3 用的是 DecisionGym-Shift：工具改了名、请求的措辞和种类也变了，Flash 单独能解出 100.0%；AgentDecision-4B 只见过未改动的生成器，但仍然是同一个环境家族。因此它支持的是“孤立分数不能用来挑选智能体里的决策模型”，不能据此认为 AgentDecision-4B 在任意领域都比 JEV 更好。

表 3 进一步拆解了训练的作用。从未训练的 Qwen3-4B 出发，SFT 把 Shift 状态上的逐步准确率从 52.9% 提到 98.4%，任务成功率从 13.5% 提到 96.0%，而孤立准确率只从 71.4% 涨到 78.4%；同一套方法让 StartLux-4B 的成功率从 49.0% 升到 98.0%。不先做 SFT 直接跑 GRPO 不起作用，成功率反而从 13.5% 变为 11.5%。再加入公开工具调用数据后，孤立准确率从 78.8% 升到 85.1%，Shift 任务成功率却从 96.0% 降到 91.5%，必须询问状态的准确率从 90.8% 降到 67.4%。

表 3｜从 Qwen3-4B 逐步训练以及现成模型的三级成绩；L2、L3 来自 Shift 任务，各行均为第一阶段之后补做的实验。

这说明在孤立题目上变好与在智能体里变好，可以朝相反方向走。另外，SFT 用 JEV 的答案做标签，学生在 L3 上超过老师，作者给出的解释是训练状态覆盖了犯错之后的情形；论文没有设计实验把这个因素和标签混合方式单独分开，这一归因仍需更细的消融。

3.3 哪些选择可以交出去

图 5 是第一阶段的“模块地图”：行是决策点，列是接入方式，每格写着相对只用大模型的成功率变化（百分点）和省下的成本（%，负数表示更贵）。只有级联下的选工具和填参数两格是绿色，成功率不变，成本降 14%。

图 5｜各决策点与接入方式组合的效果，搭配 JEV 与 Gemini 3.5 Flash；颜色按事先定好的规则划分，不是综合评分，也不说明换一个大模型时仍然如此。

具体来说，在 Flash 上的级联里，JEV 做了 27.2% 的工具选择和 20.8% 的参数选择，成本下降 14.2%，500 个任务里没有一个结果发生变化，通过了注册检验；按精确上界计算，级联把任务变成失败的比例低于 0.6%。去掉阈值就是另一回事：让 JEV 做全部工具选择（REPLACE），成功率下降 19.0 个百分点；让它给大模型列三个候选工具（ASSIST），成本降 53.7%，成功率降 7.8 个百分点，虽然远好于关键词检索给出的短名单（92.0% 对 18.8%）。换成 Flash-Lite 后，拟合出的阈值把所有工具选择留给了大模型，级联什么也没省下；在 τ²-bench 上重拟合后最便宜的通过方案下降 8.1 个百分点，作者明确写道“无法证明它可以迁移”。

表 2 的第一行把阈值的作用单独拿出来：阈值固定为 0.5 时，成本省下 84.5%，成功率却下降 21.5 个百分点；改为影子模式拟合后成功率不变，成本省 14.2%。省得多和保得住成功率在这里是此消彼长的，拟合阈值的意义在于自动找到不伤成功率的那个点，而不是让省钱幅度最大。

表 2｜每个部件分别带来了什么，比较对象都是只用大模型；带 † 的行为第一阶段之后补做，时间一栏为负表示更慢。

3.4 数字要与测试对象一起读

第二阶段的结果说明，组合并不总是更好。用 JEV 时，选出的组合（工具级联、参数级联加反思触发器）成功率下降 2.2 个百分点，95% 区间为 [−3.8, −0.8]，未能通过非劣效检验，而且比单用工具级联还低 2.6 个百分点；附录记录，14 个失败任务里反思触发器每次都触发了。把 JEV 换成 AgentDecision-4B V1 后，同一组合成功率为 100.0%（只用大模型为 99.4%），成本降 81.1%，99.9% 的工具选择由它完成，通过了检验。注意这一行的平均耗时是 10.21 秒，只用大模型是 6.83 秒：在共享 GPU 上，它更省钱，但更慢。

摘要里的“最快 2.5 倍”来自另一组配置：再加训公开数据、独占一块 GPU 的 AgentDecision-4B，成本降 86.3%，时间省 60.3%（即约 2.5 倍），这一行属于补做实验。在一块 L4 上它的单次回答中位耗时 31 毫秒，一次 Flash 调用为 809 毫秒。成本账同样有前提：V1 按每局 0.00196 美元摊销 GPU 价格，训练和校准它共花 192.93 美元，按 81.1% 的节省约 5,759 局后回本。三个口径——注册检验的 81.1%、补做的 86.3% 与 2.5 倍、共享 GPU 时反而变慢——需要分开读。

表 1 把方法推到训练分布以外。ALFWorld 上，在该环境状态上训练的 4B 模型让成功率从 90.7% 到 95.0%，成本降 89.0%；在没见过的房间里为 88.8%→89.6%，成本降 92.0%。附录的配对检验给出前者的差值区间为 [−2.1, +11.1]，因此这 4.3 个百分点只能读作“没有变差”，不能读作显著提升。编程智能体收益小得多：决策模型只能决定每一步交给强模型还是快模型，成本降 7.0%–10.5%，成功率因 Harness 而异，SWE-agent 上下降 6.0 个百分点。在规则更复杂的 Hard 任务上，委托保住或提高了成功率，但只省下 4.6%–30.5%，而且更慢，例如组合方案的平均耗时从 41.6 秒变为 71.5 秒。

表 1｜在更难的设定下委托的效果，参照都是同一批任务上只用大模型；各行都是第一阶段之后补做的实验，n 多为 100–300，不宜看作稳定的平均水平。

最后看失败集中在哪里。论文总结了三类反复出现的失败。第一类是在不可逆步骤上自信地选错：JEV 失败的 34 个任务，全部始于一次不可逆的错误工具选择，多数是该问客户时直接取消了订单；在智能体状态上训练过的模型没有出现这种错误。第二类是遇到新规则：在每个任务 10 位客户、加入新的取消或发货规则的 Hard 任务上，没见过这条规则的 AgentDecision-4B 接下了大多数相关决策，却只答对 81.6%，智能体成功率只有 3.0%，只用大模型为 88.0%。用该规则重新训练后，它的留出准确率从 76.5% 升到 95.3%；JEV 则通过重拟合阈值恢复了成功率。第三类是仍要调用大模型的方式，比如守卫，几乎省不下钱。

伦理部分还有一个值得部署者注意的数字：以 Flash-Lite 为大模型时，停止守卫放行了 40.7% 的大模型错误停止。作者据此建议，决策模型守卫不能是不可逆操作的唯一防线。此外，所有任务和提示都是英文，大模型以 Gemini 为主；作者也没有测试对抗性观察或策略注入，这类攻击可能翻转类型化的答案，所以现有结果只对良性状态成立。

这篇论文把基准、阈值和训练接到同一条链上：先在智能体内部逐级测试决策模型，找出孤立分数看不出的差距；再用影子模式下的轨迹为每个决策点拟合阈值，只把有把握的选择交出去；最后用智能体自己走到的状态（包括犯错之后的状态）训练一个 4B 模型，让它接下几乎全部工具选择。论文真正的研究对象不是某个更准的小模型，而是“一类选择在某个智能体里是否值得交出去”这个判断本身。

对搭建智能体 Harness 的读者，一个可借鉴的出发点是：先把 Harness 里能列出选项的分支找出来，让一个便宜的决策模型在影子模式下陪跑一段时间，按每类选择分别估计正确率和选错的代价，再决定阈值；不可逆操作单独设防，不只依赖决策模型的守卫。评估时，再用逐步准确率和真实运行的成功率来选模型，而不是用孤立题目上的排行榜，并在新工具、新规则或新大模型上线后重新拟合阈值，持续盯住“过阈值的答案占比”这个漂移信号。把每个决策点的委托看成一项带验收线的配置，就能更具体地讨论智能体在哪里可以省、省多少、代价是什么。