从连续工作数小时到数天，长程智能体（long-horizon agents）正成为大模型竞争的新焦点，也被视为通往自动化科学发现乃至递归自我改进（RSI）的关键能力。但开源模型在长程任务上仍明显落后：既缺训练数据，也缺行之有效的训练配方。
近日，Adobe Research 与加州大学洛杉矶分校（UCLA）的研究团队提出 Tev：构建了首个带有可验证、稠密、渐进式奖励的长程智能体训练集 Tev-Gym（1,170 个环境，覆盖 7 个领域），并提出进度势能奖励塑形（PPRS）。由此训练的 Tev-27B 在 Agents' Last Exam 计算与数学领域（ALE-CM）上 Pass@5 达到 0.28，与 GPT-6 Astra、Claude Opus 5 持平；同一配方训练的 Tev-320B 则是 Terminal-Bench 4.0 计算与数学子集上最强的开源模型。
论文标题：Tev: Scaling Long-Horizon Agentic Environments with Dense Progress Rewards
论文链接：https://arxiv.org/abs/2610.18868
项目主页：https://tev-agent.github.io/
图 1：左为 Tev 在 ALE-CM 上的结果及在 Terminal-Bench 上的零样本泛化，右为潜在世界优先的数据合成流程概览。
长程智能体的两道坎：没有训练数据，也没有奖励信号
现有开源智能体语料（如 SWE-Smith、TMAX、CLI-Gym 等）动辄数千上万个环境，但每个任务只是一次 PR 级别的修复或一段简短的终端会话，前沿智能体跑完一次的中位耗时不超过 2 分钟。真正的长程任务只存在于人工编写的评测基准里：每个基准仅有几十到几百道题，每道题耗费专家数周，而且只用于评测。长程任务的训练语料至今仍是空白。
第二道坎是奖励稀疏：奖励只在任务提交时才出现。GRPO 在同一任务的 G 条 rollout 之间归一化奖励，一旦整组全部失败，优势值全为零，这组样本就白跑了。若解题概率为 p，被浪费的组占比为 (1−p) G：p = 0.05、G = 8 时为 66%，p = 0.01 时高达 92%。而这类组恰恰集中在训练初期 —— 策略最弱、最需要信号的时候。
先造 “答案”，再出题：潜在世界优先的任务合成
常见做法是让语言模型先写题目，再配输入文件和检查器，三者之间并没有一个真正的标准答案。Tev 反其道而行：先构建一个 “潜在世界”（latent world）—— 对任务领域、工作流和每一步预期状态的完整、正确的隐藏规约，再从中渲染出智能体看到的环境，共分五步：
世界构建：带随机种子的生成器程序化地生成潜在世界 W（如零售仓库中的客户、商品与交易），同时抽取一份 “缺陷计划”。
工作流图：由代码把任务流程编译成有向无环图（DAG），其关键路径决定任务跨度，各阶段构成进度奖励的骨架。
产物渲染：把 W 渲染为 CSV、JSON、SQLite 等真实格式的输入文件，并保证能从中无损还原 W。
受控破坏：按缺陷计划注入 schema 漂移、重复与缺失记录等可逆缺陷。破坏后的文件就是题目，W 就是标准答案。
公开与密封：只向智能体公开任务说明，验证器与反事实测试全部密封。
任务、输入、验证器和进度奖励都源自同一个 W，从根上杜绝了三者各自看似合理、描述的却不是同一个问题的 “产物漂移”。
图 2：以 “零售数据仓库 ETL 修复” 环境为例的潜在世界优先合成流程：从六个月的脏零售数据中构建干净的星型 SQLite 数据仓库。
每个环境还须自动通过 8 道准入关卡（例如 14 种 “钻空子” 探针必须全部得 0 分）才能入库。最终的 Tev-Gym 包含 1,170 个环境，覆盖软件工程、数据工程、AI/CS 研究、数学与运筹、安全与取证、基础设施运维和量子计算 7 个领域。用 Gemini 3.6 Flash 实测，单次 rollout 的中位耗时为 12.4 分钟，约为此前最耗时语料的 6 倍；Pass@1 仅 29%，是所有对比语料中最难的。生成一个新环境的中位成本约为 30 秒 CPU 时间，无需调用任何模型。
表 1：Tev-Gym 与已有智能体任务语料的对比。Agent time 为 Gemini 3.6 Flash 单次 rollout 的耗时（分钟）。
让 “半成品” 也有分：进度势能奖励塑形（PPRS）
潜在世界既能给结果打分，也能给过程打分。每个环境都附带一份 “进度契约”：由 DAG 导出的一组带权重和前置依赖的可检查节点。智能体每完成一轮操作，打分器就对照潜在世界检查一次工作区，加权得到进度势能 Φ(s) ∈ [0, 1]：工作推进时上升，破坏已完成的工作时下降。
PPRS 以相邻两步的势能差作为每步奖励，整条 rollout 的奖励为 R (τ) = 1 [τ 通过] + λ・Φ(sT)，其中 λ = 0.25。由于 Φ ≤ 1，通过的 rollout 得分总是高于失败的 rollout；而在全部失败的组里，各条 rollout 会按推进深度拉开差距，GRPO 从训练一开始就有梯度信号。全程无需人工步骤标注、奖励模型或 LLM 裁判。
图 3：27B 模型在同一环境上的 8 条 rollout。只用终局奖励时全为 0 分；改用进度势能后，2 条提交了不完整的结果，5 条耗尽上下文，1 条完成了全部工作但未提交，组内奖励出现了差异。
实验：长程任务追平前沿模型，并零样本迁移到 Terminal-Bench
团队用 DPPO 训练 Qwen3.5-9B 与 Qwen3.8-27B，每条 rollout 最多 65,536 个 token、64 次工具调用，沙盒中只有一个 bash 工具。Tev-Gym 与所有评测集之间不共享任何 8-gram。
长程任务：ALE-CM
在 ALE-CM 的 18 个长程任务上，Tev-27B 的 Pass@5 从基座的 0.17 提升到 0.28（+65%），与 GPT-6 Astra、Claude Opus 5 持平，达到或超过 10 个前沿 API 模型中的 8 个（Claude Fable 5 与 Claude Sonnet 5 以 0.33 领先）；在其中的数学与科学子集上，Pass@5 为 0.50，高于所有前沿模型的 0.38。Tev-27B 的 Pass@1 还超过了总参数量约为其 89 倍的 Qwen3.8-2.4T-A95B，Tev-9B 的 Pass@5 也较基座提升了 83%。
表 2：ALE-CM 主要结果。S@k 为平均得分，P@k 为完全解出的比例，每个任务 5 次 rollout。
零样本迁移：Terminal-Bench
Tev 从未在 Terminal-Bench 上训练。在 TB 3.0 与 TB 4.0 的计算与数学（CM）子集上（每题约需专家 8 小时），Tev-27B 的 Pass@1 分别从 0.09 升至 0.14（+56%）、从 0.04 升至 0.10（2.5 倍），超过 GLM 5.2 与 Gemini 3.7 Flash；在中等长度的 TB 2.1 上，其零样本 Pass@1 达到 0.794，与 Claude Opus 4.8 相当。不过，与最强的前沿模型仍有差距：Claude Opus 5 在这两个子集上的 Pass@1 分别为 0.53 和 0.52。
同一配方用于更强的基座 GLM-5.3-Flash，得到的 Tev-320B 在这两个子集上的 Pass@1 分别从 0.20 升至 0.27、从 0.29 升至 0.37，是两个子集上最强的开源模型；在 TB 4.0-CM 上，它仅次于 Claude Opus 5、Claude Fable 5 和 GPT-5.6 (sol)。
图 4：所有模型在 Terminal-Bench 4.0 CM 子集上按 Pass@1 排名，箭头为 Tev 相对各自基座的提升。
表 3：Terminal-Bench 3.0 与 4.0 CM 子集结果。
消融：数据与奖励缺一不可
数据侧，若去掉隐藏真值、让 LLM 只根据公开文件编写验证器，训练中 88% 的采样组被丢弃；若改用 “先写题目” 式的常规合成，S@1 均未超过基座。奖励侧，PPRS 比纯终局奖励的 S@1 高 0.04，每个训练步的 GPU 时间仅为后者的 54%；到了 27B 规模，纯终局奖励几乎只产生零优势组，连一次优化器更新都无法完成。
表 4：在 ALE-CM 上的消融实验（Qwen3.5-9B）。GPU-h /step 为每个训练步折合的 H100 GPU 小时。
结语
Tev 让任务、验证器和稠密奖励都源自同一个 “先造好的答案世界”，生成器写好之后，即可按随机种子和规模档位不断产出新的已验证环境。作者也指出，目前的工作集中在合成的终端环境上，在最难的基准上与顶尖前沿智能体仍有差距，支持新的工作流也需要编写并验证新的环境组件。降低这一成本、扩展领域覆盖，并与更强的开源基座结合，是下一步的方向。
作者介绍
Wenbo Hu，UCLA 计算机科学博士生，导师为 Kai-Wei Chang 与 Nanyun Peng 教授，本文工作完成于其在 Adobe Research 实习期间。研究方向为长程智能体的环境合成与强化学习后训练，代表作有 MQT-LLaVA、OpenVLThinkerV2、G2VLM、3DLLM-Mem 等。
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：[email protected]