AI 智能体正在成为劳动力,改变企业的产出。越来越多的大模型正从对话助手,转变为能在数字工作区中执行任务的“数字员工”,这使得优质环境的产出变得更加紧迫。
要真正实现这样的目标,工作智能体在回答问题之外,更需要有能力完成专业工作流。在真实的工作场景中,员工可能需要翻阅大量文件、交叉核对证据、处理缺失和混乱的数据,最终交付报告、表格或演示文稿。专业能力不只体现在语言回答中,也体现在探索、取证和交付的过程中。
正是在这一背景下,腾讯混元与复旦大学的研究团队共同提出 WorkForge,一个从真实世界资源出发、规模化构建可验证智能体工作环境的框架。
论文标题:Scaling Verifiable Environments for Long-horizon Work Agents
论文地址:https://arxiv.org/pdf/2610.04906
WorkForge:为工作智能体搭建真实可验证的工作环境
WorkForge 的出发点很朴素:一道工作任务怎么出、做得好不好怎么判,都取决于工作区里实际有什么。所以它先把工作区搭起来、摸清楚,再从里面出题、定标准,整个过程分四步。
首先,请专家把经验写成“场景蓝图”。专家把熟悉的一类工作梳理清楚:交付什么、需要哪些材料、要做哪些关键判断。比如老师可以写下“测验后归类错题、再针对性讲解”的流程,换一套试卷和教材,就是一个新的工作区和新的任务。
其次,去真实世界找材料,搭出工作区。一个获取智能体按蓝图去搜索、下载代码仓库、数据集和网页资料,确认用得上后放进工作区,并保留原有的目录结构。坚持用真实材料,是因为工作中的线索从来不整齐:一个软件项目里,源码、文档、测试和配置散落在各个目录;合成环境往往只有一份 README、一个脚本和一份示例数据,答案几乎摆在眼前。
再次,先给工作区“体检”,再出题、定标准。WorkForge 会先摸清每个文件是做什么的,并记下一批能直接核对的具体事实,作为“事实支撑”。任务、参考解法以及核验标准都从这些“支撑”推出来,参考解法里的关键事实还会回到工作区复核。验收分两种:数值对不对、文件有没有生成,交给程序化检查自动核对;分析是否到位,由 LLM 评委按评分细则打分,也就是语义评分。
最后,让智能体完整做一遍任务。它只能看到工作区和任务说明,要自己探索、交互,直到给出最终成果。打完分后,整段操作过程连同分数一起保存下来,成为训练数据。
这样一来,题目出自工作区里真实存在的内容,评分也有据可查。智能体想完成任务,就得自己翻目录、理清文件关系,把散落的证据拼成一份经得起核查的交付物。
图:WorkForge 总体框架,对应上文四步:写蓝图、搭工作区、出题定标准、执行并打分。
WorkForge-16K:1.67 万个来自真实世界的工作环境
框架搭建完毕后,下一个待探究的是:这条管线生产出的环境,究竟有多真实、多复杂?
WorkForge-16K 正是这条管线的产出。它包含 16,665 个可验证的工作环境,横跨 40 个专业领域、60 种文件类型。这些工作环境真正要求智能体在复杂环境中持续不断的探索,以此来处理长距离任务。
为了刻画数据的复杂度,论文从任务、工作区和轨迹三个维度进行了统计。
任务层面,每个任务平均包含 21.9 条验证标准,既有精确的数值检查,也调用大模型进行语义评估。
工作区层面,每个工作区平均包含 42.3 个文件、约 279 KB,线索分散在多级目录中。
轨迹层面,智能体完成一个任务平均需要 31.8 步、33.8 次工具调用,单条轨迹平均约 7.6 万 tokens,是典型的长程任务。
此外,文件类型十分多样:表格数据占 53.3%,图像占 18.7%,结构化文本、代码乃至音频均有涉及。这也很贴近真实工作场景:员工往往需要同时理解表格、图片、文档和代码。
图:WorkForge-16K 数据分布,依次为专业领域、文件类型、任务得分和工具调用。
那么真实资源合成和 LLM 合成工作区究竟有多大差别?研究团队用同一批蓝图,分别以真实资源和 LLM 合成资源搭建工作区。结果显示,真实工作区的文件数是合成工作区的 5.4 倍,文件类型是 2.4 倍,平均体积从 21.5 KB 增至 279 KB。合成工作区经过“过度整理”,关键信息集中在少数文件里;真实工作区的证据则分布在整个目录树中,智能体必须先探索、再判断。
图:合成工作区与真实工作区对比。真实工作区文件更多、类型更丰富,证据分散在目录各处。
论文还给出了一个金融领域的例子:智能体扮演量化策略师,基于因子数据库评估各地区的因子溢价,交付 PPT 简报、Excel 分析表和清洗后的 CSV。工作区的 297 个 CSV 文件分布在 16 个目录中,其中隐藏着不少“坑”:月度与年度数据混排、缺失值以 −99.99 标记、同一因子在不同文件中命名不一致,充分模拟了真实工作环境中的复杂工作条件。
模型:让智能体从真实工作环境中学习
在构建出大规模真实环境之后,论文进一步用这些轨迹训练模型,检验数据能否转化为工作智能体的能力。
WorkForge 的基本思路是,工作智能体需要学习的不只是最终交付物,还包括完成工作的全过程:浏览目录、定位关键文件、交叉核对证据、处理异常数据,并在出错时重新规划。
围绕这一点,研究团队让智能体在不同 Agent Harness下执行任务,分别训练得到 WorkForge-A3B 与 WorkForge-27B。
评测覆盖五个主流基准:WildClawBench 和 Claw-Eval 侧重长程执行与多文件交互;GDPval 和 APEX-Agents 关注专业交付物与职场工具编排;Agents' Last Exam(ALE)考察长时间自主解决问题的能力。
图:在五个工作智能体基准下的测试结果。
实验结果显示,WorkForge 数据带来了显著提升。以 A3B 模型为例,训练后其 GDPval 得分从 45.5 提升到 73.6,APEX 从 5.0 提升到 21.3。与 ClawGym、EnvScaler 等 100B 以下的专用智能体模型相比,WorkForge-A3B 在五个基准上全面领先,GDPval 比此前最优的 ClawGym 高出 38.6 分;在更严格的 ALE 通过率上,二者分别为 12.4% 和 2.9%。
但更值得注意的是,WorkForge 数据在已经过后训练的强模型上依然有效。WorkForge-27B 在五个基准上全部提升,其中 WildClaw 提高 8.0 分。在 GDPval 上,它达到 82.4 分,超过总参数量约为其 15 倍的 397B-A17B(79.7),与 Claude Opus 4.8(89.1)、GPT-5.6 Sol(90.1)等前沿模型的差距进一步缩小。
这说明,真实工作区中的长程轨迹能够有效迁移到不同的评测场景。WorkForge 的每个任务都要求智能体在复杂文件结构中探索,并把分散的证据整合进交付物,而这正是专业工作的核心能力。
论文还考察了规模效应。训练轨迹从 1K 增加到 16K,模型在 ALE 和 WildClaw 上分别提高 13.0 和 8.4 分,并在 ALE 上超过了 DeepSeek-V3.2 和 MiniMax-M2.7。轨迹长度同样重要:同样使用 1K 条数据,用 41 至 60 轮长轨迹训练的模型,比用 20 轮以内短轨迹训练的模型在 ALE 和 WildClaw 上分别高出 4.2 和 5.0 分。
图:WorkForge 规模化分析。左侧为训练数据量的影响,右侧为轨迹长度的影响。数据越多、轨迹越长,模型表现越好。
在验证机制上,研究团队对比了三种轨迹筛选方式:只看程序化得分、只看语义得分,以及两者结合。结果显示,混合筛选的效果最好,ALE 得分达到 22.11,明显高于单用语义评分的 15.62 和单用程序化检查的 14.89。两类验证信号相互补充,才能提供更可靠的监督。
论文还观察到一个很有意思的现象:经过训练后,模型的工作方式发生了明显变化。
以 WorkForge-27B 为例,它在 GDPval 的每个任务中平均访问 6.52 个外部网站域名,是基座模型的 5.3 倍;工作区内定向检索证据的调用占比也从 5.9% 提升到 16.2%。更重要的是,工具调用失败后,模型的推理长度从 144 个字符增加到 614 个字符。它不再急于重复尝试,而是先诊断问题、再重新规划。
图:GDPval 上的执行行为与评分细项分析。左侧为训练前后的外部探索与工作区取证变化,右侧为五类评分标准的通过率。
这些变化最终体现在交付质量上。在 GDPval 的五类评分标准中,WorkForge-27B 的通过率提升了 4.5 至 13 个百分点,其中视觉排版和数值准确性分别提高 13 和 8.2 个百分点,而这两项恰恰最依赖充分的调查与细致的核对。
这一结果说明,对于工作智能体而言,真实工作区中的过程数据非常重要。长程轨迹为模型提供了探索目录、追踪依赖、整合证据和核对结果的完整经验,使模型能够在训练中接触更接近真实职场的任务结构。
展望:AI 同事
真正进入职场后,智能体面对的不再是精心整理的考题,而是杂乱的文件、分散的证据和需要负责的交付物。
面向真实的知识工作,让智能体先在可验证的真实工作区中学会探索、核查与交付,再逐步承担更复杂、更开放的专业任务,可能是一条很有潜力的路径。我们期许未来的 AI 同事能在这种交互中逐渐成形。