这是2026年的第 69 篇文章
（ 本文阅读时间：约 15 分钟 ）
让智能体（Agent）从任务经验中持续学习，是提升其任务处理能力的一条重要路径。其中，一种做法是将可复用的操作步骤、解题策略等经验整理为“技能”（Skill），形成供模型调用的技能库。在此基础上，技能—策略模型协同进化进一步将技能库更新与模型训练结合起来：Agent 从任务经验中生成和改进技能，再利用这些技能训练模型；模型能力的变化又为下一轮技能更新提供反馈，形成相互促进的循环。
随着多轮协同进化，任务分数不断提高。但这些高分通常来自模型与共同训练的技能库这一特定组合。实际部署后，业务需求和操作流程持续变化，技能库需要不断更新，模型却往往难以按相同频率重训。当技能库发生变化，训练时取得的高分还能延续吗？
针对这一问题，阿里巴巴 Alibaba Token Hub (ATH) Token Foundry 团队通过理论分析与系统实验发现：高分提升可能伴随着对特定技能库的依赖加深，让 Agent 在技能持续变化的场景中反而更加脆弱。团队将这一现象称为「协同进化陷阱」，并提出面向技能变化的可靠性评测协议 CODA。
在所审计的6组设置中，技能内容变化后的最差成功率比原始搭配低约 5—13个百分点，抵消了原始技能库相对同一模型无技能基线所带来增益的 52%—93%。这些结果提示，衡量协同进化的成果，除了关注原始搭配上的高分，还需要考察技能持续变化后的可靠性。
论文链接：https://arxiv.org/pdf/2610.20845v1
01
让 Agent 从任务经验中积累技能，再用技能反过来提升模型，是实现智能体自进化的一条重要路线。在技能—策略协同进化中，技能库承载可复用的操作经验，策略模型负责理解任务、调用技能并执行行动。两者相互促进，经过多轮训练，任务分数不断提高。
这一过程的吸引力在于，单次任务经验不再只服务于当前任务，而能沉淀为后续任务可复用的知识。与此同时，模型也在学习如何利用这些经验，形成持续改进的循环。
但当前评测主要考察模型在共同训练的技能库上的表现。这能回答“这一组合能取得多高的分数”，却没有充分回答另一个问题：当技能库继续变化，模型还能否保持原有表现？
实际部署中的技能库很难长期保持不变。例如，操作流程可能随业务需求调整，技能说明可能被重新组织，不同版本的技能也可能同时存在。相比之下，模型重训需要数据、算力与验证，往往难以与技能更新保持相同频率。
因此，模型上线时面对的技能库，与运行一段时间后的技能库可能已经不同。训练时高度适配的组合，能否经受这种变化，正是这项研究的出发点。
【图1：协同进化的训练过程、部署挑战与可靠性目标】
02
研究从不同协同进化方法的训练目标与技能筛选机制入手，梳理出一种共同倾向：技能更新围绕当前模型的收益被筛选，模型又不断适应当前技能库。
从单轮优化看，这样做有助于提升成绩；但多轮迭代后，两者也可能形成越来越强的相互适配。此时，模型不仅依赖技能提供的知识，还可能对特定版本的表达方式产生敏感性。
论文在理想化技能筛选与候选覆盖条件下，刻画了原始搭配形成性能峰值的机制。这里的关键并非否定协同进化，而是指出：只优化某一个技能库上的峰值，并不能自动约束技能变化后的性能损失。
换言之，“更擅长使用共同训练的技能库”与“更可靠地使用持续变化的技能库”，是两个需要分别验证的目标。
【图2：协同进化形成高度适配组合的机制示意】
03
为了系统研究这一问题，团队构建了五个维度的技能变化探针：同义改写、信息缺失、错误策略、技能库组成变化，以及完全移除技能，来模拟部署后技能的持续演化。
这些变化分别对应不同层面的可靠性问题：模型能否理解不同表达下的相同经验，能否应对不完整或错误的指导，以及对技能库结构和外部技能支持有多大依赖。
其中，同义改写尤其值得关注。它保留技能原意，只改变表达。如果这样的变化也带来明显性能损失，就说明模型对技能的依赖可能超出了其中有效知识本身。
【图3：五个维度的技能变化探针】
进一步，研究提出协同进化脆弱性曲线（Co-evolution Fragility Curve），沿训练轨迹同时观察原始成绩与技能变化后的表现。
在多个设置下，原始技能库上的成绩持续提高，对技能变化的敏感性也在增加。研究将这种高分提升伴随技能依赖加深的现象，称为“协同进化陷阱”。
这也说明，一条不断上升的成绩曲线，可能没有呈现能力变化的全貌。除了分数增加了多少，还需要追问：这些提升在技能更新后，能够保留多少？
【图4：协同进化脆弱性曲线】
04
实验覆盖 SkillRL、ReSkill、Evolving-RL 和 ARISE 四种方法，以及 ALFWorld、WebShop、ScienceWorld、Mind2Web 和 AMC23 五个基准，共形成6组方法—环境设置。
在所测试的技能内容变化下，最差成功率比原始搭配低约5—13个百分点。相对于同一模型不使用技能时的表现，原始技能库带来的增益有52%—93%被抵消。
这一结果需要区分两个概念：损失的是技能库带来的增益，而非模型整体成绩下降52%—93%。它揭示的问题是，原始搭配所展示的优势，有相当一部分无法稳定延续到技能变化之后。
因此，训练与评测需要关注的不只是峰值高低，还包括这一峰值在部署条件变化后有多大保留空间。
05
针对这一盲区，研究提出 CODA（CO-evolution Drift Audit，协同进化漂移审计），在原有成功率之外，引入两个新指标，并结合所测试内容变化下的最差成功率，形成更完整的评测视角。
一致率（Consistency Rate，CR）关注：技能含义不变、表达改变时，同一任务的成功或失败结果能否保持一致。它考察具体任务结果的稳定性，而不只是总体平均成绩是否接近。
抗干扰率（Resistance Rate，RR）关注：面对不完整或错误的技能，模型能否保住原本不依靠技能也能完成的任务。它衡量任务表现是否受到干扰，并不预设模型必须通过“识别并跳过错误技能”来应对。
最差成功率则回答：在所测试的技能内容变化中，模型最低还能保留多少表现。三者分别补充了稳定性、抗干扰能力和性能下限的信息。
【图5：CODA评测结果与指标汇总】
06
CODA 提供的是发现和衡量问题的初步评测方案。受控的技能变化探针，使原有高分背后的稳定性与脆弱性变得可观察，也表明现有方法在应对技能变化时仍有较大的提升空间。
如何在保持技能收益的同时，降低对特定技能库版本的依赖？如何让训练覆盖更丰富的技能变化，并建立更完善的评测体系？这些问题仍需要后续研究共同探索。
这项研究也让我们重新思考：当我们说一个智能体“变强了”，究竟期待它具备怎样的能力？真实业务会不断变化：流程会调整，知识会更新，用户的需求也会改变。我们期待的进步，既包括熟悉条件下更高的成绩，也包括面对变化时依然稳定、可信的表现。
因此，在推动智能体能力提升的同时，我们也需要让评测更贴近实际使用：除了看最好能做到什么程度，还要看条件变化后能保留多少能力，以及哪些情况下容易失效。这些信息既能帮助研究者寻找改进方向，也能帮助使用者判断智能体的适用范围。
我们希望，CODA 能为这一方向提供一个起点，让技能持续变化带来的挑战成为衡量协同进化成果的一部分，为后续训练方法与评测体系的完善提供参考。
高分值得追求，但如何让高分经得起真实部署场景的考验，仍是一个值得共同探索的问题。