PaperWeekly公众号文章

成本腰斩,性能反超纯大模型!上海AI Lab提出Agent自进化路由框架

让大小模型自己学会分工

PaperWeekly

公众号 · 41 篇文章

图片

借助大模型,智能体已能完成软件开发、科学研究等复杂任务,但多轮交互中频繁调用大模型,推理成本也随之居高不下。


实际上,复杂任务的各个环节对模型能力的要求不尽相同:小模型虽难以独立完成整个任务,却往往能胜任其中的部分子任务。


因此,让大小模型合理分工、协同作业,是兼顾任务效果与推理成本的关键。


上海 AI Lab 研究团队提出自进化智能体路由框架 RSI-Router,从执行轨迹中挖掘可复用的子任务,探索大小模型分工,并提炼模型专属执行技能,让分工策略与执行技能在持续迭代中共同进化。


图片

论文标题:

RSI-Router: Evolving Subtask-Level LLM Routing and Skills for Cost-Efficient Agents

论文链接:

https://arxiv.org/abs/2609.34712


以 DeepSeek-V4.1-Flash 为大模型、Qwen3.5-9B 为小模型,RSI-Router 在五个 Agent 评测基准上:

1. 性能反超:五个基准的任务表现均超过纯大模型基线。

2. 成本减半:五个基准的推理成本平均降低 51.7%,最高降幅达 82.2%。

3. 更优权衡:相比九种现有路由方法,取得更优的性能—成本帕累托前沿。

图片


图片

研究背景:让小模型参与复杂任务

现有任务级路由将整项请求交给一个模型,容易忽略小模型在部分环节的作用。以代码修复为例,问题定位、代码修改和结果验证,对模型能力的要求各不相同。


步骤级路由允许逐步切换模型,但学习有效分工仍有挑战:预先收集的轨迹覆盖有限,逐步探索成本较高,最终反馈也难以说明每一步决策的优劣。


RSI-Router 围绕可复用的子任务探索分工,并从失败与冗余操作中提炼技能,共同优化路由策略与执行技能,帮助小模型胜任原本难以完成的子任务。



图片


图片

RSI-Router:模型分工与执行技能共同进化

RSI-Router 以大小模型的训练轨迹为起点,由大模型驱动的提案智能体组织四阶段迭代:

1. 子任务挖掘:按执行目标划分轨迹,归纳子任务及识别规则;回放轨迹,检查小模型能否识别下一步所属阶段,并修正模糊定义。

2. 路由策略进化:并行提出多种大小模型分配方案,按适用性继承历史技能,再通过实际执行评估任务表现和推理成本。

3. 模型专属技能进化:对比候选路由与纯大模型在相同任务上的训练轨迹,分析失败与冗余操作,为相应模型和子任务生成或修订技能。

4. 帕累托路由筛选:根据验证集上的性能与成本,比较历史路由及技能更新前后的候选,保留帕累托最优策略。落选路由也作为反例参与后续进化。

图片

推理时,小模型根据用户请求、最近三步交互历史及上一次子任务预测,识别接下来的子任务,调用分配的模型,并附加匹配的执行技能。


例如,代码修复时可由大模型负责定位和修改、小模型负责验证;技能则提醒模型运行测试、检查文件差异,减少漏检与无效操作。


图片

实验表现:比纯大模型更强,也更省

实验选取 ALFWorld、ScienceWorld、WebShop、SWE-bench Verified 和 Terminal-Bench 2.0 的任务子集,覆盖环境交互、科学实验、购物、代码修复与终端操作。


训练、验证和测试集互不重叠,共进行六轮进化,每轮提出四种候选策略;测试任务不为进化提供反馈。


性能:ALFWorld 成功率由 90.62% 提升至 98.44%;Terminal-Bench 2.0 由 40.00% 提升至 46.67%,相对提升 16.7%。其余三个基准的任务表现也均超过纯大模型基线。


成本:ALFWorld、ScienceWorld 和 WebShop 分别降低 75.3%、82.2% 和 74.7%;SWE-bench Verified 和 Terminal-Bench 2.0 分别降低 8.1% 和 18.0%,实现性能与成本的双重改善。


性能—成本权衡:RSI-Router 在多个区间提供更优选择,让小模型参与自己无法独立完成的任务,发挥大小模型的互补优势。

图片


图片

持续进化:不断降本,复用经验

在验证集上,保留至少 95% 大模型性能时,五个基准在首轮之后均实现进一步降本。

WebShop 的成本降幅从首轮的 28.5%,逐步扩大至 65.0%、68.4% 和 72.5%。


历史技能也持续复用:ScienceWorld 最后一轮的候选路由仍大量复用早期迭代积累的技能,为后续分工与执行提供支持。

图片

图片

总结与展望

RSI-Router 将子任务分工、技能积累与策略筛选连接起来,让执行经验持续用于优化模型协作。

实验表明,小模型在合适的分工与技能支持下,能够参与原本无法独立完成的复杂任务,为长程智能体降本增效提供了新的路径。


随着路由策略与执行技能不断积累,系统可以从历史经验中探索更高效的协作方式,减少对人工反复调整规则的依赖。


更多阅读

图片
图片
图片




·


图片

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →