借助大模型,智能体已能完成软件开发、科学研究等复杂任务,但多轮交互中频繁调用大模型,推理成本也随之居高不下。
实际上,复杂任务的各个环节对模型能力的要求不尽相同:小模型虽难以独立完成整个任务,却往往能胜任其中的部分子任务。
因此,让大小模型合理分工、协同作业,是兼顾任务效果与推理成本的关键。
上海 AI Lab 研究团队提出自进化智能体路由框架 RSI-Router,从执行轨迹中挖掘可复用的子任务,探索大小模型分工,并提炼模型专属执行技能,让分工策略与执行技能在持续迭代中共同进化。
论文标题:
RSI-Router: Evolving Subtask-Level LLM Routing and Skills for Cost-Efficient Agents
论文链接:
https://arxiv.org/abs/2609.34712
以 DeepSeek-V4.1-Flash 为大模型、Qwen3.5-9B 为小模型,RSI-Router 在五个 Agent 评测基准上:
1. 性能反超:五个基准的任务表现均超过纯大模型基线。
2. 成本减半:五个基准的推理成本平均降低 51.7%,最高降幅达 82.2%。
3. 更优权衡:相比九种现有路由方法,取得更优的性能—成本帕累托前沿。
研究背景:让小模型参与复杂任务
现有任务级路由将整项请求交给一个模型,容易忽略小模型在部分环节的作用。以代码修复为例,问题定位、代码修改和结果验证,对模型能力的要求各不相同。
步骤级路由允许逐步切换模型,但学习有效分工仍有挑战:预先收集的轨迹覆盖有限,逐步探索成本较高,最终反馈也难以说明每一步决策的优劣。
RSI-Router 围绕可复用的子任务探索分工,并从失败与冗余操作中提炼技能,共同优化路由策略与执行技能,帮助小模型胜任原本难以完成的子任务。
RSI-Router:模型分工与执行技能共同进化
RSI-Router 以大小模型的训练轨迹为起点,由大模型驱动的提案智能体组织四阶段迭代:
1. 子任务挖掘:按执行目标划分轨迹,归纳子任务及识别规则;回放轨迹,检查小模型能否识别下一步所属阶段,并修正模糊定义。
2. 路由策略进化:并行提出多种大小模型分配方案,按适用性继承历史技能,再通过实际执行评估任务表现和推理成本。
3. 模型专属技能进化:对比候选路由与纯大模型在相同任务上的训练轨迹,分析失败与冗余操作,为相应模型和子任务生成或修订技能。
4. 帕累托路由筛选:根据验证集上的性能与成本,比较历史路由及技能更新前后的候选,保留帕累托最优策略。落选路由也作为反例参与后续进化。
推理时,小模型根据用户请求、最近三步交互历史及上一次子任务预测,识别接下来的子任务,调用分配的模型,并附加匹配的执行技能。
例如,代码修复时可由大模型负责定位和修改、小模型负责验证;技能则提醒模型运行测试、检查文件差异,减少漏检与无效操作。
实验表现:比纯大模型更强,也更省
实验选取 ALFWorld、ScienceWorld、WebShop、SWE-bench Verified 和 Terminal-Bench 2.0 的任务子集,覆盖环境交互、科学实验、购物、代码修复与终端操作。
训练、验证和测试集互不重叠,共进行六轮进化,每轮提出四种候选策略;测试任务不为进化提供反馈。
性能:ALFWorld 成功率由 90.62% 提升至 98.44%;Terminal-Bench 2.0 由 40.00% 提升至 46.67%,相对提升 16.7%。其余三个基准的任务表现也均超过纯大模型基线。
成本:ALFWorld、ScienceWorld 和 WebShop 分别降低 75.3%、82.2% 和 74.7%;SWE-bench Verified 和 Terminal-Bench 2.0 分别降低 8.1% 和 18.0%,实现性能与成本的双重改善。
性能—成本权衡:RSI-Router 在多个区间提供更优选择,让小模型参与自己无法独立完成的任务,发挥大小模型的互补优势。
持续进化:不断降本,复用经验
在验证集上,保留至少 95% 大模型性能时,五个基准在首轮之后均实现进一步降本。
WebShop 的成本降幅从首轮的 28.5%,逐步扩大至 65.0%、68.4% 和 72.5%。
历史技能也持续复用:ScienceWorld 最后一轮的候选路由仍大量复用早期迭代积累的技能,为后续分工与执行提供支持。
总结与展望
RSI-Router 将子任务分工、技能积累与策略筛选连接起来,让执行经验持续用于优化模型协作。
实验表明,小模型在合适的分工与技能支持下,能够参与原本无法独立完成的复杂任务,为长程智能体降本增效提供了新的路径。
随着路由策略与执行技能不断积累,系统可以从历史经验中探索更高效的协作方式,减少对人工反复调整规则的依赖。
更多阅读