上个月截稿ddl的ICLR2027朋友们都跟着冲了吗?
现整理了 ICLR 2026、ICML 2026、CVPR 2026、AAAI 2026、ACL 2026、KDD 2026 六大顶会 ,合计整理出 460 篇2026年高引机器学习论文。
下面介绍两篇关于skill的高引论文:
这两篇论文,一篇专治过度思考,一篇专治学完就忘。共同点是:它们都相信"技能"应该被显式地拆解、沉淀、复用。
论文合集,回复「2026机器学习顶会合集」全拿走
第一篇:DRP——教师不动笔,只动剪刀
背景:不是不会,是想太多
以 o1、DeepSeek-R1 为代表的推理模型靠长思维链封神,但小模型学这套容易走火入魔:冗余回溯、反复自我纠正,token 烧了一堆,还容易被自己的啰嗦带偏。现有两条路都不完美——推理时剪枝容易"想一半就交卷",蒸馏压缩则有个隐形炸弹:教师是简洁的 Short-CoT 风格,学生是话痨 Long-CoT 风格,风格错位导致学生根本学不动教师的答案。
DRP 框架总览:让学生模型自己生成长思维链,教师模型负责剪枝,再蒸馏回学生。
方案:学生的作业,教师来批改
DRP 的思路很妙:不让学生抄教师的答案,而是让教师把学生自己的作业改短,再让学生照着改后版本重新学。三步走:
技能感知分解:教师把学生生成的思维链切成原子步骤,每步标注用了什么技能——"读取数量""代数表示"……比按句子硬切更细(平均 12.6 步 vs 8.3 步),语义边界也更稳; 步骤级剪枝:教师对每步四选一——保留、删除、改写、合并,最后还要按学生原本的语气风格重写一遍,保证"还是你自己说话的味道"; 监督微调:用剪枝后的精炼轨迹做 SFT,让学生内化"短而准"的推理习惯。
技能分解 → 四动作剪枝 → 蒸馏回学生
结论:token 砍六成,分数还涨了
效果堪称"既要又要"的范本:
GSM8K:平均 token 从 917 砍到 328(-64%),准确率反而从 91.7% 升到 94.1% ; AIME24:token 减 43%,精度纹丝不动; 1.5B 小模型受益最大,GSM8K 准确率提升 **12.7%**——精炼监督有效弥补了小模型容量不足。
token 分布整体左移、长尾消失见
核心洞察一句话:好的训练 CoT 不但要短,还要在结构上像学生自己写出来的——这才是知识能迁移的前提。
第二篇:SAGE——别再用 Prompt 哄 Agent 进步了
上图:技能库智能体的交互循环。下图:Sequential Rollout 与 Skill-integrated Reward 机制,
背景:RL训出来的Agent,出了训练集就裸奔
LLM Agent 在固定场景里 RL 训练后表现惊艳,但部署到新环境就原形毕露——它记住了答案,没学会学习。技能库是个自然的解法:把成功经验沉淀成可复用的技能函数,遇到相似任务直接调用。但现有方案全靠 Prompt 驱动,效果取决于模型心情,技能质量和复用率都没保障。
方案:把"攒技能"写进奖励函数
SAGE 基于 CodeAct 构建技能库智能体:Agent 与环境交互时直接生成 Python 函数作为技能,支持使用、生成、更新、保存四种操作。在此之上做了两个关键设计:
Sequential Rollout:不再对单任务做 rollout,而是让 Agent 在同一 scenario 的任务链上顺序执行——前一个任务生成的技能自动入库,供后一个任务调用。这样"前一个任务生成了好技能"的奖励信号,能通过后一个任务的成功反向传播回去; Skill-integrated Reward:在任务结果奖励之外,当 q₁ 生成的技能被 q₂ 调用且 q₂ 也成功时,两段轨迹都拿额外奖金——显式鼓励"生成得好"和"用得对"。
训练走"SFT 打底(Claude 3.5 专家轨迹)→ SAGE RL 精进"两阶段。
结论:token 省六成,技能成功率翻倍
AppWorld 上的成绩单相当能打:
对比无技能库的 GRPO 基线:SGC 从 51.8% → 60.7%(+8.9%),TGC 达 72.0%; 效率同步飙升:交互步数 -26% ,生成 token -59% ——技能复用把复杂操作序列压缩成了单次调用; 技能使用成功率从基座的 0.31 拉到 0.72,翻了一倍多
写在最后
两篇论文一个往内看、一个往外看,但共享同一个信念: "技能"是可拆解、可沉淀、可复用的结构单元。DRP 把推理轨迹里的技能步骤剪出来压缩,SAGE 把环境交互里的技能函数存下来复用——都把"用好历史经验"从提示词玄学,升级成了训练信号科学。
今天介绍到这里,上篇文章介绍了几个好用的科研skill一组王炸Skill,WorkBuddy杀疯了,「科研skills合集」获取:
论文标题: DRP: Distilled Reasoning Pruning with Skill-aware Step Decomposition
论文链接: https://arxiv.org/abs/2505.13975
论文标题: Reinforcement Learning for Self-Improving Agent with Skill Library
论文链接: https://arxiv.org/abs/2512.17102