字节跳动、杜克大学等团队，把四个 Claude Agent 拉到一起，交给它们一份研究任务：把 Qwen3-4B-Base 训成一个通用模型。
每个 Agent 分到一台八卡机器。选数据、写训练代码、分析结果，连下一步该试什么，都由它们自己决定。
104 小时后，它们交出的模型，在论文两组综合评测中，追平了官方 Qwen3-4B-Instruct-2507 的平均水平。
这套系统叫 Athanor。公开的论文，把这四天多的研究过程也留了下来：有模型答题卡死，有队友接过有效的改法，还有机器半路被回收后恢复实验。
四个 Agent，要交同一个模型
这次要练的能力不少：数学、逻辑、代码、知识、指令遵循，还有多步行动。
六类任务分别评分，再取简单平均。Agent 能看到开发集结果，另一组隐藏集则换了题目、来源或任务形式，整个研究期间不对它们开放。
最终统一复测，结果如下：
| 67.3 | 48.2 | |
两组平均成绩都到了官方指令版附近，重复评测的差异区间包含零，可以视为接近的水平。
它们各有强项。隐藏集的多步行动任务，团队模型拿到 74.7，官方指令版是 66.8；数学和逻辑仍落后。更强的 Qwen3-4B-Thinking-2507，在同一复测中也保留着明显优势。
论文表1：上半为研究过程评测，下半为统一最终复测
四个 Agent 最后交的是同一份权重，要同时面对这六类任务。某次训练把代码能力推高了，却伤到知识或逻辑，接下来就得想办法把它们调回来。
数据怎样混，强化学习怎么跑，队友训出的模型能不能接着用，这些都成了它们自己的研究问题。
先把实验室交给它们
四位“研究员”都是 Claude Opus 5.5，通过 Claude Code 工作。Claude 负责读材料、改代码和决定实验，实际更新权重的是 Qwen3-4B。
每个“研究员”都有独立工作区，也能读队友的记录、取走队友的 checkpoint。Athanor 则准备好可运行的训练起点，以及数据、训练、评测和实验记录服务。
Agent 提交任务后，GPU 作业会独立运行，结束后再唤起它分析结果。每轮用了什么数据、哪份代码、从哪个模型继续，都能查到；即使会话结束或节点故障，已有成果也能接着用。
评测服务放在沙箱外，规则冻结，Agent 改不了考题和评分代码。
Athanor 系统：四个研究 Agent 调用训练、数据与评测服务，共享成果并保留实验记录；隐藏评测不向它们开放
人类搭好环境、提供起始代码、维护机器，研究路线留给 Agent。没有人逐轮告诉它们该换哪份数据、调哪个参数。
它们先翻起了数据。可选池里有 447 个公开数据集，最初六小时，每个 Agent 都会抽几十行看看：格式能否处理，答案有多长，题目够不够难，奖励能不能算。
第一小时内，四个 Agent 都选中了 AM-Thinking-v1-Distilled，在各自第一批公开训练数据中占到 76%—87%。这类语料已经包含从更强模型蒸馏的知识，本次实验禁止它们额外调用外部教师模型。
一轮监督微调之后，Agent 3 遇到了一个具体麻烦。
模型明明会答，却卡在了重复里
第 10 小时左右，Agent 3 手里的模型，开发集均分约 49.7。
它去读那些一直答到长度上限的输出，发现模型反复写同样的东西，停不下来。逻辑和代码等任务上，大量答案就这样耗光了输出预算。
Agent 3 启动 GRPO 强化学习，跑了一阵，毛病还在。
它继续看训练时生成的回答，才发现两边不一样：当时的过程评测，六项中有五项采用贪心解码，每一步都选概率最高的 token；训练时则随机采样回答，反而很少碰到死循环。
训练绕开了模型最容易犯错的那条路。
Agent 3 在第 25 个训练步骤停掉这次尝试，改了生成回答的代码：每条回答有四分之一的概率走贪心解码，其余仍随机采样。
这样，同一道题里就可能同时出现一条卡死的回答和一条正常答对的回答。前者得零分、后者得高分，重复的那条回答便会获得负优势，训练开始压低这种行为的概率。
它还重建了一批训练题，再开一轮。小验证集里，重复循环从 86 条降到 18 条；随后完整的过程评测，均分从约 49.7 升到 57.3。这是采样改法与重建训练题一起带来的结果。
Agent 3 把诊断和代码写进共享笔记。六小时内，另外三位队友都用上了。
一个 Agent 的改法，四个 Agent 接着练
这支队伍的合作，还有一段小插曲。
前 15.8 小时，它们看过彼此的文件，却没交换 checkpoint，也没写共享笔记。操作员这时补充了一条起始文档漏写的既定规则：最终计算的是团队提交结果。
56 秒后，第一次从队友那里取 checkpoint 的动作出现了。
之后，成果开始频繁流动：57 次队友 checkpoint 获取，160 个版本的共享笔记。到了第 21 小时之后，每一个刷新最佳成绩的模型，都已经包含多位 Agent 的训练贡献。
Agent 4 把三位 Agent 训出的模型做加权平均。Agent 3 又沿着合并模型相对基座的权重变化方向向外推了一点，用部分知识成绩换取逻辑提升。
接着，它们开始自蒸馏：让自己的模型对每道训练题生成四份回答，用规则奖励挑出答对的，再留下其中最短的一份，拿来做监督微调。
两位 Agent 分别跑出结果，最后再合并，形成团队提交。
论文图5：不同 Agent 的训练、合并与自蒸馏如何汇入最终模型
SFT、GRPO、模型合并、自蒸馏，都是已有方法。这次留下的进展，来自 Agent 怎样读结果、修改实现，再把几位队友的成果组合到一起。
104小时，花了多少钱
全程提交了 500 个作业，174 个 checkpoint 完成了完整评测。26 个作业失败，大多与 Agent 写的代码有关。
机器也出了状况。四个节点中，有三个先后被回收，靠系统恢复和人类维护接回实验，仍损失了约 23 个 GPU 小时。
按每 GPU 小时 3.49 美元的云租用价格，加上 Claude 的标价推理费用，论文估算这轮研究约花 1.18 万美元。
论文图4a：约1.18万美元的估算成本，强化学习、评测和自蒸馏采样占了大头；GPU按每小时3.49美元折算
Agent 自身的推理约 1,074 美元，占 9% 左右。花钱更多的是它们指挥的工作：强化学习、评测，以及为自蒸馏生成答案。
进步也越来越慢。第一天，成绩已经到了 60 分左右；后面三天，又多出约 7 分。研究原计划跑 72 小时，后来延长到 144 小时，最后在第 104 小时停下——最近一天，最佳成绩提升已不到 1 分。
四个研究员，为什么想到了同一条路
翻完这份记录，还有一件事挺有意思。
四个相同的 Claude Agent，第一小时就选中了同一个主力语料。后来试过的两条替代数据路线，成绩较低，很快被放弃。整轮研究没有做过一次固定其他条件、只比较两种数据来源的实验。
论文图7c：四个 Agent 首批训练混合中，同一份 AM-Thinking-v1-Distilled 语料占76%—87%；深色部分为该语料
它们能发现样本太长、格式不对、奖励算不出来，却较少核对答案本身是否正确。一个准备过滤疑似错误答案的计划，最终也没执行。
四位研究员的动作很勤快，研究路线却相当一致。把实验跑起来之后，怎样让它们找到不同的好问题，成了这间实验室留给下一轮的课题。
参考链接
Athanor: An Agent-Native System for Autonomous Post-Training Research：https://arxiv.org/abs/2610.21055