论文秀Live #47 | EMNLP 2026论文解读：追问率 11%→91%，大模型如何"会学习、会提问、会决策"？

如何让多模态大模型学会新知识，同时保留已有能力，是知识注入面临的核心挑战。直接拟合完整参考答案，可能导致模型原有能力退化；基于模型自身生成轨迹的在线蒸馏虽然有助于保持能力，却容易忽略关键知识，并且难以直接补充模型回答中尚未出现的事实。

为此，我们提出 RoCo-ACE，根据模型当前回答的知识覆盖情况，实施两种互补的学习机制。RoCo 让教师在有、无参考答案两种条件下，对同一条学生生成轨迹进行评分，通过似然差异识别并强化参考知识支持的内容；ACE 从参考答案中提取事实锚点，对学生回答遗漏或覆盖不足的关键事实进行定向监督。两者结合，使模型既能沿着自身生成轨迹学习，又能补齐缺失知识，减少对完整参考答案的机械模仿。

在三个知识注入设置、六项通用能力保持基准及多个基座模型上的实验表明，RoCo-ACE 在所比较方法中取得了最高的知识注入准确率，同时将受测通用能力保持在接近基座模型的水平。本次分享将介绍方法动机、核心机制与实验发现，并结合业务实践讨论知识注入式专家模型的构建与落地。

当用户需求表述不完整时，大语言模型往往直接作答，并自行补全未明说的意图与约束。我们研究“主动信息获取”能力，即在回答前通过有针对性的追问补齐关键信息。对七个不同规模及系列模型的评测发现，面对信息不充分的请求，模型主动追问的比例均低于 11%。

为系统评测并训练这一能力，我们提出 VagueBench：从真实用户请求中提取结构化的意图与细节信息，通过可控删减构造“意图模糊”和“完全模糊”两类请求，明确记录缺失信息，以评估模型何时追问、追问什么。进一步提出离线强化学习方法 DialogGRPO，将多轮交互组织为对话状态有向无环图，结合即时信息增益与前瞻价值，为每轮候选问题提供细粒度奖励，无需在参数更新时调用用户模拟器。

实验表明，在 Qwen3.5-27B 上，DialogGRPO 将两类模糊请求的主动追问比例分别提升至 88.4% 和 91.2%，同时改善信息获取效率与最终回答覆盖度；对信息完整请求的追问比例仅为 5.2%。该方法还可有效迁移至 MultiWOZ 2.4 和 AmbigQA，为开放域对话中高效、适度的主动追问提供了评测与训练方案。

智能体检索增强生成（Agentic RAG）要求大语言模型在多轮交互中判断何时继续检索、何时给出答案。现有强化学习方法主要依赖外部监督，忽略了模型自身对当前证据是否足以作答的判断，导致实际行动与内部信念脱节。为此，我们提出信念与行动对齐的策略优化框架 MetaRAG，统一建模过度检索与检索不足两类决策偏差。

MetaRAG 在每一步先验证候选行动是否合理，再决定检索或回答；同时在训练阶段，针对相同的问题与历史上下文进行独立的 Yes/No 前向计算，探测模型的可回答性信念。我们比较这一信念与实际行动，构造一致性奖励，并以最终答案是否正确作为门控，使错误轨迹无法仅凭“内部自洽”获得奖励。信念探测仅用于训练，推理时无需额外探测，但仍保留行动前验证。

在七个公开问答基准上，MetaRAG 基于 Qwen2.5-3B/7B-Instruct 的平均精确匹配率（EM）分别达到 41.7% 和 45.4%，较 GiGPO 提高 1.9 和 1.5 个百分点。相较于 HiPRAG，MetaRAG 在准确率更高的同时减少了平均检索次数；相较于 GiGPO，则通过适度增加检索改善回答准确率。进一步实验表明，该方法可提高模型的知识边界感知能力，并适用于不同优化器与模型骨干。

论文链接：

https://arxiv.org/abs/2608.24214

洪燕——蚂蚁集团算法专家

张容语——浙江大学人工智能硕士生，蚂蚁集团研究实习生

齐秋逸——浙江大学人工智能博士生，蚂蚁集团研究实习生

直播观看指南

直播速约，锁定前沿！