论文标题：CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models 主要机构：湖南大学、香港大学 代码仓库：https://github.com/zhcz328/CRAFT （已开源） 录用会议：NeurIPS 2026 Spotlight
背景与动机：医疗 AI 为什么会“明明看对了，却答错了”？
医疗视觉语言模型正在进入临床问答、影像辅助诊断和报告生成等场景。然而，当医学影像、文本病历与模型内部知识彼此冲突时，模型的行为可能突然失稳。
设想这样一个场景：胸片中已经出现明显的肺炎浸润，但同时输入一句“患者没有咳嗽”。一个可靠的医疗模型应当优先相信直接影像证据，但现实中，模型可能被这句文本带偏，把原本正确的判断改成“非肺炎”。
另一种风险更加隐蔽：当关键病灶被遮挡、图像质量不足时，模型本应回答“无法判断”，却仍然给出一个置信度很高的具体诊断。
CRAFT 将这两种风险分别定义为：
1. 仲裁故障（Arbitration Failure）：模型在干净输入下本来能够答对，但面对误导性文本时，错误地让文本覆盖了视觉证据。
2. 刹车故障（Brake Failure）：视觉证据已经不足以支持诊断，但模型没有及时“踩刹车”，仍然强行输出确定答案。
图1：CRAFT 研究的两类医疗 VLM 安全故障。左侧为文本冲突导致的仲裁故障，右侧为视觉证据不足时仍然作答的刹车故障。CRAFT 通过针对性调节对应内部回路，使模型重新依赖可靠证据或选择合理拒答。
这两类错误在输出端看起来都像“答错了”，但其内部原因完全不同：前者是模型知道正确答案，却被错误信息劫持；后者是模型缺少足够证据，却仍然过早承诺答案。
因此，真正关键的问题不只是“模型错了多少”，而是：错误究竟发生在模型内部的什么位置？哪些注意力头真正驱动了错误行为？能否只干预这些关键部件，在纠正故障的同时不破坏正常诊断能力？
方法详解：从输出纠错走向内部故障追踪
CRAFT 的核心思想是将医疗 VLM 的错误回答视为一条可以被追踪和干预的内部因果链。它不依赖额外训练，也不只是观察哪些神经元“激活得更强”，而是直接测试：改变某个内部组件后，模型的错误行为是否随之改变。
整个框架包含三个关键设计：三路径结构因果建模、去混杂的干预式追踪，以及兼顾纠错效果与正常能力的双重筛选。
设计一：三路径结构因果模型
对于输入图像 X_v、文本上下文 X_t 和模型参数知识 θ，CRAFT 将模型决策拆解为三条竞争路径：
视觉锚定路径 P_v：从医学影像中提取直接诊断证据文本覆盖路径 P_t：由病历文本、提示词或额外上下文影响答案参数知识路径 P_θ：调用模型预训练阶段学习到的医学知识
仲裁故障发生时，P_t 错误压过 P_v；刹车故障发生时，P_v 已经不足，但模型内部的答案承诺回路仍然推动具体输出。
图2：CRAFT 的因果追踪框架。(a) 医疗 VLM 中视觉、文本和参数知识三条路径共同影响模型输出；(b) 两类故障对应不同的路径主导关系；(c) 干净状态交换阻断潜在混杂因素形成的后门路径，从而隔离真正的因果效应。
设计二：用干净状态交换实现去混杂
仅根据激活值、注意力权重或相关性给注意力头排序，无法证明这些组件真正导致了错误。某个头可能在错误发生时非常活跃，却只是“旁观者”，并不是有效的干预目标。
为解决这一问题，CRAFT 为每个冲突样本构造共享同一图像与问题的干净对照样本，并缓存干净前向传播中的内部状态。随后，框架将冲突运行中的某一层或某个注意力头替换为对应的干净状态，即执行：
这一操作切断了潜在混杂因素与目标组件之间的后门联系。如果替换后错误偏好明显减弱，就说明该组件确实参与了故障形成，而不只是与错误输出相关。
设计三：粗到细定位与双重筛选
CRAFT 首先在层级尺度上寻找故障集中的关键区间，再在该区间内逐个检查注意力头，从而把搜索从整个模型收缩到稀疏候选集合。
但“纠错能力强”并不等于“值得干预”。粗暴删除高影响力注意力头，可能在抑制故障的同时破坏正常诊断。因此，CRAFT 同时考察两个目标：
故障缓解能力：干预后，文本跟随或过度作答是否显著下降 基础能力保持度：干净输入上的正确诊断是否基本不受影响
只有同时满足“故障影响大”和“正常损伤小”的注意力头，才会进入最终干预集合。这也是 CRAFT 能够在不重新训练模型的情况下实施轻量级安全修正的关键。
仲裁故障定位：找到劫持视觉判断的“文本覆盖头”
对于仲裁故障，CRAFT 首先定义层级冲突分数 S(l)，衡量把第 l 层替换为干净状态后，模型的错误答案偏好能够被拉回多少。实验发现，文本覆盖并不集中在单一层，而是在模型中深层形成一条连续的 Override Band。
随后，CRAFT 在该区间内联合计算两个指标：
CER（Causal Effect Reduction）：抑制某个头后，文本覆盖效应减少多少 BCP（Baseline Capacity Perturbation）：抑制某个头后，干净样本能力损失多少
理想的仲裁关键头应当具有“高 CER、低 BCP”的特征：它对错误文本覆盖负有较强因果责任，但并不是正常视觉推理不可缺少的基础组件。
图3：仲裁故障的注意力头定位结果。Hulu Med 4B 中，文本覆盖头主要聚集于第 12 至 22 层；抑制这些高 CER、低 BCP 的关键头后，模型能够从错误的“无气腹”恢复为正确答案。
研究发现，这些仲裁关键头仅占模型全部注意力头的不到 1%。与之相对，最深层的一些头主要承担输出保真和答案形成，虽然看起来同样活跃，但并不直接驱动文本覆盖。这个结果说明，CRAFT 找到的不是笼统的“重要神经元”，而是对特定失败模式负有因果责任的稀疏子回路。
刹车故障定位：让证据不足的模型学会“拒答”
对于刹车故障，研究团队遮挡图像中的关键诊断区域，使视觉证据降到无法可靠判断的程度，并把 unknown 设为期望答案。
CRAFT 定义 HR（Hallucination Relief），衡量削弱某层或某个注意力头后，模型将概率质量转移到 unknown 的程度；同时继续使用 BCP 控制对正常诊断能力的副作用。
图4：刹车故障的定位结果。红色点表示高 HR、低 BCP 的因果关键头。与仲裁故障的中深层宽带不同，刹车相关回路主要聚集在模型后段，形成更加紧凑的答案承诺门控。
两类故障呈现出明显不同的空间结构：
仲裁故障分布于中深层的宽区间，反映视觉、文本与参数知识之间的跨层竞争 刹车故障集中在后段的窄区间，主要控制证据不足时是否仍然承诺具体答案
在 Hulu Med 与 InternVL3.5 上，超过 78% 的刹车缓解增益集中在不到模型深度 15% 的层区间内；每个模型最终只需定位约 4 至 7 个关键头。两组关键头在空间上基本分离，说明“抵抗错误文本”和“证据不足时拒答”并不是同一套安全机制。
实验结果：稀疏干预能否真正改变模型行为？
研究团队在 VQA RAD、SLAKE 和 HealMed VQA 等医疗视觉问答基准上进行评测，覆盖 Hulu Med 4B、7B、14B、InternVL3.5 4B 与 Qwen3 VL 8B 等多种模型配置。
仲裁故障：文本跟随率最多下降 41.14 个百分点
表1：文本冲突条件下的仲裁故障结果。CFR 表示模型跟随误导文本的比例，越低越好；Resist 表示抵抗误导文本的比例，越高越好；C2W 与 W2C 分别表示正确答案变错和错误答案恢复正确。
在 VQA RAD 的 InternVL3.5 4B “Before A”设置中，CRAFT 将冲突跟随率从 60.57% 降至 19.43%，绝对下降 41.14 个百分点；同时，错误恢复正确的比例达到 41.14%，正确答案变错的比例为 0.00%。
在 Hulu Med 4B 的 “Before Q”设置中，冲突跟随率从 44.62% 降至 14.36%，而 C2W 仅为 0.51%。这说明 CRAFT 并不是简单地让模型忽略所有文本，而是有选择地削弱错误覆盖路径，同时尽量保留正常推理能力。
随机删除相同数量的注意力头无法稳定复现这一效果，部分设置下甚至会增加冲突跟随率。这进一步证明，性能提升来自对故障回路的精准定位，而不是一般性的模型扰动。
刹车故障：证据不足时的合理拒答显著增加
表2：视觉证据退化条件下的刹车故障结果。UR 表示输出 unknown 的比例，O2U 表示由具体答案转为 unknown，U2O 表示原本正确拒答却被改成具体答案。
在 SLAKE 上，Hulu Med 4B 的合理拒答率从 37.88% 提升至 65.15%，增加 27.27 个百分点，同时 U2O 为 0.00%。在 HealMed VQA 上，Hulu Med 4B 的拒答率进一步达到 98.20%。
值得注意的是，这一提升在不同模型规模和架构上均保持一致，而随机干预的结果波动明显。例如，随机删除注意力头会使 InternVL3.5 4B 在 SLAKE 上的拒答率从 22.58% 降至 16.13%，而 CRAFT 则将其提升至 32.26%，并保持 U2O 为 0.00%。
消融实验：为什么必须同时考虑“有效”与“无损”？
表3：不同关键头筛选标准的对比。Dual 表示同时优化故障缓解和干净能力保持，是 CRAFT 的最终选择。
只按故障缓解能力筛选，会倾向于选中影响力很强但副作用同样明显的注意力头。例如，在 InternVL3.5 4B 的刹车故障中，仅使用 HR 可以获得 61.3% 的拒答率，但会带来 21.6% 的 U2O，意味着大量原本正确的拒答被破坏。
CRAFT 的双重标准把 U2O 降至 0.0%。类似地，在仲裁故障中，双重标准能够在保持显著 CFR 降幅的同时，把 C2W 控制在更低水平。
这一消融结果揭示了医疗 AI 安全干预中的关键原则：最强的行为修改不一定是最安全的修改。真正可靠的干预必须同时回答两个问题，即它能纠正多少错误，以及它会破坏多少原有能力。
内部机制验证：模型先发现冲突，再决定是否犯错
为了验证定位到的注意力头确实对应可解释的内部计算阶段，CRAFT 进一步使用时间探针和 Tuned Lens 分析模型逐层形成答案的过程。
时间探针揭示“检测→承诺”的两阶段结构
研究团队训练了两个逐层探针：
Probe A 判断模型是否已经检测到冲突或视觉证据退化 Probe B 判断模型是否即将进入对应失败模式
图5：时间探针结果。Probe A 对冲突的检测早于 Probe B 对失败行为的预测，说明模型内部存在“先发现异常，再决定是否跟随错误路径”的时间窗口。
在仲裁故障中，Probe A 在第 17 至 21 层附近已达到 0.97 以上的 AUROC，而 Probe B 在其后 3 至 5 层才达到峰值。换言之，模型其实已经“看见了冲突”，但仍可能在后续层中选择跟随错误文本。
干预仲裁关键头后，Probe A 基本保持不变，Probe B 则明显下降。这说明 CRAFT 没有抹掉模型识别冲突的能力，而是阻断了“从识别冲突到承诺错误答案”的内部转换。
Tuned Lens 追踪答案偏好的逐层反转
图6：Tuned Lens 逐层答案轨迹。冲突输入使模型的潜在答案偏好在关键层区间发生反转；经过 CRAFT 干预后，这一反转被明显抑制。
Tuned Lens 将每一层的隐藏状态投影到词表空间，使研究者能够观察模型在不同深度“更想回答什么”。实验显示，冲突条件下的答案偏好在第 18 至 25 层之间逐步反转，与因果追踪定位到的文本覆盖区间高度一致。
干预后，错误偏好的反转被抑制。因果干预、时间探针与 Tuned Lens 三类证据最终指向同一层区间，为“这些注意力头真正驱动故障”提供了相互印证的机制证据。
局限性与失败案例
图7：CRAFT 干预后的代表性失败案例。上方为复杂病因判断中的仲裁故障残留，下方为视觉证据严重缺失时仍未成功拒答的刹车故障。
CRAFT 并不能解决所有医疗推理错误。当问题要求更高层次的病因判断时，干预可以削弱错误文本路径，却不一定足以让正确病因跃升为最高概率答案；当关键解剖结构被大范围遮挡时，unknown 的概率虽然会上升，但仍可能低于某个错误的具体答案。
此外，当前实验仍存在四方面边界：模型规模主要覆盖 14B 及以下的开放权重模型；评测提示以英文为主；影像模态以胸片和眼底图像等单图输入为主；注意力头调节在所有 token 和解码步骤上静态应用，尚未根据输入风险动态启停。
未来可以引入轻量级冲突检测器，仅在高风险样本上激活干预，并将 CRAFT 扩展到多轮医学智能体、序列影像比较和结构化报告生成等更复杂场景。
写在最后：医疗 AI 安全需要从“拦截答案”走向“修正回路”
CRAFT 给出了一个值得关注的视角：医疗 VLM 的不同错误并不一定共享同一原因。被文本劫持和证据不足时过度自信，对应的是空间分离、功能不同的内部回路，因此也需要不同的定位标准与干预策略。
更重要的是，CRAFT 表明，提升模型安全性未必总要重新训练整个模型。通过因果追踪找到不足 1% 的故障关键头，再进行稀疏、模块化的推理时调节，就有可能显著改变危险行为，同时基本保留正常诊断能力。
这项工作把医疗多模态安全研究从“观察模型在哪里答错”，推进到了“解释模型为什么答错、由谁驱动错误，以及如何在内部阻断错误”。对于正在研究医疗视觉语言模型、机制可解释性与推理时安全干预的读者，CRAFT 提供了一套具有启发性的分析框架。
代码已在 github.com/zhcz328/CRAFT 开源。