多模态大模型已经能够准确识别图像中的物体、模仿特定艺术风格、感知画面情绪，甚至解答复杂的几何问题。
但在模型内部，认出一只“猫”和理解“正义”或“危险”，走的是同一套编码机制吗？为什么模型明明能“看懂”几何题里的辅助线关系，却依然算不出正确答案？
为了打开这一黑盒，来自上海交通大学、蚂蚁集团的研究人员提出了一套基于 Activation Steering 的因果探测框架，从被动观察转向主动因果干预，系统揭示了多模态大模型对不同视觉概念的编码方式，以及视觉感知与逻辑推理之间的断层。
论文标题：
Causal Probing for Internal Visual Representations in Multimodal Large Language Models
论文地址：
https://arxiv.org/abs/2605.05593
数据集地址：
https://huggingface.co/datasets/hehehahi4/Vis_diff
从“被动观察”到“主动因果干预”
要搞清楚模型内部如何编码视觉信息，研究团队将视觉概念划分为四个由具体到抽象的层级：实体、视觉风格、情感和抽象概念。
探测分为两步。
第一步是提取概念：准备一组包含目标概念和不包含该概念的成对图片（例如有猫和没猫的同一场景），对比模型在各层的内部激活差异，提取出代表该概念的方向向量。
第二步是注入干预：当模型处理新图片时，将提取出的概念向量按一定强度系数
α 加到指定网络层中，观察模型是否会被引导输出对应的概念内容。
实验覆盖了 Qwen2.5-VL、Qwen3-VL（8B/32B）、Gemma3（4B/27B）和 LLaVA-OneVision-1.5 等 6 个主流多模态模型，从引导成功率、语义相似度和内部概率增幅三个维度评估干预效果。
〓 因果探测框架示意：通过成对图像提取视觉概念向量并注入模型内部
实体集中储存，抽象概念广泛分布
向模型内部注入不同类别的视觉概念后，模型的反应呈现出明显的分化。
〓 不同模型在四类视觉概念上的引导效果对比。Peak 为跨层干预峰值，DUI 为分布均匀度指数
情感概念最容易被引导，在 Gemma3-4B 上的引导成功率最高达到 0.900；抽象概念则最难干预，在 Qwen3-VL-32B 上的成功率低至 0.160。
在存储方式上，实体知识与抽象概念走出了两条完全不同的路线：
实体高度集中在少数层：分布均匀度指数（DUI）平均仅为 0.071，单向干预就能引发 甚至 量级的内部概率增幅。说明具体物体在特定层中被封装成了独立的“键值对”，概念向量就像一个精准的检索开关。
抽象概念分散在整个网络中：平均 DUI 达到 0.429，内部概率增幅比实体低了 10 个数量级以上。复杂的抽象语义没有专属的强激活区，需要靠跨层级的逐步累积来表达。
这一差异也从内部机制解释了 Scaling Law 的作用。对比大小模型可以发现，模型变大后，实体、风格和情感的分布往往更紧凑，唯独抽象概念的分布跨度明显扩大（例如 Gemma3 从 0.307 升至 0.410）。
加深网络层数，并不是为了更好地记住简单物体，而是为了给复杂的抽象概念提供足够的渐进编码空间。
不同概念在哪一层被处理？
统计各类概念在模型各层达到最佳引导效果的样本数量，可以看到四类概念各自的层级特征：
实体呈双峰分布：中层峰值对应视觉感知阶段的物体识别，末层峰值对应生成前的信息汇总。
视觉风格全网均匀散布：在所有层持续发挥偏置调节作用。
情感集中在中间层：在中层计算阶段完成从视觉到文本情绪的映射。
抽象概念明显偏向深层和末层：需要在推理后期经过高层语义合成才能产生。
守卫要进化，先得解决数据问题，要回答的问题其实很朴素：防御能不能在拦住恶意动作的同时，不耽误正常干活？
〓 Gemma3-4B（上）与 Gemma3-27B（下）在四类概念上的最佳干预层分布（从左至右：实体、视觉风格、情感、抽象概念）
强行抹掉概念，内部激活反而暴涨
为了检验模型生成是否真正依赖这些内部表征，研究团队进行了反向干预实验：在推理时，直接从模型内部减去目标实体的概念向量。
结果显示，模型在回答中提到该物体的比例（Mention Rate）在深层大幅下降，说明抹除这一内部表征确实切断了从图像到文字输出的通路。
但与此同时，该实体词在模型深层的内部激活值（Logit Boost）不仅没有消失，反而异常飙升了 到 倍。
〓 反向减去概念向量后，目标实体提及率显著下降（左），但内部激活值反常激增（右）
这种反差源于模型内部的代偿机制。虽然主干流里的概念被人工抹除了，但图像编码器仍在通过交叉注意力不断输入画面特征。
面对“画面里有、内部表征里却找不到”的冲突，注意力机制试图分配极端权重来强行找回缺失的物体，从而引发了内部激活值的剧烈反弹。
看懂了辅助线，为什么还是不会做题？
既然抽象概念是模型的短板，那么在更复杂的视觉逻辑推理中，模型卡在了哪一步？
研究团队利用几何题数据集 GeoLaux，对比不含辅助线的原图与带辅助线的解答图，提取出“辅助线”概念向量，并注入到只看原图的模型中。
随后分别观察两类词的内部激活变化：描述几何状态的关系词（如“平行”、“垂直”），以及触发解题步骤的动作词（如“连接”、“延长”）。
〓 注入辅助线概念后，关系词激活大幅上升（左），而动作词激活停滞甚至下降（右）
实验发现，关系词的内部激活随着干预一路攀升至 量级，说明模型确实感知到了辅助线带来的几何关系；但动作词的激活却毫无起色，甚至出现下降。
模型只是把辅助线当成了静态的画面特征，没能将其转化为驱动解题步骤的操作指令。
这一断层直接反映在最终的几何题得分上：
〓 注入辅助线视觉概念前后，三款模型的几何题准确率与辅助线构造率对比
在 Qwen3-VL-32B、LLaVA-OneVision-1.5-8B 和 Gemma-3-27B 上，注入辅助线概念后，做题准确率最多仅微增 1.6 个百分点，模型显式构造辅助线的比例最高也只有 15.3%。
能够识别出画面中的几何关系，却无法触发对应的解题动作，这种“视觉感知”与“逻辑推理”之间的脱节，正是当前多模态大模型在复杂推理任务上面临的核心瓶颈。
更多阅读