顶刊TPAMI 2026！阿里云/中科大/复旦提出SPIDER：多模态大模型加速神器

近日，由阿里云终端智能计算事业部、中国科学技术大学、复旦大学NLP团队等单位研究者合作完成的论文 SPIDER: Multi-Layer Semantic Token Pruning and Adaptive Sub-Layer Skipping in Multimodal Large Language Models 获 IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI）2026 录用。

这项工作面向多模态大模型的推理效率，提出了一套无需更新模型权重的加速框架：在视觉端，结合中层与深层语义，更有针对性地保留视觉Token；在语言解码端，根据Token状态与子层贡献，自适应跳过冗余计算。

在论文报告的 LLaVA-NeXT-7B 实验中，SPIDER将计算量从 42.7 TFLOPs降低至9.0 TFLOPs，即减少约 79%，同时保留 96.09% 的跨基准归一化性能。进一步在Qwen系列模型上的实验，也展示了这一思路跨模型架构的适用性。

01｜多模态大模型的效率瓶颈，不只在“视觉Token太多”

多模态大模型需要把图像转换成视觉Token，再与文本一起送入语言模型。随着输入分辨率提升，视觉序列会迅速变长。

以论文中的评测设置为例，LLaVA-1.5-7B使用576个视觉Token，而高分辨率的LLaVA-NeXT-7B会产生2,880个视觉Token，数量增加到前者的5倍。

但“Token多”只是问题的一半。

第一类是数据冗余。图像中可能存在大量重复纹理、相似背景和语义近似的区域，没有必要让所有视觉Token都进入后续解码。

第二类是计算冗余。即使已经保留了更少的Token，也不意味着每个Token都需要在每一层的Attention与前馈网络（FFN）中继续接受同等强度的更新。

因此，只做视觉Token剪枝，可能留下解码器中的重复计算；直接跳过整个解码器块，又可能把仍然重要的更新一起省掉。

SPIDER围绕一个统一视角展开：

这也是论文将多层语义剪枝与自适应子层跳过放在同一框架中的出发点。

02｜两个关键观察：最后一层不一定保留最多细节，整个解码器块也不是同等重要

观察一：视觉编码器的中间层，保留了值得保护的目标细节

不少Token剪枝方法依据视觉编码器最后一层的特征或注意力评估重要性。但SPIDER的分析指出：不同层关注的语义并不相同。

深层特征更擅长表达整体场景与抽象语义；中间层则往往保留更丰富的目标局部信息。对于计数、定位、细粒度识别等任务，后者不应该在压缩时被忽略。

研究团队在100张采样评测图像上，统计了CLIP视觉编码器中注意力最高的25% Token对关键目标区域的覆盖情况：

数据来源：论文第III-A节与图1。

结果呈现出清晰的中层峰值。这提示我们：用于剪枝的重要性判断，不应只从最深层寻找答案。

图1｜中层视觉特征能够补充深层特征中被弱化的目标细节。紫色标记为各层注意力最高的25% Token。图片来源：原论文图1，第2页。

观察二：Attention和FFN，对视觉Token的贡献存在差异

语言模型的一个解码器块通常包含Attention和FFN。如果只以整个块为单位进行跳过，就难以利用二者贡献的差异。

SPIDER引入子层贡献分数SLC（Sub-Layer Contribution）：分别尝试让视觉Token绕过某层的Attention或FFN，再用KL散度衡量输出分布相对原模型的变化。

直观来说，绕过某个子层后，输出变化越小，该子层对当前评估对象的贡献就越低，也越值得被考虑为跳过目标。

论文观察到，Attention与FFN的贡献分布并不一致；在所分析的模型与设置中，视觉Token的Attention更新通常表现出更多冗余。同时，不同评测集上的绝对SLC数值虽有变化，但低贡献子层的排序具有较高一致性，为离线分析提供了依据。

这一发现把加速粒度从“跳过整层”推进到了：针对不同视觉Token，决定跳过哪个子层。

03｜SPIDER如何工作：先保留关键视觉信息，再减少重复更新

SPIDER包含两个紧密衔接的机制：

MSV-Prune：多层语义视觉Token剪枝。决定哪些视觉Token进入解码器。

ASL-Skip：自适应子层跳过。决定保留下来的Token，在后续哪些计算中可以不再更新。

图2｜SPIDER先利用视觉编码器中层与深层特征进行Token选择，再对保留Token执行自适应子层跳过。图片来源：原论文图4，第6页。

3.1 MSV-Prune：保住显著目标，也保住互补语义

MSV-Prune把保留的视觉Token分成两部分：锚点Token与补充Token。

锚点Token负责保留显著信息。方法首先依据视觉编码器的注意力分数排序，在给定预算下选出一组重要Token。对于带有[CLS] Token的编码器，使用对应注意力；对于不带[CLS]的编码器，则使用各Patch接收到的平均注意力。

补充Token负责避免“只看显著区域”。如果只保留高注意力Token，一些不够显眼、但对场景理解有用的背景或小目标可能被遗漏。SPIDER因此对剩余Token的深层特征进行语义聚类，并为不同语义簇分配保留配额。

随后，在每个簇内，同时考虑中层和深层特征的相似性，以及与已选锚点的相似性，优先保留冗余较低、能够提供互补信息的Token。

可以把这一过程理解为：

最终，两组Token按照原始空间索引顺序组合，送入后续解码器。中层特征在这里提供的是更丰富的选择依据，而不是让模型简单地多接收一整套视觉输入。

3.2 ASL-Skip：逐Token决定“是否跳、何时跳、跳哪一部分”

剪枝之后，剩余Token仍然存在不同程度的计算需求。ASL-Skip为此结合了在线Token信号和离线子层分析。

在线信号判断Token是否还需要继续更新。方法使用两个量：一是将隐藏状态投影到词表空间后得到的语义熵，作为语义不确定性的指标；二是视觉Token与文本上下文之间的相关性。

在该策略中，语义熵较低、与文本相关性也较弱的Token，会获得更高的可跳过分数：

可跳过分数 = max(0, 1 − 归一化语义熵 − 归一化图文相关性)

离线SLC分析判断更适合跳过Attention还是FFN。论文从GQA、MMVet、POPE中各采样50个案例，共150个案例，对子层贡献进行离线评估。Attention与FFN的SLC分别归一化，避免二者原始量级差异掩盖逐层的选择空间。

累积机制决定何时进入跳过模式。在解码器前半段，方法逐层累积在线与离线信号；当某个Token的累积分数达到阈值时，它进入跳过模式。该Token在进入时确定要绕过的子层类型，并在后续层保持这一选择。不同Token可以在不同层进入跳过模式，也可以选择不同的子层类型。

这里的“跳过”，并不等于把视觉证据全部删掉：

文本Token仍按相应正常路径处理。

图3｜从整块跳过走向子层级控制：左侧为VSkip-Attn，中间为标准解码器块，右侧为VSkip-FFN。图片来源：原论文图2，第3页。

因此，SPIDER的“免训练”是无需更新模型权重，而不是没有分析和配置成本。离线SLC分析、在线分数计算和预算设置，都是框架的一部分。

04｜实验结果：大幅压缩计算，保留主要理解能力

4.1 LLaVA-NeXT-7B：约21%的计算量，保留96.09%的相对性能

论文在LLaVA系列上采用VQAv2、GQA、MMStar、MME、MMB、POPE、MMVet、TextVQA和DocVQA等九个基准，覆盖视觉识别、推理、文字理解、文档理解与幻觉评测。

在LLaVA-NeXT-7B的约20%—25%原始计算量设置下，主要结果如下：

数据来源：论文表I。不同方法的计算量近似匹配，并非完全相同。

在该设置下，SPIDER保留710个视觉Token，并进一步减少部分保留Token的子层计算。从42.7 TFLOPs降至9.0 TFLOPs，计算量减少约79%，同时保留了九个基准上的大部分综合表现。

如果采用更温和的压缩，SPIDER在LLaVA-NeXT-7B上使用约51%的原始计算量，可保留99.11%的归一化性能。在LLaVA-1.5-7B上，保留约56%和26%的原始计算量时，对应性能保留率分别为99.87%和96.73%。

论文中的综合性能保留率采用相对指标：先计算各基准相对于原模型的得分比例，再对这些比例取平均。

4.2 跨模型实验：从LLaVA扩展到Qwen系列

SPIDER还在Qwen2.5-VL-3B-Instruct与Qwen3-VL-8B-Instruct上进行了验证：

数据来源：论文表IV、表V。

在Qwen3-VL上，论文进一步与PruneSID、IVC-Prune、iLLaVA、ERASE等方法比较。SPIDER与近期强方法在相近计算量下的综合表现总体相当，并在表中两个计算档位的ChartQA和DocVQA项目取得最高得分。

例如，在约45%原始计算量下，SPIDER与ERASE的归一化性能分别为98.33%和98.25%。论文采用固定随机种子的确定性解码，并将约0.3个百分点以内的差异视为基本持平。

这说明，多层语义选择与子层级计算控制能够跨不同模型架构工作，在不同模型家族上保持稳定的效率—性能折中。

4.3 两个组件，各自带来了什么？

单独考察MSV-Prune时，在LLaVA-NeXT-7B上把视觉Token从2,880个压缩到320个，即减少88.9%的视觉Token，仍保留GQA、TextVQA、POPE三个基准上95.93%的平均相对表现；进一步保留160个Token时，该指标为89.45%。（论文表II）

单独考察ASL-Skip时，在不剪除视觉Token的条件下，LLaVA-1.5-7B使用约80%的原始计算量，保留MMStar、TextVQA、MME三个基准上99.81%的平均相对表现。（论文表III）

前者说明，多层语义能够帮助选择更紧凑的视觉输入；后者说明，即便不减少Token数量，视觉Token的子层更新中也有可利用的冗余。二者对应的是同一推理链路中的不同计算环节。

图4｜论文展示了冲浪场景与猫的外观描述案例。MSV-Prune保留语义相关区域，ASL-Skip在解码过程中减少部分Token的重复更新。图中的比例是可视化设置，不代表所有任务都能在相同比例下无损运行。图片来源：原论文图7，第10页。

05｜真实速度如何？FLOPs之外，还要看预填充和解码

计算量下降能够带来多少实际加速，还需要结合执行方式与硬件瓶颈来看。

论文在LLaVA-1.5-7B上报告了不同视觉Token数量下的效率结果：

数据来源：论文第V-D节与图8。该实验属于LLaVA-1.5-7B的Token数量设置，不是前述LLaVA-NeXT-7B的79% FLOPs压缩配置。

从576个Token减少到128个Token时，Prefill延迟下降28.5%，Decode延迟下降10.8%，吞吐量也有所提高。

图5｜预填充阶段的收益更明显，解码阶段的实际加速幅度相对较小。图片来源：原论文图8，第10页。

为什么两个阶段的收益不同？

预填充需要处理整段输入，视觉序列缩短能够直接减少相应计算；自回归解码则逐Token生成，更容易受到KV缓存访问与内存带宽的约束。

此外，ASL-Skip引入的是随输入变化的Token级不规则稀疏，普通稠密GPU算子并不能完整释放这部分潜力。论文因此把Token重组与稀疏算子支持，列为进一步提升实际解码速度的方向。

从实测结果看，SPIDER在降低计算量的同时，也带来了明显的Prefill与Decode时延下降。

06｜消融与稳定性：关键不是“剪得更多”，而是“依据是否合适”

论文从多层特征、语义聚类、锚点比例、跳过分数和累积方式等角度进行了消融。

中层特征带来的补充具有实际作用。在LLaVA-NeXT-7B保留1,920个Token的MSV-Prune实验中，去掉中层特征后，TextVQA从59.7降至58.5，三个基准的归一化汇总表现从100.64%降至99.13%。语义聚类和与锚点的相似性约束，也共同影响最终结果。（论文表VII）

显著性与互补性需要平衡。在论文的锚点比例实验中，只用补充Token或全部使用锚点Token，都不如二者结合；默认锚点占比0.7在该设置中取得更好的综合表现。（论文表IX）

跳过决策需要逐层积累，而不是只看一次瞬时分数。ASL-Skip的消融显示，在线Token信号、离线子层贡献和累积机制都对结果有贡献。（论文表VIII）

研究也检查了配置的稳定性：在论文的中层位置扫描范围内，LLaVA相关指标波动小于0.5分，Qwen3-VL相关指标波动小于0.3分；在Token剪枝后重新计算SLC策略，汇总表现相对原离线策略仅变化约+0.01或−0.02个百分点。（论文图11、表XI）

这些结果支持一种更实用的设计思路：不是为每张图从头寻找复杂的最优策略，而是利用相对稳定的架构冗余规律，再结合输入相关的Token状态进行细粒度控制。

论文还提供了可选的训练增强实验：在表VI的特定设置下，免训练SPIDER已达到99.0%的相对性能；增加LoRA微调后进一步达到99.5%。这属于额外增强模式，不是核心免训练方法的前提。

07｜面向终端智能：减少算力浪费，也保留对能力边界的认识

对于关注响应速度与计算成本的多模态应用，SPIDER提供了一条值得关注的技术路线：不以重新训练为前提，而是重新分配已有模型中视觉信息的保留与计算预算。

这也是阿里云终端智能计算事业部与中国科学技术大学、复旦大学等单位此次合作成果的一个重要看点：研究从视觉表示和解码器内部机制出发，将“数据该保留多少”与“计算该执行多少”放到同一推理链路中考虑。

论文也给出了两个典型失败案例：运动模糊条件下的车牌字符可能在剪枝过程中丢失，而胸部X光图像中的关键异常区域可能因子层跳过而更新不足。（论文图12与第V-K节）这些案例进一步指向了下一步方向：面向任务的重要区域保护、领域先验，以及更适配稀疏执行的硬件与算子设计。

结语｜让模型“看得更精”，也“算得更省”

SPIDER的核心不只是减少视觉Token数量，而是重新审视一条更完整的链路：

从LLaVA到Qwen系列，从计算量压缩到实际时延分析，这项工作展示了免训练多模态推理加速的一种细粒度路径：不把所有视觉信息等量处理，也不把所有子层计算一概视为必要。

在保留关键语义的同时减少重复计算，是SPIDER对多模态大模型效率问题给出的回答。

论文信息

论文题目：SPIDER: Multi-Layer Semantic Token Pruning and Adaptive Sub-Layer Skipping in Multimodal Large Language Models

中文题目（译）：SPIDER：多模态大语言模型中的多层语义Token剪枝与自适应子层跳过

录用期刊：IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI），2026

合作单位：阿里云终端智能计算事业部、中国科学技术大学、复旦大学；论文作者团队还包括阿里ATH及Maynooth University的研究者。

作者：Tianxiang Chen, Zhentao Tan, Zi Ye, Yue Wu, Xiaobing Tu, Jinkui Ren, Xiantao Zhang, Tao Gong, Qi Chu, Nenghai Yu, Xipeng Qiu, Jieping Ye

论文链接：https://ieeexplore.ieee.org/abstract/document/11694363/

第一作者简介

Tianxiang Chen（陈天翔），2026年获得中国科学技术大学网络空间安全学院博士学位。现任阿里云算法专家，并在复旦大学—阿里云联合产业博士后项目从事博士后研究，以第一作者身份发表十余篇CCF-A类和中科院一区IEEE汇刊论文，曾获中国科学院院长特别奖。研究方向包括 Agentic RL、LLM、MLLM 与 Medical AI。

个人主页：https://txchen-ustc.github.io/

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看