NeurIPS 2026 | UniverSat：适配任意分辨率与模态的遥感Transformer

转载自：遥感与深度学习

题目：UniverSat: Resolution- and Modality-Agnostic Transformers for Earth Observation

论文：https://arxiv.org/abs/2606.23503

会议：The 40th Conference on Neural Information Processing Systems (NeurIPS 2026)

数据：训练数据均为公开数据集（FLAIR-Hub、PASTIS-HD、TSAI-TS、Planted、S2NAIP-Urban、HyperGlobal、EarthView 等）

代码：https://github.com/gastruc/UniverSat

年份：2026

单位：LIGM（法国国立路桥学校、巴黎综合理工学院、古斯塔夫·埃菲尔大学、CNRS）、LASTIG（古斯塔夫·埃菲尔大学、IGN、国立地理科学学校）、IGN、CNES、法国远东学院（EFEO）

创新点

• 提出通用patch编码器（UPE），用线性复杂度的轴向交叉注意力，将任意空间、光谱、时间分辨率及光学/非光学传感器的patch映射到共享嵌入空间，且共用一套权重。
• 单一模型在推理时无需输入重采样或通道筛选即可处理多种模态组合与任意分辨率，并能泛化到训练中未见过的传感器配置。
• 输出特征图分辨率可在推理时自由指定，并通过子patch跳跃连接保留细粒度空间细节。
• 提出适配异构多模态地球观测数据的自监督训练框架，结合跨模态对比与潜在多模态掩码建模（LM3）。

背景

视觉Transformer（ViT）凭借其通用性与对自监督学习的良好兼容性，已成为视觉表征学习的主流骨干，并被广泛应用于地球观测（EO）。然而EO远不止"视觉"那么简单：它涉及高度异构的模态（光学、雷达、激光雷达、高程），跨越从几公顷到上百平方公里的尺度，并在空间（厘米至千米）、时间（单次采集到密集时序）和光谱（1至数百波段）三个维度上分辨率差异巨大。

多数EO基础模型只是对ViT做最小改动，隐式地固定了波段数、时间采样和patch尺寸。当输入局限于少数常见模态（如Sentinel或航空RGB）时这种设计尚可，但在实际中实践者常需融合像元尺寸、光谱时间密度和空间范围差异巨大的传感器，此时固定架构变得受限，往往需要激进的重采样、波段选择/聚合或针对特定模态的处理。作者认为这种源自固定patch投影器的刚性限制了EO基础模型的通用性，因此提出用通用patch编码器替代固定投影器。

数据

模型在由七个异构数据集组成的复合语料上联合训练，覆盖13个传感器、四种模态（光学、高光谱、雷达、高程），空间分辨率0.1–300 m、时间深度1–150个时间戳、光谱通道1–396个。

训练数据集

光学与高分辨率影像

FLAIR-Hub（航空甚高分辨率、SPOT、Sentinel-1/2、DSM等，土地覆盖分割）、TSAI-TS（航空与Sentinel时序，树种分类）、S2NAIP-Urban（NAIP、Landsat、Sentinel，土地覆盖分割）、EarthView的NEON子集（超高分辨率航空RGB与高程）。

多模态时序

PASTIS-HD（SPOT6/7、Sentinel-1/2时序，作物类型分割，其中fold 1被排除用于基准测试）、Planted（Sentinel、Landsat-7、ALOS-2、MODIS多卫星时序，树种分类）。

高光谱

HyperGlobal（GaoFen-5与EO-1高光谱影像，最多175波段）。

评测基准

在来自GeoBench、PangaeaBench和SpectralEarth的16个数据集上评测，覆盖分类与语义分割任务，并包含训练中未见过的传感器配置（如单时相Sentinel、合成传感器HLS、EnMAP高光谱）。

方法

通用patch编码器（UPE）

原子化格式

将任意传感器的patch（通道×时间×空间）拆解为"原子令牌"——每个原子对应一个像元、一个波段、一个时间戳的标量值，并通过可学习傅里叶特征将标量提升为高维嵌入。

轴向交叉注意力（ACA）

直接对所有原子做自注意力代价过高，因此每次只沿一个轴聚合：模块沿目标轴进行池化生成查询，对该轴所有元素计算键值并做交叉注意力，再经前馈网络输出，从而保证关于原子令牌数量的线性复杂度。在注意力前注入与轴相关的元数据编码（波长、极化、时间、按GSD缩放的位置编码），使模块同时具备模态感知和几何感知能力。

顺序维度坍缩

按固定顺序依次坍缩像元、通道、时间、子patch维度，逐步缩减张量同时扩大特征维度，最终产生一个全局patch嵌入和一组子patch嵌入（后者用于高分辨率跳跃连接）。

UNIVERSAT 架构

patch级模态融合

对每个patch的各模态嵌入沿模态轴堆叠，再用ACA坍缩模态维度，得到单一的多模态patch嵌入，单次前向即可完成融合。

空间Transformer与任意分辨率预测

多模态patch嵌入经多个门控Transformer块（采用按patch尺寸缩放的RoPE位置编码与寄存器令牌）精炼；随后可指定目标GSD，通过双线性插值重采样到目标网格，并让每个目标令牌交叉注意所有子patch嵌入以恢复细粒度空间细节。

自监督训练

尺度增强与掩码

对每个图块采样输入patch尺寸和目标输出分辨率，并施加组合式掩码算子，丢弃模态、时间戳、通道和patch，约90%的输入原子被移除，以鼓励对模态、时间采样、光谱密度和空间尺度的不变性。

训练目标

结合两部分：对可见patch的UPE嵌入施加批级多正样本跨模态对比损失，以促使模态不变表征；以及潜在多模态掩码建模（LM3），用冻结的随机投影定义目标空间，通过预测器在选定时间戳上重建被掩码patch的表征。由于目标为随机投影且模态专用预测头仅在预训练时使用，模型本身保持模态无关并避免坍缩。

结果与分析

在分类、语义分割与高光谱等多类基准上，UNIVERSAT在远比对比方法更通用的前提下仍保持竞争力，并在部分数据集上达到领先水平。消融实验表明UPE、跳跃连接、可控输出分辨率与对比损失等关键设计均对性能有正向贡献。