近日，华南理工大学、澳门大学、中南大学与韩国科学技术院（KAIST）合作完成的研究论文 《Driver Attention as Competitive Allocation: A Scene–Task-Aware Dual-Branch Framework》 被人工智能与机器学习领域国际顶级学术会议 NeurIPS 2026（Main Track） 录用。

该研究面向真实驾驶环境中的驾驶员视觉注意力预测问题，提出了一种场景–任务感知的双分支竞争式注意力分配框架，为可解释驾驶员监测与智能驾驶研究提供了新的思路。

会议介绍

NeurIPS（Conference on Neural Information Processing Systems）是人工智能与机器学习领域最具影响力的国际学术会议之一，与 ICML、ICLR 并称为机器学习领域三大顶级会议，被中国计算机学会（CCF）列为 A 类国际学术会议。

NeurIPS 2026 将于 2026 年 12 月 6 日至 12 日在澳大利亚悉尼举办，并在美国亚特兰大和法国巴黎设置卫星会场。

本届 NeurIPS Main Track 共收到 30,709 篇有效投稿，最终录用 7,900 篇论文，整体录用率约为 25.7%，竞争十分激烈。

会议举办地：澳大利亚悉尼、美国亚特兰大、法国巴黎

1. 一句话总结

2. 论文信息

论文标题：

Driver Attention as Competitive Allocation: A Scene–Task-Aware Dual-Branch Framework

作者：

Qianfang Wang, Bin Rao, Pengpeng Xu†, Tiantian Chen

†为通讯作者

作者单位：

• 华南理工大学
• 澳门大学
• 中南大学
• 韩国科学技术院（KAIST）

论文链接：

https://www.researchgate.net/publication/414884489_Driver_attention_as_competitive_allocation_A_scene-task-aware_dual-branch_framework

3. 论文摘要

驾驶员注意力预测是驾驶员状态监测、交通风险预警和类人智能驾驶的重要基础。然而，现有方法通常将驾驶员注意力预测视为从驾驶场景到注意力热力图的直接回归任务，难以揭示复杂驾驶环境中注意力资源的动态分配机制。

针对这一问题，本文提出了一种场景–任务感知的竞争式注意力分配框架，将驾驶员注意力建模为视觉显著性与驾驶任务效用之间的动态竞争结果。通过自适应专家乘积（APoE）机制，模型能够根据场景–任务需求调整注意力的空间优先级，并利用驾驶控制紧迫度调节注意力分布的集中程度。同时，引入竞争感知对比学习，提高模型对任务关键区域与视觉显著干扰区域的辨别能力。

在 DR(eye)VE 和 BDD-A 两个公开数据集上的实验表明，该方法取得了具有竞争力的预测性能，并通过理论分析与实验验证展示了其可解释的注意力分配行为。

4. 主要创新之处

创新一：竞争式注意力分配建模

突破传统的场景到热力图直接回归范式，将驾驶员注意力预测重新表述为视觉显著性与驾驶任务效用之间的竞争分配问题，并从熵正则化优化出发，推导得到具有明确概率解释的注意力分配规则。

创新二：场景–任务需求与控制紧迫度动态调节

提出自适应专家乘积（APoE）机制，通过场景–任务需求动态调节视觉显著性与任务效用的相对贡献，并根据驾驶控制紧迫度调整注意力的空间集中程度。

创新三：竞争感知对比学习与机制可解释性

针对视觉显著但与当前驾驶任务不一致的干扰区域，提出竞争感知对比学习策略，增强模型对任务关键区域的辨别能力。通过优先级反转（Priority Inversion）与熵收缩（Entropy Contraction）分析，为理解模型的动态注意力分配行为提供理论依据。

5. 研究背景与方法介绍

5.1 驾驶员注意力预测面临的问题

在复杂驾驶环境中，驾驶员需要持续关注道路结构、交通参与者及潜在危险区域，并根据当前驾驶任务动态调整视觉注意力。

然而，一个关键问题是：

例如，在夜间转弯场景中，路侧灯光和广告牌可能具有较强的视觉吸引力，但驾驶员真正需要关注的往往是转弯路径、道路边界及潜在冲突区域。

因此，本文从有限注意力资源的竞争分配视角出发，探索视觉显著性、驾驶任务需求与车辆控制状态之间的动态关系。

5.2 双分支竞争式注意力分配框架

针对上述问题，作者提出：

场景–任务感知的竞争式注意力分配框架

图1 场景–任务感知的双分支竞争式注意力分配框架

该框架主要包含三个核心设计。

① Bottom-up / Top-down 双分支建模

通过 Bottom-up 分支学习道路场景中的视觉显著性，通过 Top-down 分支融合场景语义和车辆状态，学习与当前驾驶行为相关的场景–任务效用。

两类信息相互补充，为最终注意力分配提供依据。

② APoE 自适应竞争分配

不同于简单的注意力图相加，APoE 根据场景–任务需求动态调整两个分支的相对贡献，同时根据预测控制紧迫度调节注意力分布的集中程度。

通过这种方式，模型能够在视觉显著区域与任务关键区域发生冲突时，动态调整注意力分配。

③ 竞争感知对比学习

利用真实注意力区域与视觉显著干扰区域构建对比学习任务，并结合离线显著性信息和在线双分支预测差异，加强对任务关键区域的特征辨别能力。

用一句话概括本文方法：

6. 实验结果

6.1 定量性能比较

本文在两个公开驾驶员注意力预测基准数据集 DR(eye)VE 和 BDD-A 上进行了系统验证，并与多种代表性方法进行比较。

表1 本文方法与现有驾驶员注意力预测方法的性能比较

在 DR(eye)VE 数据集上，本文方法取得 0.98 KLD 和 4.15 NSS，两项指标均达到对比方法中的最优水平。

在 BDD-A 数据集上，取得 0.67 CC 和 0.54 SIM，同样在两项指标上取得最优结果。

此外，在车辆横向或纵向控制变化的场景中，竞争分配机制表现出更加明显的优势。

• KLD 从 1.97 降低至 1.79；
• NSS 从 2.10 提升至 2.54。

6.2 注意力分配可解释性

除预测精度外，本文还通过理论分析和诊断实验，研究注意力分配的动态变化规律。

表2 紧迫度-注意力熵诊断

图2 场景–任务需求与注意力优先级反转分析

进一步地，论文展示了一个典型的夜间转弯场景。

图3 夜间转弯场景下的动态注意力分配可视化

可以观察到，Bottom-up 分支仍然对场景中的高亮结构保持较强响应，而 Top-down 分支则更加关注与转弯路径相关的道路区域。 经过 APoE 竞争分配后，最终预测更加突出当前驾驶任务相关区域，呈现出从视觉显著性向驾驶任务相关性的动态注意力转移。

6.3 消融实验

表2 双分支、APoE 融合与竞争感知对比学习的消融实验

表3 语义分割图及辅助负样本挖掘模型消融

综合组件、输入模态及辅助模型的消融实验，发现：

1. 核心模块与场景信息均发挥重要作用。 双分支建模、APoE 自适应竞争分配与竞争感知对比学习均能有效提升预测性能，场景语义和车辆状态也为注意力预测提供了互补信息。

2. 模型对辅助显著性算法的依赖较低。 使用传统 Spectral Residual 替代 UNISAL 后，两个数据集的 KLD 均仅增加 0.02，表明该框架不依赖于特定的辅助显著性模型。

7. 总结与展望

本文提出了一种场景–任务感知的双分支竞争式驾驶员注意力预测框架，将传统的注意力热力图回归重新表述为视觉显著性与驾驶任务效用之间的动态竞争分配问题。

通过 APoE 竞争分配机制和竞争感知对比学习，模型在 DR(eye)VE 和 BDD-A 两个公开数据集上取得了具有竞争力的预测性能，同时为注意力分配变化和空间集中程度提供了可解释的理论分析。

论文标题： Driver Attention as Competitive Allocation: A Scene–Task-Aware Dual-Branch Framework

发表会议： The 40th Annual Conference on Neural Information Processing Systems (NeurIPS 2026), Main Track

资助项目： 国家重点研发计划（2025YFB2505905）