在智能座舱与自动驾驶领域，理解驾驶员的意图、注意力分配以及接管准备状态，始终是人机交互与主动安全的核心问题。以往的驾驶员监控研究大多停留在动作分类与静态识别层面，即判断驾驶员“刚刚做了什么”；而对于人机共驾系统而言，更有价值的问题往往在于驾驶员“未来几秒内将要做什么”。
针对这一长期缺乏系统基准的研究空白，来自南佛罗里达大学、普渡大学、斯坦福大学与中佛罗里达大学的研究团队联合推出了 DriveMotion，旨在建立一个面向车舱真实约束的大规模、多源连续驾驶员动作时序建模与未来轨迹预测基准。DriveMotion 整合了 393 小时自然驾驶与真实场景视频，覆盖 360 位驾驶员，将车内 133 关键点动作序列提升至标准化的未来预测任务中。
背景与动机
从短片段分类到长时序动作预测
现有驾驶员行为理解数据集（如 Drive&Act、DMD、DAD、100-Driver 等）多将任务建模为短视频片段的动作识别或离散异常检测。这类设置在时序上被切分成独立片段，缺乏时间连续性，无法支持跨越数秒的轨迹外推与意图推断。另一方面，通用人体运动预测领域（如 Human3.6M、AMASS）虽然建立了成熟的时序预测协议，但其数据主要来自无遮挡的开阔室内动捕或车外行人，无法直接迁移到车内场景。
车内环境具有高度特殊性：驾驶员处于约束就座姿态，下半身完全隐蔽，方向盘、立柱与控制台造成严重自遮挡与环境遮挡；同时，不同车型的摄像头布置视角差异极大。
自然驾驶中的“静止假象”与评估陷阱
在真实的自然驾驶过程中，驾驶员绝大部分时间处于稳定的巡航驾驶状态，肢体位移极小。如果直接采用传统时序预测中常用的“均匀滑动窗口采样”进行评测，简单的“复制上一帧姿态（Zero-motion / Persistence）”基线就能取得极低的平均关节坐标误差。
这种均值主导的评估机制严重掩盖了模型在真正关键时刻的预测能力——例如变道前的侧头观察、接管前的双手抬起、转向时的手臂交叉等。为了解决这一评估失真问题，必须构建能够将“行为突变瞬间”与“常态平稳巡航”解耦的评估范式。
数据集构建与基准设计
三大互补数据源的统一表征
DriveMotion 并不依赖单一车队的固定硬件，而是通过整合三大异构数据源，兼顾了连续性、视角多样性与行为语义：
自然驾驶车队数据（BATON）：提供 301 位驾驶员、1,329 条路线、共 319 小时的长时连续自然驾驶数据，具备时间同步的车舱鱼眼视频、道路前视视频、设备端硬件对齐头姿以及高精度的控制器局域网络（Controller Area Network, CAN）总线信号。 野生网络视频语料（Web Corpus）：从 25 位内容创作者的 873 个车舱视频中经过严格质量漏斗筛选出 3,038 个连续片段（71.7 小时），补充了侧视、前视、后视等复杂视角以及 5 级可见度差异。 行为与情绪语义子集（AIDE）：将 2,898 个多视角车舱片段重新提取至统一规范，保留丰富的驾驶行为标签与情绪标注，用于表征迁移探针分析。
所有序列统一在 10 Hz 的时间网格上，构建标准化数据元组 ： 其中 为规范化躯干坐标系下的关键点坐标（采用 COCO-WholeBody 133 关键点布局，舱内有效的为身体 17 点、面部 68 点、双手 42 点共 127 点）； 为置信度； 为显式关节有效性掩码（被遮挡关节显式置 0，杜绝伪插值引入噪声）； 为头部姿态欧拉角； 为 CAN 总线信号（车速、转向角、油门、制动）。同时，所有对外发布的视觉序列均为经过匿名化渲染的骨骼运动视频，去除了人脸与外观纹理，严格保护个人隐私。
预测任务与评估协议
基准任务设定为：给定历史 8 秒（80 帧 @ 10 Hz）驾驶员动作观察序列，预测未来 4 秒（40 帧 @ 10 Hz）的关键点轨迹与头部姿态。模型可选输入 2 Hz 的前视道路场景冻结 ResNet-50 特征，但在推理阶段严禁接触任何未来信息及 CAN 信号。
针对自然驾驶的静止偏差，基准设计了两套互补协议：
动力学锚定评估协议（Dynamics-Anchored Protocol, Protocol A）：仅在离线阶段利用 CAN 信号检测出 76,026 次车辆机动事件（转向、变道、急刹、加减速），以此构建评估窗口：涵盖机动发生前后过渡的 Pre 窗口（ 秒）、机动发生后的 Post 窗口（），以及同路线车速匹配的 Stable 平稳控制组。数据统计证实：在 Pre 窗口中，驾驶员手臂运动幅度达到了同路线平稳巡航的 3.4倍。 观测偏移泛化协议（Protocol B）：在自然分布下测试模型从固定车队机位向多机位、多遮挡网络真实视频的域迁移表现。
核心度量指标
MPJPE@4s：未来 4 秒预测帧在 23 个跨机位稳定点（头部、面部轮廓、双肩、双髋）上的平均每关节位置误差（Mean Per Joint Position Error, MPJPE），单位为肩宽的 。 Part-State F1@2s：为克服单纯坐标平滑带来的虚假低误差，将未来 2 秒内头部、躯干、左右手四个部位的最大运动幅度离散化为 still（静止）、small（微动）、large（大幅运动）三分类状态，评估其部位动作状态评分（Part-State F1）的宏平均值。Freeze Rate（静止率）：未来预测净位移低于阈值的样本占比，真实数据基准值为 0.057，用于监控预测轨迹是否发生均值塌缩。
实验与结果分析
研究团队系统评估了包括规则基线（Zero-motion, Constant-velocity）、时序循环网络（GRU）、多层感知机（siMLPe）、序列 Transformer（Base / L / XL）、生成式模型（CVAE, DDPM）、离散动作 Token 语言模型（AR-LM, Llama-3B）以及世界模型衍生框架（JEPA, Driver-WM）在内的全套技术范式。
1. 动力学锚定下的真实时序增益
在传统均匀采样的自然分布中，最佳学习模型相比静态复制基线仅有 12% 的微弱几何误差改善；而在 Protocol A 的动力学锚定测试集上，学习类模型相比静态基线展现出显著优势：
几何误差显著降低：Transformer-XL 将宏平均 MPJPE@4s 从静态基线的 7.75 降低至 6.62，相对误差缩减达 14.6%。 活跃运动区间优势放大：若按地面真值位移分位数划分，在活跃运动的四分位区间（Active quartile）上，Transformer 对静态基线的绝对领先幅度从全量集的 1.20 扩大到 2.46（从 19.91 降至 17.45）。
2. 机动丰富化训练激活行为状态感知
在训练过程中按约 48% 的比例混入机动锚定窗口（Enriched Training），不仅没有显著牺牲坐标精度（MPJPE 为 6.95 vs 6.75），反而使 Transformer 的 Part-State F1 从 0.215 提升至 0.309，相对增益达 44%。这表明让模型在训练期多接触机动转折，能够有效打破模型倾向于预测静止的“平滑惰性”。
3. 多源全语料训练实现跨视角鲁棒泛化
跨域迁移实验（Protocol B）表明，单一固定视角的模型在面对未见过的拍摄机位时非常脆弱：仅在 BATON 上训练的 Transformer，在面对 Web 测试集的不同拍摄视角时，误差飙升至 19.68，甚至大幅劣于静态基线（13.59）。
而在融合了 Web 语料的全集上训练后，Web 测试集的误差骤降至 12.18，相对降低了 38%，并在正前方这一挑战性视角上将误差从 24.0 压低至 15.4。
4. 几何精度与行为离散判别的脱节
实验揭示了一个耐人寻味的技术现象：回归模型的坐标最优解并不等于行为状态的最优解。 基于量化动作 Token 的离散自回归语言模型（Motion-token AR-LM 与 Llama-3B）在连续坐标误差上表现欠佳（MPJPE 超过 8.1），但其在 Part-State F1 上却达到了 0.458 的全榜最高水平。
如图 7 所示，连续回归模型由于 L1/L2 损失的内在均值回归特性，在长时预测中往往不敢对大幅度手臂抬起做出明确决策（出现低估现象）；而离散 Token 模型与扩散模型（DDPM）虽然局部抖动较大，却敢于生成大幅度的肢体运动轨迹。
基于此，研究团队设计了一项后处理诊断实验：在不改变轨迹坐标的前提下，仅对各部位的位移幅度执行单调重校准（Amplitude Recalibration）。结果显示，Transformer-L 的 Part-State F1 从 0.287 激增至 0.517（提升 0.230）。这证实了连续编码器内部已经隐式捕获了驾驶员即将动作的意图顺序（其序数排序 AUC 高达 0.7–0.85），性能损失主要发生在连续解码器向确定性坐标映射时的幅度欠估计。
5. 关键失效模式与诊断洞见
附录中的大量诊断实验为后续算法设计提供了参考防坑指南：
常速度假设崩溃：在姿态预测中直接外推瞬时速度（Constant-velocity）会导致误差暴增 7 倍（MPJPE 达 53.59），原因是逐帧关键点估计的微小高频抖动在 40 帧长时累积后被积分放大。 短时世界模型在长时域定点收敛：将面向 1.5 秒时域设计的 Driver-WM 闭环隐空间推演拓展到 4 秒时，隐状态会迅速衰减并收敛至固定点，难以应对长时多模态发散。 姿态对变道预警的天然物理上限：意图探针（P-intent）显示，仅凭 8 秒姿态对左转（AUPRC 提升 2.8 倍）和急刹（提升 2.9 倍）具有极强预判力；但变道前兆与随机概率差异极小，表明变道等轻微动作若无车外道路语义与眼动凝视线索，仅凭骨骼无法单独推断。
写在最后
DriveMotion 的核心价值不仅在于提供了一个 393 小时、兼顾长时连续性与多视角遮挡的多源数据集，更在于其指出了车内动作建模中容易被忽视的“静止偏差”与“评估失效”问题。通过 CAN 信号驱动的离线动力学锚定机制，研究人员得以在具有明确意图前兆的窗口中客观评估模型的未来预判能力。
实验结果清晰地表明，当前时序预测模型的核心瓶颈不再是单纯扩展模型参数量（45M 参数已接近饱和），而在于如何解决时序回归解码器在连续坐标平滑与动作幅度表达之间的结构性矛盾。随着代码、处理脚本以及全套基准评测工具的开源，该工作有望推动驾驶员行为理解由被动的“事后监测”真正跨入前瞻性的“事前预判”。
论文标题: DriveMotion: A Large-Scale Multi-Source Benchmark for Driver Motion Sequence Modeling and Forecasting 机构: 南佛罗里达大学、普渡大学、斯坦福大学、中佛罗里达大学 论文地址: https://arxiv.org/abs/2609.08117 项目主页: https://wangyuhang-cmd.github.io/drivemotion/ 数据集与基准: https://huggingface.co/datasets/HenryYHW/DriveMotion