AI科技评论公众号文章2026-10-14

康奈尔大学Steven Waslander：从「堆数据」到「用记忆」，拆解 Agentic 仓库机器人的长期记忆难题 | IROS 2026

机器人需要的不是更多数据，而是在对的时间、回忆起对的那条信息。

未分类

AI科技评论

公众号 · 93 篇文章

查看主页 →

机器人需要的不是更多数据，而是在对的时间、回忆起对的那条信息。

编辑丨岑峰

随着多模态大模型（VLM/MLLM）和开放世界感知技术的爆发，机器人的即时认知能力有了质的飞跃——它们能听懂自然语言指令，甚至识别从未见过的物体。然而，当前的智能体面临一个致命瓶颈：上下文窗口的限制与算力成本的飙升。

机器人每天在环境中巡检，会产生海量的 3D 几何、点云和连续视频流。如果只是简单地将所有信息“塞给”大模型，系统会瞬间崩溃；而如果只提取简单的文本标签，又会丢失关键的视觉和物理线索（例如一个印有特定徽标但外形相同的纸箱）。因此，如何让机器人长期稳定驻留，并在海量异构历史数据中高效、精准地提取与当前任务高度相关的极简“记忆碎片”，成为了具身智能走向工业级可用的关键。

在刚刚结束的 IEEE/RSJ 智能机器人与系统国际会议（IROS）上，康奈尔大学 Trail Lab 负责人 Steven Waslander 教授带来了一场题为《Agentic 仓库机器人的长期记忆》的主旨演讲：他系统展示了两项工作 STaR（Scalable Task-Conditioned Retrieval）和 FOCUS。前者让机器人在长期运行中构建多模态记忆并高效检索，后者则让机器人理解环境中的「变化」：知道什么被替换了、什么被移走了、什么被添加了。

Waslander 教授的研究横跨自动驾驶、多旋翼飞行器和自主机器人系统，但他近年来将大量精力投入到一个看似不那么「炫酷」的方向：仓库机器人的长期记忆。原因很简单，在真实仓库中，机器人最缺的不是算力，也不是操作能力，而是「记住」的能力。

这不是一个单纯的存储问题，而是一个关于「信息价值」的问题，也是比比「感知」和「操作」更底层的问题。

以下是 Steven Waslander 的演讲分享，AI 科技评论根据其英文演讲内容进行了不改原意的编辑：

▎演讲标题：Long-term Memory for Agentic Warehouse Robots

演讲者：康奈尔大学 Steven Waslander

从送零食的机器人说起

大约四年前的“ChatGPT 时刻”彻底改变了世界。2023 年夏天，我带领一批本科生打造了“Trailbot”，一个配备激光雷达、相机和语音接口，能在户外自主寻路，并在听懂人类交互指令后，分发掉落一包零食的机器人。

在当年的加拿大机器人大会上，这个看似憨态可掬的机器人却成了全场把玩最久的焦点。人们震惊于人机交互竟能如此自然。

三年后的今天，你对机器人说话、指向某物，它就能心领神会。这种颠覆性的体验，正是如今全球学者疯狂涌入Agentic Robots赛道的底层驱动力。

短短几年，究竟是什么发生了质变？主要有三点：

开放世界感知：摄像头对准任何陌生房间，系统都能精准输出对象标签与实例分割，甚至预测物体在交互时如何移动的“可供性”。
自然语言推理：视觉输入被无缝转化为底层的语言推理，模型开始能够自主拆解复杂任务、理解三维环境，并精准执行人类指令。
移动与操作能力的飞跃：强化学习和模仿学习的突破，让我们能用同一套通用算法架构去控制截然不同的硬件（从四足到人形），跨越各种复杂地形。

今天，我重点分享本届 IROS 上的两项核心工作，先看第一篇，STaR（面向长时程多模态机器人记忆的可扩展任务条件检索）

在着手构建机器人的“长时程记忆”时，我们深受几项前沿基石工作的启发，但也看到了它们在真实部署中的致命局限：

Concept Graphs / Open Graph 提出将环境解构为 3D 场景图。它通过串联多个基础大模型（如 Grounding DINO）实现了对物理环境的精细语义分割。

CLEO 进一步提出了“任务驱动”的子图提取（例如找书时，只构建包含书的场景图）。但痛点在于：它需要机器人在后台反复遍历并重构环境中的每一个对象，计算开销巨大。

ReMEMBER 则另辟蹊径，每隔 3 秒自动生成一段视频文本摘要，沉淀出一个可供文字检索的历史数据库。

结合上述探索，我们真正想打造的是一个能长期驻留、持续稳定运行的仓储机器人。

它需要存储海量的环境时空信息，但绝不能无脑地反复重建整个 3D 场景图。我们希望维护一个随时间动态扩展的“有界记忆库”，并通过极度高效的检索与提纯机制，仅向视觉语言模型（VLM）提供最核心、无冗余的上下文信息（Context）来进行推理。

同时，我们拒绝单一模态。视频文本摘要、单张高分图像、3D 对象模型……所有这些模态都将被融汇一体，构筑起机器人真正的“全模态长时程记忆系统”。这就是 STaR 架构的诞生初衷。

OmniMem：

让机器人「记住更多，查得更准」

于是，我们构建了一个“全模态记忆库”， OmniMem 系统。

我们基于 Isaac Sim 搭建了一个大规模的仿真仓储环境，并让系统同时以三种模态“记住”世界：

1.分层 3D 场景图：基于雷达和相机数据，构建精确的 3D 对象模型。

2.文本查询数据库： 每 3 秒自动生成并存储一段当前视野的视频描述。

3.带标注的高清关键帧： 每当系统检测到“新奇事物”时，自动抓拍图像并绑定分割掩码与对象 ID。

但“存得下”只是第一步，“查得准”才是真正的关键点。

现实中，机器人的上下文窗口极其有限，推理成本高昂。面对无限膨胀的三维记忆库，我们如何才能精准检索出与当前任务相关的“极简子集”，而且不遗漏关键线索？

我们的解法是引入信息瓶颈（Information Bottleneck）理论：系统在收到查询后，会将粗筛出的海量相关对象进行空间与语义聚类，并从中提取出“最佳观测视角”的几帧画面作为压缩后的上下文，喂给多模态语言模型（VLM）进行推理。

举个例子。用户下达指令：“把这个盒子放回它该去的货架。” 并提供了一张带有蓝色 Logo 的“数字孪生（Digital Twin）”纸箱的照片。

1.粗筛： 智能体调用 API，在向量数据库中检索带有“Digital Twin”等关键词的历史视频描述，找到了仓库中出现过类似盒子的所有潜在库位。

2.信息瓶颈提纯： 系统对这些候选位置进行聚类压缩。它巧妙地将所有与查询无关的冗余信息扔进“非关注类”，仅锁定 4 组紧凑的、真正出现过该纸箱的货架区域，并提取这 4 个视角的关键帧。

3.推理与行动： VLM 融合这些多模态线索后迅速做出因果推理：目标货架就在某个位置，且旁边刚好有个空位。随后，机器人平稳导航至该地点。

当我们在仿真器中测试这套算法时，发现了许多非常惊艳的“涌现能力”。

比如，我们下达了一个刁钻的指令：“寻找印有 EQP 标志的小药瓶。”在我们的视频文本描述和 3D 场景图的显式标注中，从未出现过“EQP”这三个字母。这个标志仅仅极其微小地存在于某张底层图像像素的背景里。

但奇迹发生了：凭借多模态记忆检索机制，系统先找出了所有包含药瓶的聚类视角，随后 VLM 对单帧高清图像进行细粒度审视，精准锁定了那个带有 EQP 标识的药瓶！这证明，系统仅凭视觉表征，就能跨模态解决在文本显式记忆中“无迹可寻”的复杂查询。

为了验证其实战价值，我们找到了工业自主移动机器人厂商 Clearpath Robotics，向他们讨教了现场运维人员最关心的 50 个高频痛点问题，并据此扩充构建了源于真实工业需求的 Warehouse-VQA 数据集。

量化评估结果令人振奋：

性能断层领先： 在面对“找 EQP 标志”这类硬核工业考题时，得益于卓越的记忆蒸馏能力，我们的准确率实现了大幅跃升。
极强的可扩展性： 从 36 秒的短片段拉长到 35 分钟的超长记忆流，信息瓶颈提纯上下文的耗时几乎没有增加。我们估算，仅凭一块普通的消费级 SSD，就能轻松吃下一整天持续作业积累的 1-2 TB 多模态数据。

不跑真机的研究不是纯正的机器人学。于是，我们在多伦多大学自动驾驶车库及周边，用 Trailbot 进行了大量实地测试。

面对满是杂物的真实车库，Trailbot 展现出了极高的任务成功率：给它看一张黑白标定板的照片，它能精准找到标定工具；指着身上的反光背心问“能找更多这个吗？”，它能自主寻路到安全背心存放点。在寻找特定“八角形慢行标识牌”时，它更能凭借对几何与颜色的先验记忆，快速锁定目标并导航前往。

但在光鲜的案例背后，我们也发现了系统暴露出的局限，包括语义粒度受限、空间几何推理短板、物理计数糟糕等。

最致命的弱点是静态环境假设： 第一代系统完全基于静态地图，没有任何行人动态交互。一旦真实环境发生轻微的时空变动，整套依赖静态先验的管线就会瞬间失效。

这自然引出了我们今天的第二项核心工作：如何让机器人敏锐地感知并更新物理世界中无时无刻不在发生的变化？

当环境变了，机器人还能记住吗？

如果系统只能在静态环境中工作，那它注定无法真正落地。这就引出了我们的第二项核心工作：让机器人敏锐地捕捉并记录环境的动态演变。

试想一个真实的场景：机器人在建立初始基准地图后，每隔一小时出去巡逻一次。在这个过程中，环境无时无刻不在发生变化。我们面临的变化通常分为三种：

1.留存（Persisted）： 物体原封不动。

2.移除（Removed）： 物体凭空消失（如交通锥被搬走）。

3.替换（Replaced）： 原本位置的纸箱，被换成了外层裹着塑料膜的另一个纸箱。

其中最致命的挑战，就是第三种情况——“同位替换（In-place Replacement）”。

我们此前的研究（POV-SLAM）发现，如果仅依靠 3D 几何（点云深度）来检测，机器人能很好地察觉物体的“新增”或“消失”。但面对“同位替换”时，传统的几何方案彻底失效了。

举个绝佳的例子：货架同一个位置上，原本印着“Fragile（易碎）”的箱子，被悄悄换成了一个贴着条形码的新箱子。由于两者的尺寸形状完全一致，几何深度残差几乎为零；如果只靠大模型的粗粒度语义分割，两者的标签都是“纸箱（Box）”——机器根本发觉不了箱子被掉包了！唯一能捕捉这种变化的物理线索，就是计算外观残差（Appearance Residual）。

然而，在移动机器人上对比“外观”是一场工程噩梦。机器人在巡检时，光照在变，视角在剧烈晃动，极其容易产生虚假的“外观差异尖峰（Spikes）”。如果直接设定硬阈值，系统会整天疯狂误报。

为了在光影变幻中锁定真相，我们构建了一套基于“不确定度感知 3DGS + 递归贝叶斯滤波”的稳健架构，完整的数据流如下：

第一步：基准建图与“底噪”校准。 首次探索时，系统通过 2D 开放词汇检测与体素重建提取实体，为每个物体训练独立的 3D 高斯泼溅（3DGS）外观模型。更关键的是，系统会自适应地标定出每个物体在当前光照和位置下的“基准噪声（Noise Floor）”——阴影里的物体底噪自然比明亮处的更高。
第二步：巡检回访与实时渲染比对。 当机器人再次巡逻到该位姿时，直接从 3DGS 模型中渲染出“预期画面”，并与当前 RGB-D 实拍画面做严格对齐求差，生成几何与外观的测量似然度。
第三步：三状态贝叶斯决策。 我们将外观与几何的残差输入到一个“三状态递推贝叶斯滤波器”中。系统能明确区分：是仅有几何变化、仅有外观变化，还是两者皆变。一旦后验概率突破阈值，地图便会原子化地更新物体的最新状态（留存、替换或移除）。

我们将这套系统放入了包含海量“同位替换”干扰的大型 Isaac Sim 仓储测试集中。

实测的数据曲线极其漂亮：当被掉包的箱子进入视野时，即便几何深度残差依然稳稳趴在底噪线上，但外观残差会瞬间跃升数十倍。底层的贝叶斯置信度会迅速做出收敛判定，将状态由“留存”精准锁定为“替换（Replaced）”。同理，当物体被完全搬走时，几何残差的断崖式突变则会直接触发“移除”判定。

除了仿真器，我们还将这套系统部署到了真实桌面的物理实验中：我们将两只形状几乎相同的马克杯进行同位替换；又或者把两本同为蓝色封皮、仅文字版式略有差异的高等教材进行“偷梁换柱”。在这些极具迷惑性的真实场景下，算法均能准确无误地捕捉并标记替换事件。

这意味着，机器人终于拥有了一双能看透时间与物理伪装的“火眼金睛”，为解答更高级的“时态问答（Temporal VQA）”补齐了最后一块拼图。

未来方向

综上所述，我们深信显式长时程多模态记忆是下一代具身智能机器人的基石底座。机器人感知捕获的物理世界信息量，将永远呈数量级超越大模型能够塞入的单次上下文容量。因此，这种基于任务驱动的信息瓶颈蒸馏、聚类与多模态动态检索范式，将成为规模化落地的必由之路。

展望未来，我们正在重点推进以下方向：第一，将我们提出的动态地图变化检测（FOCUS）与前述 STAR 记忆检索管线深度咬合，支持更加复杂的跨时空状态因果推断问答；第二，突破准静态假设，全面拥抱高动态场景，攻克对仓库内穿梭的人流与协作 AMR 群体的时空轨迹跟踪与行为语义记忆；最后，实现与人类操作员更深层次的协同，打通针对移动操作复合机器人（Mobile Manipulators）的长期复杂任务重规划机制，使其能够不仅“看懂”货品更迭，更能完成跨货架搬运乃至自主集装箱掏箱卸货等重度闭环任务。

非常感谢大家的聆听！

问答环节 (Q&A)

▎Q：教授您好，关于您展望中提到的“高动态场景扩展”，能具体展开讲讲目前的技术路线吗？

Steven Waslander：最直接的解法是先把动态人流从传感器帧中检测并剔除，再对静态背景做纯粹的高斯泼溅重建，这也是我们目前的切入点。

业界现有多模态大模型在动态分割上已表现不错，也可借鉴自动驾驶领域的经典策略，把静态背景感知和动态目标跟踪解耦为两条独立流水线。这只是当下工程落地的第一步。长远来看，若能在统一的基础大模型表征架构下把动静态场融为一体自然最理想，但这需要底层能力的进一步演进。

另一个痛点是，机器人在移动过程中基于极少量视角训练的物体 3DGS 模型，往往存在局部退化或几何破损。我们正在探索引入强物性先验（Shape/Object Priors），让模型即便只观测到一两个稀疏视角，也能生成结构合理的三维实体表征。

▎Q：我想请教一下在语义分割部分，你们具体采用的是哪套方案？你们当前实验中具体使用的是哪个模型？

Steven Waslander：正如我前面所述，这套系统的核心实验大约在 6 到 8 个月前完成。当时为保持实验对照一致性，在 STaR 全部测试用例中，我们完整沿用了 OpenGraph 开源的标准前端感知流水线。即便在当时相对受限的分割精度下，系统依然展现出巨大的泛化优势——这恰恰证明了高效检索和回溯正确历史多模态记忆对系统容错率的决定性支撑。目前团队正在密集评测最新涌现的各种 SOTA 基础模型，在分割精度与 3D 重建质量上做全面升级。随着前端底座不断增强，整套系统的鲁棒性也会水涨船高。

▎Q：随着机器人在未知环境中不断自主探索，您认为这些异构记忆表征是应当自适应动态演进，还是在整个生命周期中保持相对静态固化的形态？

Steven Waslander：这是个非常深刻的问题。就你提到的表征融合问题，在今天汇报的框架中我们不得不做妥协：为适配下游 VLM 的输入格式，系统最终被约束在以"文本提示 + 2D 关键帧"的形式作为上下文送入多模态大脑——因为自然语言与高维图像是目前绝大多数通用模型认知推理的原生载体，而底层构建的丰富 3D 几何结构在送入决策核心时实际上被降维压缩了。

最近几个月出现了很多前瞻性探索，社区正尝试让具身决策大模型原生端到端地理解体素、三维点云或神经辐射场表征。但客观来说，这类模型目前尚未成熟到可以作为高可靠的"开箱即用"工具集成到大规模工业系统中。我们一边在现有框架下探索更精炼的多模态上下文编码喂入手段，一边密切关注上游基础模型底座的迭代，这需要全社区通力协作。

为了方便大家抱团交流、互通会议消息，我们专门建了 IROS 2026 参会交流群！进群你会解锁这些「福利」👇

会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。
同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。
前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。
现场后援团：（会议期间专属开启）：到了会场也不用慌——
路线导航：场馆分布、报告厅怎么走，群里随时问；
议题共读：热门 session、Keynote 探讨，错过也能追；
Poster 汇编：现场海报精华整理，一键收藏不遗漏；
约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。