巨视安防公众号文章

AiBrainBox-UGV|从视觉到空间智能:一套全国产化面向无人车与机器人的多模态感知可信底座

AiBrainBox-UGV|从视觉到空间智能:一套面向无人车与机器人的多模态感知底座3路全局快门视觉 ·

巨视安防

公众号

AiBrainBox-UGV|从视觉到空间智能:一套面向无人车与机器人的多模态感知底座

3路全局快门视觉 · 双IMU · 双RTK · LiDAR · UWB · 多传感器时间同步

随着无人车、机器狗、巡检机器人以及特种移动平台逐渐从“遥控执行”走向“自主移动”,真正决定平台智能化能力的,已经不仅仅是计算平台本身。

机器人首先需要回答几个基础问题:

我看到了什么?
我在哪里?
我正在怎么运动?
周围空间是什么样的?
其他机器人在哪里?
这些传感器的数据,是不是来自同一个时间?

因此,AiBrainBox-UGV的传感器设计,并不是单纯追求“传感器越多越好”,而是围绕:

视觉感知 + 惯性测量 + 高精度定位 + 空间测距 + 相对定位 + 统一时间

构建一套可扩展的移动机器人时空感知体系。

01|为什么AiBrainBox-UGV需要多模态传感器?


对于无人车和机器狗而言,单一传感器很难覆盖真实环境中的所有问题。

例如:

相机

解决的是:

“看到了什么?”

可以进行目标识别、人员识别、场景理解、视觉SLAM以及语义分析。

但视觉本身对距离、光照、纹理以及动态环境比较敏感。


IMU

解决的是:

“机器人正在怎么运动?”

能够提供高频角速度、加速度等信息,为视觉惯性融合、运动估计和短时姿态推算提供基础。


RTK/GNSS

解决的是:

“机器人在全球坐标系中的什么位置?”

在室外开阔环境下,可以提供高精度绝对位置基准。RTK利用载波相位和差分改正信息获得比普通GNSS更高的定位精度;网络RTK还可以利用多个参考站进行误差建模。


LiDAR

解决的是:

“周围空间究竟有多远?”

它直接提供三维几何信息,可以用于障碍物检测、建图、定位以及地形/地面分析。


UWB

解决的是:

“机器人与另一个节点之间有多远?”

同时,在AiBrainBox的设计中,UWB还可以承担:

相对测距 + 协同定位 + 时间同步

等功能。


最终,这些传感器并不是独立工作的,而是形成:

多模态感知 → 时空对齐 → 数据融合 → 定位建图 → 空间理解 → 自主决策

的完整链路。


02|视觉系统:3路MIPI构成UGV核心空间视觉


AiBrainBox-UGV的核心视觉系统采用:

3路MIPI全局快门相机

规格:

  • 约130万像素
  • Global Shutter
  • 60 FPS / 120 FPS
  • MIPI CSI
  • 可选GMSL接口方案
  • 支持硬件触发/帧同步

为什么选择全局快门?

对于移动机器人来说,相机不是静止拍摄。

机器人运动过程中会产生:

  • 平移
  • 转向
  • 俯仰
  • 颠簸
  • 振动

如果采用Rolling Shutter,不同图像行的曝光时间不同,快速运动时容易产生几何畸变。

Global Shutter则能够让整帧图像在统一的曝光时刻采集,更适合高速运动和视觉惯性融合。

在工业机器人、无人机、移动机器人等场景中,全局快门也是常见的高速运动视觉方案。

03|3路相机为什么采用“前向+左右侧”布局?


合理的方式是构建一个:

Front + Left + Right

的前向空间视觉系统。

CAM-1|Front

建议:

100°~120° HFOV

主要承担:

  • 前向目标检测
  • 障碍物识别
  • VIO
  • 前向语义理解
  • 路径规划辅助
  • 动态目标检测


CAM-2|Left

建议:

100°~120° HFOV

主要承担:

  • 左侧空间感知
  • 多目SLAM
  • 侧向目标检测
  • 转弯场景感知
  • 狭窄空间感知


CAM-3|Right

与Left形成对称布局:

100°~120° HFOV

主要承担:

  • 右侧空间感知
  • 多目SLAM
  • 侧向障碍检测
  • 转弯和狭窄空间感知

为什么需要左右相机?

这里有一个容易被误解的地方:

左右相机的主要价值并不是简单地做“远距离双目测深”。

更重要的是增加:

空间视场覆盖 + 特征连续性 + 多视角几何约束

机器人转弯或者沿墙运动时,Front相机中的特征可能快速离开视场,而Left/Right相机能够接续这些空间特征。

因此,三目系统可以增强:

  • Visual Odometry
  • VIO
  • Multi-camera SLAM
  • 场景特征连续跟踪
  • 空间几何约束

04|Rear USB Camera:补足后向视觉

除了3路核心MIPI相机,AiBrainBox-UGV可以通过:

1路USB Camera

扩展后向视觉。

主要用于:

  • 后向障碍检测
  • 倒车辅助
  • 机器人回撤
  • 后向人员/目标检测
  • Docking
  • 特殊场景视觉

这样形成:

Front + Left + Right + Rear

的基础环绕视觉能力。

第5路相机怎么设计?

这里建议产品设计上不要把第五路相机固定死。

可以定义成:

Expansion Camera

根据不同客户场景选择:

  • Downward Camera
  • Top Camera
  • Rear Wide-angle Camera
  • Near-field Camera
  • IR Camera
  • Event Camera
  • 高分辨率任务相机

这样AiBrainBox-UGV可以保持:

基础平台标准化 + 场景传感器模块化

这对于你们后续面对不同机器人厂商尤其重要。

05|镜头如何选择?

对于UGV,不建议所有相机都使用同样焦距和FOV。

镜头选择最终需要结合:

  • 机器人尺寸
  • 相机安装高度
  • 目标距离
  • 行驶速度
  • 最小障碍物尺寸
  • 算法输入分辨率
  • 室内/室外环境

而不是单纯追求“大广角”。

06|相机硬件同步:让多路视觉真正成为一个系统

多相机系统最重要的问题之一,不是“有没有时间戳”,而是:

不同相机是不是在同一个时刻拍摄?

例如机器人高速转弯:

如果:

CAM-1在t0拍摄

CAM-2在t0+10ms拍摄

CAM-3在t0+20ms拍摄

那么三个画面中的机器人姿态实际上已经发生变化。

这会直接影响:

  • Multi-camera SLAM
  • VIO
  • 3D目标关联
  • 多视角融合

因此建议AiBrainBox-UGV的核心3路MIPI相机采用:

统一硬件Frame Sync / FSIN


07|“帧同步”≠“时间戳同步”


这是AiBrainBox设计中非常重要的一点。

第一层:Frame Sync

解决:

什么时候曝光?


第二层:Sensor Timestamp

解决:

这一帧具体是什么时间?

每一帧建议保留:

  • Frame ID
  • Trigger ID
  • Sensor Timestamp
  • Exposure Timestamp

第三层:Global Time

最终把所有传感器映射到统一时间轴:

GNSS PPS / UWB PPS → System Global Time

最终实现:

08|双IMU:不是简单地“多放一个IMU”


AiBrainBox-UGV建议采用:

双IMU架构

但两个IMU不一定需要完全相同。

可以采用:

IMU-A:高精度IMU

关注:

  • 低噪声
  • 低漂移
  • 温度稳定性
  • 高质量姿态估计

主要用于:

VIO / LIO / LVIO / 精细运动估计


IMU-B:高动态IMU

关注:

  • 更大量程
  • 强冲击
  • 高角速度
  • 高振动环境

主要用于:

高动态运动检测 + 异常检测 + 交叉校验

机器人在复杂地形行驶时,机械振动、冲击和电机振动都会影响惯性测量。高振动鲁棒性的IMU本身就是机器人和无人机常见的设计方向。

因此双IMU的价值不仅是:

“两个IMU提高精度”

而是:

不同性能区间互补 + 数据交叉验证 + 提高系统鲁棒性。

09|双IMU还可以成为算法验证平台


这对于AiBrainBox面向高校和科研机构尤其有价值。

例如可以同时输出:

研究人员可以直接比较:

  • 单IMU
  • 双IMU
  • VIO
  • LIO
  • LVIO
  • RTK/VIO融合
  • RTK/LIO融合

使AiBrainBox不仅是一个产品,也成为一个多传感器算法验证平台。

图片

10|双RTK:建立UGV的高精度绝对位置基准


室外UGV通常需要解决:

“机器人到底在哪里?”

因此可以采用:

双RTK / 双天线GNSS

用于提供:

  • 高精度位置
  • 航向基准
  • GNSS时间
  • RTK状态
  • 高精度绝对坐标

这里的“双RTK”更准确地说,是双天线GNSS/RTK航向定位方案。


11|地基增强:RTK真正的关键是差分数据


普通GNSS:

卫星 → Robot

RTK:

Reference Station → Correction → Robot

其中基准站提供:

RTCM差分改正数据

然后传输给UGV上的GNSS Rover。

RTK的高精度定位依赖差分改正信息;网络RTK则可以通过多个参考站扩展覆盖范围。

12|AiBrainBox-UGV如何获取RTK差分数据?


这里建议设计成:

方案A:5G / 4G + NTRIP

方案B:本地无线链路

这对于:

  • 工业园区
  • 矿区
  • 电力场站
  • 封闭园区
  • 无公网环境

尤其有意义。


13|LiDAR:UGV最重要的空间几何传感器之一


对于UGV,我建议LiDAR设计不要简单理解成:

“加一个360°激光雷达。”

而应该区分:

Front LiDAR

主要解决:

  • 前向障碍物
  • 三维目标
  • 前向空间结构
  • 动态障碍
  • 路径规划

Ground / Downward LiDAR

主要关注:

地面到底是什么状态?

例如:

  • 台阶
  • 坑洼
  • 坡度
  • 路沿
  • 地面障碍
  • 沟槽
  • 不可通行区域

这对于机器狗尤其重要。

因为:

“前方有没有东西”与“脚下能不能走”是两个不同的问题。


14|视觉+LiDAR:从“看到目标”走向“理解空间”

例如前方出现一个区域:

视觉可以判断:

“这里像是一块道路。”

LiDAR可以判断:

“这里的空间高度、坡度、距离和几何结构是什么?”

两者融合后才能进一步形成:

Spatial Understanding

即:

目标语义 + 三维几何 + 地面可通行性

最终可以生成:

  • 3D Point Cloud
  • Occupancy
  • Costmap
  • Terrain Cost
  • Semantic Costmap

再提供给:

Nav2 / SLAM / Path Planning

等系统。


图片15|UWB:从“自己在哪里”扩展到“彼此在哪里”


GNSS/RTK主要解决:

绝对位置

LiDAR/VIO/LIO主要解决:

局部空间运动

UWB则可以解决:

节点之间的相对距离


可以获得:

  • UAV ↔ UGV距离
  • Robot ↔ Robot距离
  • Robot ↔ Anchor距离

进一步用于:

相对定位

多机器人协同

GNSS拒止环境定位

编队约束

空间关系约束


16|UWB的另一个价值:时间同步


这是AiBrainBox-UWB区别于普通定位模块的重要方向。

UWB不仅可以:

测距离

还可以:

建立时间关系

最终形成:

Spatial + Temporal

也就是:

“在哪里” + “什么时候”

对于多机器人系统尤其重要。

进一步可以服务于:

  • 多机器人定位
  • 协同建图
  • 协同感知
  • 编队控制
  • GNSS-denied
  • 群体智能

UWB芯片/方案本身也支持测距及相关时间测量机制,具体系统同步精度则取决于无线协议、时钟架构、校准、天线延迟及环境等因素。

图片17|多模态时间同步:AiBrainBox-UGV真正的“底层能力”

当机器人拥有:

  • Camera
  • IMU
  • RTK
  • LiDAR
  • UWB

之后,最大的挑战之一就变成:

这些数据到底是不是来自同一个时间?

因此建议AiBrainBox-UGV建立统一时间体系:

18|同步精度应该如何定义?


合理的是分层定义。

Camera ↔ Camera

采用硬件FSIN。

目标:

微秒级相对同步


Camera ↔ IMU

通过:

Hardware Trigger + Timestamp + Clock Calibration

实现时间关联。


GNSS ↔ System

通过:

GNSS PPS + UTC

建立绝对时间基准。


UWB ↔ System

通过:

UWB PPS / UWB Time

建立相对时间基准。


LiDAR ↔ System

根据设备接口采用:

PTP / PPS / Hardware Timestamp

等方式。

最终关注的不是某一个传感器的“标称时间精度”,而是:

Camera、IMU、LiDAR、RTK、UWB之间最终的相对时间误差。

这才是VIO/LIO/LVIO、多传感器融合真正关心的指标。

19|最终形成什么样的AiBrainBox-UGV传感器体系?


因此,AiBrainBox-UGV最终不是:

Camera + IMU + RTK + LiDAR + UWB

的简单集合。

而是形成:

这也意味着AiBrainBox-UGV可以成为:

无人车与机器狗的“感知与定位底座”


而不是简单的一块AI计算盒子。


20|从“传感器”走向“空间智能”


最终,AiBrainBox-UGV希望解决的不是单个传感器的问题,而是机器人从:

看到

走向:

定位

再走向:

理解

最终实现:

自主移动与空间智能

其技术链路可以概括为:

多模态感知

↓

统一时间

↓

定位与建图

↓

空间理解

↓

语义与目标理解

↓

Costmap / World Model

↓

路径规划

↓

自主导航

↓

多机器人协同

AiBrainBox-UGV的传感器体系,可以用一句话概括:

视觉负责“看见”,IMU负责“感知运动”,RTK负责“确定位置”,LiDAR负责“理解空间几何”,UWB负责“感知相对关系”,统一时间同步负责让所有传感器真正“在同一个时刻说话”。

这也是AiBrainBox-UGV区别于普通机器人计算盒的核心设计思路。


前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →