AiBrainBox-UGV|从视觉到空间智能:一套面向无人车与机器人的多模态感知底座
3路全局快门视觉 · 双IMU · 双RTK · LiDAR · UWB · 多传感器时间同步
随着无人车、机器狗、巡检机器人以及特种移动平台逐渐从“遥控执行”走向“自主移动”,真正决定平台智能化能力的,已经不仅仅是计算平台本身。
机器人首先需要回答几个基础问题:
我看到了什么?
我在哪里?
我正在怎么运动?
周围空间是什么样的?
其他机器人在哪里?
这些传感器的数据,是不是来自同一个时间?
因此,AiBrainBox-UGV的传感器设计,并不是单纯追求“传感器越多越好”,而是围绕:
视觉感知 + 惯性测量 + 高精度定位 + 空间测距 + 相对定位 + 统一时间
构建一套可扩展的移动机器人时空感知体系。
01|为什么AiBrainBox-UGV需要多模态传感器?
对于无人车和机器狗而言,单一传感器很难覆盖真实环境中的所有问题。
例如:
相机
解决的是:
“看到了什么?”
可以进行目标识别、人员识别、场景理解、视觉SLAM以及语义分析。
但视觉本身对距离、光照、纹理以及动态环境比较敏感。
IMU
解决的是:
“机器人正在怎么运动?”
能够提供高频角速度、加速度等信息,为视觉惯性融合、运动估计和短时姿态推算提供基础。
RTK/GNSS
解决的是:
“机器人在全球坐标系中的什么位置?”
在室外开阔环境下,可以提供高精度绝对位置基准。RTK利用载波相位和差分改正信息获得比普通GNSS更高的定位精度;网络RTK还可以利用多个参考站进行误差建模。
LiDAR
解决的是:
“周围空间究竟有多远?”
它直接提供三维几何信息,可以用于障碍物检测、建图、定位以及地形/地面分析。
UWB
解决的是:
“机器人与另一个节点之间有多远?”
同时,在AiBrainBox的设计中,UWB还可以承担:
相对测距 + 协同定位 + 时间同步
等功能。
最终,这些传感器并不是独立工作的,而是形成:
多模态感知 → 时空对齐 → 数据融合 → 定位建图 → 空间理解 → 自主决策
的完整链路。
02|视觉系统:3路MIPI构成UGV核心空间视觉
AiBrainBox-UGV的核心视觉系统采用:
3路MIPI全局快门相机
规格:
约130万像素 Global Shutter 60 FPS / 120 FPS MIPI CSI 可选GMSL接口方案 支持硬件触发/帧同步
为什么选择全局快门?
对于移动机器人来说,相机不是静止拍摄。
机器人运动过程中会产生:
平移 转向 俯仰 颠簸 振动
如果采用Rolling Shutter,不同图像行的曝光时间不同,快速运动时容易产生几何畸变。
Global Shutter则能够让整帧图像在统一的曝光时刻采集,更适合高速运动和视觉惯性融合。
在工业机器人、无人机、移动机器人等场景中,全局快门也是常见的高速运动视觉方案。
03|3路相机为什么采用“前向+左右侧”布局?
合理的方式是构建一个:
Front + Left + Right
的前向空间视觉系统。
CAM-1|Front
建议:
100°~120° HFOV
主要承担:
前向目标检测 障碍物识别 VIO 前向语义理解 路径规划辅助 动态目标检测
CAM-2|Left
建议:
100°~120° HFOV
主要承担:
左侧空间感知 多目SLAM 侧向目标检测 转弯场景感知 狭窄空间感知
CAM-3|Right
与Left形成对称布局:
100°~120° HFOV
主要承担:
右侧空间感知 多目SLAM 侧向障碍检测 转弯和狭窄空间感知
为什么需要左右相机?
这里有一个容易被误解的地方:
左右相机的主要价值并不是简单地做“远距离双目测深”。
更重要的是增加:
空间视场覆盖 + 特征连续性 + 多视角几何约束
机器人转弯或者沿墙运动时,Front相机中的特征可能快速离开视场,而Left/Right相机能够接续这些空间特征。
因此,三目系统可以增强:
Visual Odometry VIO Multi-camera SLAM 场景特征连续跟踪 空间几何约束
04|Rear USB Camera:补足后向视觉
除了3路核心MIPI相机,AiBrainBox-UGV可以通过:
1路USB Camera
扩展后向视觉。
主要用于:
后向障碍检测 倒车辅助 机器人回撤 后向人员/目标检测 Docking 特殊场景视觉
这样形成:
Front + Left + Right + Rear
的基础环绕视觉能力。
第5路相机怎么设计?
这里建议产品设计上不要把第五路相机固定死。
可以定义成:
Expansion Camera
根据不同客户场景选择:
Downward Camera Top Camera Rear Wide-angle Camera Near-field Camera IR Camera Event Camera 高分辨率任务相机
这样AiBrainBox-UGV可以保持:
基础平台标准化 + 场景传感器模块化
这对于你们后续面对不同机器人厂商尤其重要。
05|镜头如何选择?
对于UGV,不建议所有相机都使用同样焦距和FOV。
镜头选择最终需要结合:
机器人尺寸 相机安装高度 目标距离 行驶速度 最小障碍物尺寸 算法输入分辨率 室内/室外环境
而不是单纯追求“大广角”。
06|相机硬件同步:让多路视觉真正成为一个系统
多相机系统最重要的问题之一,不是“有没有时间戳”,而是:
不同相机是不是在同一个时刻拍摄?
例如机器人高速转弯:
如果:
CAM-1在t0拍摄
CAM-2在t0+10ms拍摄
CAM-3在t0+20ms拍摄
那么三个画面中的机器人姿态实际上已经发生变化。
这会直接影响:
Multi-camera SLAM VIO 3D目标关联 多视角融合
因此建议AiBrainBox-UGV的核心3路MIPI相机采用:
统一硬件Frame Sync / FSIN
07|“帧同步”≠“时间戳同步”
这是AiBrainBox设计中非常重要的一点。
第一层:Frame Sync
解决:
什么时候曝光?
第二层:Sensor Timestamp
解决:
这一帧具体是什么时间?
每一帧建议保留:
Frame ID Trigger ID Sensor Timestamp Exposure Timestamp
第三层:Global Time
最终把所有传感器映射到统一时间轴:
GNSS PPS / UWB PPS → System Global Time
最终实现:
08|双IMU:不是简单地“多放一个IMU”
AiBrainBox-UGV建议采用:
双IMU架构
但两个IMU不一定需要完全相同。
可以采用:
IMU-A:高精度IMU
关注:
低噪声 低漂移 温度稳定性 高质量姿态估计
主要用于:
VIO / LIO / LVIO / 精细运动估计
IMU-B:高动态IMU
关注:
更大量程 强冲击 高角速度 高振动环境
主要用于:
高动态运动检测 + 异常检测 + 交叉校验
机器人在复杂地形行驶时,机械振动、冲击和电机振动都会影响惯性测量。高振动鲁棒性的IMU本身就是机器人和无人机常见的设计方向。
因此双IMU的价值不仅是:
“两个IMU提高精度”
而是:
不同性能区间互补 + 数据交叉验证 + 提高系统鲁棒性。
09|双IMU还可以成为算法验证平台
这对于AiBrainBox面向高校和科研机构尤其有价值。
例如可以同时输出:
研究人员可以直接比较:
单IMU 双IMU VIO LIO LVIO RTK/VIO融合 RTK/LIO融合
使AiBrainBox不仅是一个产品,也成为一个多传感器算法验证平台。
10|双RTK:建立UGV的高精度绝对位置基准
室外UGV通常需要解决:
“机器人到底在哪里?”
因此可以采用:
双RTK / 双天线GNSS
用于提供:
高精度位置 航向基准 GNSS时间 RTK状态 高精度绝对坐标
这里的“双RTK”更准确地说,是双天线GNSS/RTK航向定位方案。
11|地基增强:RTK真正的关键是差分数据
普通GNSS:
卫星 → Robot
RTK:
Reference Station → Correction → Robot
其中基准站提供:
RTCM差分改正数据
然后传输给UGV上的GNSS Rover。
RTK的高精度定位依赖差分改正信息;网络RTK则可以通过多个参考站扩展覆盖范围。
12|AiBrainBox-UGV如何获取RTK差分数据?
这里建议设计成:
方案A:5G / 4G + NTRIP
方案B:本地无线链路
这对于:
工业园区 矿区 电力场站 封闭园区 无公网环境 尤其有意义。
13|LiDAR:UGV最重要的空间几何传感器之一
对于UGV,我建议LiDAR设计不要简单理解成:
“加一个360°激光雷达。”
而应该区分:
Front LiDAR
主要解决:
前向障碍物 三维目标 前向空间结构 动态障碍 路径规划 Ground / Downward LiDAR
主要关注:
地面到底是什么状态?
例如:
台阶 坑洼 坡度 路沿 地面障碍 沟槽 不可通行区域 这对于机器狗尤其重要。
因为:
“前方有没有东西”与“脚下能不能走”是两个不同的问题。
14|视觉+LiDAR:从“看到目标”走向“理解空间”
例如前方出现一个区域:
视觉可以判断:
“这里像是一块道路。”
LiDAR可以判断:
“这里的空间高度、坡度、距离和几何结构是什么?”
两者融合后才能进一步形成:
Spatial Understanding
即:
目标语义 + 三维几何 + 地面可通行性
最终可以生成:
3D Point Cloud Occupancy Costmap Terrain Cost Semantic Costmap 再提供给:
Nav2 / SLAM / Path Planning
等系统。
15|UWB:从“自己在哪里”扩展到“彼此在哪里”
GNSS/RTK主要解决:
绝对位置
LiDAR/VIO/LIO主要解决:
局部空间运动
UWB则可以解决:
节点之间的相对距离
可以获得:
UAV ↔ UGV距离 Robot ↔ Robot距离 Robot ↔ Anchor距离
进一步用于:
相对定位
多机器人协同
GNSS拒止环境定位
编队约束
空间关系约束
16|UWB的另一个价值:时间同步
这是AiBrainBox-UWB区别于普通定位模块的重要方向。
UWB不仅可以:
测距离
还可以:
建立时间关系
最终形成:
Spatial + Temporal
也就是:
“在哪里” + “什么时候”
对于多机器人系统尤其重要。
进一步可以服务于:
多机器人定位 协同建图 协同感知 编队控制 GNSS-denied 群体智能
UWB芯片/方案本身也支持测距及相关时间测量机制,具体系统同步精度则取决于无线协议、时钟架构、校准、天线延迟及环境等因素。
17|多模态时间同步:AiBrainBox-UGV真正的“底层能力”
当机器人拥有:
Camera IMU RTK LiDAR UWB
之后,最大的挑战之一就变成:
这些数据到底是不是来自同一个时间?
因此建议AiBrainBox-UGV建立统一时间体系:
18|同步精度应该如何定义?
合理的是分层定义。
Camera ↔ Camera
采用硬件FSIN。
目标:
微秒级相对同步
Camera ↔ IMU
通过:
Hardware Trigger + Timestamp + Clock Calibration
实现时间关联。
GNSS ↔ System
通过:
GNSS PPS + UTC
建立绝对时间基准。
UWB ↔ System
通过:
UWB PPS / UWB Time
建立相对时间基准。
LiDAR ↔ System
根据设备接口采用:
PTP / PPS / Hardware Timestamp
等方式。
最终关注的不是某一个传感器的“标称时间精度”,而是:
Camera、IMU、LiDAR、RTK、UWB之间最终的相对时间误差。
这才是VIO/LIO/LVIO、多传感器融合真正关心的指标。
19|最终形成什么样的AiBrainBox-UGV传感器体系?
因此,AiBrainBox-UGV最终不是:
Camera + IMU + RTK + LiDAR + UWB
的简单集合。
而是形成:
这也意味着AiBrainBox-UGV可以成为:
无人车与机器狗的“感知与定位底座”
而不是简单的一块AI计算盒子。
20|从“传感器”走向“空间智能”
最终,AiBrainBox-UGV希望解决的不是单个传感器的问题,而是机器人从:
看到
走向:
定位
再走向:
理解
最终实现:
自主移动与空间智能
其技术链路可以概括为:
多模态感知
↓
统一时间
↓
定位与建图
↓
空间理解
↓
语义与目标理解
↓
Costmap / World Model
↓
路径规划
↓
自主导航
↓
多机器人协同
AiBrainBox-UGV的传感器体系,可以用一句话概括:
视觉负责“看见”,IMU负责“感知运动”,RTK负责“确定位置”,LiDAR负责“理解空间几何”,UWB负责“感知相对关系”,统一时间同步负责让所有传感器真正“在同一个时刻说话”。
这也是AiBrainBox-UGV区别于普通机器人计算盒的核心设计思路。