采用:
平时传语义/状态;事件触发时,按需上传视频证据;只有特殊任务才切换到持续视频流。
这会比“VLM一触发就把整路视频持续上云”合理很多。
Normal Mode:根本不需要上传视频
例如机器狗正在正常跟随:
上传:
Target ID 位置 速度 方向 Re-ID confidence UWB状态 目标属性 事件 简化Scene Graph
Event Mode:VLM确实需要“看图像”
比如端侧发现:
Target Lost
端侧知道:
Target Lost
Last Position
Last Heading
Last Velocity
Last Appearance
但是VLM要判断:
“这个人是不是进入了左边建筑?”
它必须看到视觉证据。
所以此时应该上传:
. 最有价值的是“事件前后视频窗口”
当:
Target Lost
发生时,立即上传:
Event = Target Lost
Video:
T-5s ~ T+3s
这样VLM能够看到:
目标是怎么消失的。
这往往比只上传“丢失后的画面”有效得多。
VLM请求应该反向控制端侧
这就形成:
Perception → Reasoning → Query → Evidence → Action
普通状态
Semantic State
≈ kbps级
事件发生
5~20张JPEG
≈ 数百KB~数MB
复杂事件
5~10秒 H.264
≈ 数MB
特殊任务
Live Video
≈ Mbps级
所以你的多链路系统可以根据事件级别动态调度。
AiBrainBox-UGV采用四级通信策略
多制式无线通讯+多模态感知端侧通感算控一体设备-5G+自组网+卫通、多目帧同步MIPI/GMSL相机、工业级双IMU、UWB、双RTK、边缘YOLO+CLIP