巨视安防公众号文章

关于AiBrainBox-UGV → Edge/Cloud VLM 架构的数据通讯

AiBrainBox-UGV → Edge/Cloud VLM 架构采用:平时传语义/状态;事件触发时,按需上

巨视安防

公众号 · 81 篇文章

图片
AiBrainBox-UGV → Edge/Cloud VLM 架构

采用:

平时传语义/状态;事件触发时,按需上传视频证据;只有特殊任务才切换到持续视频流。

这会比“VLM一触发就把整路视频持续上云”合理很多。

三种数据模式
图片
  •  Normal Mode:根本不需要上传视频

例如机器狗正在正常跟随:

图片

上传:

  • Target ID
  • 位置
  • 速度
  • 方向
  • Re-ID confidence
  • UWB状态
  • 目标属性
  • 事件
  • 简化Scene Graph
图片


  • Event Mode:VLM确实需要“看图像”

比如端侧发现:

Target Lost

端侧知道:

Target Lost

Last Position

Last Heading

Last Velocity

Last Appearance

但是VLM要判断:

“这个人是不是进入了左边建筑?”

它必须看到视觉证据。

所以此时应该上传:

图片

. 最有价值的是“事件前后视频窗口”

当:

Target Lost

发生时,立即上传:

Event = Target Lost

Video:

T-5s ~ T+3s

这样VLM能够看到:

目标是怎么消失的。

这往往比只上传“丢失后的画面”有效得多。

图片

VLM请求应该反向控制端侧

图片

这就形成:

Perception → Reasoning → Query → Evidence → Action


普通状态

Semantic State

≈ kbps级

事件发生

5~20张JPEG

≈ 数百KB~数MB

复杂事件

5~10秒 H.264

≈ 数MB

特殊任务

Live Video

≈ Mbps级

所以你的多链路系统可以根据事件级别动态调度。

图片AiBrainBox-UGV采用四级通信策略

图片
图片

多制式无线通讯+多模态感知端侧通感算控一体设备-5G+自组网+卫通、多目帧同步MIPI/GMSL相机、工业级双IMU、UWB、双RTK、边缘YOLO+CLIP

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →