想让楼道里的摄像头自动发现垃圾,再把现场截图发给管理人员,第一反应多半是找一个能识别垃圾的模型。
但模型找到了,视频怎么接进来?哪些区域需要检测?发现一次就提醒,还是持续一段时间再报警?几路摄像头一起跑,设备能不能撑住?
真要把它做成一套能用的系统,模型之外还需要有一串配套工作。
最近我留意到一个专门解决这些问题的开源项目:御宇智能团队开发的 CosmoEdge。
首个正式版本开源短短三个多月,就已经在 GitHub 斩获了 1300+ Star。
GitHub:https://github.com/cosmo-wander-ai/cosmo-edge
它把视频接入、模型推理、规则配置、实时画面和告警推送整合到了一套边缘 AI 引擎里,核心引擎和网页控制台均已开源。
开发者可以从现成的应用框架开始,把自己的模型和业务需求接进去。
接上摄像头,在网页里搭好分析流程
使用 CosmoEdge,可以先接入一段视频或一路摄像头,再到网页控制台里选择模型、添加处理组件,配置分析流程。
以未戴安全帽检测为例,先检测人员,再判断是否佩戴安全帽,最后根据区域和告警条件生成事件。模型、规则和上报组件都能在可视化界面中配置。
配置完成后,识别框会叠加到实时画面上,满足规则的结果会留下截图和告警记录。
后续要调整检测区域、过滤条件或提醒频率,也可以继续在界面里修改。
项目还提供了 29 类场景模板,覆盖区域入侵、人员跌倒、车辆违停等常见需求。
选好模板、配上对应模型,再按现场调整区域和参数,就能开始测试。
已有自己训练的模型,也可以按平台接入,复用这些视频处理和应用功能。
需要定制模型时,配套的 Training Skill 还能让 AI 助手协助完成数据检查、训练和应用接入。
给画面一句提示词,试试新的识别任务
遇到现有类别之外的目标,可以先试试 CosmoEdge 接入的 GroundingDINO 开放词表检测。
比如前面说的楼道垃圾,输入 garbage,就可以尝试让模型在画面中找出对应目标,再结合区域规则触发提醒。验证一个新想法时,起步会方便不少。
视觉大模型还能进一步判断画面中的状态:消防柜门有没有关好、垃圾桶是不是满了、河面上有没有漂浮物。这些问题可以先通过提示词验证,再按实际效果调整。
最近,CosmoEdge 还接入了 Laya、MiniCPM-V 4.6 等视觉模型。
想把这些模型用到自己的摄像头画面上,可以继续使用现有的视频接入、任务编排和事件流程,比较不同模型对同一业务问题的判断效果。
模型判断也能参与告警复核。比如常规检测触发了一次疑似异常,再让视觉大模型结合提示词看一眼画面,帮助过滤部分误报。
选择端侧模型时,画面分析可以直接在边缘设备上完成。对想在本地部署视觉大模型的开发者来说,视频接入、运行管理、结果展示这些环节,CosmoEdge 已经提供了现成入口。
识别之后,把结果送到真正需要的地方
现场项目通常还有自己的管理平台。CosmoEdge 可以通过 HTTP、MQTT 等接口,把告警和截图信息推送过去,接入已有的通知、工单或业务流程。
配套的 CosmoEdge Connect 还提供了 MCP 接口。比如让 AI 助手「查一下昨天收货区的告警,再取一张现在的画面」,由助手调用 CosmoEdge 查询、取图并整理材料,减少日常查看和交班时的反复操作。
这样,从摄像头里的一个目标,到管理人员收到一条可查看、可跟进的事件,整条流程就接上了。
真正放到现场,多路任务能跑多少、连续运行几天表现如何,都会影响设备选型和后续维护。
CosmoEdge 把这些问题做成了公开测试,让开发者在动手部署之前,就有具体的数据可以参考。
测试内容覆盖 49 个小模型用例、三个平台的视觉大模型验证,以及四个芯片平台的 72 小时长稳测试,多路并发性能和持续运行表现都有对应结果。
在 72 小时连续测试中,每路同时运行人员检测和未戴安全帽分析两个任务,每个任务目标为 5 FPS。
BM1688、CV186X、RK3576 三个平台使用 8 路、16 个任务,RV1126B 使用 4 路、8 个任务,均通过了这轮测试。
输入是固定的 1080p 本地循环视频,配置和测量结果可以在公开报告里查看。
项目也保持着持续更新。接入新模型的同时,团队还在完善输入检查、异常处理和运行开销等细节,并补充回归测试。
比如在分配内存前检查模型输入、减少不必要的调试开销,这些细小的改进,关系到系统每天运行时是否省心。
项目支持 Sophon、Rockchip 和 x86。换用其他受支持的芯片,匹配对应的安装包和模型后,仍然可以沿用同一套界面和任务配置方式。
先在自己的电脑上跑起来
想试一试,不必先购买边缘设备。Linux x86_64 电脑装好 Git 和 Docker Compose 后,可以执行下面三行命令:
git clone https://github.com/cosmo-wander-ai/cosmo-edge.gitcd cosmo-edgesudo docker compose -f docker-compose.x86.yml up -d --build
Windows 在项目目录中使用这条启动命令:
docker compose -f docker-compose.x86.windows.yml up -d --build启动后,在浏览器打开 http://localhost:8080,跟着教程选模型、接视频、设规则,就能开始体验。苹果芯片 Mac 也提供了 Docker Preview,可以先用单路本地视频熟悉操作。
等到要放进现场,已有硬件的可以自行部署。希望省去环境配置的,也可以选择官方预装设备。
价格 1980 元起,随附 20 余种高质量算法模型和 29 种场景任务模板,接上视频就能从现成场景开始测试。
查看设备配置与获取方式:https://www.cosmowander.ai/zh/devices/
对想做视频 AI 应用的团队来说,CosmoEdge 提供了一套可以直接动手的基础:先用自己的画面跑通一个场景,再把时间花在模型效果和业务需求上。
手边有一段视频,就可以从第一个检测任务试起。
GitHub 项目地址:https://github.com/cosmo-wander-ai/cosmo-edge
中文文档与上手教程:https://www.cosmowander.ai/zh/docs
如果在部署或二次开发中遇到问题,也可以进入交流群交流。
今天的分享到此结束,感谢大家抽空阅读,我们下期再见,Respect!