在长视频基准 LVBench 上,VideoJev-35B-A3B 达到 73.4% 准确率,平均每题模型计算耗时 1.493 秒。相较于其 Qwen3.6-35B-A3B 基座的 Thinking 模式,实测加速约 100 倍。同一段视频上的多个问题,还可以放进一个 sequence,在一次 forward pass 中一起处理。
项目已开放 4B 与 35B-A3B 两种尺寸的模型权重,以及核心训练、评测和推理代码。
魔搭模型合集:
代码:
论文:
项目主页:
在线体验
35B-A3B:LVBench 73.4%,四项平均 79.5。其四项平均分高于 Qwen3.6-35B-A3B Thinking 的 78.8;LVBench 平均每题模型计算耗时从 149.777 秒降至 1.493 秒,约加速 100 倍。
4B:LVBench 67.9%,四项平均 74.3。平均分与 Qwen3.5-4B Thinking 的 74.9 接近,LVBench 平均每题耗时由 144.929 秒降至 1.123 秒,约加速 129 倍。相比各自基座的 Instruct 模式,两种尺寸的四项平均分分别提升 8.0 和 5.7 个百分点。
测量口径:耗时在 H200、batch size=1 下统计,包含视觉编码、前缀预填充和模型前向计算,按完整 LVBench 测试集的问题数分摊;不含预处理与数据传输。生成式基线同样复用视频前缀。MLVU 报告七项选择任务的 M-Avg,其余三项报告准确率。
VideoJev-4B 的三项平均 mIoU 为 65.3,35B-A3B 为 67.7,较各自基座分别提升 6.7 和 10.8 个百分点。在更严格的时间重叠要求下,两种模型也表现出更好的定位精度。
在完整 Charades 测试集上,两种尺寸的平均每条查询模型计算耗时分别为 0.276 秒与 0.336 秒,相较各自 Instruct 基座分别加速约 2.8 倍与 3.1 倍。
时间区间是候选,定位是连续片段
文字选项是候选,问答是证据匹配
实现上,VideoJev 基于 Qwen3.5-4B 和 Qwen3.6-35B-A3B 改造:移除最终 MLP,以候选打分头替代语言模型输出头。先对齐新打分头,再联合适配语言主干;视觉编码器保持冻结。整个决策过程无需自回归生成答案。
Joint inference:问题一起到,一次处理
一个视频前缀 → 问题 1 + 候选 → 问题 2 + 候选 → 问题 3 + 候选
一次前向计算,分别输出每个问题的结构化判断。
Cached inference:问题陆续到,继续复用视频
视频检索与剪辑。围绕同一素材提出多条事件描述,快速定位候选片段,帮助构建按事件检索、素材整理和高光筛选工具。
流程检查与交互式助手。针对教学、烹饪或装配视频,把操作步骤转换为具体事件和候选状态,定位关键动作,并回答围绕同一过程的多个问题。
视觉 Agent 的快速决策模块。由上层模型拆解目标、提出候选动作或状态,VideoJev 根据视频证据进行判断,再把结果交给规划与执行模块。System Two 组织决策空间,System One 评估视觉证据。
这些方向建立在本文已验证的时序定位与选择问答能力之上。面向持续到来的视频流,增量视觉编码、记忆管理和置信度校准仍是后续研究方向。
从魔搭下载模型
输出可以直接接入应用
示例默认以 fps=2.0、max_frames=2048 读取视频;时序定位默认 threshold=0.25,支持通过参数调整。完整调用与真实输出见仓库 Quick start。
代码与使用示例:https://github.com/MCG-NJU/VideoJev#quick-start
论文:https://arxiv.org/abs/2610.18615
项目主页与演示:https://mcg-nju.github.io/VideoJev
将视频证据转化为可复用的快速判断。
VideoJev 为视频理解和交互提供了统一的 System One 接口,也为更复杂的视觉工作流提供了可以组合的决策能力。
点击阅读原文:前往魔搭 VideoJev 模型合集
👇点击关注ModelScope公众号获取 更多技术信息~