今天是2026年10月20日，星期二，南京，天气雨。
来看jev多模态决策模型进展，继续细分到具体的场景，如VideoJev，针对“视频智能体反复、低延迟决策”这一刚需做工程化。
场景问题是视频智能体要把“看视频”变成“做决策”：跟踪进度、判断下一步做什么。这个根本矛盾暴露了现有两条路线的结构性缺陷：
一个是判别式视觉模型（如专用定位头、QA 头）：预测效率高，但每个任务都要单独设计，缺乏语义灵活性，难以复用；
一个是视频多模态大模型（Video MLLM）的自回归生成：语义灵活，但哪怕只是一个“是/否”或“选 A 还是 B”的简单决策，也要逐 token 生成文本，延迟高，且输出难以被智能体直接消费。
所以，可以提个方案，具体做法是保留预训练 MLLM 的语义理解能力，但把“生成答案文本”替换为“一个共享头，对候选时间区间和候选文本选项直接打分”。这样既保住语义灵活性，又给出智能体可用、低延迟的结构化决策。
这个可以专门看下，可以来看下这个工作VideoJev。
一、视频多模态决策模型VideoJev
来看一个工作，VideoJev 《VideoJev: System One Model for Video Understanding and Interaction 》(https://arxiv.org/pdf/2610.18615)，把时间定位和多项选择视频问答统一到一个共享候选评分头上，用直接打分（sigmoid/softmax）取代自回归文本生成。两个尺寸：VideoJev-4B（基于Qwen3.5-4B稠密）、VideoJev-35B-A3B（基于Qwen3.6-35B-A3B的MoE，激活约3B）。
1、是什么
VideoJev 是一个决策接口（decision interface），把两类任务都重写成“对候选打分”：
时间定位（Temporal Grounding）：给定自然语言查询，在视频中找出事件发生的起止时间区间。实现上，给定查询，对候选时间区间输出一个 sigmoid 概率，默认阈值 0.25，超过即命中，得到秒级 interval 及逐段概率；：
多项选择视频问答（MC-QA）：从给定的若干候选答案中选出正确的一个，而非自由生成。实现上，对候选文本选项输出 softmax 概率分布，取 answer_index 作为决策结果；
模型家族有两个尺寸，均基于 Qwen 系列 MLLM 改造：
2、技术实现架构
技术实现架构有二，分别如下：
一个是候选评分接口，统一输入是“视频 + 候选”。候选可以是时间区间（grounding）或文本选项（QA），经共享编码后由同一评分头产出概率。
model.predict_video(processor,
video,
questions,
fps=2.0,
max_frames=2048, context=8192)
返回 grounding 的 interval 与 QA 的 answer_index / 概率分布。任务由参数 task="grounding" 或 "choice" 区分。
一个是共享视频计算（核心加速来源）。同一段视频历史会被反复查询（新目标、中间结果触发新提问），VideoJev 提出两种复用模式：
Cached inference（缓存推理）：视频前缀计算一次并缓存，新查询到达时只做一次前向，直接复用视频表示；
Joint inference（联合推理）：把一组查询放进同一次前向传播，单次得到多问结果。
在训练方式上，使用两阶段训练。
在基建选型上，也可以做个列举，如下：
其中涉及到几个损失，可以看下：
mIoU（mean Intersection over Union）：预测区间与真实区间交并比的平均值，定位任务主指标，越高越好；
SoftIoU：把 IoU 做成可微的软匹配损失，配合 BCE 用于定位训练。
3、怎么用？
对应的权重地址如下：4B模型：https://huggingface.co/ZhuYuhan/VideoJev-4B，35B-A3B模型：https://huggingface.co/ZhuYuhan/VideoJev-35B-A3B，代码仓库：https://github.com/MCG-NJU/VideoJev
不同的角色，可以有不同的使用方式。例如：
对于使用者（智能体/应用开发者），可把 VideoJev 当“视频决策模块”嵌入智能体：上传视频后，用 MC-QA 做状态判断、用 grounding 做事件切片，输出直接是结构化的 answer_index / interval。
对于开发者（二次训练者） 而言，可用 XTuner 在两阶段配方上接入自有数据（JSONL，见 docs/DATA.md），4B 显存门槛相对友好，35B 需分组 GEMM 扩展与 256K 上下文硬件。
对于小白用户（体验者），可直接在 ModelScope Studio（VideoJev-Demo）:https://modelscope.cn/studios/MCG-NJU/VideoJev-Demo上传视频、提定位或选择题。
二、关于我们
老刘说NLP技术社区，自2022年建立以来，以公正、客观的角度，围绕知识图谱本体论+RAG知识库+Agent智能体三个方向做深入跟进，加入方式在：https://mp.weixin.qq.com/s/_sEWHeV20sN1JcwGJU9tJw