刚回顾了一下，今年视频模型圈子里最热闹的方向，莫过于实时生成和实时交互。
不少团队都推出了实时交互模型，做到了能实时对话的数字人，还能一边生成一边播放的视频。
随着实时交互模型逐渐增多，大家的需求也不断增加，自然就想比一比谁家模型做得更好。
传统的视频模型测评，大多是拿生成好的一段视频来看，画质怎么样，动作有没有问题。
但这种离线的测试比法，放到流式实时交互模型身上，很显然比不出一个好坏。
我们得看模型能不能连着几分钟都接住新指令，还不把视频里的人物和画面弄乱。
赛道这么火，但一直缺一套统一的评测基准。
直到最近，首个流式视频生成评测榜单 StreamEval 正式上线了。 配套的评测基准也已开源，让不同模型在统一的测试规则下接受比较。
项目参与者来自清华大学、英伟达、普林斯顿、UC Berkeley 等海内外高校和机构。
榜单地址：https://streameval.ai
GitHub：https://github.com/StreamEval/StreamEval
StreamEval 的一个重要特点，是评测过程公开透明：所有测试题目和测试代码全部开源，每道题的输入素材、指令时间轴、预期结果和评分规则也一并公开。
任何人都可以获取同一套题目与代码，按照公开流程复现评测、核验结果，让模型之间的比较有据可查。
这个榜单还将由 StreamEval Team 长期维护，每个月更新一次，持续评测新增模型和已有模型的新版本，并公布最新测试结果，为研究者和开发者提供持续更新的参考。
论文已经在 arXiv 上公开，榜单也上线了，科研机构、企业模型团队和个人开发者，都能把自己的模型接进来测一测。
我把论文和仓库翻了一遍，接下来跟大家说说 StreamEval 评什么、怎么评，以及怎么参与进来。
评的是一整段互动
StreamEval 一共设了五类任务，分别是数字人对话、数字人表演、世界生成、指令编辑和参考编辑。
数字人对话考的是持续聊天时能不能听懂、接得上话，人物的长相和声音前后还要保持一致。
数字人表演是按实时指令做动作、换表情，世界生成则是根据指令，持续改变场景、镜头或者物体的状态。
后面两类属于实时视频编辑，一个靠文字指令改视频，一个靠参考图改目标的外观，还要支持切换、移除和恢复。
论文里对比了 19 个已有的相关 benchmark，每一个只覆盖这五类任务里的一到两类，StreamEval 是把它们放进同一套框架里来测。
整个基准有 300 个测试用例，每类任务 60 个，每场测试从 15 秒到 300 秒不等，分成 15、30、60、120、300 秒五档。
跟一次性把提示词给完不一样，测试过程中的语音、文字指令、参考图和视频帧，会按时间一条条送到模型手里。
比如论文里的参考编辑测试，先给视频里的人物加一件红色披风，10 秒后要求换成金色，到了 20 秒再让它把披风去掉。
换披风的时候，原来的人物动作和背景不能跟着变，时间也得跟原视频对上，状态一致性就在这些地方考。
评分分了四个维度，任务执行、状态一致性、视觉保真度和声画协调。
四个维度下面一共十项指标，每项都是 0 到 100 分。
不过每类任务用到的指标不一样，各自算一个 Overall 综合分，不会再把五类任务放到一起排总榜。
公开题目之外，StreamEval 还公开了模型之间如何公平比较的规则。
同一任务、同一测试设置下，各模型使用相同的测试用例、重复次数、评审配置和计分方式，评分规则不会因模型身份而改变。
模型表现怎么样
论文里测了 37 个模型，一共 47 个模型任务配置，开源模型和商业服务都有。
看结果会发现，不少模型画面质量得分挺高，人物也能保持一致，但持续指令执行的分数就低了不少。
数字人表演测了 7 个模型，Following（指令跟随）这一项，最高的也只拿到 36.90 分。
世界生成也是，给模型输入文字指令的情况下，Following 最高只有 25.93 分。
参考编辑里，3 个模型的 Edit Success（编辑成功率），最高只有 15.00 分。
这项要求比较严，改的目标、范围、时间和持续效果都得符合要求，其他地方也不能改错了，才算编辑成功。
模型得知道什么时候该改，照着要求去改，还得把其他内容保留下来，实时交互视频的难处就在这里。
持续执行指令是所有实时交互模型共同的短板，那放到每一类任务里，谁的综合表现最好？
在 StreamEval 的官方榜单上，可以看到各类任务的排名，这个榜单排名每月都会更新。
数字人对话有 15 个模型参评，生数科技的 Vidu S2-Avatar 以 93.98 的 Overall 排第一，对话、画质和身份一致性三项也是最高分，第二名则是Tavus CVI Full。
数字人表演的第一同样是 Vidu S2-Avatar，Overall 81.71。
世界生成有 17 个配置参评，港大和可灵团队的 MemFlow 以 33.36 排第一，第二名 Rolling Forcing 是 33.01，前几名咬得很紧。
指令编辑有 5 个模型参评，Vidu S2-Editing 以 45.43 排第一，京东的 JoyAI-Video-Edit 以 42.39 排第二。
参考编辑的第一也是 Vidu S2-Editing，Overall 39.02。
怎么参与进来
除了读论文，StreamEval 仓库里的评测工具也可以直接跑起来，Linux 和 macOS 都行，需要 Python 3.10 以上的版本。
第一次上手可以先跑一个 CPU 示例，用的是程序在本地生成的素材，不需要 API Key、GPU，也不用先下载数据：
git clone https://github.com/StreamEval/StreamEval.git streameval && cd streamevalpython -m venv .venv && source .venv/bin/activatepython -m pip install -e ".[runtime,judge,dev]"python -m streameval.benchmark.synthetic --out .smokestreameval run --model streameval.models.mock:MockModel --track instruction_edit \--case sa.v1.901.instruction_edit --benchmark .smoke/set \--data .smoke/data --out .smoke/attemptstreameval validate-run .smoke/attempt \--benchmark .smoke/set --data .smoke/data
跑通之后，再去下载完整的评测数据，大概有 3.1 GB，目前已经可以在 ModelScope 上下载。
仓库里已经写好了 29 个开源模型的接入代码，配置好评审模型的凭证，就能跑一遍完整评测，跟论文里的结果对照着看。
想测自己的模型的话，可以照着仓库里的 Add a Model 文档来接入，目前支持两种方式。
模型和评测程序跑在同一个 Python 环境里的，用进程内模型接口就行，需要单独的运行环境、或者跑在另一台机器上的，就用 WebSocket 服务。
仓库还准备了一份模板，复制一份出来，改改模型代码和配置文件就能接上，进程内写好的模型，不用改代码也能直接转成 WebSocket 服务。
跑完之后，本地会留下结果和评测记录，项目欢迎大家把模型接入信息、评测结果和技术反馈，贡献给维护团队。
官网已提供 ‘Evaluate your model’ 评测申请入口。团队或个人可以提交模型信息，也可附上自行评测的结果；结果经审核验证后，会纳入后续榜单发布
写在最后
视频生成模型这两年的进步大家应该都有感受，从生成几秒的短片，一路做到了能实时生成、实时互动。
StreamEval 开放的不只是一份成绩单，评测方法、工具和数据都摆在桌面上，所有测试题目与测试代码全部开源，让大家既能查看排名，也能检查评分依据，并亲自运行评测、核验结果。
榜单也会长期持续更新，不断纳入新的模型和测试结果，研究者能看到不同技术路线的进展，开发者也能依据最新结果，选择适合自己的模型。
从这一轮的结果看，数字人表演和参考编辑里，跟执行指令相关的最高分都还不到 40 分，这道题离答好还早。
做实时视频模型的团队，或者对这个方向感兴趣的朋友，可以去看看，把自己的模型接进来跑一跑。
榜单地址：https://streameval.ai
GitHub 代码：https://github.com/StreamEval/StreamEval
论文地址：https://arxiv.org/abs/2610.28402
公开数据集：https://www.modelscope.ai/datasets/StreamEval/StreamEval
今天的分享到此结束，感谢大家抽空阅读，我们下期再见，Respect！