也可能希望沿用某种视觉风格，或按照故事板给定的结构与剧情生成新的镜头。进一步地，多份参考还可以共同控制不同的人物、场景、风格或结构，并按照指令组合到同一个生成结果中。
然而，现有公开训练数据和评测体系仍主要围绕有限的参考类型和相对简单的控制设置构建，难以完整覆盖这些不断扩展的 R2V 需求。
为此，推出 OmniR2V Dataset 与 OmniVBench：前者提供面向多种参考任务的大规模训练资源，后者系统评测模型在多样化、细粒度及组合参考条件下的生成能力，共同为 Omni R2V 的训练与评估提供基础。
开源地址：
项目主页：
训练数据：
针对这一问题，构建并开源了 OmniR2V Dataset。
数据集共包含 339,570 条处理后的训练样本，覆盖 Content、Motion、Style、Structure、Narrative、Multi-Content 和 Cross-Aspect 七类 R2V 任务。针对不同参考因素，设计相应的任务特定构建流程，通过跨片段匹配、参考因素提取、逆向生成与质量筛选等方式，将原始视频转化为具有明确参考关系的 R2V 训练数据。
已有 R2V benchmark 往往集中于人物、物体或场景等内容参考，对于运动、运镜、风格、结构和叙事等参考因素覆盖不足；即使针对同一种参考类型，也较少进一步区分不同的细粒度控制能力。与此同时，实际生成任务正在快速走向多参考与组合控制，模型不仅需要理解单份参考，还需要从多份参考中提取正确的信息，并按照指令将不同参考因素作用到正确的目标上。
更广的参考类型：覆盖内容、运动、风格、结构和叙事等不同参考因素； 更细的控制粒度：进一步区分整体物体、材质、纹理和局部部件等不同粒度；人物参考则覆盖单视角、多视角、定制修改和属性定位等设置。关键参考信息不直接通过文本重复描述，从而真正考察模型从参考中理解和提取目标因素的能力。 更多的参考组合：不仅评测单参考，还包含 Character–Scene、Character–Object、Character–Object–Scene 等 Multi-Content 设置，以及 Content-Style、Content-Structure 等 Cross-Aspect 组合； 更灵活的定制控制：模型需要根据指令判断每份参考中哪些因素应该被提取、哪些因素需要被排除，并进一步将不同参考因素正确绑定到对应的目标实体或属性。
不只是“测得更多”，也需要“评得更细”
整个评测从三个互补维度展开：
Reference Fidelity（RF）：参考因素保留得是否准确。
Instruction Realization（IR）：参考与指令之间的控制关系是否正确实现。
Video Quality（VQ）：最终视频本身的生成质量如何。
这样的拆分，使 OmniVBench 不再只回答“这个视频生成得好不好”，而能够进一步区分：参考因素有没有保留下来、不同参考信息有没有被正确解离和路由、指令要求有没有真正实现，以及最终视频质量如何。
现有模型表现如何？
同时，模型的 Reference Fidelity 与 Instruction Realization 呈现出不同的能力表现——能够较好保留参考信息，并不意味着能够正确完成参考因素的解离、路由与指令控制。这些结果进一步说明，对 Omni R2V 进行细粒度、分维度评测的必要性。
开源的 OmniR2V Dataset 提供 339,570 条处理后的完整 R2V 训练样本，降低多类型、组合式 R2V 数据的构建门槛；
OmniVBench 则通过 7 大任务类别、18 个细分任务、813 个测试案例和 12,172 个 factor-grounded checklist items，为复杂参考控制提供更全面、细粒度的评测。
希望这两项资源能够为社区提供一套覆盖训练与评测的 Omni R2V 基础设施，支持更通用、更灵活的参考视频生成研究。
所有媒体路径均采用相对于数据集根目录的相对路径，开发者可直接根据标注文件构建训练数据加载器。
此外，数据集保留了可用的多组候选参考素材，支持单参考训练、多参考联合训练以及灵活的参考组合，为不同的视频生成模型提供统一的数据基础。
可通过魔搭社区网页下载，也可以使用 ModelScope SDK 进行命令行下载：
下载完成后，可在数据集根目录执行：
数据集仅供科研使用，使用前请仔细阅读相关许可条款。
👇点击关注ModelScope公众号获取 更多技术信息~