作者：谢天宇（厦门大学），SocialOmni 论文作者
一道问答题可以由答案判断对错，多人对话却还要考虑回答发生在什么时候。若只评价模型已经开口的回复，那些错过大多数接话机会的模型也可能得到漂亮的质量分。SocialOmni 将说话人归属、介入判断和自然续写放到同一套诊断视角下，并公开逐条回答，让我们能进一步追问：一个分数究竟反映了什么？
一场讨价还价终于结束了。
对方已经说了“好吧，拿去吧”，接下来，穿绿色衣服的女士该怎么回应？
一个模型接道：“很高兴与你做生意。”另一个模型却说：“来吧，我连公文包也一起给你。”
第二句话并不离题，语法也没有问题。公文包确实在前面的谈判中出现过。问题在于，交易已经谈妥，它却把之前的条件重新说了一遍。
这是 SocialOmni 公开案例里的一段真实评测。它让我们看到，多模态模型的困难有时并不是不知道画面里有什么，或者听不懂一句话的意思，而是没有跟上对话正在发生的变化：谁在说话，现在轮到谁，这句话之后应该怎样接。
如果我们希望音视频助手自然地参与讨论，而不只是等着用户发来一道题，这些看似琐碎的判断就无法绕过。
图 1：同一段对话中，Gemini 3.1 Pro Preview 给出了一句成交收尾；Qwen3.5-Omni-Plus 重复了前面的加码条件。三位评委对前者均给出 100 分，对后者分别给出 25、0、25 分。这个例子展示的是一次具体的接话差异，完整结果可在项目主页查看。
论文：SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models
项目与最新榜单：https://mac-automl.github.io/SocialOmni/
开源代码：https://github.com/MAC-AutoML/SocialOmni
数据集：https://huggingface.co/datasets/alexisty/SocialOmni
我们想测的，是一道题之前和之后的事
在常见的音视频问答中，模型拿到一段内容和一个问题，然后给出答案。什么时候回答、回答谁，往往已经由任务替它决定了。
多人对话没有这么整齐。镜头可能对着正在听的人，声音却来自画外；一句话虽然说完了，发言者可能还没准备让出话轮；一段回复听起来很流畅，却可能重复了前文，或者接错了对象。
我们为此构建了 SocialOmni，一个面向全模态模型的音视频社交交互评测基准。这里的全模态模型，是指能够处理声音、图像、视频和文本等多种信息的大模型。SocialOmni 关心的是，当声音和画面共同构成一段对话时，模型能否把其中的人、话语和交流进展联系起来。
评测围绕三个问题展开：Who，谁在说；When，该不该开口；How，开口后怎么接。
Who 包含 2,000 条说话人归属样本。模型需要把一段话与正确的人物对应起来。我们也保留了画外音、人物遮挡等自然出现的情况，因为真实对话并不会保证每个说话人都正对镜头。
When 和 How 使用 200 条交互核心样本。我们在对话中的一个时刻暂停，指定一位参与者，让模型判断这个人是否应该接话；如果适合开口，再看它能否自然地延续对话。这 200 个时刻中，128 个应该接话，72 个应该继续听。
模型只能看到暂停时刻之前的音视频，不能偷看下一句。人工核验的参考续写留给评分环节使用。这样的设计让我们能够在同一个对话节点上，分别观察“时机选得怎样”和“内容接得怎样”。
图 2：SocialOmni 的三个诊断。感知与交互使用两组不同样本；它们共同刻画参与对话需要的判断，不将六项指标平均成一个总分。
从真实对话里，保留那些不那么理想的瞬间
音视频理解的困难，常常藏在“看起来很正常”的片段里。镜头切到听者的反应，发言还在继续；一个人侧过身，声音和口型不再容易对应；几位参与者轮流说话，某一句的内容听清了，归属却判断错了。只选择嘴型清楚、人物正面的片段，会把这部分困难提前过滤掉。
我们从真实视频中整理对话片段，并要求样本具有明确的任务目标和可以核验的答案。每条样本由三位标注者独立检查，再处理分歧。对于交互样本，除了标注一个人是否应该开口，还需要确认目标人物是谁、判断发生在什么时刻，以及怎样的续写符合上下文。参考回应经过人工核验，但不会提前给被测模型看。
2,000 条感知样本中，1,725 条属于说话人可见的情况，275 条保留了画外音、反应镜头、遮挡等自然出现的可见性不匹配。这不是把不同视频的声音人为交换，而是观察真实素材中本来就存在的困难。因此，可以用它分析不同场景下的表现，却不能直接把两组分数差当成一个控制了其他因素的因果实验。
交互核心集的筛选则更强调对话节点是否清楚：目标人物要能被辨认，已有信息足以判断是否接话，续写也必须能在当前语境下成立。它是一组有意控制的诊断任务，不代表日常生活中“该开口”和“该等待”的天然比例。
图 3：两组数据分别承担不同任务。图左是说话人可见性分层，图右是接话判断标签组成；不能把这两个比例当成同一组样本的属性。
不是听到了什么就够了，还要知道是谁说的
在项目公开的一段访谈里，右侧男士问起财富管理和资产管理的区别。模型面对的选项，既有说话人的变化，也有提问内容的变化：是左侧女士还是右侧男士？问的是“财富管理是什么”，还是“两种管理有什么区别”？
这种设计有意把身份和内容交叉起来。如果模型只抓住“财富管理”几个词，却没有把声音与人物对应起来，仍然可能选错；如果认对了人，却没听清问题，也同样无法完成任务。
图 4：公开样本 video_2。问题定位在第 20–23 秒，参考答案是右侧男士询问财富管理与资产管理的区别。完整片段、四个选项和参考标注均可在项目页查看。
对多人音视频助手来说，这一步会影响后面的交流：模型究竟是在回答谁的问题，复述谁的观点，还是把一个人的话安到了另一个人身上？单独询问视频的主题，未必能暴露这类错误。SocialOmni 把“谁说了哪句话”单独拿出来测，正是为了让这种归属关系进入评价。
有些时刻，正确回应就是继续听
接话判断与一般问答还有一个重要区别：没有说话，有时反而是对的。
项目页的另一个样本把视频停在第 17 秒，问站在最右侧的小男孩此时是否应该开口。标注答案是“否”，对应的参考续写也留空。这里不是要求模型想出一句更精彩的话，而是先判断目标人物此时是否应当进入对话。
图 5：公开样本 video_0009。任务指定最右侧的小男孩，在第 17 秒作判断；参考标签为不接话。静帧用于定位目标，实际判断仍需要观看此前的音视频。
把这样的等待状态放进数据，才能区分“能生成内容”和“知道是否需要生成内容”。否则，一个无论何时都热情回答的模型，很容易在只包含应答机会的任务中显得表现很好，却把真实交流中的插话问题留在评价之外。
SocialOmni 的 When 是在固定时刻判断“该不该”，并不要求模型估计精确到毫秒的起声点。这样的拆分让不同模型可以面对相同的对话状态，也让错误更容易分析：是该回应却沉默了，还是不该回应时抢了话？
认出了说话人，仍可能错过大多数应答机会
SocialOmni 的公开榜单目前已经收录 23 个模型条目，包括 Gemini、Qwen-Omni、MiniCPM-o、Ming-Omni、VITA 等系列。随着更多完整音视频评测加入，一些反差变得更清楚了。
其中一个例子是 Qwen3.8-Omni-Flash。在这次评测中，它的说话人识别准确率达到 89.45%；如果要求它在全部 128 个适合接话的时刻都生成回复，平均质量为 77.02 分。
但让它自己决定何时开口时，情况发生了变化：128 个应答机会中，它只在 23 个时刻选择接话并给出回复，覆盖率为 17.97%。
也就是说，系统在被要求回答时能够生成较好的续写，却在大量应该参与的时刻没有开口。仅看识别准确率，或者只看它已经生成的回答，都很难发现这道落差。
这也是我们没有把所有能力压成一个总分的原因。认清谁在说话、判断是否轮到自己，以及组织一句合适的回应，是相互关联、却不能彼此替代的能力。
图 6：三个配置来自同一近期托管评测批次。每一列单独读：感知准确率、强制回复质量和应答覆盖率衡量不同环节，不能求平均。
另一个值得注意的配置是 Qwen3.5-Omni-Flash。它的应答覆盖率为 70.31%，高于图中另外两个配置；但在所有正样本上的强制回复质量为 33.14 分。与 Qwen3.8-Omni-Flash 的表现放在一起看，就能发现两种不同的改进需求：一个需要在该说话的时候更愿意参与，另一个则需要让实际说出的内容更贴合上下文。
这比简单地把模型称为“保守”或“积极”更有用。同一个覆盖率，可能伴随着不同的错误插话数量和回复质量。模型的发言倾向可以是分析起点，却不应该成为对它整体社交能力的替代评价。
一句好回答，也要出现在合适的时候
评价交互还有一个容易忽略的问题：模型可以通过少开口，让自己的回答平均分显得更好。
假设一个系统遇到十次应该回应的机会，只挑最有把握的一次回答，而且答得很好。若我们只给这一次打分，它看起来会是一个出色的对话伙伴。可对身处对话中的其他人来说，剩下九次沉默同样是体验的一部分。
因此，SocialOmni 同时看回复质量和应答机会的覆盖情况。条件回复质量衡量“开口时接得怎样”，覆盖率记录“该接的时候接上了多少”，两者相乘得到联合得分，让错过的应答机会也进入评价。
我们还会要求模型在所有应该接话的时刻都回答一次。这样就能进一步区分：它到底是接不出合适的话，还是没有选对开口的时机。
下面这些结果选自采用同一组三模型评委的近期音视频评测。回复质量和联合得分均为百分制，覆盖率以百分比表示。
强制回复质量在同一组 128 个应答机会上计算；联合得分则将模型实际接话后的回复质量与覆盖率结合。它们观察的是不同环节，因此不能用强制回复质量直接乘覆盖率来复算联合得分。
这些数字展示了几种不同的表现。Gemini 3.8 Flash 在回复质量和覆盖率上都取得了较高得分；Gemini 3.1 Flash-Lite 的强制回复质量达到 83.98 分，但实际只覆盖约四分之一的应答机会。Qwen3.5-Omni-Plus 的说话人识别准确率达到 91.05%，应答覆盖率则为 48.44%。
模型在某一环节已经做得不错，并不意味着整条对话链条已经顺畅。对研究和改进系统来说，知道问题落在哪一步，比只知道谁排在谁前面更有用。
当然，接得多也不一定接得对。一个始终回答“应该开口”的规则，在这组正样本占 64% 的数据上就有 64% 的判断准确率。因此，错误插话和错过机会需要分别检查，不能只用覆盖率或者一个准确率判断系统是否善于把握时机。
图 7：左图比较条件回复质量与覆盖率调整后的联合得分，右图给出对应覆盖率。均来自当前标准三评委的近期音视频评测。条件质量的样本随模型实际介入情况变化，不能当成所有模型做同一组题的结果。
这些分数，分别在回答什么问题？
把上述指标写回一个小例子，会更容易理解。假设有 100 个应该接话的时刻，一个系统只在其中 25 个时刻正确开口，并且这些回复的平均质量是 80 分。那么它的条件质量是 80，覆盖率是 25%，联合得分就是 20。这个例子只是解释计算方式，不是某个模型的实验结果。
为什么还需要强制回复质量？因为前面的 80 分可能只来自模型挑选出的那 25 个时刻。它在剩下的时刻能不能回答得好，我们仍不知道。让它在全部 100 个时刻都生成一次，才有机会观察没有经过接话决策筛选的续写表现。
对应到实际评测，QEns 是条件回复质量，Cov+ 是应答覆盖率，QEns_joint 是两者结合后的联合得分，QGold 是强制回复质量。正文先用中文说明，是因为这些缩写只有放回具体问题里才有意义。尤其需要注意，联合得分乘的是 QEns，不是 QGold；前者评价实际触发的回答，后者评价固定正样本集合上的回答。
这也解释了为什么公开榜单把这些列并排展示，而不是只留下一个冠军。研究者如果关心说话人归属，可以先看 Who；如果关心助手是否过于沉默，需要同时看接话分类和覆盖率；如果关心内容生成，则应比较强制回复与条件回复。不同问题需要不同证据，单独挑一个最高分往往会把其他环节藏起来。
流畅之外，还要看懂对话走到了哪一步
回到开头的交易案例。
“很高兴与你做生意”之所以合适，不在于它有多复杂，而在于它承接了交易已经达成的状态。重提公文包的那句话虽然与前文相关，却把对话拉回了已经结束的讨价还价。
这个差别很难通过关键词重合或者一般的语言流畅度来衡量。我们使用三位模型评委，根据对话上下文、目标角色和人工核验的参考续写，对生成回复分别评分，并公开逐条回答与评分记录。当前新增评测使用 Gemini 3.8 Flash、Qwen3.8-Omni-Flash 和 GPT-5.6-Sol。
在项目页面上，读者可以直接观看片段、比较回答，再判断这些分数是否符合自己的理解。参考答案也不意味着只能这样说；同样自然、符合角色和对话进展的另一种表达，也可以是一句好回复。
这种公开对照同样能帮助我们解释分数。比如，部分模型在说话人识别任务中会输出一段解释，而评测要求只返回选项标签。Gemini 3.8 Flash 在严格格式下的识别准确率为 25.40%，辅助提取选项后则为 94.50%。因此，不能看到前一个数字就认定它不理解音视频：任务理解、格式遵循和结果解析，都可能影响最终表现。
图 8：这是解析方式诊断，不是新一轮模型推理。辅助提取可以从解释性文字中寻找选项，但也可能抽取到错误位置，所以不会替换正式榜单分数。
这件事对模型评测本身也有启发：一个分数有时同时包含了内容理解、指令遵循和调用流程的影响。把原始回答公开出来，不只是为了方便复算，也是在为解释结果保留空间。看到异常低分时，应该能继续问它究竟没答出来，还是答出来后没有遵守任务约定。
榜单为此保留了输入方式、评测设置和原始记录的入口。
正文选取的近期结果使用同一组评委；不同输入配置和历史评测仍需结合各自说明阅读。
从“能回答”走向“能参与”
语音与音视频助手正在向更自然的交互发展。全双工系统允许模型一边输出、一边继续接收用户输入，但要让这种能力真正改善交流，系统还需要决定什么时候回应、什么时候等待，以及怎样顺着当前对话接下去。
例如，在多人会议助手里，认清说话人关系到观点归属，判断是否接话关系到是否打断讨论，而续写质量又关系到能否给出符合当下交流目的的回应。这些环节出了问题，单纯把语音识别做得更准，或者把输出做得更快，都未必能够直接补上。
对全双工研究来说，允许系统同时听和说，是实现自然互动的重要条件；接下来仍要解决“现在是否值得说”和“这句话是否接得上”。前者涉及话轮和参与者的状态，后者需要理解对话已经推进到哪里。开头的例子就是一种内容相关、状态却落后的回答，它并不会因为生成速度更快就自然变得合适。
SocialOmni 从这些社交决策切入，使用固定时刻的离线评测来定位问题。
实际系统中的响应速度、持续听说和打断恢复，还需要进一步测试。我们希望它能为这些系统提供一组具体的改进信号，而不只是再增加一张内容问答排行榜。
我们已经公开数据标注、评测代码、模型回答和评分材料，并提供可以离线核验已记录结果的复现包。项目主页还整理了可播放的案例，方便大家从真实对话而不是抽象分数开始理解任务。
欢迎做多模态、语音交互、全双工对话和模型评测的同行试用 SocialOmni，也欢迎一起讨论：一个模型能够自然参与对话，究竟还缺少哪些能力？
论文：SocialOmni: Benchmarking Audio-Visual Social Interactivity in Omni Models：https://arxiv.org/abs/2603.16859
项目与最新榜单：https://mac-automl.github.io/SocialOmni/
代码与复现材料：https://github.com/MAC-AutoML/SocialOmni
数据集：https://huggingface.co/datasets/alexisty/SocialOmni
本文榜单数据核对于 2026 年 10 月 19 日，公开页面标注更新日期为 2026 年 9 月 27 日。