周末下午，来听清华人工智能研究院学术年会，大佬很多，其中姚远老师关于全模态大模型的分享，我觉得尤其硬核，也最有启发。
主题是「全模态大模型技术探索」，本来担心会不会太过理论深奥，结果我和同学都越听越精神……
总结了几个特别有态度的观点：
交互性必须原生，不能靠pipeline拼凑。
感知的边界，就是智能的边界。
结构不支持就做不到，结构支持后交给数据。
有什么样的数据，模型就能做什么样的事。
交互性会和智能一起scale，这是第二增长曲线。
我感受到的，是一种强烈的对未来的相信和看见，以及作为科学家的开拓创新的锐气。
借着这次清华讲座，想详细说说全模态大模型，以及对于AI交互的价值。
01
传统模型在交互上，走了一条弯路？
现场我印象很深的，是一个比喻：
姚远说，传统多模态模型一旦开始说话，就像“捂住眼睛、闭住耳朵”，非要生成几百个 token 念完，外界发生什么都和它无关。
这也是我自己用 AI 很强的一个感受，AI 的倾听感和对象感不够，对话之间的割裂感很强，经常要等很久，模型才把上一个问题完整说完。
我注意到几个数字。
互联网音视频动态数据的有效挖掘率，最乐观估计百分之十，实际可能只有百分之五。
动态数据没有经过人类提炼，信息密度低，复杂内容多，挖掘难度高；但是这其中的发展空间巨大。
我们做评测时，天天在静态数据集上刷榜，图片分类、视频理解、音频转录，全是离线拍好的东西。
但真正流动的实时多模态信息流，很少有模型能原生处理。
过去AI的范式是增加参数量、数据量、计算量，但训练成本高企，难以持续。行业转向高效模型结构、高质量数据合成、高效率训练，提升从外部计算到模型智能的转化效率。
另一个趋势是，同等能力等级的闭源模型参数量快速缩小，去年100B能做的事，今年可能10B的模型就能平替。
端侧设备算力也在增强，两个趋势叠加，很快手机、PC上就能跑很强的多模态模型。
传统视觉语言模型是为处理离线静态数据而设计的，一旦涉及更高频自然的交互场景就会出现问题，处理逻辑僵化，严格遵循文本模型的轮次交互。
用户轮和AI轮交替，像发邮件。
但是我们人类，天然是多模态生物，日常都是在并行处理视觉、音频、语言等等，没有轮次限制，总是习惯性随时响应。
有时候，适时的打断，及时的反馈，因为此时此刻看到听到的及时调整，这种最基础的察言观色能力，才反映了人的情商。
这么一看，早期的多模态模型，显著偏离了人类处理的上限。
姚远说，这是他们的初衷，怎么让多模态大模型更像人，实时类人交互。
Thinking Machines Lab的一个观点，模型交互性会和智能同样scale up，可能是第二个增长曲线。
上下文和沟通带宽方面，传统模型交互模式带宽极窄，完美上下文应该能接管用户所有多模态信息，甚至包括监控视频和传感器信号。
这需要全模态甚至全双工模型来handle。
手工构建的系统，可能被通用基础能力替代。所以说，交互性必须是模型基础能力的一部分，不能靠pipeline把TTS和ASR糅在一起。这个判断我完全认同。
我们做开发也能感受到，pipeline系统脆弱，每个模块有延迟和错误率，串起来复杂度指数增长。
调试端到端模型已经够难，调试五模块串联系统，出了问题都不知道从哪查。
02
OmniFlow，让模型边看边听边说
姚远之前做了一系列工作，作为清华人工智能学院助理教授，在2025年早期就带队发布开源了MiniCPM-o2.6，受到了行业非常多开发者的关注和认可。
今年早些时间发布MiniCPM-Omni 4.5，总参数量为 9B。
特点是边看边听，主动说，没有明显VAD触发也能知道什么时候说话，弱化一问一答轮次，更像人一样有语音表达能力。
现场的demo很有意思。
卡片游戏，模型描述翻开的牌，听到闹钟说游戏结束。白板画画，模型一边看一边描述，从轮廓到线条到眼睛，说像可爱卡通角色。
水果价格，桃子1.99美元一磅，蓝莓3.99美元一包，樱桃也是3.99美元一包。
还有马斯克声音克隆，哪吒音色交互。
姚远说，端到端模型可以在system prompt里加一小段音频，模型学声线和性格。不是拼接ASR/TTS，是原生能力。
架构设计上，采用语言模型主干加轻量级各模态编解码器。对主干语言模型没有侵入式破坏，最大程度保留文本能力，效率高。
各模态通过token级稠密表示和模型端到端连接，所有学习信号打通，能力上限高。
姚远老师类比人脑和感官，眼睛耳朵嗓子是轻量级编解码器，和大脑骨干通过神经通路连续连接。
核心技术是OmniFlow。传统模型输入输出互相阻塞，一旦开始说话就感知不到外界。
OmniFlow把不同模态信息按毫秒级时间戳对齐，1秒内切成微切片，交替处理视觉、语言、音频信息。
宏观上就是并行处理，输入输出不阻塞，全双工。不需要VAD小工具判断该不该说话，模型在高频微轮次里判断说不说、说几个token。
及时回复、打断、插话、背景噪音过滤，统一机制实现，剩下交给数据。
Thinking Machines Lab 也在26年5月公开讨论了 interaction models，并采用持续交错输入与输出的 micro-turn 设计，本质上也是在尝试把“交互”从外部编排提升为模型本身的能力，这正是对MiniCPM-o技术设想的印证。
现场还提到了「伴随态交互」。
模型可以长期在后台感知，不用用户主动触发就响应预设事件。
比如数电梯楼层，从16层开始往上走，现在20层，快到24层，电梯匀速上行，现在24层。
用户问刚才开门了没有，模型说刚刚开了两扇门。
微波炉叮一下代表做完，过了一段时间，模型就会主动说，微波炉已经好了。
背景无关的人说话，模型不会响应，能判断相关性。
低延迟语音交互方面，细粒度信号稠密连接带来高控制力上限，但训练难度大，牵一发动全身，TTS训不好可能破坏语言模型。
在我看来这是把双刃剑，上限更高，但也要小心训练。
效率上，同尺寸模型，他们一张4090甚至Mac M5普通版能跑，千问同尺寸Omni需要两张A100。
推理效率优化和开源演示系统，真的把门槛降低了很多。这也是开发者印象里MiniCPM的传统优势，成本效率和体验实现了很好的三位一体。
我比较兴奋的是，全模态交互，不再是云端大厂专利，小团队和个人开发者能在本地跑起来。
有些隐私问题、敏感场景，都可以端侧处理，这也给很多中小企业或者垂直行业留出了空间。
实时交互延迟做到几十毫秒。AI助手可以真正伴随你，不用每次上传数据等云端返回。过去两年AI应用最大的瓶颈就是延迟和成本，端侧多模态模型把这两个问题都解决了。
03
感知边界才是AGI的硬门槛
论坛问答环节有人问，语音对话里判断插话和噪音很难，遇到哪些难点。
一个关键点是，这牵扯到打断和拒识。
人和机器有很多交互模式，有时硬打断，有时人附和一下模型应该不停，有时外部人说话跟我无关就不听，但这个人突然跟AI说话也要听。
一个房间N个人和M个机器互相聊天，管理不好就一团乱。
本质需要底层机制支持，结构不支持就做不到。结构支持之后交给数据，有足够好的数据反映这种能力，模型就能学。
另一个问题关于AGI，我也很感兴趣。
哈萨比斯说2030年AGI能完全实现，OpenAI说已经实现AGI，可能有点overclaim。
很多领域现在确实达到人类优秀水平，像数学发展很快。文本空间信息变化快，没有感知瓶颈。
多模态有特点，模型看不清图片，了解不了内容，通过agent也很难挖出来。
感知边界是硬性的智能发展边界。
姚远认为，模型更好感知真实世界的raw truth，再通过语言模型深度加工，可能会有更好的智能。
文本模型的scale up已经少有新的故事了，但多模态交互的scale up才刚刚开始。
MiniCPM系列模型，语言模型主干加轻量级编解码器，端到端全双工，毫秒级时间对齐，高频微轮次判断。
一直觉得这套架构非常有创造力。
先把底层机制做对，再交给数据去填充能力。
RSI和全模态感知是连在一起的。没有真实世界感知，RSI就是无源之水。
模型要能看、能听、能交互，才能从真实世界获取高质量数据，才能自主迭代。
我尤其喜欢这场分享的一点，是它满足了我对于「大模型交互未来发展」最生动的想象。
真正稀缺的，从来不是算力，也不是数据，是判断力。
站在2026年这一节点，一名技术领袖、扭曲现实力场的科学家，看到的不是当下模型能做什么，是模型还缺什么、以及未来通往何方。
当其他人都在卷文本能力的上限，姚远老师看到了交互的断裂。
当产业侧都在云端堆参数，他看到了端侧的必然。
当很多人在谈AGI时间表，他指出了一个更根本的问题：感知的边界，才是智能真正的边界。
这是一种我只在清华见过的，科学家敢于去闯无人区的态度和立场，以及对问题本身的重新定义。
我看到一个极有魄力的判断：AI必须像人一样，原生地感知，原生地交互，原生地进化。
交互性必须原生，感知必须 firsthand，模型要从真实世界获取raw truth……
听起来像理想主义，但姚远和他的团队，正在用一个9B模型，一套开源系统，把它变成了现实。
觉得很幸运，能在清华的论坛上，亲眼看到这张面向AI未来的地图，被一点点展开。
感知的边界，就是智能的边界。
谁先看见这条边界，谁就先看见未来……