码农翻身公众号文章

他发明了ChatGPT背后的技术,如今却押注10亿美元,认为这条路走不通!

码农翻身

公众号 · 2 篇文章

如果医生遇到这样的病人:发烧、咳嗽,肺部还有阴影。


图片


凭借经验,他可能会判断:这是肺炎。


图片


程序员把医生的判断写进软件里,不断添加各种“如果……那么……”的规则,一个专家系统就诞生了。


图片



专家系统这个想法着实美好,成了20世纪80年代最热门的研究方向,美国、日本、英国都投入了大量资源。日本甚至启动了雄心勃勃的“第五代计算机系统”计划,希望在人工智能领域取得突破。


专家系统在一些领域确实很有用,但很快就碰到了一个尴尬的问题。


让它识别一个小学生写的数字“5”,可能比诊断肺炎还麻烦。


图片


人类看一眼就知道这是数字“5”,可你要让计算机也认出来,就得想办法把人脑的判断过程写成规则。


上面有一横,左边有一竖,中间有弯曲,下面还有一个弧。


如果写得歪一点呢?如果笔画连在一起呢?如果这个孩子写出来的5,跟字帖上的5完全不像呢?


现实中的变化实在太多了,靠人工编写规则,很难把所有情况都考虑周全。


研究人员开始琢磨:能不能换个思路?别费劲地告诉计算机每一种情况该怎么处理,而是给它足够的数据,让它自己找出规律。


杨立昆就是这条路上的重要研究者之一。


图片



01
20年的等待


1989年,杨立昆发表了将卷积神经网络用于手写数字识别的经典研究。沿着这条路线继续发展,后来有了著名的 LeNet 系列。


图片

LeNet在图像识别上非常成功,90年代被美国银行用于自动识别支票上的手写数字,每天处理超过 2000 万张支票。


但是,受限于当时的算力和数据,神经网络能干的事儿并不多,渐渐淡出了主流视野。


杨立昆却一直没有放弃,只不过,他需要等待二十多年。


2012年,Hinton 带领的 AlexNet 参加了 ImageNet 大规模视觉识别挑战赛。


图片


AlexNet以8层深度卷积神经网络为核心,直接将图像识别的错误率拉低了一个量级,震惊了整个学术界和工业界。


数据集越来越大,GPU 提供了充足的算力,神经网络也能训练得更深,过去那些难以实现的想法,终于有了施展的空间。


从图像识别到语音识别,再到今天的大语言模型,神经网络的能力不断扩展,ChatGPT 的出现,更是把 AI 推到了大众面前。


ChatGPT: Everything You Need to Know About OpenAI's Buzzy Chatbot -  Business Insider


整个行业开始疯狂扩大模型规模,试图实现梦寐以求的通用人工智能(AGI)。


但是杨立昆却提出了不同的看法:只靠把大模型做得更大,还远远不够,现有的AI缺少一项重要能力,即理解这个世界是怎么运行的。



02
四岁小孩为什么比ChatGPT更懂世界?


我们做一个特别简单的实验。


拿一个装满水的杯子,把它慢慢倾斜,水会怎么样?


图片


ChatGPT当然能回答,因为它知道重力、液体、容器这些知识,甚至可以给你讲一遍流体力学。


但一个四岁的小孩呢?他可能连“重力”这个词都没听过。你把杯子一倾斜,他却知道水很可能会流出来。


因为他早就跟水打过无数次交道,洗澡时玩水,吃饭时打翻杯子,拿着水壶往外倒水……这些经历让他逐渐摸清了水和容器之间的关系。


他不需要先学会流体力学,就能预测水会往哪里流。


更牛的是,这个小孩还有举一反三的能力,把杯子换成碗、瓶子或者水桶,他也能大致判断会发生什么。


在杨立昆看来,这背后有一个很重要的概念:世界模型(World Model)。


简单说,就是大脑里有一套关于世界如何运行的内部模型。它能帮助我们预测接下来会发生什么,并据此采取行动。


小孩的这套模型是怎么形成的呢?


它可没有读过10万亿个网页,他只是每天和这个世界打交道,一点点积累经验。


比如,一个一岁多的孩子把玩具推下桌子。


“啪!”玩具掉到了地上。


他觉得有意思,又推了一次。“啪!”


再推一次,还是一样。


图片


他可能还说不清楚发生了什么,但大脑已经开始建立一种预期:东西到了桌子边缘之外,就会往下掉。


再比如,他发现按下开关,灯就亮了。多按几次,他就逐渐明白,开关可以控制灯。


这些经验看起来很不起眼,却在不断帮助孩子建立对世界的认识。


更有意思的是,孩子还能逐渐理解一些看不见的东西依然存在。


妈妈把玩具放进盒子,再把盒盖盖上。虽然玩具看不见了,孩子还是会去找它。


图片


心理学把这种能力称为“客体永久性”,它的发展涉及婴幼儿认知的多个阶段,也说明孩子对世界的理解会逐渐超越眼前看到的东西。


孩子就是这样,一次次观察、动手、反馈,慢慢摸清了这个世界的脾气。


当然,人类大脑的工作机制远比这个例子复杂,杨立昆真正关心的问题是:能不能让 AI 也通过学习,建立起类似的内部模型,从而对现实世界做出可靠的预测?



03
杨立昆的10亿美元赌注


2025年,杨立昆和Facebook分道扬镳以后,随后成立了 AMI Labs(Advanced Machine Intelligence Labs)。


到了 2026 年,没有任何产品和营收的 AMI Labs 完成了全球瞩目的 10.3 亿美元种子轮融资。


投资人中有两位大佬,“欧洲科技投资教父” Xavier Niel 和 亚马逊创始人Jeff Bezos。


杨立昆希望探索一条不同于当前大语言模型主流路线的道路:让 AI 学会建立关于现实世界的模型,预测环境的变化,并根据预测采取行动。


如果这条路线能够取得突破,机器人可能是最直接的受益者之一。


想象一下,一个机器人第一次遇到从未见过的杯子,它需要判断杯子的形状,寻找合适的抓取位置,估计杯子的重量和材质,再决定用多大力气,如果杯子正在移动,它还得预测杯子接下来会到哪里。


图片


今天的机器人系统也能完成其中不少任务,但往往需要依赖特定的模型和训练数据,换一个环境,或者遇到训练中很少见的情况,表现就可能打折扣。


杨立昆希望 AI 能拥有更强的预测能力。即使没见过某个具体的杯子,也能根据过去学到的物理规律,推断它大致会怎样运动、怎样与其他物体发生作用。


这就是杨立昆所说的“真正的智能”。


2024年,WIRED记者问杨立昆: 只要把现在的机器学习技术继续扩大,是不是最终就能得到人类级 AI?


杨立昆回答:绝对不能。


但是,这两年大模型发展异常迅速,在药物分子设计、数学难题证明、芯片架构优化等高度严谨的科学领域做出了实质性贡献。


尤其是数学,已经把顶尖数学家都逼得不得不反对 AI 了,如果OpenAI 等新一代模型真的具备了“发明新事物”的能力,那么杨立昆的断言肯定会被大打折扣。


没有人能够证明大模型之路一定能走通,也没人证明一定走不通。


杨立昆的10亿美元赌注,买的是一个机会:AI的下一场革命。


如果这条路最终走通,AI不仅仅会发生在聊天窗口里,而是在工厂、医院、汽车、仓库..... 在我们每天生活的每一个角落里。


结果如何,只能交给时间来证明了。


前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →