麻省理工科技评论APP公众号文章

开放 AI 模型究竟是福是祸?一场关于安全与权力的争论

如何管理开放模型?

麻省理工科技评论APP

公众号 · 37 篇文章


图片

(来源:麻省理工科技评论)

上个月底,Anthropic 发布了一份报告,认为 GLM-5.3 模型可能带来重大的网络攻击风险。报告的核心担忧在于,这款由中国公司智谱(Z.ai)于今年 8 月发布的强大模型,任何人都可以免费下载和修改。Anthropic 的这一判断,只是围绕前沿 AI 模型是否应该开放的长期争论中的最新一幕:这些模型究竟应该像 GLM-5.3 一样向公众开放,还是应该继续由少数顶尖 AI 实验室严格控制?

如今,关于如何管理开放模型的争论,越来越多地在公众面前展开,而争论的结果也牵动着巨大的商业利益。

英伟达首席执行官黄仁勋(Jensen Huang)积极主张美国开发更多开放模型,因为只要人们继续购买自己的硬件来运行这些模型,英伟达就能从中受益。相比之下,Anthropic 首席执行官达里奥·阿莫代伊(Dario Amodei)则主张采取更加谨慎的态度,因为廉价而强大的开放模型可能削弱其公司的竞争优势。

不过,抛开这些商业利益,围绕开放模型的分歧确实涉及一些值得认真讨论的实质性问题。

得克萨斯大学奥斯汀分校信息学院助理教授大卫·格雷·威德(David Gray Widder)说:“我认为,一个人在模型开放问题上持什么立场,很大程度上取决于他如何看待 AI 本身。”

关注 AI 安全的人警告,开放模型很容易被恶意行为者滥用。而更加看重 AI 实际应用潜力的人则认为,这种强大的技术不应该只掌握在少数大型企业手中,开放模型能够让更多人从中受益。

在全面禁止开放模型和毫无限制地发布模型之间,其实还有很多不同的选择。但无论政府或社会采取哪种方式,都必须在安全与技术普及之间作出权衡。要决定应该支持还是限制开放模型的开发,就需要深入理解它们带来的风险和收益。

图片

开放模型有哪些好处?

先从最基本的概念说起。

像 ChatGPT 和 Claude 背后的模型这样的闭源模型,用户只能通过网站、应用程序或 API 访问。开放模型则不同,用户可以直接下载。模型内部结构的相关信息,以一长串被称为“模型权重”的数字形式公开。这类模型有时也被称为“开放权重模型”(open-weight models),以便与开放程度更高的模型区分开来。后者除了公开权重,还可能提供训练流程等更多信息。

目前,闭源模型的能力仍然领先于开放模型。截至本文发表时,Artificial Analysis 大语言模型排行榜前 8 名全部是闭源模型。不过,开放模型在技术发展上只落后了几个月。

尽管如此,人们仍有不少理由选择开放模型,而不是闭源模型。由于开放模型可以下载,用户能够在自己的计算机或本地存储设备上运行它们。如果具备相应的专业知识和资源,还可以重新训练模型,改变它们的行为方式。

对于希望理解和改进 AI 系统的学术研究人员来说,开放模型几乎是必不可少的研究工具。使用闭源模型时,研究人员通常只能输入提示词,再观察模型给出的回答。但对于开放模型,研究人员可以观察其内部运行机制,以及模型在回答问题前用于推导答案的“思维链”。他们还可以组合多个开放模型,构建新的系统;通过压缩模型提高运行效率;或者针对新的应用场景进行微调。

企业同样有理由青睐开放模型。Mozilla 最近发布的一份报告指出,即使企业依赖外部服务商来运行开放模型,其使用成本通常仍低于闭源模型。如果企业希望利用 AI 处理敏感数据或专有信息,那么在自己的硬件上部署本地模型,可能是保障业务安全的最佳方式。

但开放模型最重要的意义,或许在于它们能够挑战顶尖 AI 实验室对技术使用方式的高度控制。托尼·布莱尔全球变化研究所高级政策顾问伊丽莎白·西格(Elizabeth Seger)说:“支持开放模型最明确、最有力的理由,就是防止权力过度集中,确保这项基础性技术能够成为公共产品。”

“我认为,我们正处在一个关键节点:谁控制着 AI 运行所依赖的基础设施,已经成为一个与谁控制互联网信息同样重要的问题。”西格认为,开放模型在未来扮演什么角色,将决定 AI 走向怎样的发展道路。

在一种可能的未来,前沿 AI 系统完全掌握在少数个人、企业或政府手中。随着这些系统变得越来越强大,控制它们的群体也将拥有越来越大的权力,甚至能够决定我们生活的世界将变成什么样。

例如,目前全球最先进的黑客攻击模型都由美国开发。因此,其他国家能否使用这些模型加强自身的网络防御,完全取决于美国企业和政府的决定。如果美国企业始终保持领先,那么原则上,我们最终可能进入这样一个世界:美国有能力入侵任何其他国家的网络系统,却没有任何国家能够反过来入侵美国。

前沿开放模型可能改变这种力量格局。长期韧性中心(Centre for Long-Term Resilience)AI 政策主任哈米什·霍布斯(Hamish Hobbs)说:“如果每个人都拥有一个忠于自己、同时安全可靠的 AI 系统,我认为这样的世界远没有另一种情况那么令人担忧。”

“在另一种情况下,人们只能依赖政府,而政府告诉他们:‘没错,我们拥有一个超级智能 AI 系统,它制定了一套计划。虽然你们谁也看不懂,但相信我们就行了。’”

不过,开放模型并不是解决地缘政治问题的万能药。加纳自然语言处理组织 Ghana NLP 的联合创始人保罗·阿尊雷(Paul Azunre)指出,开放模型也可能成为企业利用资源相对匮乏国家的劳动和专业知识、进一步巩固自身权力的一种方式。Ghana NLP 致力于为资源匮乏的加纳本土语言开发开源 AI 工具。

阿尊雷观察到一种模式:AI 企业先公开发布模型,观察社区如何使用和修改这些模型,然后将社区创造的改进成果整合进自己的产品,却不给最初提出创新的人任何署名或报酬。

Meta 首席执行官马克·扎克伯格(Mark Zuckerberg)本人也曾表示,能够将社区的改进成果整合进 Meta 的技术体系,是发布开放模型的一项重要优势。阿尊雷说:“我认为,开源的理想非常崇高,它也确实创造了很多价值。”“但在实际操作中,这种模式往往带有很强的资源攫取性质。”

图片

开放模型比闭源模型更危险吗?

过去几个月发生的事件已经表明,即使是闭源模型,安全问题依然十分棘手。今年 7 月,OpenAI 的 AI 智能体曾自主对 Hugging Face 发起黑客攻击。与此同时,人类滥用 AI 的风险也确实存在。Anthropic 最近发布的一份风险报告指出,已有多起大规模黑客行动借助 Claude 完成。

既然闭源模型已经存在不小的风险,那么开放模型很可能更容易被利用。在将用户请求发送给闭源模型之前,Anthropic 会先使用自动化系统,检测请求是否涉及黑客攻击、生物武器或其他风险。

如果发现用户绕过了这些安全过滤机制,公司还可以封禁相关账户。但当用户将模型下载到自己的硬件上运行时,就不再有过滤系统检查其提示词是否安全,也没有办法撤销其对模型的访问权限。

当然,AI 系统还有其他重要的安全防线。AI 企业会在训练过程中教会模型拒绝有害请求。因此,即使恶意提示词绕过了 Claude 的外部过滤机制,模型本身仍有很大可能拒绝执行。原则上,这种防护方式也适用于开放模型,因为拒绝有害请求的能力已经被训练进模型内部。

遗憾的是,研究人员发现,通过重新训练,让一个原本“安全”的开放模型同意执行此前被训练为必须拒绝的行为,竟然出乎意料地容易。基于这些事实,一些人认为,开放模型实在太危险,不应该向公众发布。例如,如果某个开放模型强大到能够一步步指导用户合成一种毒性极强的新型病原体,那么一旦落入恶意行为者手中,就可能造成灾难性后果。

但简单地将开放模型视为危险、将闭源模型视为安全,同样是一种严重的过度简化。AI 企业为闭源模型建立的安全防线远非完美。正如 Anthropic 的风险报告所表明的那样,人们一直在滥用这些模型。

虽然开放模型防止滥用的机制更少,但恶意行为者仍可能选择闭源模型。原因在于,要在本地运行能力相近的开放模型,需要大量昂贵的计算芯片;如果还想重新训练模型,所需的芯片数量就更多。

因此,相比之下,闭源模型反而可能更容易获取和使用。事实上,一些接受《麻省理工科技评论》采访的专家认为,开放模型在安全性方面也有自己的优势,这与开源软件的情况类似。

Linux 操作系统等开源工具,通常被认为比闭源软件更安全,因为庞大的在线开发者社区能够持续检查并修补其中的安全漏洞。同样,研究人员也更容易对开放模型进行安全测试,寻找其中的缺陷。不过,修复模型中的安全问题,要比修改一行软件代码复杂得多。

开放模型还可以比闭源模型更广泛地应用于网络防御。任何能够用于黑客攻击的工具,也可能用于阻止攻击。网络防御人员同样会尝试入侵自己的软件,以发现需要修复的漏洞。

Anthropic 已经通过 Project Glasswing 项目展示了闭源模型如何用于网络防御。该项目允许部分受信任的企业使用 Anthropic 能力最强的模型,帮助保护网络系统。但还有大量企业无法获得这种支持,只能依靠自己。

相比之下,开放模型可以被更加广泛地使用。在遭到 OpenAI 智能体攻击之后,Hugging Face 特别强调,它不得不依赖一个开放模型来分析此次攻击,因为向闭源模型询问相关问题时,会触发其安全过滤机制。

尽管如此,许多专家仍认为开放模型比闭源模型风险更高。经过长期实践检验的开源软件安全逻辑,并不一定适用于今天乃至未来能力如此强大的 AI 模型。西格说:“真正让问题变得复杂的是,当你开始认真考虑那些发生概率可能较低,但一旦发生就会造成灾难性后果的极端事件时。”

例如,如果今天突然向公众开放一个能力极强的黑客攻击模型,恶意行为者可能在防御人员来得及加强保护之前,就对我们的技术基础设施造成毁灭性破坏。这样的事件甚至可能让社会无法恢复。如果进一步考虑模型自主采取行动的可能性,风险看起来就更加严重。

OpenAI 智能体对 Hugging Face 发起攻击,是因为当时这些模型正在接受测试,而且许多网络安全防护措施被移除了。开放模型本来就缺少很多这样的防护措施。

如果开放模型自主决定采取不当行为,由于它们分散运行在不同的设备和系统中,人们可能很难发现究竟发生了什么。正因如此,那些认真看待失控 AI 智能体可能引发灾难性风险的人,例如阿莫代伊,通常对开放模型更加持怀疑态度。

图片

我们能否让开放模型既更安全,又更加开放?

几年前,围绕开放模型的争论往往被描述成一种非此即彼的选择。要么支持开放模型,因为它们有助于防止权力集中;要么反对开放模型,因为它们可能带来安全风险。

但如今,越来越多的人开始努力寻找折中方案。其中一种方式,就是开发能够降低开放模型安全风险的技术。闭源模型使用的大多数安全工具,例如输入过滤和行为监控,并不适用于开放模型。

不过,研究人员仍在探索其他可能性。一些研究人员希望训练出从未接触过有害或其他不良行为相关训练数据的模型。例如,让一个开放模型在训练过程中完全不学习黑客攻击知识。但要从训练数据集中删除所有涉及不当行为的内容,同时又不损害模型性能,仍然是一项挑战。

另一些研究人员则致力于开发能够抵御重新训练的模型,使开放模型原有的安全训练成果不那么容易被清除。这种“抗篡改模型”(tamper-resistant models)背后的理论相当合理。如果不断尝试将一个模型重新训练成不安全的状态,同时强化它在这一过程中表现出的抵抗能力,那么最终就有可能得到一个能够抵御未来恶意再训练的模型。

然而,最近的一篇预印本论文指出,目前还没有任何一种抗篡改方法能够抵御所有类型的篡改攻击。这篇论文的第一作者、AI 医学影像公司 Deep Breathe 的工程师萨阿德·侯赛因(Saad Hossain)仍然希望,未来能够出现更加有效的技术。他说:“我之所以保持乐观,是因为这是一个非常活跃的研究领域,很多人都在努力寻找更新、更好的方法。”

如果说开放模型的风险并不像乍看起来那样非黑即白,那么它们的好处同样如此。仅仅公开模型的内部结构,也就是模型权重,可能还不足以打破 AI 技术带来的权力集中。

霍布斯说:“我认为,开源在分散权力方面确实具有非常实在的好处,但仅靠开源本身还不够。”公开权重只是开放模型最基本的要求。如果研究人员能够获得更多训练过程的信息,包括模型使用的训练数据,他们就能更深入地理解模型的运行机制。但 AI 企业通常不愿公开这些信息。

对于开放模型而言,能否真正被人们使用也很重要。如果没有能够运行复杂模型的计算芯片,那么即使拿到了模型权重,也无法真正使用这些模型。随着 AI 企业不断抢购芯片,这些硬件的价格已经变得极其高昂,许多人难以负担。

威德说:“开放只是我们确保技术未来能够惠及所有人的最低要求,而不是最终目标。”当然,不仅公开模型权重,还开放训练数据,并让更多人能够获得运行模型所需的硬件——这种真正意义上的开放也可能带来更大的风险。

如果每个人都能够获得先进的 AI 硬件,以及可以在这些硬件上运行的先进模型,那么任何人都有可能成为黑客。不过,仍然有办法缓解这些风险。

许多专家支持某种形式的分阶段发布策略。按照这种方式,模型最初以闭源形式发布,随着安全性得到逐步确认,再逐渐扩大开放程度,让更多人能够自由使用。

要确定这些策略究竟应该如何实施,就必须谨慎权衡开放模型的风险与收益。但如果像一些专家认为的那样,开放模型是实现 AI 积极未来的必要组成部分,那么为此付出的努力就完全值得。

原文链接:

https://www.technologyreview.com/2026/10/13/1146366/open-models-have-real-benefits-do-they-outweigh-the-risks/


前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →