单独看 Claude 给警方提供假情报这件事，其实并不需要我们过于恐慌。因为所编造的线索并没有被纳入到调查程序中去，并且也没有造成已经被证实为严重的实际结果。但是电影里有一种很有趣的剪辑手法叫作「蒙太奇」。单独看一个画面很普通，但是按照一定的顺序排列起来之后就产生了另外一种意义。把这件事儿与之前 OpenAI 智能体突破测试被隔离、不能访问 Hugging Face 系统的事情放在一起考虑，再看看AI巨头最近的动作，故事就变得耐人寻味了。Axios 采访的业内人士认为，「一次足以让金融服务、互联网连接，甚至电力和供水系统陷入瘫痪的大规模网络攻击，会在未来6到12个月内发生」。不过，这次推演并没有把重点放在技术上面，而更关注在灾后政治以及社会问题上。AI 巨头高管们更关注AI危机事件爆发后，公众愤怒、国会质询以及之后可能出现的严格监管的情形。比如，他们觉得 Anthropic 的 CEO Dario Amodei 以及 OpenAI 的 CEO Sam Altman 都会成为舆论问责的目标，在讨论相关措施的时候可以提到他们。对于一家科技公司而言，灾难所造成的影响可以从两个角度来分析。一是技术上的影响，比如银行支付系统瘫痪、供电中断等等；二是社会上产生的影响，即公众不再信任这些公司掌握着自己的技术。而第二重冲击可能持续更久。所以，这次大会的关注点更多在讨论，出事了，谁担责，谁填坑的问题。这背后是整个 AI 行业在重大危机后的公信力保卫战。
防护盾怎么样？
AI 公司当然也没有坐等事故发生。实际上，在防止人工智能越界的问题上，硅谷正在建造越来越复杂的「防护盾」。Claude 误报凶杀案之后，Anthropic 就停用了导致此次事件发生的自动化的测试程序，并且对于测试环境和网页上的交互操作也做了更多的限制。在 10 月 9 日发布的报告中，Anthropic 表示他们已经将所有内部评测纳入暂不使用实时互联网的范围，直至确认安全监控能可靠发现相关异常行为。另外公司还将内部智能体迁移到了集中化的基础设施之上，缩小了互联网接入范围，并且使用了自动化的安全分类器和分层摘要技术来进行监控。也就是说把AI的行为限制在更严格的地方，并且安装监控设备以防止其做不应该做的事。有趣的是，一些科技公司的研究人员正在研究怎样用AI去监管 AI。OpenAI 正在研究一种叫做「思维链监控」的技术来跟踪模型所产生的推理过程，相比仅检查 AI 最终答案和执行动作，加入思维链信息通常能帮助监控模型更有效地识别异常行为。Google DeepMind 发布了有关于人工智能控制的研究方案，在这个过程中将会用到比较可靠的方式来监控更加强大的智能体的行为，并且在必要时会对它们进行干预或者制止。面对潜在的 AI 安全危机，硅谷正在进行一场与时间的赛跑。一方面，加强沙箱防护、建立监控系统、完善权限控制，在此之前就模拟出了如果发生重大事故之后如何应对社会反应的情形。另外一方面，就是不断地提升人工智能的能力，使它能做更复杂的任务。我们正在招募伙伴📮 简历投递邮箱[email protected]✉️ 邮件标题「姓名+岗位名称」（请随简历附上项目/作品或相关链接）更多岗位信息请点击这里🔗