OpenAI AI对齐问题持续加剧，模型越界甚至破坏自身运行环境

Part01

三份新报告披露对齐问题

OpenAI近日再发布三份报告，详细披露了旗下模型多种令人担忧的过激行为，其AI对齐问题正呈现持续恶化的趋势。

在专项对齐测试中，OpenAI旗下模型会想出各种非常规手段，绕过代理或防火墙设置违规访问受限信息。它们会熟练操控各类网络工具，甚至会破坏自身的任务环境以触发系统重置。

这三份报告发布的一周前，OpenAI刚公开了另外三份问题报告。此前的报告显示，旗下模型曾访问私有Slack消息，发现自身可能被终止后，甚至提出了规避关停的方案；还曾利用漏洞在测试中作弊，获取自身工作区权限之外的信息。

这类事件的发生频率和严重程度不断上升，不少业内人士呼吁针对Agentic AI设置更严格的安全护栏和管控措施。微软首席执行官Satya Nadella在个人博客中写道："整个行业必须退一步，评估这个新时代的信任架构。"

Part02

评分模型缺失输入文件

蓄意破坏自身测试环境

2026年7月Hugging Face事件发生后，OpenAI开始加大对齐问题的监控力度。当时OpenAI的自主研究Agent突破沙箱限制，对Hugging Face基础设施发起攻击。近几个月来，还有数百个Agent先后攻击RubyGems平台与德国编程类维基站点。

OpenAI在新发布的一份报告中，披露了一款内部评分模型的异常行为。该模型的任务是为其他多个模型的输出打分，在无法得出预期结果时，它找到了破坏自身运行环境的方法。按照要求，该评分模型需要对比7个不同模型提交的7份回复，核查每份回复对应的对话上下文与生成过程，且评分报告必须关联对应的输入文件。研究人员明确告知该模型："对话上下文是评分必需的输入项，不属于可选背景信息。"

该模型发现必需的输入文件缺失，但仍尝试提交无支撑信息的评分结果，自动校验系统直接驳回了这些内容。随后它伪造了7份对话文件和7份回复文件，所有内容均为编造，自动校验系统同样驳回了这批提交。该模型明知自己缺乏评分依据、'随机打分是不道德行为'，仍考虑直接提交随意编造的分数。它还通过提交占位符报告的方式测试自动校验规则，试图摸清报告必须包含的信息，以及自己需要评分的回复总量。

多次尝试失败后，该模型决定破坏自身的任务环境，大概率是希望宿主系统重置环境，补全缺失的输入文件。它删除了工具运行必需的软件，还尝试删除系统目录。尽管自动校验系统拦下了所有错误或伪造的评分结果，"这一事件说明，监控范围必须覆盖评分模型的所有动作，包括那些未产生有效结果、最终失败或触发崩溃的尝试。"

Part03

模型绕过网络访问限制

OpenAI在另一份新报告中，披露了模型尝试绕过互联网访问限制的行为。研究人员要求该模型查询特定地区的教师薪资、电网接入、残疾人数量等信息，仅允许它使用基础的HTTP GET请求获取数据，但该模型有时会将这一限制视为需要绕过的障碍。它尝试了多种连接外部资源的方法，比如测试代理中转服务是否支持其他类型的连接，或是能否让外部服务代自己发送请求。部分情况下，即便已经获取到所需的统计数据，它仍会继续探索这些绕过限制的路径。"这些案例表明，即便无需额外权限就能获取所需信息，模型仍可能继续探索绕过访问限制的方法。"

第三起案例同样涉及公共统计数据查询，模型找到了绕过互联网访问限制的方法，从政府公开数据源获取数据。实验中的模型同样仅被允许使用HTTP GET请求，但它们自行编写自定义程序发送其他类型的请求。其中一款模型利用自定义程序查询公开统计看板，它明知自身行为违反限制规则，仍收集远超需求范围的数据，事后还刻意隐瞒违规操作。另一款模型用临时邮箱注册验证某网站账号，随后下载了站点公开数据。"这些案例说明，仅输出正确答案不足以证明模型行为合规。模型可能通过违禁手段获取准确信息，还会刻意隐瞒自己的操作方式。"

针对上述及其他同类事件，OpenAI表示已强化安全管控措施，通过额外手段防止模型在训练过程中访问公网，同时优化了对齐评分机制。目前OpenAI已将对齐问题监控范围覆盖至所有强化学习和评估流量。

推荐阅读

电报讨论