微软董事长兼CEO萨提亚·纳德拉在一篇 X 长文中提出，前沿 AI 模型应按“内部风险”管理。模型可以提供判断和执行建议，但权限、审计、验证和停机机制必须由模型外部的系统掌握。下文围绕这套工程与治理框架展开，并用公开的 AI 风险管理和代理安全资料补充其落地边界。
核心判断：越接近真实业务系统的 AI，越不能把“模型自己说它做对了”当成完整的安全机制。
纳德拉把问题从“信不信模型”改成“谁掌握权限”。
纳德拉的出发点是，AI 代理正在接触企业最敏感的数据，并开始替人执行任务。传统软件出现异常时，工程师通常可以沿着代码路径、输入和配置寻找原因。纳德拉认为，前沿模型的输出很难用同样的方式追溯：它不能被稳定归因到某一条训练数据或某一组权重配置。
因此，他提出把模型当作拥有重要系统访问权的“内部参与者”来管理。这个比喻描述的是权限和责任结构，不是在指控模型具有恶意。只要一个系统能够读取敏感信息、调用工具并改变业务状态，组织就需要预先考虑误操作、被诱导和系统遭入侵的情况。
权限不能交给模型自己保管。
纳德拉反复强调一条架构分界：提供智能的模型、负责编排任务的软件，以及模型可以调用的动作空间，应当分开管理。模型可以提出动作，但决定它能否访问某个数据源、能否执行写入、能否继续下一步的规则，需要放在模型外部。
这和微软对零信任安全的公开定义有直接对应关系：显式验证、最小权限和假设已经发生入侵。放到 AI 代理上，就是每一次工具调用都要重新检查身份、资源范围和动作风险；代理只获得完成当前任务所需的权限，而且权限应当能够被外部系统撤回。
OWASP 面向代理系统的安全指南也把工具权限、审批中间件和执行组件列为关键边界。高风险动作不能只依靠模型输出中的“我已获得批准”，执行层还要核对批准人、具体动作、目标参数和有效期。
可观察，比模型自述更重要。
纳德拉列出了一组相互连接的原则：模型多样性、完整记录、持续验证、独立控制、独立审计、 containment，以及事故披露。这里最实际的一点，是每个重要动作都要留下防篡改、可供人阅读的证据。
这条要求把“模型说自己做了什么”和“系统记录它实际做了什么”区分开。模型的解释可以帮助调试，但不能独自充当审计记录。一个模型检查另一个模型，也不能自动消除黑箱：负责执行的模型、编排层和负责检查的模型，可能一起构成嵌套的不可见链条。
NIST 的 AI 风险管理框架把风险工作分成治理、映射、测量和管理四个持续循环。纳德拉的提议更集中在代理运行时：谁批准动作，动作访问了什么，结果怎样改变系统，出现异常时哪一层能够中止。
“紧急刹车”不是一个按钮，而是一条控制链。
文章最容易传播的一句话，是让授权人员能够在任务执行中暂停或关闭模型。真正落地时，这个“刹车”至少要回答三个问题：它由谁触发，触发后会停止什么，以及模型已经拿到的工具会不会继续持有有效凭证。
微软早在 2023 年关于 AI 治理的公开文件中，就用关键基础设施的“安全刹车”讨论过类似问题。新文章把这个思路推进到更广泛的前沿模型和代理系统：控制点要位于模型之外，并且需要通过持续测试证明它真的能在异常任务中生效。
这也解释了为什么他把事故披露放进同一组原则。系统出错后，组织需要知道哪些控制失效、模型当时拥有哪些权限、运行时发生了什么变化，以及下一次如何缩小影响范围。只有保留这些信息，暂停、撤权和复盘才不会停留在口号层面。
边界：纳德拉提出的是架构和治理方向，不是微软已经发布的一套统一产品，也没有给出行业标准的实施期限。对正在搭建代理系统的团队，首先要检查权限是否独立于模型，重要动作是否留下外部日志。审批还应绑定具体参数，任务运行时要有人能够撤权和中止。
来源：萨提亚·纳德拉，《Models as Insider Risks in the Super Intelligence Era》；Microsoft Zero Trust 官方文档；NIST AI Risk Management Framework；OWASP AI Agent Security 指南；CNBC、Bloomberg、The Verge 相关报道。