微软发布详细博客文章,指导企业做好AI Agent的安全防护。微软将AI Agent视为日益凸显的内部威胁,而非仅存在于未来的潜在风险。AI Agent本身并无危险性,但它们可以访问核心系统,可能出现故障、遭攻击者操纵或攻陷。
Satya Nadella 表示:"最值得信赖的Agentic AI系统,并非搭载了我们最信任的模型,而是采用了让我们无需过度信任模型的设计。"
这并非纯理论构想,而是企业设计和防护AI系统时应当遵循的核心原则。
Part01
放弃前置信任假设
正视AI Agent运行时风险
博客中提出了一个值得重视的关键区分:如果运行过程中上下文发生变化,即便Agent启动任务时权限配置正确、初始行为合规,仍可能产生危险。
外部文档中的提示注入、不可信数据篡改Agent推理逻辑、任务朝未预期方向演化,要触发这些风险,攻击者无需通过传统手段攻陷Agent。模型输出存在可变性,上下文动态变化就会导致Agent行为漂移。由于系统以机器速度运行,从漂移发生到造成实际损害的时间窗口极短。
Part02
落地动态权限机制
配套持续风险评分体系
微软提出的应对思路是用持续管控替代前置信任。在Agent行动前明确其允许的操作范围,运行过程中监控其实际行为,再根据行为变化或风险计算结果实时调整权限。例如费用审批类Agent的初始访问范围应严格限定在费用审核与审批环节,不得开放额外权限,一旦Agent尝试执行任务范围外的操作,其权限就应立即收缩甚至撤销。
博客推出了动态权限(Dynamic Permissions)机制,将最小权限原则应用到AI Agent管控中。Agent不会自动继承部署它的员工的访问权限,而是初始状态零权限,仅获取获批任务所需的访问资格,且这些权限仅在任务运行期间生效。员工原有的访问权限保持不变,Agent则拥有独立的身份和授权范围,只能在指定时间内访问与任务相关的资源。
与之配套的动态Agent风险(Dynamic Agent Risk)是一套持续更新的评分体系,整合来自身份、终端、网络、云、运行时以及Agent自身行为的各类信号,评估Agent当前操作是否仍在授权范围内。风险升高时的响应措施是梯度式而非二元一刀切的:保留读取权限的同时阻断写入操作、缩小可访问资源范围、高影响操作需人工审批,若风险达到阈值则直接终止执行。
微软表示:"动态Agent风险机制整合来自身份、数据、终端、云、网络、运行时以及Agent自身活动的信号,评估Agent的配置安全水平、可访问资源范围、故障发生后的潜在影响,以及其行为是否偏离用户或企业的预期。"
"这套机制不会在Agent接入时给出一次性评分,而是持续更新对Agent当前风险状态的判断,动态匹配其当前权限与风险等级。"
Part03
统一纳管散落Agent
配套Guardian Agents自动响应
企业环境中往往存在大量本地运行或通过第三方工具引入的AI Agent,这些Agent从未在中央系统中正式登记。微软表示,其目前已将发现范围扩展至60种本地Agent,包括Claude Code、OpenAI Codex、GitHub Copilot。将这些Agent纳入统一注册表、为其配置可追溯的责任身份,是应用后文所有管控措施的前提。
如果不知道Agent的存在,就无法为其配置最小权限;如果Agent没有可追踪的身份,就无法检测其行为漂移。Agent登记问题的实际落地难度远高于字面听起来的程度,尤其是当前大多数企业都允许员工在不经过IT部门审批的情况下自行创建Agent。
当企业运行数十万AI Agent时,无法靠人工审核每一条风险告警。对此微软推出了专注于安全防护的Guardian Agents方案。这类Agent遵循人类运营人员制定的处置预案,调查风险变化,执行或推荐安全防护措施,并通过持续学习优化安全策略。人类负责设定目标、审批重要决策,Guardian Agents则承担持续监控和响应工作。
但这种思路也引发了新的担心。Guardian Agents本身也是AI Agent,和它们要管控的Agent一样,可能出现故障或遭攻击者操纵。微软提出,安全控制措施必须独立于AI模型运行,且模型无权修改这些控制规则。但这也带来了一个关键问题:如果执行控制措施的系统本身也是AI Agent,企业要如何确保这些控制措施持续可靠?这是未来几年实际落地过程中必须解决的挑战。
微软总结道:"企业部署Agent是为了更好地服务客户、更快解决问题,让员工有更多时间处理高价值工作。我们的目标不是让每个模型在投入使用前都做到完全可预测,而是构建即便模型出现不可靠情况,仍能保持安全的系统。"
参考来源:
Microsoft Treats AI Agents as Insider Threats in New Security Framework
https://www.darkreading.com/application-security/microsoft-treats-ai-agents-as-insider-threats