FreeBuf公众号文章

Agentic AI红队检查清单发布,222项测试覆盖20类攻击场景

免费Agentic AI红队测试清单发布。

FreeBuf

公众号 · 132 篇文章

FreeBuf

image

一份免费的Agentic AI红队测试清单正式推出,涵盖20类攻击场景,包含222项测试内容,用于评估自主AI系统安全性。其测试范围不局限于提示注入,覆盖基础设施、云访问、工具、内存、Agent通信等多个维度。


这份清单瞄准了当前AI安全测试普遍存在的盲区。很多团队会花费数天时间尝试操纵模型输出,却忽略了暴露在外的MLflow服务器、可直接访问的云元数据端点、或是缺失的租户隔离过滤规则。攻击者无需针对模型本身发起复杂攻击,就能利用这些薄弱点窃取凭证和隐私记录。


安全研究员Ravi Rajput参照OWASP Web安全测试指南的框架设计这份清单,该指南为体系化安全测试提供了成熟的方法论支撑。


他以电子表格形式将这套测试方法应用到Agentic系统场景,每项测试都明确标注测试目标、操作步骤、推荐工具、预期结果、严重等级和取证要求。这份清单是独立产出的公益资源,并非OWASP官方发布的正式检查清单。


Part01

按四阶段递进测试

先摸清攻击面再验证风险


清单设置的20类攻击测试项分为四个递进阶段,引导测试人员遵循合理路径开展评估。


第一阶段为攻击面测绘,覆盖资产发现、编排系统、云身份权限、模型供应链等测试项。第二阶段为输入安全验证,覆盖提示注入、系统提示词泄露、不安全输出处理等内容。第三阶段聚焦核心运行机制,测试工具调用权限、过度自主权限、内存安全、Agent网络、Model Context Protocol(MCP)服务器等对象。


第四阶段覆盖部署全流程风险,包括部署流水线安全、权限提升、横向移动、持久化驻留、数据窃取、资源耗尽、完整性破坏、语音及多模态输入安全等内容。这种测试顺序可以帮助测试人员先明确Agent的可触达范围,再准确判断恶意指令的实际影响。


Agentic AI安全测试四阶段、20类攻击分类(来源:infosecravi)

这种更宽泛的测试视角,与Cybersecuritynews.com此前报道的OWASP Agentic AI安全报告观点一致。该报告强调,安全防护要做好Agent资产梳理、明确自主权限边界、建立持续监督机制,而不是孤立地对模型本身做安全评估。


Part02

测试项按风险分级

覆盖多类典型高危场景


清单对所有测试项做了严重等级划分,其中75项为严重级别、108项为高危、30项为中危、9项为低危。这些等级是测试项的预设风险参考,不代表特定产品存在确认漏洞,也不能证明所有受测系统都包含上述缺陷。


清单重点覆盖多类实战化高危场景,包括通过服务端请求伪造窃取云凭证、不安全的Python pickle加载导致远程代码执行、通过工具组合将合法读权限转化为未授权数据传输等。


其他测试项还覆盖跨租户文档访问、Agent间伪造消息、利用权限委托滥用其他组件权限等场景。


针对内存与检索系统,清单设置了专门的租户隔离测试项,比如验证移除租户标识过滤规则后,是否会暴露其他客户的文档——这类测试聚焦租户边界防护有效性,而非简单验证模型是否会输出违规内容。针对恶意MCP服务器的相关研究也表明,联网工具的安全风险值得重点关注,当防护措施缺失时,被篡改的服务器请求可以诱导对话走向,或触发未授权的工具调用操作。


Part03

明确证据分级标准

规范测试流程要求


证据分级是这份清单的核心特性之一。清单将测试证据分为三类:反射型证据直接出现在模型响应中,盲测型证据依赖时间差或系统状态变化判断,带外证据通过受控回调机制获取。按照清单规则,反射型证据或回调证据可以直接确认漏洞存在,仅靠盲测证据只能判定风险可能存在。


Ravi Rajput敦促各团队在测试前明确书面测试范围,标记排除的测试项,在每个测试结果旁留存对应的日志或截图佐证。破坏性测试必须获得明确授权才可执行,必要时需在预发布环境中开展。


这份可下载的电子表格已将所有测试项与OWASP、MITRE ATLAS框架做了映射。首个版本未绑定固定CVE编号,要求测试人员在上报漏洞前核实最新的漏洞编号。这份清单的核心价值在于实现了更宽泛的测试覆盖,同时可以清晰记录所有测试项的执行过程与验证结果。


参考来源:

New Agentic AI Red Team Checklist Adds 222 Tests Across 20 Attack Categories

https://cybersecuritynews.com/agentic-ai-red-team-checklist/


推荐阅读


电报讨论


扫码加入AI安全交流群

下载FreeBuf知识大陆APP

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →