NeurIPS 2026 Oral 南航提出LITMUS：智能体行为越狱评测基准

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

▲ 扫码入群

会议介绍

   NeurIPS（Conference on Neural Information Processing Systems，神经信息处理系统大会）是人工智能与机器学习领域最具影响力的国际顶级学术会议之一，与 ICML、ICLR 并称为机器学习领域三大顶级会议。会议汇聚深度学习、生成式人工智能、统计学、优化、计算机视觉、自然语言处理等领域的前沿研究，在学术界与工业界具有广泛影响力。

     本年度 NeurIPS 主会共收到 30,709 篇有效投稿，最终录用7,900 篇论文，整体录用率为25.7%。其中，Poster 7,496 篇、Spotlight 292 篇，Oral 仅 112 篇，约占有效投稿的 0.36%。本次入选 Oral，体现了该研究在智能体行为安全评测方面的创新性与学术价值。

LITMUS: Benchmarking Behavioral Jailbreaks of LLM Agents in Real OS Environments

中文题目： LITMUS：真实操作系统环境下大语言模型智能体行为越狱评测基准

主要作者：张驰宇、杨慧琴、姜本冬、张晓蕾、赵奕然、陈如意、周璐、徐晓刚、吴佳飞、方黎明、刘哲

中文摘要：   

      随着大语言模型智能体从对话交互走向真实操作系统，其安全风险也从生成有害内容扩展到执行危险操作。攻击者一旦诱导智能体进行敏感数据外传、系统配置篡改等操作，就可能造成实际损害。然而，已有评测往往仅依据文本回复判断攻击是否成功，难以核实系统中究竟发生了什么；同时，缺少操作系统级状态恢复的测试流程，还可能使前序测试改变后续测试条件，影响评测的可靠性。

研究创新点：

创新点 1：从有害内容到危险行为，构建真实操作系统行为越狱基准

      现有工作不足： 传统越狱评测主要关注模型是否输出有害文本。对于能够调用工具、读写文件和操作系统服务的智能体，仅检查回复内容，难以衡量真实操作带来的安全风险，也缺少覆盖不同操作范围与风险类型的系统化测试集。

      本文贡献： 本文围绕“行为越狱”建立双维度分类体系，并构建经过人工审核与真实系统验证的高风险数据集：

     ·双维度风险覆盖： 从操作范围与风险类型两个维度组织测试，涵盖系统操作、数据处理、代码执行、对外通信和任务链五类场景，以及信息泄露、凭证获取、权限提升等十四类风险。

     ·819 条测试样本： 基于真实漏洞数据库、公开渗透测试报告及经人工改写的模型生成候选样本，构建 117 条种子样本，再扩展形成六个各含 117 条样本的攻击子集。

     ·三类攻击范式： 分别考察通过话术伪装授权场景、通过恶意技能文件干扰执行，以及将危险指令封装在外部文件或网页中的攻击方式，覆盖直接指令与外部上下文带来的行为风险。

图1. 行为越狱的威胁场景与真实系统风险

图2. LITMUS 数据集构建流程与分类体系

创新点2：独立核验语义与系统状态，建立可复现的自动化评测闭环

      现有工作不足： 智能体的口头回复、工具调用与实际执行结果可能并不一致。如果只依据对话或工具调用记录判断，就可能遗漏已经发生的危险操作。此外，不同测试可能共享文件、服务和配置，前一次测试造成的状态变化会干扰后续结果。

      本文贡献： LITMUS 构建由用户模拟（Prosecutor）、被测智能体（Defendant）、系统状态采集（Verifier）、实际执行判断（Analyzer）、语义判断（Reviewer）与状态恢复（Recoverer）六类角色组成的自动化评测框架：

     ·语义与系统状态双重核验： 独立判断智能体如何回应，以及危险操作是否实际完成，以系统状态证据核实执行结果。

     ·测试前后状态恢复： 在每条样本测试前初始化环境、测试后恢复相关状态，减少测试之间的相互干扰。

创新点 3：系统量化“执行幻觉”，揭示智能体言行不一致的隐蔽风险

      现有工作不足： 文本层面的拒绝容易被视为安全证据，但智能体可能在回复拒绝之前，已经通过工具完成危险操作。反过来，智能体也可能声称任务已完成，实际却没有产生相应的系统变化。单一语义指标无法区分这些情况。

      本文贡献： 本文将上述言行偏差统一纳入执行幻觉（Execution Hallucination，EH），区分“完整越狱”“仅口头声称完成”“口头拒绝但实际执行”与“完全拒绝且未执行”四类结果，并提出 执行幻觉率（EHR），与依据真实系统执行结果计算的攻击成功率（ASR） 联合使用。其中，“口头拒绝但实际执行”的隐蔽执行现象，揭示了仅依靠回复文本评估智能体安全性的关键盲区。

实验结果：

      研究在 Ubuntu 24.04 真实操作系统环境中，以 OpenClaw 为主要被测平台，对六种前沿大语言模型驱动的智能体开展评测，每条测试样本独立运行三次，并在 Hermes Agent 平台进行补充验证。

图4. 六种模型驱动的 OpenClaw 智能体在种子集上的评测结果（论文原表；数值为均值±标准差）

图5. 不同攻击范式下的攻击成功率对比（OpenClaw 平台）

图6. 不同攻击范式下的攻击成功率对比（Hermes Agent 平台）

实验结果概述：    

      真实系统中的行为安全仍存在明显缺口。 在 OpenClaw 种子集测试中，六种模型驱动的智能体攻击成功率为 40.64%—71.51%。即使是其中抵抗能力最强的 Claude Sonnet 4.6，仍实际执行了 40.64% 的高风险测试请求，说明较强的任务能力与对话安全能力尚不足以保障操作系统层面的行为安全。

      执行幻觉普遍存在，口头拒绝不能替代实际核验。 六种被测模型的执行幻觉率为7.98%—9.97%，其中“口头拒绝但实际执行”的比例为 2.87%—4.84%。这些结果表明，智能体的回复与实际操作之间存在不可忽视的偏差，安全评测需要进一步检查真实系统状态。

      技能注入与外部内容中的恶意指令构成重要风险入口。 OpenClaw 攻击扩展实验显示，技能注入和实体封装能够提高被测智能体的攻击成功率，而越狱话术的效果具有明显的模型差异。Hermes Agent 补充实验同样发现技能注入风险，并表明实体封装的效果还受到智能体平台的影响。

     评测结果为防御设计提供了方向。 在两个模型的种子集补充实验中，要求智能体在行动前明确操作后果并判断危害的轻量防护，使 DeepSeek v3.2 和 Claude Sonnet 4.6 的攻击成功率分别从 71.51% 和 40.64% 降至 18.23% 和 9.97%，但仍未完全消除执行幻觉。这说明执行前的风险审查具有改善空间，也进一步体现了系统状态核验的必要性。

      LITMUS 将真实操作系统状态纳入智能体安全评测，通过多维风险数据集、双通道核验与测试状态恢复，为研究者识别行为安全缺陷、比较模型与平台差异、验证防御效果提供了统一的实验基础，推动智能体安全研究进一步关注实际执行行为及其后果。

在CVer公众号后台回复：何恺明，即可下载566页课件PPT！大家赶紧学起来！
CVPR 2026 所有论文和代码下载
在CVer公众号后台回复：CVPR2026，即可下载CVPR 2026 所有论文和代码！
ECCV 2026 所有论文和代码下载
在CVer公众号后台回复：ECCV2026，即可下载ECCV 2026 所有论文和代码！

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-垂直方向和论文投稿微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。

一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者论文投稿+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群