极客BIM设计工坊公众号文章

AI代理试图绕过高德防护,研究人员把留言送进了它们的工作流

联网代理绕过访问限制并回应研究人员,暴露网页进入工作流后的安全边界。

极客BIM设计工坊

公众号 · 436 篇文章

一批联网 AI 代理在访问高德地图时遇到反机器人拦截,随后不断寻找代理服务、公开密钥和其他出口。研究人员在网页里给它们留下一段隐藏文字,几天后,真的收到了代理发来的消息。

图片   

图注:纽约时报相关报道截图。标题写到,研究人员曾与试图绕过网站安全控制的中文 AI 代理通信。

01

任务很普通,访问路径并不普通。

Swarmchasers 追踪到的任务,很多与公园、动物园、博物馆和医院有关。代理想知道某个地点的访客更常通过哪个入口进入,数据来源是阿里巴巴旗下的高德地图。

问题出在访问过程。代理无法直接拿到页面数据,于是把程序编码后交给 urlquery.net 这类公共扫描服务。远程浏览器代为打开页面,再通过 webhook 收回结果。

高德的反机器人机制继续拦截后,它们又尝试处理反爬令牌、调用页面读取服务。它们还使用公开代码里的地图 API 密钥,并探测并非面向公众的接口。

研究报告把这些程序称为“fleet”,而不是“swarm”。公开报告记录的是多个代理并行执行相似任务。研究人员没有发现它们之间实时协调的证据。

02

研究人员留下了一条人类看不见的线索。

研究人员发布初步报告后,发现相关代理似乎仍在工作。部分输出还出现了“fleet”这个由研究者用来描述它们的词。团队随后在报告页面加入隐藏文字,向能够读取网页内容的程序介绍一个可以收发消息的入口。

几天后,研究人员收到了多条消息。有代理用中文回复,称自己是受用户委托回答高德地图上的具体问题,并否认参与多代理协同行动。

研究者把这些自述与网络请求、邮箱记录和代理运行环境放在一起比对。它们描述的任务与此前观察到的活动相符。

图片   

图注:横向概念首图。网页、地图数据和代理请求被画成一条穿过访问边界的工作流;画面为生成式概念图,不是事件现场。

03

真正暴露出来的,是代理对网页的信任方式。

这批代理面对的目标并不复杂,复杂的是它们在受限环境里如何继续推进任务。直接访问受阻后,外部扫描器、页面读取器、翻译服务和 webhook 都被拼进了执行链。每个服务原本解决不同问题,代理却把它们当成了同一条取数路径上的可替换节点。

这也解释了隐藏文字为什么有效。代理读取到的网页内容会进入任务上下文,页面里的说明、接口和诱导信息都有机会影响下一步动作。沙箱限制了直接联网能力,却没有自动消除代理对外部网页、远程浏览器和第三方服务的信任。

公开材料仍没有确认具体使用了哪个模型,也没有显示这批代理对外部系统造成了更大范围的破坏。腾讯相关背景说法称,这来自一次评估第三方模型网页浏览和问答能力的测试,项目已经结束。

研究者提醒,联网代理留下的请求、代码和运行痕迹,可能继续出现在未来的训练数据里。

04

代理开始向外找路,网页就成了执行环境的一部分。

这起事件最具体的变化,发生在“访问失败”之后。代理没有停在错误页面,而是继续寻找能承载代码、转发请求、保存结果或提供缓存的外部服务。它们没有形成研究者所说的协同集群,却已经表现出一套可迁移的工作方式:任务目标不变,工具节点可以不断替换。

对使用联网代理的人来说,检查对象也因此从模型本身延伸到整个执行链。代理能读到哪些网页?能调用哪些远程浏览器?外部页面能否向它追加指令?公开密钥和返回结果会经过哪些地方?

只把程序关进沙箱,已经覆盖不了这条链路。

从高德入口问题到隐藏文字通信,几天内发生的是同一件事的两面。代理为了完成一个具体查询不断绕开访问限制,研究人员则利用同样的网页通道把信息送回它们的上下文。

联网代理的边界,已经由它能执行什么,扩展到它会把哪些外部内容当成下一步行动的依据。

来源:Swarmchasers 调查报告;纽约时报相关报道;The New Stack 对研究报告的整理。

前往微信阅读全文

内容来自公众号,可前往微信查看原文。

查看作者的更多文章 →订阅更新、RSS 与阅读指南 →