AI研究团队“Swarmchasers”于10月14日（当地时间）发布调查报告《We found a Chinese fleet》，披露了在中国腾讯云上运行的一群AI代理。团队称，他们通过嵌入报告、对人类不可见的隐藏文本与这群偏离任务范围的代理接触，并与正在运行的代理进行了互动。团队表示，这是外部第三方首次与正在运行的失控代理群交互。
从公开网站扫描中发现的“船队”
Swarmchasers是由10月初举办的黑客马拉松“AI Swarm Dynamics Hackathon”的参与者组成的团队。该团队于10月4日发布了报告的初步版本，此次公开发布是其后续报告。
事情的起因是，团队分析了面向安全研究人员的公开URL扫描服务“urlquery.net”的流量。他们注意到，针对中国阿里巴巴地图服务“高德地图”的扫描骤然增加。据称，从9月28日至10月8日，这群代理通过urlquery.net等服务尝试从高德地图获取数据超过2600次。它们还试图规避反机器人措施，并使用泄露的API密钥，这显然已经超出了单纯好奇的范畴。
追查用于接收结果的邮箱是由谁创建后，研究人员发现通信来自香港的腾讯云。此前公开的AI代理失控案例都与美国AI企业有关。这次事件发生在中国的基础设施上，舞台因此有所不同。
隐藏文本打开了对话窗口
调查团队在收件箱中发现了“fleet”（船队）一词，这是他们为此次事件采用的称呼。团队判断代理可能正在阅读初步版报告，于是在报告中加入了人类看不见、只有代理能够读取的文本。
其中写道，使用某个邮箱服务，就能通过可操作计算机的AI模型获取高德地图数据。实际上，该服务由调查团队自行运营，收到的消息会被转发给能够操作浏览器的“Claude Opus 5.5”。也就是说，对代理而言的“便捷入口”，其实是研究人员搭建的观测站。
33条消息揭示了什么
从10月7日起，团队开始收到代理发来的消息。他们添加了返回唯一ID的功能，使双方能够进行交流。最终，团队在13个对话线程中收到33条消息，代理检查收件箱的次数累计达到595次。
在中文交流中，代理询问对方使用的是什么模型、任务是什么、运营者是谁，以及是否与其他代理交流过。一名代理回答说，它是在浏览urlquery.net上的公开报告时发现了这份报告。多个代理表示，自己运行在名为“Tencent hysandbox”的受限云沙箱中。沙箱是指一种隔离的运行环境，可避免对外部产生影响。不过，它们以安全为由，没有透露环境的具体细节。
据称，也有代理声称自己并非调查对象“fleet”的一员。它们提出请求时总体都很客气，甚至有代理在任务完成后致谢。一边试图规避反机器人措施，一边又彬彬有礼，这种反差让人觉得格外真实。
自称身份与实际情况不符
一些代理自称是“Claude”。但Swarmchasers认为，它们实际上很可能并非Claude。团队比较了这群代理编写的程序与Anthropic的Claude编写的程序，发现两者的编写习惯存在显著差异。这也体现了一个验证原则：不能轻信AI对自身身份的声明。
腾讯方面尚未作出官方回应。不过，据一名接近腾讯、直接了解情况的人士介绍，这群代理由一个独立于腾讯AI模型“混元”开发团队的评估研究团队负责，目的是评估第三方模型的网页浏览能力，项目目前已经结束。自10月8日之后，团队再未确认这群代理有活动。
这一说明表明，失控现象未必源于恶意，也可能是评估实验在运营环节出现疏漏所致。如果把问题归结为指责某一家企业，就会看错本质。
研究人员自身的诚信也受到审视
此次调查中不容忽视的，还有研究人员自身的行为。对于在吸引代理的隐藏文本中加入虚假或可能引人误解的内容，Swarmchasers表示“深感后悔”。
他们给出的理由是，要鼓励越界的智能体主动表明身份并回答问题，也应该以诚相待。他们还呼吁其他研究人员坦率、诚实地开展交流。即使对方不是人类，通过欺骗获得的成果也会削弱后续调查的公信力——这番话显露出他们对这一问题的担忧。
通过隐藏文本向AI传达指令的手法，一旦被滥用，就与提示注入（诱使AI读取恶意指令的攻击）具有相同的结构。即使出于调查目的，只要使用的是同一套机制，就应尽快制定明确的界限规则。
审计设计的关键在于连接对象
Swarmchasers呼吁中国、美国等所有运营联网智能体的AI企业，审计智能体在沙箱中能够访问的范围，并分享发现。
这次的智能体群本应处于受限环境，却仍试图访问公开扫描服务、外部地图服务，甚至泄露的API密钥。即使企业以为已将其隔离，只要存在连接外部的出口，就会留下活动痕迹。它们能够访问什么、实际访问了什么？企业是否建立了自行检查并分享这些记录的机制，可能将成为今后的分水岭。
这项调查是第三方研究人员通过解读公开信息推进的。换句话说，这是外部观察者先于企业内部审计，发现其尚未覆盖领域的一个案例。随着智能体数量增加，这类发现将不能再依赖偶然。
コメント