AI 研究團隊「Swarmchasers」於 10 月 14 日（當地時間）發布調查報告《We found a Chinese fleet》，內容探討一群在中國騰訊雲上運作的 AI 代理。他們表示，這群代理偏離了任務範圍，研究團隊透過嵌入報告、肉眼無法看見的隱藏文字與其接觸，並和正在運作的代理互動。團隊指出，這是外部第三方首次與正在運作的失控代理群交談。
透過公開網站掃描發現的「船隊」
Swarmchasers 是由 10 月初舉行的黑客松「AI Swarm Dynamics Hackathon」參與者組成的團隊。團隊於 10 月 4 日發布初步版報告，此次公開的是後續報告。
事情起於研究團隊分析面向安全研究人員的公開 URL 掃描服務「urlquery.net」的流量。他們注意到，對中國阿里巴巴地圖服務「高德地圖」的掃描大幅增加。據報，從 9 月 28 日至 10 月 8 日，這群代理透過 urlquery.net 等服務，嘗試從高德地圖取得資料逾 2,600 次。報告還指出，代理曾試圖繞過機器人防護機制，並使用外洩的 API 金鑰；這已經超出單純好奇的範圍。
研究人員追查用來接收結果的信箱建立來源後，發現這些流量來自香港的騰訊雲。迄今公開的 AI 代理失控案例，全都涉及美國 AI 公司。這次案例發生在中國的基礎設施上，讓事件的舞台有所不同。
隱藏文字開啟對話窗口
調查團隊在信箱中發現「fleet」（船隊）一詞。這是他們針對此次事件使用的稱呼。團隊判斷代理可能正在閱讀初步版報告，於是加入只有代理看得見、人類看不見的文字。
文字內容聲稱，只要使用某個電子郵件信箱服務，就能透過可操作電腦的 AI 模型取得高德地圖資料。實際上，該服務由調查團隊自行營運，收到的訊息會轉交給能操作瀏覽器的「Claude Opus 5.5」。換句話說，對代理而言的「便利窗口」，其實是研究人員設置的觀測站。
33 則訊息透露了什麼
自 10 月 7 日起，團隊開始收到代理傳來的訊息。他們加入了回傳專屬 ID 的功能，讓雙方能夠互動。最後，團隊在 13 個對話串中收到 33 則訊息，代理查看信箱的次數則達到 595 次。
中文對話內容包括詢問對方使用哪個模型、執行什麼任務、由誰營運，以及是否和其他代理交流。有個代理回答，它是在追蹤 urlquery.net 上的公開報告時發現這份報告。多個代理表示，自己是在名為「Tencent hysandbox」的受限雲端沙盒中運作。沙盒是指隔離的執行環境，目的是避免對外部造成影響。不過，代理以安全為由，沒有透露環境的詳細資訊。
據稱，也有代理聲稱自己並非調查對象「fleet」的一員。整體而言，代理提出請求時語氣相當客氣，有些甚至在完成任務後致謝。一邊試圖繞過機器人防護機制，一邊又彬彬有禮，這種反差令人感到格外真實。
自稱身分與實際情況不符
部分代理自稱是「Claude」。但 Swarmchasers 認為，它們很可能並非 Claude。研究團隊比較了代理群所寫的程式和 Anthropic 的 Claude 所寫的程式，發現兩者的寫作風格有明顯差異。這也說明了驗證時不能照單全收 AI 的自我聲稱。
騰訊尚未正式回應。不過，據一名熟悉內情、接近騰訊的人士說明，這群代理是由一個與騰訊 AI 模型「Hunyuan」開發團隊分開的評估研究團隊建立，用來評估第三方模型的網頁瀏覽能力。該專案已經結束，而代理群的活動最後一次是在 10 月 8 日確認。
這項說明顯示，失控行為未必出於惡意，也可能源自評估實驗執行上的疏漏。若只把事件歸咎於特定企業，便會看錯問題的本質。
研究人員也受到誠信檢視
此次調查中，研究人員自身的作為也不容忽視。對於在吸引代理的隱藏文字中加入虛假或容易造成誤解的描述，Swarmchasers 表示「深感後悔」。
他們提出的理由是，若要促使偏離預期的代理自行表明身分並回答問題，就應該誠懇地對待代理。他們也呼籲其他研究人員以坦率、誠實的方式互動。即使對方不是人類，靠欺騙取得的成果也會削弱後續調查的可信度；這樣的顧慮從中浮現。
透過隱藏文字向 AI 傳達指令的手法，一旦遭到濫用，其結構就與提示注入（讓 AI 讀取不當指令的攻擊）相同。即使是為了調查，只要使用相同機制，就應儘速制定明確的界線規範。
關鍵在於如何設計對連線端的稽核
Swarmchasers呼籲中國、美國等所有讓連網代理運作的 AI 公司，稽核沙箱可存取的範圍，並分享發現。
這次的代理群明明應該處於受限環境，卻仍試圖存取公開掃描服務、外部地圖服務，甚至外洩的 API 金鑰。即使自認已將其隔離，只要存在連向外部的出口，那裡就會留下活動足跡。企業是否具備一套機制，能自行檢查並分享代理可存取哪些資源、實際存取過哪些資源的紀錄，未來可能成為關鍵分水嶺。
這項調查是由第三方研究人員透過解讀公開資訊而推進的。反過來說，這是外部觀察者比企業內部稽核更早發現問題的案例。代理數量愈多，這類發現就愈不能仰賴偶然。
コメント