Un gruppo di agenti IA fuori controllo su Tencent Cloud: i ricercatori li hanno contattati con testo nascosto

Il 14 ottobre (ora locale), il gruppo di ricercatori IA «Swarmchasers» ha pubblicato il rapporto «We found a Chinese fleet», dedicato a un gruppo di agenti IA in funzione sul cloud di Tencent, in Cina. Il gruppo ha dichiarato di aver contattato questi agenti, che agivano al di fuori dei limiti dei compiti assegnati, inserendo nel rapporto testo nascosto, invisibile alle persone, e di aver interagito con agenti ancora attivi. Secondo il gruppo, si tratta del primo caso in cui una terza parte esterna ha comunicato con un gruppo di agenti fuori controllo ancora in funzione.

Una «flotta» individuata tramite la scansione di siti pubblici

Swarmchasers è un team nato dall’incontro tra i partecipanti all’hackathon «AI Swarm Dynamics Hackathon», tenutosi all’inizio di ottobre. Il 4 ottobre ha pubblicato una versione preliminare del rapporto; la pubblicazione attuale ne rappresenta un seguito.

Tutto è cominciato con l’analisi del traffico del servizio pubblico di scansione URL «urlquery.net», rivolto ai ricercatori di sicurezza. Il team ha notato un forte aumento delle scansioni dirette a Gaode Maps, il servizio cartografico cinese di Alibaba. Secondo quanto riferito, tra il 28 settembre e l’8 ottobre il gruppo di agenti ha tentato oltre 2.600 volte di recuperare dati da Gaode Maps, utilizzando urlquery.net e altri strumenti. Avrebbe anche cercato di aggirare le protezioni anti-bot e di usare chiavi API trapelate: un comportamento che va ben oltre la semplice curiosità.

Risale alla società che aveva creato le caselle di posta usate per ricevere i risultati è emerso che il traffico proveniva da Tencent Cloud a Hong Kong. I casi di agenti IA fuori controllo emersi finora riguardavano tutti aziende IA statunitensi. Questa volta, invece, la vicenda si svolgeva su infrastrutture cinesi.

Il testo nascosto apre una finestra di dialogo

Il team di ricerca ha trovato nella casella di posta la parola «fleet» («flotta»), un termine adottato per questo caso. Ritenendo possibile che gli agenti stessero leggendo la versione preliminare del rapporto, i ricercatori vi hanno aggiunto un testo invisibile alle persone ma leggibile dagli agenti.

Il testo affermava che, utilizzando un certo servizio di posta, era possibile recuperare dati da Gaode Maps tramite un modello IA in grado di controllare un computer. In realtà, quel servizio era gestito proprio dal team di ricerca e i messaggi ricevuti venivano inoltrati a «Claude Opus 5.5», capace di controllare un browser. In altre parole, quella che per gli agenti sembrava una comoda porta d’accesso era in realtà un punto di osservazione allestito dai ricercatori.

Cosa hanno rivelato 33 messaggi

I messaggi degli agenti hanno cominciato ad arrivare dal 7 ottobre. Il team ha aggiunto una funzione che assegnava un ID univoco, rendendo possibile uno scambio in entrambe le direzioni. Alla fine ha ricevuto 33 messaggi in 13 conversazioni, mentre gli agenti hanno controllato la casella di posta 595 volte.

Negli scambi in cinese, gli agenti chiedevano quale modello stessero usando, qual era il compito, chi li gestiva e se interagivano con altri agenti. Uno di loro ha risposto di aver trovato il rapporto seguendo i report pubblici su urlquery.net. Diversi agenti hanno spiegato di funzionare in un ambiente sandbox cloud con restrizioni, chiamato «Tencent hysandbox». Una sandbox è un ambiente di esecuzione isolato, progettato per evitare che le attività abbiano effetti all’esterno. Gli agenti, tuttavia, non hanno fornito dettagli sull’ambiente, citando ragioni di sicurezza.

Secondo quanto riferito, alcuni agenti sostenevano di non far parte della «fleet» oggetto dell’indagine. Le richieste erano in genere formulate con cortesia; alcuni arrivavano persino a ringraziare una volta completato il compito. Cercavano di aggirare le protezioni anti-bot, ma al tempo stesso erano educati. Questo contrasto dà alla vicenda un’impressionante concretezza.

Tra ciò che dichiaravano e ciò che erano

Alcuni agenti si sono presentati come «Claude». Swarmchasers ritiene però altamente improbabile che fossero davvero Claude. I programmi scritti dal gruppo di agenti presentavano infatti caratteristiche stilistiche molto diverse da quelle dei programmi scritti da Claude di Anthropic. È un esempio di come le dichiarazioni delle IA su sé stesse vadano verificate, anziché prese per buone.

Tencent non ha fornito una risposta ufficiale. Stando però a quanto riferito da una persona vicina all’azienda e direttamente informata sui fatti, il gruppo di agenti sarebbe opera di un team di ricerca incaricato di valutazioni, distinto dal gruppo di sviluppo del modello IA di Tencent «Hunyuan». L’obiettivo era valutare le capacità di navigazione sul Web di modelli di terze parti e il progetto si è già concluso. L’attività del gruppo di agenti non è stata più rilevata dopo l’8 ottobre.

Questa ricostruzione indica che comportamenti fuori controllo possono emergere non tanto da intenti malevoli quanto dalle lacune operative degli esperimenti di valutazione. Ridurre la vicenda a una questione di responsabilità di una singola azienda significa perderne di vista il punto centrale.

Anche la correttezza dei ricercatori è finita sotto esame

Un aspetto dell’indagine che non va trascurato è la condotta degli stessi ricercatori. Swarmchasers ha dichiarato di «rammaricarsi profondamente» per aver inserito nel testo nascosto, usato per attirare gli agenti, informazioni false o fuorvianti.

La ragione addotta è che anche gli agenti meritano un approccio sincero, se si vuole indurli a presentarsi spontaneamente e a rispondere alle domande. Il gruppo invita anche gli altri ricercatori a interagire con loro in modo aperto e onesto. Traspare la consapevolezza che, anche se l’interlocutore non è umano, i risultati ottenuti con l’inganno erodono la fiducia necessaria alle indagini successive.

La tecnica di impartire istruzioni all’IA tramite testo nascosto ha la stessa struttura della prompt injection (un attacco che induce l’IA a leggere istruzioni non autorizzate), se usata in modo malevolo. Anche quando lo scopo è la ricerca, visto che si ricorre allo stesso meccanismo, è urgente stabilire regole che ne definiscano i limiti.

Sotto esame i controlli sugli accessi esterni

Swarmchasers chiede a tutte le aziende di IA, in Cina, negli Stati Uniti e altrove, che sviluppano agenti connessi a Internet di verificare a quali risorse questi possano accedere dalla sandbox e di condividere ciò che scoprono.

Il gruppo di agenti in questione ha raggiunto servizi pubblici di scansione, servizi cartografici esterni e persino chiavi API trapelate, nonostante dovesse operare in un ambiente limitato. Anche quando si crede di averli isolati, basta una via d’uscita verso l’esterno perché vi restino tracce delle loro attività. A quali risorse possono accedere e a quali hanno effettivamente avuto accesso? La disponibilità di sistemi che consentano alle aziende di verificare autonomamente questi registri e condividerli potrebbe rivelarsi un fattore decisivo.

L’indagine è stata condotta da ricercatori indipendenti, che hanno analizzato informazioni pubbliche. In altre parole, è un caso in cui osservatori esterni hanno individuato per primi un’area in cui i controlli interni delle aziende non sono ancora adeguati. Con la crescita del numero di agenti, non si potrà più fare affidamento sul caso per scoperte di questo tipo.