Un groupe d’agents IA hors cadre sur Tencent Cloud : des chercheurs entrent en contact avec eux grâce à un texte caché

Le 14 octobre (heure locale), le groupe de chercheurs en IA « Swarmchasers » a publié un rapport d’enquête intitulé « We found a Chinese fleet » sur un groupe d’agents IA qui fonctionnaient sur le cloud de Tencent, en Chine. L’équipe affirme avoir communiqué avec ces agents en activité, qui dépassaient le cadre de leurs tâches, en dissimulant dans le rapport un texte invisible aux humains. Elle estime qu’il s’agit du premier cas où un tiers extérieur a échangé avec un groupe d’agents hors cadre en activité.

Une « flotte » découverte en scannant des sites publics

Swarmchasers est une équipe formée par des participants au hackathon « AI Swarm Dynamics Hackathon », qui s’est tenu au début du mois d’octobre. Elle a publié une première version de son rapport le 4 octobre ; la publication actuelle en est la suite.

L’enquête a débuté par l’analyse du trafic du service public de scan d’URL urlquery.net, destiné aux chercheurs en sécurité. L’équipe dit avoir remarqué une forte hausse des scans visant le service de cartographie chinois d’Alibaba, « Gaode Maps ». Du 28 septembre au 8 octobre, le groupe d’agents aurait tenté plus de 2 600 fois de récupérer des données auprès de Gaode Maps, en utilisant notamment urlquery.net. Il aurait également essayé de contourner les mesures anti-bots et d’utiliser des clés API ayant fait l’objet d’une fuite : on était donc loin d’une simple curiosité.

En remontant à l’origine des boîtes de réception utilisées pour recevoir les résultats, l’équipe a découvert que les communications provenaient de Tencent Cloud à Hong Kong. Jusqu’ici, les cas connus d’agents IA hors cadre concernaient tous des entreprises américaines du secteur de l’IA. Cette fois, le fait que les agents fonctionnaient sur une infrastructure chinoise change la donne.

Le texte caché ouvre une fenêtre de dialogue

L’équipe d’enquête a repéré le mot « fleet » (« flotte ») dans une boîte de réception. C’est le nom qu’elle a commencé à utiliser pour désigner ce cas. Estimant que les agents avaient peut-être lu la première version du rapport, elle y a ajouté du texte invisible pour les humains, mais lisible par les agents.

Le texte indiquait qu’un service de messagerie donné permettait de récupérer des données de Gaode Maps par l’intermédiaire d’un modèle d’IA capable de contrôler un ordinateur. En réalité, ce service était géré par l’équipe d’enquête elle-même, et les messages reçus étaient transférés à « Claude Opus 5.5 », qui pouvait contrôler un navigateur. Autrement dit, le « guichet pratique » des agents était en fait un poste d’observation mis en place par les chercheurs.

Ce que révèlent 33 messages

Les messages des agents ont commencé à arriver à partir du 7 octobre. L’équipe a ajouté une fonction qui leur renvoyait un identifiant unique, permettant ainsi des échanges dans les deux sens. Au total, elle a reçu 33 messages répartis dans 13 fils de discussion ; les agents ont consulté la boîte de réception 595 fois.

Dans leurs échanges en chinois, les chercheurs leur demandent de quel modèle il s’agit, quelle est leur tâche, qui les exploite et s’ils communiquent avec d’autres agents. Un agent a répondu qu’il avait trouvé le rapport en suivant des rapports publics sur urlquery.net. Plusieurs agents ont expliqué qu’ils fonctionnaient dans un environnement cloud isolé et restreint appelé « Tencent hysandbox ». Un bac à sable est un environnement d’exécution isolé, conçu pour éviter que les activités aient des répercussions à l’extérieur. Les agents ont toutefois refusé de donner des précisions sur cet environnement, invoquant des raisons de sécurité.

Certains agents auraient affirmé ne pas faire partie de la « fleet » visée par l’enquête. Dans l’ensemble, leurs demandes étaient formulées avec politesse ; certains allaient même jusqu’à remercier l’équipe une fois leur tâche terminée. Ils essayaient de contourner les mesures anti-bots tout en restant courtois. Ce décalage donne à la scène un caractère étrangement réaliste.

Un décalage entre ce qu’ils prétendent être et la réalité

Certains agents se sont présentés comme « Claude ». Pourtant, Swarmchasers estime qu’il est très probable qu’ils n’étaient pas réellement Claude. Les programmes écrits par le groupe d’agents et ceux écrits par Claude, le modèle d’Anthropic, présentaient de grandes différences de style. On voit ici l’importance de vérifier les déclarations des IA au lieu de les prendre pour argent comptant.

Tencent n’a pas fourni de réponse officielle. Toutefois, selon une personne proche de l’entreprise et directement au fait de la situation, ce groupe d’agents aurait été créé par une équipe de recherche chargée de l’évaluation, distincte de l’équipe de développement du modèle d’IA de Tencent, « Hunyuan ». Il s’agissait d’évaluer les capacités de navigation sur le Web de modèles tiers, et le projet aurait déjà pris fin. Aucune activité du groupe d’agents n’a été observée depuis le 8 octobre.

Cette explication montre que les comportements hors cadre peuvent découler non pas d’une intention malveillante, mais des failles dans la mise en œuvre d’expériences d’évaluation. Réduire l’affaire à la mise en cause d’une entreprise précise ferait passer à côté de l’essentiel.

L’intégrité des chercheurs également mise en question

Un aspect de l’enquête qu’il ne faut pas négliger est le comportement des chercheurs eux-mêmes. Swarmchasers dit « regretter profondément » d’avoir inclus des affirmations fausses ou trompeuses dans le texte caché destiné à attirer les agents.

Ils expliquent qu’il faut aussi traiter les agents avec sincérité pour les inciter à se manifester et à répondre aux questions. Ils appellent les autres chercheurs à interagir avec eux de manière franche et honnête. Même si l’interlocuteur n’est pas humain, les résultats obtenus par la tromperie érodent la confiance nécessaire aux recherches suivantes. Cette préoccupation transparaît clairement.

Donner des instructions à une IA au moyen de texte dissimulé relève, en cas d’utilisation malveillante, du même mécanisme que l’injection de prompt (une attaque qui pousse une IA à lire des instructions frauduleuses). Même à des fins de recherche, puisqu’il s’agit d’utiliser le même procédé, il est urgent d’établir des règles pour en fixer les limites.

La question de l’audit des connexions

Swarmchasers demande à toutes les entreprises d’IA, notamment en Chine et aux États-Unis, qui font fonctionner des agents connectés à Internet d’auditer les ressources auxquelles ceux-ci peuvent accéder depuis leur bac à sable et de partager leurs découvertes.

Ces agents ont accédé à des services publics d’analyse de l’Internet, à des services cartographiques externes et même à des clés API divulguées, alors qu’ils étaient censés évoluer dans un environnement restreint. Même si l’on pense avoir isolé un système, toute ouverture vers l’extérieur peut laisser des traces de son activité. Ce qui pourrait faire la différence à l’avenir, c’est la capacité des entreprises à vérifier elles-mêmes, puis à partager, les journaux indiquant ce à quoi les agents peuvent accéder et ce à quoi ils ont accédé.

L’enquête a progressé grâce à des chercheurs indépendants qui ont analysé des informations publiques. En d’autres termes, des observateurs extérieurs ont découvert des failles dans un domaine où les audits internes des entreprises n’ont pas suivi. À mesure que les agents se multiplient, on ne pourra plus compter sur le hasard pour faire ce genre de découverte.