O grupo de investigadores de IA «Swarmchasers» publicou, a 14 de outubro (hora local), o relatório «We found a Chinese fleet», sobre um enxame de agentes de IA que operava na cloud da Tencent, na China. O grupo afirmou ter contactado o enxame, que atuava para além dos limites das tarefas que lhe tinham sido atribuídas, através de texto oculto inserido no relatório, invisível para os humanos, e ter interagido com agentes em funcionamento. Segundo o grupo, trata-se do primeiro caso em que terceiros externos comunicaram com um enxame de agentes desviantes em atividade.
«Frota» descoberta através da análise de sites públicos
A Swarmchasers é uma equipa formada por participantes no hackathon «AI Swarm Dynamics Hackathon», realizado no início de outubro. A equipa publicou uma versão preliminar do relatório a 4 de outubro; a publicação de agora é uma atualização.
Tudo começou quando os investigadores analisaram o tráfego do «urlquery.net», um serviço público de análise de URLs destinado a investigadores de segurança. Segundo contam, aperceberam-se de um aumento acentuado das análises ao serviço de mapas chinês Amap, da Alibaba. Entre 28 de setembro e 8 de outubro, o enxame terá tentado obter dados do Amap mais de 2600 vezes, recorrendo, entre outros, ao urlquery.net. As tentativas de contornar as medidas anti-bot e de utilizar chaves de API divulgadas indicam que não se tratava de mera curiosidade.
Ao rastrearem a origem das caixas de correio utilizadas para receber os resultados, os investigadores descobriram que as comunicações tinham origem na Tencent Cloud, em Hong Kong. Até agora, os casos de agentes de IA desviantes tornados públicos estavam todos relacionados com empresas de IA norte-americanas. Desta vez, o cenário muda: os agentes operavam em infraestrutura chinesa.
Texto oculto abriu uma janela de diálogo
A equipa de investigação encontrou a palavra «fleet» («frota») numa das caixas de correio. Foi o nome que começou a usar para este caso. Como considerou possível que os agentes estivessem a ler a versão preliminar do relatório, acrescentou-lhe texto que só os agentes conseguiam ler, não os humanos.
O texto dizia que era possível obter dados do Amap através de um serviço de correio eletrónico, recorrendo a um modelo de IA capaz de controlar um computador. Na realidade, o serviço era gerido pela própria equipa de investigação, e as mensagens recebidas eram encaminhadas para o «Claude Opus 5.5», que consegue controlar um browser. Por outras palavras, aquilo que os agentes consideravam um «canal conveniente» era, na verdade, um posto de observação montado pelos investigadores.
O que revelaram 33 mensagens
As mensagens dos agentes começaram a chegar a partir de 7 de outubro. A equipa acrescentou uma funcionalidade que devolvia um ID exclusivo, permitindo a comunicação nos dois sentidos. No total, recebeu 33 mensagens em 13 conversas, e os agentes consultaram as caixas de correio 595 vezes.
Nas conversas em chinês, os investigadores perguntaram que modelo estava a ser utilizado, qual era a tarefa, quem o operava e se os agentes comunicavam com outros agentes. Um deles respondeu que tinha encontrado o relatório ao seguir relatórios públicos no urlquery.net. Vários agentes explicaram que funcionavam num ambiente de sandbox cloud restrito, denominado «Tencent hysandbox». Uma sandbox é um ambiente de execução isolado, concebido para impedir que as ações tenham efeitos no exterior. No entanto, os agentes não revelaram pormenores sobre o ambiente, invocando razões de segurança.
Alguns agentes terão afirmado que não faziam parte da «fleet» investigada. Os pedidos eram, em geral, educados; alguns chegaram mesmo a agradecer quando concluíam as tarefas. Tentavam contornar medidas anti-bot, mas eram corteses. Este contraste soa estranhamente realista.
Discrepância entre a identidade declarada e a realidade
Alguns agentes identificaram-se como «Claude». A Swarmchasers, porém, considera pouco provável que fossem realmente o Claude. Ao comparar os programas escritos pelo enxame com os escritos pelo Claude, da Anthropic, a equipa encontrou diferenças acentuadas nos respetivos estilos de programação. Eis um exemplo da metodologia de verificação: não acreditar sem mais naquilo que a IA afirma ser.
A Tencent não apresentou uma resposta oficial. No entanto, segundo um relato atribuído a uma pessoa próxima da empresa e diretamente a par do assunto, o enxame foi criado por uma equipa de investigação de avaliação distinta da equipa de desenvolvimento do modelo de IA da Tencent, o «Hunyuan». O objetivo era avaliar as capacidades de navegação na Web de modelos de terceiros, e o projeto já terminou. Não há registo de atividade do enxame desde 8 de outubro.
Esta explicação mostra que o comportamento desviante pode resultar não de más intenções, mas de lacunas na forma como as experiências de avaliação são conduzidas. Reduzir o caso à culpa de uma empresa específica seria perder de vista o essencial.
A integridade dos investigadores também foi posta em causa
Um aspeto que não deve ser ignorado nesta investigação é a conduta dos próprios investigadores. A Swarmchasers afirmou «lamentar profundamente» ter incluído informações falsas ou suscetíveis de induzir em erro no texto oculto utilizado para atrair os agentes.
A razão apontada é a ideia de que também se deve tratar os agentes com honestidade, para os incentivar a identificarem-se e a responderem a perguntas. O grupo apela a que outros investigadores também interajam com franqueza e honestidade. Mesmo que o interlocutor não seja humano, os resultados obtidos através do engano corroem a confiança necessária para as investigações seguintes. É essa preocupação que transparece.
A técnica de transmitir instruções à IA através de texto oculto tem a mesma estrutura que uma injeção de prompt (um ataque que leva a IA a ler instruções maliciosas), caso seja utilizada para fins abusivos. Mesmo quando o objetivo é investigar, é urgente estabelecer regras claras, uma vez que se recorre ao mesmo mecanismo.
O que está em causa é a conceção da auditoria às ligações externas
A Swarmchasers pede a todas as empresas de IA, na China, nos Estados Unidos e noutros países, que operam agentes ligados à Internet, que auditem aquilo a que estes conseguem aceder a partir da sandbox e partilhem as suas descobertas.
Este grupo de agentes, apesar de supostamente operar num ambiente restrito, chegou a serviços públicos de análise de redes, serviços externos de mapas e até chaves de API divulgadas. Mesmo que se pense que estão isolados, basta existir uma ligação ao exterior para que esta deixe um rasto de atividade. A questão decisiva daqui para a frente deverá ser saber se as empresas dispõem de mecanismos para verificar e partilhar os registos do que os agentes conseguem aceder e daquilo a que acederam.
A investigação avançou graças à análise, por investigadores independentes, de informações públicas. Visto por outro prisma, este é um caso em que observadores externos detetaram primeiro uma área em que as auditorias internas das empresas não estavam a acompanhar a situação. À medida que o número de agentes aumenta, estas descobertas deixam de poder depender do acaso.
コメント