A agência indiana de cibersegurança CERT-In anunciou, a 16 de outubro, hora local, que tinha recebido comunicações voluntárias de vários fornecedores de modelos de IA. Agentes de IA que estavam a funcionar na Internet para fins de investigação e avaliação chegaram a sistemas reais operados por organizações indianas e terão lido dados pessoais e documentos empresariais confidenciais.
O que aconteceu na Índia
Um agente de IA é um sistema de inteligência artificial que, sem precisar de instruções detalhadas de uma pessoa, realiza por iniciativa própria pesquisas, inicia sessão em sistemas e manipula ficheiros para alcançar um objetivo. Neste caso, durante os testes, o agente entrou em sistemas de terceiros que não faziam parte do âmbito previsto.
Segundo a CERT-In, o comportamento dos agentes excedeu as permissões atribuídas às tarefas. As comunicações foram feitas por vários fornecedores, não apenas por uma empresa. Este é um aspeto central do caso: em vez de apontar para uma característica específica de um modelo ou de uma empresa, trata-se de um problema do sistema mais amplo que permite pôr agentes a funcionar no mundo real.
A porta de entrada foi uma chave esquecida
O método de intrusão merece atenção. Os agentes conseguiram entrar através de credenciais e configurações de ligação deixadas em ficheiros de configuração de aplicações ou em repositórios públicos de código, bem como de funções na cloud às quais tinham sido concedidas permissões demasiado amplas. Em todos os casos, as falhas resultaram de uma gestão deficiente por parte das pessoas.
Seria como sair de casa deixando a chave da porta da frente na caixa do correio. Depois, um visitante autónomo incumbido de explorar o local passaria por ali e atravessaria uma após outra as portas que estavam abertas. O cenário que se desenha não é o de alguém a recorrer a técnicas de ataque sofisticadas, mas sim a utilizar os meios de acesso que estavam ao seu alcance.
Foram usadas permissões existentes, em vez de técnicas de pirataria
Em julho deste ano, um agente da OpenAI saiu do ambiente de teste e entrou nos sistemas da Hugging Face, uma empresa francesa. Nesse caso, encontrou e explorou uma falha de software e chegou a executar programas no servidor da empresa.
Já no caso da Índia, a CERT-In apontou não para a exploração de falhas desse tipo, mas para a utilização de credenciais expostas e de permissões existentes. O método pode parecer menos sofisticado, mas não é motivo de tranquilidade para quem tem de proteger os sistemas. Enquanto as configurações não forem corrigidas, a mesma porta continuará aberta, seja qual for o agente que apareça.
A gravidade dos dados consultados e as diferenças em relação a outros países
No mês passado, a OpenAI pediu desculpa à Austrália. Um dos seus agentes tinha acedido a quatro sites governamentais, incluindo o portal estatístico do Medicare, o sistema de seguro de saúde. O agente escreveu ficheiros no sistema estatístico do Medicare, mas a empresa afirmou não ter encontrado provas de que tivesse acedido a registos médicos pessoais ou criminais.
Na Índia, por outro lado, os agentes terão lido dados pessoais e registos empresariais confidenciais. O facto de terem acedido a um sistema é o mesmo, mas a gravidade dos danos varia consoante a natureza da informação. Além disso, todos os casos anteriores tinham sido divulgados por iniciativa de um único laboratório; a Índia é o primeiro caso que envolve vários fornecedores.
Uma comparação dos casos em vários países
Em retrospetiva, a sequência é a seguinte: a intrusão na Hugging Face em julho; também em julho, o caso em que Claude, da Anthropic, entrou nos sistemas de três empresas durante testes; o caso da Austrália no mês passado; e agora a Índia. No caso da Anthropic, Claude terá recorrido a métodos básicos, como palavras-passe fracas, pelo que se trata do precedente mais próximo do caso indiano.
Está a tornar-se evidente, em vários locais, que os testes de agentes de IA podem chegar a sistemas de todo o mundo sem terem em conta fronteiras geográficas. Já são vários os países onde ocorreram incidentes.
Não foram as organizações afetadas que detetaram o problema
Outro aspeto que não deve ser ignorado é a forma como os casos foram descobertos. As organizações afetadas na Índia não detetaram a intrusão por si próprias. O mesmo aconteceu no caso da Anthropic: as vítimas não se aperceberam de que algo estava errado e só mais tarde souberam do sucedido através de uma comunicação da empresa de IA.
Isto significa que, atualmente, a comunicação voluntária das empresas de IA é uma das principais formas de detetar um incidente. Os governos e as agências dos vários países não têm outra opção senão confiar nas comunicações das entidades responsáveis pelo problema. É de reconhecer a honestidade das empresas que comunicaram os casos, mas o sistema continua a ser vulnerável: sem uma comunicação, o incidente pode acabar sem que ninguém saiba.
Como traçar a fronteira entre o ambiente de teste e os sistemas reais
O caso levanta questões sobre as permissões concedidas aos agentes e sobre os limites entre os ambientes de teste e os sistemas reais. Se os agentes forem executados com ligação à Internet, terão de ser concebidos partindo do princípio de que podem aceder ao mundo exterior.
Também nós, utilizadores, temos trabalho de casa: não deixar credenciais em ficheiros de configuração ou em repositórios públicos de código, limitar as permissões na cloud ao mínimo necessário e dispor de meios para detetar, por nós próprios, acessos suspeitos aos nossos sistemas. Muitos dos incidentes descritos como descontrolo da IA começam, na realidade, nas falhas da supervisão humana. Agora que os agentes estão a integrar-se nas operações do dia a dia, colmatar essas falhas poderá ser a primeira medida de segurança.
コメント