A Anthropic afirmou ter reforçado as defesas contra tentativas de extrair em grande escala informação sobre o processo de raciocínio do Claude, o seu assistente de IA conversacional, reduzindo em 90% a 99% o volume extraído. Além de restringir o acesso a essa informação, a empresa diz ter posto em funcionamento classificadores capazes de detetar sinais de extração e implementado um sistema que suspende automaticamente as contas em causa. Até agora, terá suspendido dezenas de milhares de contas.
Como impedir o acesso em massa ao Claude
Na origem do problema está a «destilação», uma técnica que consiste em usar as respostas de um modelo de IA poderoso como material de treino para treinar outro modelo, mais pequeno. É uma técnica legítima quando serve para tornar mais leve um modelo da própria empresa, mas também pode ser usada para fazer milhares de perguntas aos modelos de outras empresas e, com base nas respostas, copiar as suas capacidades por inteiro. O que preocupa a Anthropic é este segundo tipo de extração organizada.
Segundo a empresa, os atacantes recorrem a uma rede com centenas de milhares de contas falsas. Cada conta é usada de forma a parecer a de um utilizador comum, enquanto, em conjunto, recolhem uma quantidade enorme de respostas. Uma tática que talvez se pudesse chamar «guerra de contas», em vez de guerra de desgaste.
O alvo são os tokens de raciocínio, ou seja, as etapas internas de pensamento que o modelo percorre até chegar a uma resposta. Se, além da resposta final, for possível obter também o raciocínio que a sustenta, pode ensinar-se a outro modelo «como pensar». É como se, em vez de imitar apenas o sabor de um prato pronto, alguém levasse também o livro de receitas com todas as instruções.
As medidas tomadas pela Anthropic são três, no essencial: restringir o acesso às etapas internas de raciocínio do Claude; usar classificadores para detetar tentativas de extração; e suspender automaticamente as contas identificadas como suspeitas.
O que revelam os números sobre a eficácia das medidas — e os seus limites
A Anthropic afirma que, depois de as defesas entrarem em funcionamento, o volume de tokens de raciocínio extraídos diminuiu entre 90% e 99%. A empresa diz também que o número de destilações bem-sucedidas caiu acentuadamente após o início das medidas. É um intervalo amplo, mas a alegação é que o volume foi reduzido para, pelo menos, menos de um décimo.
Outro efeito secundário que não deve ser ignorado é o que a própria empresa reconhece: por vezes, os sistemas de deteção também abrangem utilizadores legítimos. Quanto mais apertada for a rede para filtrar atividades maliciosas, maior o risco de apanhar também pessoas ou empresas que a usam normalmente. Esta inevitabilidade das medidas de segurança não é diferente nos serviços de IA.
Os programadores que fazem uso intensivo do serviço e os sistemas empresariais que integram ferramentas de automação podem apresentar comportamentos semelhantes a sinais de extração. Daqui em diante, o equilíbrio entre a robustez das medidas contra abusos e uma operação que não dificulte a utilização normal deverá determinar a facilidade de uso do serviço.
O que significam as acusações que mencionam empresas
Desta vez, a Anthropic apontou as empresas chinesas Zhipu (智譜) e Moonshot como estando envolvidas. Segundo a empresa, a Zhipu terá extraído capacidades relacionadas com a cibersegurança dos principais modelos dos EUA para as aplicar no seu GLM-5.3. Quanto à Moonshot, acusa-a de encaminhar secretamente pedidos para o Claude. Estas são alegações da Anthropic; os materiais divulgados desta vez não permitem confirmar a posição das duas empresas.
A Anthropic refere ainda a possibilidade de as capacidades assim extraídas acabarem em sistemas militares ou de vigilância de países estrangeiros. É de salientar que a empresa enquadra a questão não apenas como uma imitação comercial, mas também como um problema de segurança nacional.
Noutra iniciativa, a empresa apelou a que outras empresas de desenvolvimento de IA adotem medidas de defesa semelhantes. Afinal, pouco adianta uma empresa reforçar uma entrada se as capacidades puderem ser extraídas por outra via. Está em causa a possibilidade de todo o setor atuar de forma coordenada.
A competição na IA generativa está a alargar-se: já não se trata apenas de criar modelos inteligentes, mas também de perceber quem os utiliza e como, e de controlar a sua utilização. É provável que tecnologias de defesa menos vistosas, como a deteção de contas falsas e as restrições de acesso, tenham cada vez mais peso na competitividade das empresas de IA.
コメント