Anthropic explicó que ha reforzado las defensas contra los intentos de extraer en grandes cantidades información que muestra el proceso de razonamiento de su IA conversacional Claude —los llamados tokens de razonamiento— y que ha reducido el volumen extraído entre un 90 y un 99 %. Según la empresa, además de restringir el acceso a esa información, ha puesto en marcha un clasificador que detecta indicios de extracción y un sistema que suspende automáticamente las cuentas implicadas. Hasta la fecha, ha suspendido decenas de miles de cuentas.
Cómo evitar el acceso masivo a Claude
El origen del problema está en la «destilación», una técnica que consiste en entrenar un modelo más pequeño a partir de las respuestas de un modelo de IA potente. En principio, es una técnica legítima para aligerar los modelos propios, pero también puede utilizarse para lanzar grandes cantidades de preguntas a modelos de otras empresas y copiar sus capacidades a partir de las respuestas. Lo que preocupa a Anthropic es esta última forma de extracción organizada.
Según explica la empresa, quienes llevan a cabo estos ataques utilizan redes de cientos de miles de cuentas falsas. Cada cuenta se limita a un nivel de actividad que la hace parecer la de un usuario normal, mientras que, en conjunto, recaban una cantidad enorme de respuestas. Es una táctica que podría describirse como una «guerra de enjambres de cuentas».
El objetivo son los tokens de razonamiento, es decir, los pasos internos que sigue el modelo antes de llegar a una respuesta. Si se obtiene no solo la respuesta final, sino también el hilo de razonamiento, es posible enseñar a otro modelo «cómo pensar». Es como si, en vez de limitarse a imitar el sabor de un plato, alguien se llevara también la receta paso a paso.
Las medidas adoptadas por Anthropic se dividen en tres grandes líneas: restringir el acceso a los pasos internos de razonamiento de Claude; utilizar un clasificador que detecte los intentos de extracción; y suspender automáticamente las cuentas que se consideren sospechosas.
Lo que revelan las cifras sobre la eficacia y los límites de las medidas
Anthropic afirma que, tras activar las defensas, el volumen de tokens de razonamiento extraídos cayó entre un 90 y un 99 %. También asegura que el número de destilaciones logradas disminuyó considerablemente tras el inicio de las medidas. Aunque las cifras abarcan un intervalo amplio, la empresa sostiene que consiguió reducir la extracción a menos de una décima parte.
Otro efecto secundario que no debe pasarse por alto es uno que la propia empresa reconoce: a veces, los sistemas de detección también señalan a usuarios legítimos. Cuanto más fina sea la red para filtrar las actividades ilícitas, más posibilidades hay de que atrape también a personas y empresas que la utilizan con normalidad. Este es un problema inherente a las medidas de seguridad, y los servicios de IA no son una excepción.
El comportamiento de los desarrolladores que hacen un uso intensivo del servicio y de los sistemas empresariales que integran herramientas de automatización puede parecerse al de quienes intentan extraer información. En adelante, el equilibrio entre la contundencia de las medidas contra el uso indebido y la necesidad de no obstaculizar el uso normal determinará la facilidad de uso del servicio.
Qué implican las acusaciones que señalan a empresas concretas
Anthropic señaló esta vez a las empresas chinas Zhipu (智譜) y Moonshot como implicadas. Según la empresa, Zhipu habría extraído capacidades relacionadas con la ciberseguridad de los principales modelos estadounidenses y las habría utilizado para su propio GLM-5.3. En cuanto a Moonshot, Anthropic afirma que canalizaba consultas a Claude de forma encubierta. Se trata de afirmaciones de Anthropic; los materiales publicados en esta ocasión no permiten conocer la postura de las dos empresas.
Anthropic también advierte de que las capacidades extraídas de este modo podrían acabar en sistemas militares o de vigilancia de otros países. Llama la atención que la empresa presente el asunto no solo como una imitación comercial, sino también como una cuestión de seguridad nacional.
En otra iniciativa, la empresa ha instado a otras compañías de IA a adoptar medidas de defensa similares. De poco sirve que una sola empresa refuerce sus puertas si la información puede obtenerse por otra vía. La cuestión es si toda la industria podrá coordinar sus esfuerzos.
La competencia en el ámbito de la IA generativa está pasando de centrarse en crear modelos inteligentes a determinar quién los utiliza y de qué manera, y en controlar ese uso. Es probable que tecnologías de defensa menos llamativas, como la detección de cuentas falsas y las restricciones de acceso, tengan cada vez más peso en la competitividad de las empresas de IA.
コメント