Anthropic a expliqué avoir renforcé les défenses contre les tentatives visant à extraire massivement les informations qui révèlent le processus de raisonnement de l’IA conversationnelle Claude (les jetons de raisonnement), et avoir réduit de 90 à 99 % le volume extrait. Outre la limitation de l’accès aux informations de raisonnement, l’entreprise a mis en service un classificateur capable de détecter les signes d’extraction et instauré un système qui suspend automatiquement les comptes concernés. Des dizaines de milliers de comptes auraient déjà été suspendus.
Comment empêcher les accès massifs à Claude ?
À l’origine du problème, la « distillation » désigne une méthode qui consiste à entraîner un autre modèle, plus petit, à partir des résultats d’un puissant modèle d’IA. Il s’agit à l’origine d’une technique légitime permettant d’alléger ses propres modèles, mais elle peut aussi servir à soumettre un grand nombre de questions aux modèles d’autres entreprises et à s’en inspirer pour en reproduire les capacités dans leur ensemble. C’est cette extraction organisée, comme dans ce dernier cas, qu’Anthropic considère comme problématique.
Selon l’entreprise, les attaquants s’appuient sur un réseau de plusieurs centaines de milliers de faux comptes. Chacun est utilisé avec suffisamment de modération pour ressembler à celui d’un utilisateur ordinaire, tandis que le réseau, dans son ensemble, collecte un volume considérable de réponses. Une tactique que l’on pourrait qualifier de « guerre des comptes », plutôt que de guerre des nerfs.
Les cibles sont les jetons de raisonnement, c’est-à-dire les étapes de réflexion internes que suit le modèle avant de parvenir à une réponse. En obtenant non seulement la réponse finale, mais aussi le cheminement qui y mène, il devient possible d’apprendre à un autre modèle « comment réfléchir ». Pour prendre une analogie culinaire, ce serait comme emporter non seulement le goût du plat fini, mais aussi la recette et ses étapes.
Les mesures prises par Anthropic se répartissent en trois grandes catégories : limiter l’accès aux étapes de raisonnement internes de Claude, faire fonctionner un classificateur qui repère les tentatives d’extraction et suspendre automatiquement les comptes jugés suspects.
Ce que les chiffres révèlent sur l’efficacité des mesures et leurs limites
Anthropic indique que, depuis la mise en place des défenses, le volume de jetons de raisonnement extraits a diminué de 90 à 99 %. L’entreprise affirme également que le nombre de distillations réussies a fortement chuté après le lancement des mesures. La fourchette est large, mais cela revient à dire que le volume a été ramené à moins d’un dixième.
Un autre effet secondaire, que l’entreprise reconnaît elle-même, ne doit pas être négligé : des utilisateurs légitimes peuvent aussi être pris dans les détections. Plus le filet destiné à écarter les comportements abusifs est resserré, plus les particuliers et les entreprises qui utilisent le service normalement risquent d’être retenus. Les services d’IA n’échappent pas à ce dilemme inhérent aux mesures de sécurité.
Les développeurs qui utilisent le service de manière intensive et les systèmes professionnels intégrant des outils d’automatisation peuvent présenter des comportements qui ressemblent à des signes d’extraction. À l’avenir, l’équilibre entre la rigueur des mesures contre les abus et la nécessité de ne pas gêner les usages ordinaires influera sur la facilité d’utilisation du service.
Que signifient les accusations visant des entreprises nommément ?
Cette fois, Anthropic a nommément désigné les entreprises chinoises Zhipu (智譜) et Moonshot comme étant impliquées. Selon les affirmations de l’entreprise, Zhipu aurait extrait des modèles majeurs américains des capacités liées à la cybersécurité pour les exploiter dans son propre modèle, GLM-5.3. Anthropic accuse Moonshot d’avoir discrètement fait transiter des requêtes par Claude. Il s’agit dans les deux cas d’accusations formulées par Anthropic ; les documents publiés cette fois ne permettent pas de connaître le point de vue des deux entreprises.
Anthropic évoque également la possibilité que les capacités ainsi extraites finissent dans des systèmes militaires ou de surveillance étrangers. L’entreprise attire l’attention en présentant le problème non comme une simple imitation commerciale, mais comme un enjeu de sécurité nationale.
Autre initiative : l’entreprise appelle les autres développeurs d’IA à adopter des mesures de défense similaires. En effet, renforcer les portes d’entrée d’une seule entreprise n’a guère de sens si les informations peuvent être extraites par une autre voie. La question est de savoir si l’ensemble du secteur parviendra à agir de concert.
La compétition dans l’IA générative ne se limite plus à créer des modèles intelligents : elle s’étend à la capacité de déterminer qui les utilise et de quelle manière, puis de contrôler ces usages. Les technologies défensives, moins spectaculaires, comme la détection des faux comptes et la limitation des accès, devraient jouer un rôle croissant dans la compétitivité des entreprises d’IA.
コメント