Anthropic hat nach eigenen Angaben den Schutz gegen Versuche verstärkt, in großem Umfang Informationen über den Reasoning-Prozess des Dialog-KI-Systems Claude – sogenannte Reasoning-Tokens – abzugreifen. Dadurch sei die extrahierte Menge um 90 bis 99 Prozent gesunken. Zusätzlich zu Zugriffsbeschränkungen für Reasoning-Informationen setzt das Unternehmen einen Klassifikator ein, der Anzeichen für solche Extraktionsversuche erkennt, und hat ein System eingeführt, das die betreffenden Konten automatisch sperrt. Bislang seien Zehntausende Konten gesperrt worden.
Wie sich massenhafte Zugriffe auf Claude verhindern lassen
Hinter dem Problem steht die sogenannte Destillation. Dabei werden die Ausgaben eines leistungsstarken KI-Modells als Trainingsmaterial genutzt, um ein kleineres, anderes Modell zu trainieren. Grundsätzlich ist das eine legitime Methode, um eigene Modelle leichter zu machen. Sie kann jedoch auch dazu dienen, einem Modell eines anderen Unternehmens massenhaft Fragen zu stellen und dessen Fähigkeiten anhand der Antworten nahezu vollständig zu kopieren. Anthropic sieht vor allem solche systematischen Extraktionen als problematisch an.
Nach Angaben des Unternehmens nutzen die Angreifer Netzwerke mit Hunderttausenden gefälschten Konten. Jedes einzelne Konto verhalte sich so unauffällig, dass es wie ein normaler Nutzer wirke; zusammengenommen würden so jedoch riesige Mengen an Antworten gesammelt. Man könnte diese Methode als eine Art „Konten-Schwarmtaktik“ bezeichnen.
Im Visier stehen Reasoning-Tokens, also die internen Denkschritte, die das Modell auf dem Weg zu einer Antwort durchläuft. Wer nicht nur die endgültige Antwort, sondern auch den Gedankengang erhält, kann einem anderen Modell beibringen, „wie es denken soll“. Wie beim Kochen wäre das, als würde man nicht nur den Geschmack des fertigen Gerichts nachahmen, sondern gleich die gesamte Rezeptanleitung mitnehmen.
Anthropic hat im Wesentlichen drei Maßnahmen ergriffen: den Zugriff auf die internen Reasoning-Schritte von Claude beschränkt, einen Klassifikator zur Erkennung von Extraktionsversuchen eingesetzt und Konten, die als verdächtig eingestuft werden, automatisch gesperrt.
Was die Zahlen über die Wirkung der Maßnahmen – und ihre Grenzen – aussagen
Anthropic zufolge ist die Menge der extrahierten Reasoning-Tokens nach dem Start der Schutzmaßnahmen um 90 bis 99 Prozent gesunken. Auch die Zahl erfolgreicher Destillationen sei nach Beginn der Maßnahmen deutlich zurückgegangen. Die Spanne ist breit, doch dem Unternehmen zufolge wurde die Menge zumindest auf weniger als ein Zehntel reduziert.
Ein weiterer wichtiger Punkt sind die Nebenwirkungen, die das Unternehmen selbst einräumt: Auch legitime Nutzer könnten von der Erkennung erfasst werden. Je engmaschiger das Netz zum Herausfiltern von Missbrauch ist, desto eher geraten auch normale Nutzer und Unternehmen hinein. Diese unvermeidliche Begleiterscheinung von Sicherheitsmaßnahmen macht auch vor KI-Diensten nicht halt.
Entwickler mit hohem Nutzungsvolumen und Geschäftssysteme mit integrierten Automatisierungstools können Verhaltensmuster aufweisen, die den Anzeichen einer Extraktion ähneln. Künftig wird die Balance zwischen der Stärke der Maßnahmen gegen Missbrauch und einem Betrieb, der die normale Nutzung nicht behindert, die Benutzerfreundlichkeit solcher Dienste mitbestimmen.
Was die namentliche Nennung von Unternehmen bedeutet
Anthropic hat diesmal die chinesischen Unternehmen Zhipu (智譜) und Moonshot als Beteiligte genannt. Nach Darstellung des Unternehmens habe Zhipu Fähigkeiten im Cyberbereich aus führenden US-Modellen herausgelöst und damit sein eigenes Modell GLM-5.3 unterstützt. Moonshot wirft Anthropic vor, Anfragen an Claude heimlich über den Dienst geleitet zu haben. Dabei handelt es sich um Behauptungen von Anthropic; die Positionen der beiden Unternehmen lassen sich den vorliegenden Unterlagen nicht entnehmen.
Anthropic weist außerdem darauf hin, dass die auf diese Weise abgeschöpften Fähigkeiten möglicherweise in ausländische Militär- oder Überwachungssysteme einfließen könnten. Bemerkenswert ist, dass das Unternehmen das Thema nicht auf geschäftliche Nachahmung beschränkt, sondern als Frage der nationalen Sicherheit einordnet.
Als weitere Maßnahme ruft das Unternehmen auch andere KI-Entwickler dazu auf, vergleichbare Schutzvorkehrungen einzuführen. Denn wenn nur ein Unternehmen seine Zugänge absichert, bringt das wenig, falls die Daten über einen anderen Zugang abgeschöpft werden. Entscheidend wird sein, ob die Branche gemeinsam vorgehen kann.
Der Wettbewerb bei generativer KI weitet sich aus: Es geht nicht mehr nur darum, möglichst intelligente Modelle zu entwickeln, sondern auch darum, zu erkennen und zu kontrollieren, wer sie wie nutzt. Unspektakuläre Schutztechnologien wie die Erkennung gefälschter Konten und Zugriffsbeschränkungen dürften künftig immer häufiger über die Wettbewerbsfähigkeit von KI-Unternehmen entscheiden.
コメント