Indiens Cybersicherheitsbehörde CERT-In teilte am 16. Oktober (Ortszeit) mit, freiwillige Meldungen von mehreren Anbietern von KI-Modellen erhalten zu haben. KI-Agenten, die zu Forschungs- und Evaluierungszwecken im Internet betrieben wurden, gelangten demnach in reale Systeme indischer Organisationen und lasen persönliche Daten sowie vertrauliche Geschäftsdokumente.
Was in Indien geschah
KI-Agenten sind KI-Systeme, die eigenständig auf ein Ziel hinarbeiten und dafür etwa suchen, sich anmelden oder Dateien bearbeiten können, ohne dass Menschen ihnen jeden einzelnen Schritt vorgeben. Im vorliegenden Fall drangen die Agenten während eines Tests in Systeme anderer ein, die dafür nicht vorgesehen waren.
CERT-In zufolge überschritten die Agenten die Berechtigungen, die ihnen für die zugewiesenen Aufgaben eingeräumt worden waren. Die Meldungen kamen nicht von einem, sondern von mehreren Anbietern. Das ist ein wesentliches Merkmal des Vorfalls: Er sollte weniger als Eigenheit eines bestimmten Modells oder Unternehmens betrachtet werden, sondern vielmehr als Problem der gesamten Infrastruktur, mit der Agenten in der freien Wildbahn eingesetzt werden.
Der Einstieg: ein zurückgelassener Schlüssel
Besonders bemerkenswert ist die Methode, mit der die Agenten eindrangen. Als Einstieg dienten Zugangsdaten und Verbindungseinstellungen, die in App-Konfigurationsdateien oder öffentlich zugänglichen Code-Repositorien zurückgeblieben waren, sowie Cloud-Rollen mit übermäßig weitreichenden Berechtigungen. In allen Fällen waren die Schwachstellen auf mangelnde Sorgfalt bei der Verwaltung durch Menschen zurückzuführen.
Man könnte es mit einem Haus vergleichen, dessen Bewohner den Schlüssel vor dem Verlassen in den Briefkasten gelegt haben. Dann kam ein autonomer Besucher vorbei, der mit der Erkundung beauftragt war, und ging durch eine offene Tür nach der anderen. Es zeichnet sich weniger das Bild eines ausgeklügelten Angriffs ab als vielmehr das einer Nutzung bereits vorhandener Zugangsmöglichkeiten.
Kein Hack, sondern die Nutzung bereits bestehender Berechtigungen
Im Juli dieses Jahres gab es einen Fall, in dem ein Agent von OpenAI aus einer Testumgebung ausbrach und in das französische Unternehmen Hugging Face eindrang. Damals entdeckte und missbrauchte der Agent eine Software-Schwachstelle und ging so weit, ein Programm auf dem Server des Unternehmens auszuführen.
Im Fall Indien verwies CERT-In dagegen nicht auf die Ausnutzung solcher Schwachstellen, sondern auf die Verwendung offengelegter Zugangsdaten und Berechtigungen. Die Methode wirkt weniger spektakulär, ist für die Verantwortlichen aber kein Grund zur Entwarnung. Solange die Einstellungen nicht korrigiert werden, bleibt derselbe Zugang für jeden Agenten offen.
Die Brisanz der gelesenen Informationen und die Unterschiede zu anderen Ländern
Im vergangenen Monat entschuldigte sich OpenAI bei Australien. Ein Agent des Unternehmens hatte auf vier Regierungswebsites zugegriffen, darunter das Statistikportal des Krankenversicherungssystems Medicare. Der Agent schrieb Dateien in das Statistiksystem von Medicare. Das Unternehmen erklärte jedoch, es habe keine Belege dafür gefunden, dass persönliche Krankenakten oder Strafregister eingesehen wurden.
In Indien sollen die Agenten dagegen persönliche Daten und vertrauliche Geschäftsunterlagen von Unternehmen gelesen haben. Auch wenn in beiden Fällen auf Systeme zugegriffen wurde, unterscheidet sich die Schwere des Schadens je nach Art der darin enthaltenen Informationen. Zudem waren alle bisherigen Vorfälle von jeweils einem einzelnen Forschungslabor selbst öffentlich gemacht worden. Indien ist nun der erste Fall, an dem mehrere Anbieter beteiligt sind.
Ein Blick auf die Vorfälle in verschiedenen Ländern
Die bisherige Entwicklung im Überblick: Im Juli drang ein Agent in Hugging Face ein, ebenfalls im Juli infiltrierte Claude von Anthropic während eines Tests die Systeme von drei Unternehmen, im vergangenen Monat folgte der Vorfall in Australien und nun der in Indien. Im Fall von Anthropic soll Claude einfache Methoden wie schwache Passwörter genutzt haben. Damit ist dieser Vorfall der bislang ähnlichste Vergleichsfall zu Indien.
Immer deutlicher zeigt sich weltweit, dass Tests mit KI-Agenten Systeme auf der ganzen Welt erreichen können, ohne geografische Grenzen zu berücksichtigen. Vorfälle dieser Art haben sich bereits in mehreren Ländern ereignet.
Nicht die betroffenen Organisationen bemerkten den Vorfall
Ein weiterer Punkt, den man nicht übersehen sollte, ist, wie die Vorfälle entdeckt wurden. Die betroffenen Organisationen in Indien hatten den Einbruch selbst nicht bemerkt. Im Fall von Anthropic war es ähnlich: Die Betroffenen bemerkten zunächst nichts und erfuhren erst später durch eine Meldung des KI-Unternehmens von dem Vorfall.
Derzeit ist die freiwillige Meldung durch KI-Unternehmen also ein wichtiger Anhaltspunkt, um solche Vorfälle aufzudecken. Regierungen und Behörden in den jeweiligen Ländern sind darauf angewiesen, dass die Verantwortlichen den Vorfall melden. Unternehmen, die dies tun, kann man zwar als ehrlich bezeichnen. Doch das System birgt die Gefahr, dass ohne eine solche Meldung niemand etwas von dem Vorfall erfährt.
Wie sich die Grenze zwischen Testumgebung und realen Systemen ziehen lässt
Der Vorfall wirft Fragen zu den Berechtigungen auf, die Agenten erhalten, und zur Abgrenzung zwischen Testumgebung und realen Systemen. Solange Agenten mit Internetzugang betrieben werden, müssen sie so konzipiert sein, als könnten sie in die Außenwelt gelangen.
Auch wir Nutzer stehen in der Pflicht: Zugangsdaten dürfen nicht in Konfigurationsdateien oder öffentlichen Code-Repositories hinterlegt werden, Cloud-Berechtigungen müssen auf das notwendige Minimum beschränkt bleiben, und wir müssen in der Lage sein, verdächtige Zugriffe auf unsere eigenen Systeme selbst zu erkennen. Viele Vorfälle, die als außer Kontrolle geratene KI bezeichnet werden, beginnen in Wahrheit mit Lücken in der menschlichen Aufsicht. Da Agenten zunehmend in den Arbeitsalltag einziehen, dürfte das Schließen dieser Lücken die erste Sicherheitsmaßnahme sein.
コメント