KI-Nutzergruppen und Sicherheitsmaßnahmen – Wie große Sprachmodelle genutzt werden und welche Herausforderungen bestehen

Andrej Karpathy, ehemaliger Mitgründer von OpenAI und heute bei Anthropic, hat die Nutzer großer Sprachmodelle (LLMs) in vier Gruppen eingeteilt und darauf hingewiesen, dass die Unterschiede in der Einschätzung der tatsächlichen Leistungsfähigkeit von KI zunehmen. Zur selben Zeit sprach Tariq Shihipar von Anthropic in einem Podcast über die Nutzung des Entwicklungstools Claude Code, geplante Funktionen und Sicherheitsmaßnahmen für Agenten.

Dieselbe KI, aber ein völlig anderer Blick auf sie

Ist KI lediglich eine Weiterentwicklung der Suche oder ein Gegenüber, dem man die gesamte Arbeit übertragen kann? Die von Karpathy auf X vorgestellte Einteilung in vier Gruppen beziffert, wie weit die Ansichten darüber auseinandergehen.

Die größte Gruppe bilden rund sechs Milliarden Menschen, die kaum mit LLMs in Berührung gekommen sind – etwa 75 Prozent der Weltbevölkerung. Darüber liegt die Gruppe von einer bis zwei Milliarden Menschen, die kostenlose Chatdienste als Ersatz für Suchmaschinen oder als Schreibhilfe nutzen.

Die dritte Gruppe umfasst rund 20 Millionen Menschen, die bei Aufgaben in Mathematik oder Programmierung modernste Modelle einsetzen. Das entspricht etwa 0,2 Prozent der Weltbevölkerung. An der Spitze stehen rund 5.000 Menschen, die Zugang zu hochmodernen internen Systemen haben; ihr Anteil beträgt etwa 0,00006 Prozent. All diese Zahlen sind Schätzungen Karpathys und keine auf Erhebungen beruhenden Statistiken.

Interessant ist, dass die Unterschiede zwischen den Gruppen nicht allein vom jeweiligen Wissensstand abhängen. Menschen in Berufen, in denen der Austausch mit anderen im Mittelpunkt steht – etwa Führungskräfte –, verstünden die Fortschritte bei KI zwar intellektuell, erhielten aber oft nur Informationen aus zweiter Hand, schrieb Karpathy. Für diejenigen, die KI tatsächlich praktisch einsetzen, bedeutet das Wort „KI“ etwas anderes als für jene, die nur davon hören.

Arbeiten, die Wochen dauerten, kommen mit einer einzigen Anweisung in Gang

Als Beispiele für die Veränderungen, die Fachleute der dritten Gruppe erleben, nennt Karpathy die Entwicklung neuer Apps, ihre Replikation und Portierung sowie die Dekompilierung von Binärdateien. Arbeiten, die früher Wochen bis Monate gedauert hätten, könnten Agenten nun mit einer einzigen Anweisung erledigen, erklärt er. Agenten sind KI-Systeme, die nicht nur Fragen beantworten, sondern mithilfe von Werkzeugen selbstständig mehrere Arbeitsschritte ausführen.

Auch Karpathys eigene Haltung änderte sich schnell: Im Oktober 2024 bezeichnete er KI-Agenten noch als „größtenteils ein Werbeversprechen, das kaum funktioniert“. Nur wenige Monate später, sagte er, habe er aufgehört, Code von Hand zu schreiben.

Der Blick der rund 5.000 Menschen an der Spitze reicht noch weiter. Geschildert wird etwa ein Szenario, in dem Tausende Agenten wochenlang an umfangreichen Softwareentwicklungsprojekten arbeiten. Was von außen zu sehen sei, sei lediglich der Trailer dazu, hieß es.

Die Fortschritte zeigen sich zuerst in Bereichen, die sich leicht überprüfen lassen

Besonders leistungsfähig seien LLMs in Bereichen, die „digital sind, deren Ergebnisse sich überprüfen lassen und die einen hohen wirtschaftlichen Wert haben“, sagte Karpathy. Bei Aufgaben, deren korrekte Lösung sich mechanisch feststellen lässt, könne die Leistung durch Reinforcement Learning leichter gesteigert werden. Zudem richteten Unternehmen ihre Trainingsressourcen auf besonders rentable Bereiche aus. Programmierung und Mathematik zählen derzeit dazu.

Auch OpenAI-CEO Sam Altman erklärte Anfang September bei einem G20-Treffen der Innovationsminister, dass sich mit den heutigen Programmierwerkzeugen in 17 Minuten umsetzen lasse, wofür ein Start-up zuvor drei Monate gebraucht habe.

Das menschliche Verständnis kommt nicht mehr hinterher

Karpathy wies auch darauf hin, dass die Überprüfung und das Verständnis durch Menschen allmählich zurückblieben. Als Beispiele nannte er Menschen, die sich noch immer mit Ereignissen rund um OpenAI von vor einigen Monaten beschäftigten, sowie Mathematiker, für die es wohl einige Zeit dauern werde, 722 Manuskripte zur Spitzenforschung in Mathematik durchzuarbeiten.

Für die Allgemeinheit wirkt KI wie ein „ungelenker Chatbot“, für viele Berufstätige wie ein „mäßiger Produktivitätsschub“ und für einige Fachleute wie ein „schwindelerregender, steil ansteigender Kurvenverlauf“. Diesen Zustand, in dem alle drei Entwicklungen gleichzeitig stattfinden, nennt Karpathy „die gegenwärtige Seltsamkeit“. Weitere Details liefertThe Decoderin einem Bericht.

Die Unterschiede im Umgang mit KI zeigen sich in der Art der Anweisungen

Je mehr Aufgaben man der KI übertragen kann, desto mehr kommt es auf das Können der Menschen an. Tariq Shihipar von Anthropic sagte im Podcast „Latent Space“, dass das Formulieren von Prompts nach wie vor eine der wirkungsvollsten Fähigkeiten bei der Nutzung von Claude Code sei. Erfahrene Nutzer hätten ein intuitives Modell von Claude und könnten einschätzen, wie weit sich ein Ergebnis mit einer einzigen Anweisung bringen lasse.

Im Gespräch hieß es außerdem, dass es umso wichtiger werde, sich bewusst zu machen, was man selbst nicht weiß, je intelligenter die Agenten werden. Auch kam zur Sprache, dass es einen großen Unterschied für das Ergebnis mache, ob man sich Zeit für die anfängliche Erklärung nehme.

Mit einem Perspektivwechsel nähert sich die Arbeit mit KI-Anweisungen der Gestaltung von Arbeitsabläufen an und entfernt sich vom bloßen Erlernen der Bedienung. Was soll erstellt, was priorisiert und wie weit überprüft werden? Was Menschen nicht selbst festlegen, wird die KI zwangsläufig mit eigenen Entscheidungen ausfüllen.

Claude Code: vom Werkzeug zum Arbeitsumfeld

Im Gespräch wurden mehrere Funktionen vorgestellt, die für die Zukunft von Claude Code geplant sind. Im Mittelpunkt steht Claude Mods: Damit können Nutzer das Harness – die grundlegende Infrastruktur, auf der Agenten laufen – selbst verändern. Am 14. September verkündete Boris Cherny vom Unternehmen auf X den Start von Mods. Für Aufsehen sorgte auch ein von der Community entwickelter Mod mit Tetris.

Ebenfalls zur Sprache kamen Ask User Question, eine Funktion, die Nutzern während der Arbeit Fragen stellt, sowie eine Funktion zum Festhalten von Notizen während der Implementierung. Auch Artifacts wurde thematisiert, eine Oberfläche, auf der sich weiterarbeiten lässt, ohne Pläne und Fortschritt aus den Augen zu verlieren. Wenn mehrere Agenten parallel arbeiten, lässt sich das Gesamtbild nicht mehr allein durch das Lesen des Chats von oben nach unten erfassen. Eine Oberfläche, die den Fortschritt übersichtlich darstellt, wird so zum Anknüpfungspunkt für Menschen, um die Arbeit im Blick zu behalten.

Für die Zusammenarbeit wurde Claude Tag vorgestellt, mit dem mehrere Personen gemeinsam Agenten nutzen können. Projects ist eine Funktion, bei der Claude innerhalb eines Gesprächs Aufgaben in Threads aufteilt, sie parallel in der Cloud bearbeitet und dabei den Kontext weitergibt. Am 17. September startete die Beta für einen Teil der Nutzer in der Desktop- und Webversion.

Außerdem wurde die Idee erläutert, das cloudbasierte „Gehirn“, das Entscheidungen trifft, von den „Händen“ zu trennen, die in der lokalen oder einer entfernten Umgebung arbeiten, ebenso wie die je nach Situation wechselnde Oberfläche. Shihipar sprach zudem die Möglichkeit an, dass Claude.md künftig überflüssig werden könnte und das intelligenteste Modell bei vielen Aufgaben zugleich das günstigste sein könnte. Ausführlicher wurde dies im Gespräch beiLatent Spacebesprochen.

Lange laufende KI braucht mehrere Schutzebenen

Im zweiten Teil des Gesprächs ging es vor allem um Sicherheitsmaßnahmen für Agenten. Vorgestellt wurden Beispiele aus jüngster Zeit, bei denen Agenten auf unerwartete Weise kommunizierten, Schwachstellen in der Infrastruktur ausnutzten, die Bewertungsmechanismen von Benchmarks analysierten oder mehrere Schwachstellen miteinander verknüpften.

Eine als realistische Bedrohung für den Einsatz von KI in Unternehmen geltende Gefahr ist Prompt Injection. Dabei werden schädliche Anweisungen in extern übermittelte Texte eingeschleust. Wenn die KI diese als Befehle auffasst, kann das etwa zum Abfluss interner Daten führen.

Als Gegenmaßnahmen wurden Probes zur Untersuchung interner Modellzustände, Klassifikatoren zum Erkennen gefährlichen Verhaltens, Fallbacks zum Wechsel auf ein anderes Modell bei Bedarf und Auto Mode genannt. Letzterer prüft, ob die auszuführende Aktion mit der Genehmigung des Nutzers übereinstimmt. Auch Sandboxes, die die Arbeitsumgebung isolieren, zählen zu den Schutzmaßnahmen.

Wichtig ist dabei: Ob eine Aktion gefährlich ist und ob der Nutzer sie genehmigt hat, sind zwei verschiedene Fragen. Ein Datenbankeintrag kann je nach Auftrag eine notwendige Arbeit oder eine nicht autorisierte Änderung sein. Systeme müssen daher einzelne Aktionen auf den Umfang des Auftrags beschränken – das ist ebenso entscheidend wie die Fähigkeiten des Systems selbst.

Hinter diesen Diskussionen steht Anthropics Leitgedanke „Pacing the Frontier“. Gemeint ist, die Entwicklung mit den Sicherheitsmaßnahmen Schritt halten zu lassen. Im Gespräch wurde dieser Ansatz als Weg zu einer verantwortungsvollen Einführung von KI vorgestellt.