Forscher von Microsoft in den USA haben eine Studie zur Nutzung von KI-Coding-Tools auf der Kommandozeile und deren Auswirkungen auf die Produktivität veröffentlicht. Untersucht wurden Tausende Softwareentwickler im Unternehmen. Im Mittelpunkt standen „Claude Code“ von Anthropic und „Copilot CLI“ von GitHub. Der Untersuchungszeitraum erstreckte sich über rund vier Monate, vom 5. Januar bis zum 29. April 2026. Entwickler, die die Tools in der ersten Woche nach ihrer Einführung nutzten, verzeichneten den Forschern zufolge im Schnitt 24 Prozent mehr zusammengeführte Pull Requests als diejenigen, die sie nicht verwendeten.
Allein die Bereitstellung der Tools reicht nicht – der erste Schritt beginnt beim „Nachbarn“
Manche Führungskräfte und Manager stellen sich wohl vor, dass alle Mitarbeitenden am nächsten Tag anfangen, ein KI-Tool zu nutzen, sobald das Unternehmen es für alle bereitstellt. Die vorliegende Untersuchung zeigt jedoch, dass für die Entscheidung, es zuerst auszuprobieren, zwischenmenschliche Beziehungen am Arbeitsplatz ausschlaggebender waren als Funktionsbeschreibungen oder Mitteilungen.
Wenn Kollegen, mit denen man regelmäßig Code austauscht, oder direkte Vorgesetzte ein Tool nutzten, stieg die Wahrscheinlichkeit, dass man selbst damit anfing. Die Zahlen sind konkret: Wenn mehr als ein Viertel der Kollegen, die dieselbe Führungskraft über dem direkten Vorgesetzten hatten, es in den vorangegangenen zwei Wochen genutzt hatten, stiegen die Odds für einen Test um bis zu 216 Prozent. Nutzte der direkte Vorgesetzte das Tool, betrug der Anstieg 82 Prozent; wenn mehr als ein Viertel der Personen, mit denen man üblicherweise Code-Reviews durchführte, es nutzten, waren es 54 Prozent.
Ein Anstieg der Odds ist nicht dasselbe wie ein „Anstieg der Wahrscheinlichkeit“
Hier ist der Begriff „Odds“ wichtig. Er bezeichnet das Verhältnis der Wahrscheinlichkeit, dass ein Ereignis eintritt, zur Wahrscheinlichkeit, dass es nicht eintritt. Bei einem Anstieg um 216 Prozent könnte man meinen, die Zahl der Nutzer sei auf mehr als das Dreifache gestiegen. Gemeint ist damit aber nicht, dass der Anteil der Nutzer selbst um 216 Prozent zugenommen hat. Bei einer zunächst niedrigen Nutzungsrate können die Unterschiede größer erscheinen; der tatsächliche Zuwachs an Nutzern fällt geringer aus als diese Zahl.
Dennoch ist die Richtung klar: Das Verhalten von Vorgesetzten und Kollegen gibt den Ausschlag. Neue Werkzeuge probiert man weniger aus, nachdem man eine Anleitung gelesen hat, als vielmehr mit dem Gedanken: „Wenn diese Person es nutzt, versuche ich es auch.“ Das dürfte vielen Arbeitsplätzen vertraut sein – nicht nur in der Softwareentwicklung. Vorgesetzte könnten das Tool selbst ausprobieren und bei Code-Reviews zeigen, wie sie es einsetzen. Solche unspektakulären Schritte könnten mehr bewirken als Schulungsunterlagen.
Ob man dabeibleibt, hängt vom gewohnten Arbeitsablauf ab
Ob diejenigen, die das Tool ausprobiert haben, es anschließend weiter nutzen, ist eine andere Frage. Der Studie zufolge hing die fortgesetzte Nutzung damit zusammen, wie viel die Betreffenden gewöhnlich programmierten. Beschäftigte, die im Alltag viel Code schrieben und häufig Pull Requests einreichten, konnten den Nutzen von KI leichter erkennen und tendierten stärker dazu, das Tool dauerhaft einzusetzen.
Ein Pull Request ist eine Anfrage, geänderten Code in den Hauptzweig eines Projekts zu übernehmen. Wer häufig solche Anfragen stellt, hat womöglich auch viele Aufgaben, die sich an eine KI delegieren lassen. Je mehr man selbst programmiert, desto deutlicher kann man die Wirkung des Werkzeugs spüren.
Eine vertraute Arbeitsumgebung kann zur Hürde für neue Werkzeuge werden
Zugleich ergab die Untersuchung, dass Beschäftigte, die bereits zuvor andere KI-Tools in einer anderen Entwicklungsumgebung verwendet hatten, die neuen Tools zwar ausprobierten, sie aber seltener dauerhaft nutzten. Möglicherweise fühlen sich viele in ihrer gewohnten Umgebung wohler.
Das erinnert an den Wechsel des Smartphones. Selbst wenn die Funktionen besser sind, möchte man vielleicht zum alten Gerät zurück, wenn man sich an die Anordnung der Apps und die Bedienung gewöhnt hat. Wer ein neues KI-Tool einführt, sollte daher nicht nur seine Leistung berücksichtigen, sondern auch überlegen, wie es sich in die Arbeitsabläufe einfügt, die die Nutzer bereits etabliert haben.
Wie ist der Anstieg der Pull-Request-Zahl um 24 Prozent zu verstehen?
Die Auswirkungen auf die Produktivität wurden anhand der Zahl der zusammengeführten Pull Requests gemessen, also der Menge der abgeschlossenen Arbeit. Entwickler, die das Tool in der ersten Woche nach der Einführung nutzten, verzeichneten im Schnitt 24 Prozent mehr Pull Requests als diejenigen, die es nicht verwendeten. Dem Bericht zufolge war dieser Effekt nicht nur ein vorübergehender Höhenflug unmittelbar nach der Einführung, sondern blieb über den gesamten viermonatigen Untersuchungszeitraum stabil.
Die Produktivität wird hier allerdings ausschließlich anhand einer einzigen Messgröße erfasst: der Zahl der Pull Requests. Die Zahlen belegen nicht, dass sich auch die Codequalität, der Zeitaufwand pro Pull Request oder die Belastung des Teams im gleichen Umfang verbessert haben. Den Anstieg der Zahl sollte man daher von dem Gefühl unterscheiden, dass die Arbeit insgesamt leichter geworden ist.
Claude Code: 11,4 Prozent, Copilot CLI: 24,9 Prozent
Bei einer Aufschlüsselung nach Tool lag der Anstieg der Pull-Request-Zahl gegenüber Wochen ohne Tool-Nutzung bei 11,4 Prozent für Nutzer von Claude Code und bei 24,9 Prozent für Nutzer von Copilot CLI. Der Unterschied beträgt etwa das Doppelte, doch daraus unmittelbar auf die Überlegenheit eines Tools zu schließen, wäre voreilig. Copilot CLI wird von GitHub angeboten, das zu Microsoft gehört. Wie die beiden Tools intern genutzt wurden und welche Nutzergruppen sie hatten, muss nicht identisch gewesen sein.
Dennoch gibt es nur wenige Studien, die über vier Monate hinweg sowohl die Verbreitung als auch die Ergebnisse in realen Entwicklungsumgebungen mit Zehntausenden Beschäftigten untersucht haben. Während sich die Debatte über KI-Coding oft darauf konzentriert, welches Modell am intelligentesten ist, zeigen die Ergebnisse dieser Studie, wie die Einführung in der Praxis verläuft: Wer beginnt, die Tools zu nutzen, und wer bleibt dabei? Möglicherweise kommt es zunehmend ebenso sehr auf die gezielte Gestaltung der Verbreitung am Arbeitsplatz wie auf die Auswahl der Tools an.
コメント