Was Studien über die Qualität KI-generierten Codes zeigen

01

Wie lesen Sie eine Studie über KI-Code?

Mit drei Fragen: Was genau wurde gemessen, Laboraufgaben, Code in Repositories, Umfrageantworten oder Arbeitszeit im Experiment? Wer hat die Studie herausgegeben, und verkauft der Herausgeber etwas, das zum Ergebnis passt? Und erlaubt das Design eine Aussage über Ursachen oder nur über Zusammenhänge? Ohne diese Einordnung ist jede Prozentzahl nur halb verstanden.

Die vier Untersuchungen dieses Beitrags messen sehr Verschiedenes und lassen sich nicht gegeneinander aufrechnen. Sie ergänzen sich aber: Eine prüft Code-Proben auf Sicherheitslücken, eine analysiert Änderungsmuster in Hunderten Millionen Codezeilen, eine befragt Tausende Fachleute, eine misst Arbeitszeit im Experiment. Wie sich die Befunde auf den Weg vom Prototyp zur Produktion übertragen, ordnet der Leitfaden Vom Prototyp zur produktionsreifen Anwendung ein.

02

Wie sicher ist Code, den Sprachmodelle schreiben?

Laut Veracode 2025 fielen 45 Prozent der generierten Code-Proben durch die Sicherheitstests und enthielten eine Schwachstelle aus den OWASP Top 10. Größere und neuere Modelle schnitten nicht besser ab. Die Fortschreibung vom Frühjahr 2026 zeigt dasselbe Bild: Syntaktisch korrekt ist fast alles, sicher nur gut die Hälfte.

Getestet wurden Aufgaben in Java, Python, C# und JavaScript, die sich sicher oder unsicher lösen lassen. In der Fortschreibung vom März 2026 beschreibt Veracode den Testsatz als 80 Aufgaben zu vier Schwachstellenklassen. Das Ergebnis dort: über 95 Prozent syntaktisch korrekt, rund 55 Prozent sicher. Gegen SQL-Injection schützten die Modelle in 82 Prozent der Fälle, gegen Cross-Site-Scripting nur in 15 und gegen Log-Injection in 13 Prozent. Java lag bei 29 Prozent sicherer Lösungen (Veracode, 2026).

Grenzen: Getestet werden einzelne Aufgaben zu wenigen Schwachstellenklassen, keine vollständigen Anwendungen und kein Code, der danach ein Review durchlaufen hat. Veracode verkauft Werkzeuge für Sicherheitsprüfungen, das Ergebnis passt zum Geschäftsmodell. Die Kernaussage bleibt trotzdem belastbar: Wer generierten Code ungeprüft übernimmt, übernimmt ein messbares Risiko. Wie derselbe Mechanismus in konkreten Werkzeugen aussieht, zeigt Mit Lovable, Bolt oder Replit gebaut.

03

Wird Code mit KI-Assistenten schwerer wartbar?

GitClear sieht in 211 Millionen geänderten Codezeilen einen klaren Trend: Seit KI-Assistenten verbreitet sind, wird mehr Code kopiert und weniger umgebaut. 2024 überstieg kopierter Code erstmals verschobenen, also umstrukturierten Code, und die Auswertung von 2026 setzt den Trend fort. Das ist ein Zusammenhang im gesamten Datensatz, kein Nachweis einer Ursache.

Warum das zählt: Kopierter Code muss bei jeder Änderung an mehreren Stellen gepflegt werden, umgebauter Code bündelt Logik an einer Stelle. Ein sinkender Anteil an Umbauten deutet darauf hin, dass neuer Code eher neben bestehenden gestellt als in ihn eingearbeitet wird. Die Auswertung von 2026 umfasst 623 Millionen Änderungen aus den Jahren 2023 bis 2026 und zeigt dieselbe Richtung (GitClear, 2026).

Grenzen: GitClear misst alle Änderungen im Datensatz, nicht gekennzeichneten KI-Code, und leitet Umbauten aus verschobenen Zeilen ab, einer Näherung. Der Herausgeber verkauft Analysen zur Entwicklungsproduktivität. Was solche Muster auf Dauer für eine einzelne Anwendung bedeuten, beschreibt Technische Schulden in KI-generiertem Code erkennen.

04

Macht KI Teams schneller oder stabiler?

Beides zugleich zeigt DORA 2025 bisher nicht. Der Bericht findet erstmals einen positiven Zusammenhang zwischen KI-Nutzung und dem Durchsatz der Softwareauslieferung, aber weiterhin einen negativen mit ihrer Stabilität. Die Kernthese lautet: KI repariert kein Team, sie verstärkt, was bereits da ist, starke Praktiken ebenso wie schwache.

Der Bericht „State of AI-assisted Software Development 2025“ beruht auf einer Befragung von knapp 5.000 Fachleuten weltweit und über 100 Stunden qualitativer Daten. 90 Prozent der Befragten nutzen KI bei der Arbeit, mehr als 80 Prozent sehen ihre Produktivität gestiegen, 30 Prozent vertrauen KI-generiertem Code wenig oder gar nicht (DORA, 2025). Die Entwicklerumfrage von Stack Overflow passt dazu: 66 Prozent nennen als größte Frustration KI-Lösungen, die fast richtig sind, aber eben nicht ganz (Stack Overflow, 2025).

Für Produktivsysteme ist die Stabilitätsaussage die wichtigere. Mehr Tempo ohne Absicherung verlagert Fehler in die Zeit nach der Auslieferung. DORA beschreibt deshalb Fähigkeiten, die den Nutzen von KI verstärken, darunter klare Regeln zur KI-Nutzung und hochwertige interne Plattformen. Grenzen: Es handelt sich um Selbstauskünfte und Zusammenhänge, nicht um gemessene Ursachen.

05

Sind erfahrene Entwickler mit KI wirklich langsamer?

In der METR-Studie von 2025 brauchten 16 erfahrene Open-Source-Entwickler mit KI-Werkzeugen 19 Prozent länger für ihre Aufgaben, hielten sich danach aber für 20 Prozent schneller. Belastbar ist vor allem der zweite Teil: Selbsteinschätzung ist ein schlechtes Maß. METR hat das Studiendesign 2026 wegen Selektionseffekten überarbeitet und die Aussagekraft neu eingeordnet.

Die Studie war ein randomisiertes Experiment: 246 reale Aufgaben in großen, den Teilnehmenden vertrauten Repositories mit im Mittel über einer Million Codezeilen, Aufgaben von durchschnittlich rund zwei Stunden, überwiegend mit Cursor Pro und Claude 3.5 und 3.7 Sonnet. Vorab erwarteten die Entwickler 24 Prozent Zeitgewinn. Gemessen wurden 19 Prozent mehr Zeit, mit einem Konfidenzintervall von plus 2 bis plus 39 Prozent (METR, 2025). METR betont selbst, dass die Studie nicht zeigt, dass KI den meisten Entwicklern nicht hilft.

Im Februar 2026 berichtete METR über Folgedurchgänge Ende 2025 und über ein Problem: Entwickler lehnten zunehmend ab, Aufgaben ohne KI zu bearbeiten, und ließen Aufgaben weg, bei denen sie viel von KI erwarteten. Die neuen Schätzungen deuten eher auf einen Zeitgewinn hin, mit Konfidenzintervallen, die auch keinen Effekt einschließen. METR nennt die eigenen Daten wegen dieser Selektionseffekte nur sehr schwache Evidenz und stellt das Design um (METR, 2026).

06

Welche Zahlen kursieren, halten aber nicht?

Einige Zahlen tauchen in Beiträgen zu KI-Code und KI-Projekten wiederholt auf, ohne zu tragen. Meist ist die Zahl nicht erfunden, sondern aus ihrem Zusammenhang gelöst: Eine Prognose wird zur Messung, eine US-Studie zu Enterprise-Piloten zur Aussage über den Mittelstand, ein Anbieter-Scan zur neutralen Erhebung. Tippen Sie auf eine Karte für die Einordnung.

07

Was folgt aus den Studien für Ihr Projekt?

Keine der Studien spricht gegen KI-Werkzeuge. Sie sprechen gegen ungeprüfte Übernahme. Sicherheitsprüfung, Review und automatisierte Tests sind die Stellen, an denen die gemessenen Schwächen abgefangen werden. Und wer eine Zahl weitergibt, sollte sie vorher an der Quelle prüfen, die Prüfliste unten hilft dabei.

Wie sich die Befunde in konkreten Regeln niederschlagen, etwa welche KI-Werkzeuge ein Entwicklungsteam mit welchen Prüfpflichten nutzt, beschreibt KI-Werkzeuge im Entwicklungsteam freigeben. Eine kürzere Einordnung, wo Vibe Coding hilft und wo nicht, bietet der Beitrag Vibe Coding: wo es hilft, wo es beißt.