Zufällig bin ich über diese Studie gestolpert:
[Impact of AI on Developer Productivity]
Das Resultat hat mich überrascht. Aber auch nicht. Wer einen Hammer hat, sieht nur Nägel. Wie war das mit dem papierlosen Büro, das seit Jahren propagiert wird? Mein Scanner merkt davon nichts und ist noch lange nicht arbeitslos.
Gemessen an der Entwicklung im Bereich KI, die auf uns zurollt, machen wir wohl erst die Gehversuche.
Es ist wie in der Medizin: Ohne saubere Indikation ist eine Behandlung sinnlos oder sogar schädlich.
Es braucht fundiertes Wissen, ich bleibe dran. 😊
Freue mich über spannende Diskussionen.
Die Zusammenfassung und die wichtigsten Resultate sind hier ins Deutsche übersetzt.
Zusammenfassung
Trotz weit verbreiteter Anwendung bleibt der Einfluss von KI-Tools auf die Softwareentwicklung in der Praxis wenig untersucht. Wir führen ein randomisiertes kontrolliertes Experiment (RCT) durch, um zu verstehen, wie KI-Tools auf die Produktivität von erfahrenen Open-Source-Entwicklern wirken. 16 Entwickler mit moderater KI-Erfahrung vervollständigen 246 Aufgaben in ausgereiften Projekten, mit denen sie durchschnittlich 5 Jahre Erfahrung haben. Jede Aufgabe wird randomisiert zugewiesen, um entweder die Nutzung von KI-Tools zu erlauben oder nicht.
Wenn KI-Tools erlaubt sind, verwenden die Entwickler hauptsächlich Cursor Pro, einen beliebten Code-Editor, und Claude 3.5/3.7 Sonnet. Bevor sie die Aufgaben beginnen, prognostizieren die Entwickler, dass die Zulassung von KI die Fertigstellungszeit um 24% reduzieren wird. Nach Abschluss der Studie schätzen die Entwickler, dass die Zulassung von KI die Fertigstellungszeit um 20% reduziert hat.
Überraschenderweise stellen wir fest, dass die Zulassung von KI die Fertigstellungszeit tatsächlich um 19% erhöht - die KI-Tools verlangsamten die Entwickler. Diese Verlangsamung widerspricht auch den Vorhersagen von Experten aus der Ökonomie (39% kürzer) und des maschinellen Lernens (38% kürzer).
Um dieses Ergebnis zu verstehen, sammeln und bewerten wir Beweise für 21 Eigenschaften unserer Umgebung, die a priori zu dem beobachteten Verlangsamungseffekt beitragen könnten - zum Beispiel die Größe und Qualität der Projekte oder die vorherige Erfahrung der Entwickler mit KI-Tools. Obwohl der Einfluss von experimentellen Artefakten nicht vollständig ausgeschlossen werden kann, deutet die Robustheit des Verlangsamungseffekts über unsere Analysen darauf hin, dass es unwahrscheinlich ist, dass es primär ein Einfluss unseres experimentellen Designs ist.
Die wichtigsten Resultate
Wenn Entwicklern erlaubt wird, KI-Tools zu verwenden, benötigen sie 19% länger, um Probleme zu lösen - eine signifikante Verlangsamung, die den Überzeugungen der Entwickler und den Expertenschätzungen widerspricht. Diese Diskrepanz zwischen Wahrnehmung und Realität ist auffällig: Die Entwickler erwarteten, dass KI ihre Arbeit um 24% beschleunigen würde, und selbst nachdem sie die Verlangsamung erlebt hatten, glaubten sie immer noch, dass KI ihre Arbeit um 20% beschleunigt hatte.
Unten zeigen wir die durchschnittlichen, vorhergesagten Zeiten der Entwickler und die beobachteten Implementierungszeiten - wir können deutlich sehen, dass Entwickler wesentlich länger brauchen, wenn sie KI-Tools verwenden dürfen.
Angesichts der Bedeutung des Verständnisses von KI-Fähigkeiten/Risiken und der Vielfalt der Perspektiven zu diesen Themen halten wir es für wichtig, potenzielle Missverständnisse oder Überverallgemeinerungen unserer Ergebnisse zu vermeiden. Wir listen Behauptungen auf, für die wir in der folgenden Tabelle keine Beweise liefern.
| Wir liefern keinen Beweis dass: | Erläuterung |
|---|---|
| Derzeit beschleunigen KI-Systeme die Arbeit vieler oder der meisten Softwareentwickler nicht | Wir behaupten nicht, dass unsere Entwickler oder Sammlungen eine Mehrheit oder Vielzahl von Software-Entwicklungsarbeit darstellen |
| Künstliche Intelligenzsysteme beschleunigen Einzelpersonen oder Gruppen nicht in anderen Bereichen als der Softwareentwicklung | Wir studieren nur Softwareentwicklung |
| KI-Systeme werden in naher Zukunft die Entwickler in unserer konkreten Umgebung nicht beschleunigen | Fortschritt ist schwer vorherzusagen, und es gab in den letzten fünf Jahren erhebliche Fortschritte bei der künstlichen Intelligenz |
| Es gibt keine Möglichkeiten, bestehende KI-Systeme effektiver zu nutzen, um eine positive Beschleunigung in unserem genauen Umfeld zu erreichen | Cursor sammelt nicht viele Tokens von LLMs, es werden möglicherweise nicht die optimale Eingabeaufforderung/ der optimale Kontext und domänen-/repository-spezifisches Training/ Fine-Tuning/ verwendet, Few-Shot-Learning könnte eine positive Beschleunigung erzielen |
