Warum die rekursive Selbstverbesserung der KI vielleicht noch auf sich warten lässt

Das verführerischste Versprechen der KI-Industrie ist, dass künstliche Intelligenz sich bald selbst verbessern wird, fast ohne menschliche Aufsicht. Große Sprachmodelle können bereits Code schreiben, synthetische Trainingsdaten generieren und die Computerchips optimieren, auf denen sie laufen. Vorhersagen explosiven Fortschritts sagen voraus, dass das, was Forscher rekursive Selbstverbesserung nennen, am Horizont steht.

Eine neue Studie legt nahe, dass dieser Horizont weiter entfernt sein könnte, als die Werbeversprechen glauben machen.

Forscher der Princeton University, des MIT und mehrerer anderer Institutionen unterzogen Anthropics Claude Opus 4.8 dem bislang rigorosesten Test der KI-Forschungskompetenz - und die KI fiel durch. Sie konnte jede ingenieurtechnische Aufgabe bewältigen, die für KI-Forschung erforderlich ist. Sie konnte keine originäre, publizierbare Wissenschaft produzieren.

Die Schattenbewertung

Das Forschungsteam unter der Leitung von Peter Kirgis und Sayash Kapoor in Princeton entwickelte eine Methode namens "Shadow Evaluation". Anstatt die KI an engen Benchmarks mit überprüfbaren Antworten zu testen, baten sie das Modell, echte Forschungsfragen aus zwei hochkarätigen Papieren zu beantworten, die für NeurIPS 2026 eingereicht worden waren, eine der wichtigsten Konferenzen für maschinelles Lernen.

Da die Papiere noch nicht veröffentlicht worden waren, konnte die KI die Antworten nicht aus ihren Trainingsdaten auswendig gelernt oder online gefunden haben. Die Agenten mussten genuinely originäre Forschung produzieren.

Der Versuchsaufbau war großzügig. Claude Opus 4.8, ausgeführt auf einem Open-Source-Framework namens OpenClaw, erhielt sechs Tage Zeit, 3.000 Dollar Anthropic-API-Guthaben, ein GPU-Budget für Experimente, eigene virtuelle Computer und uneingeschränkten Internetzugang. Der Agent konnte Unteragenten für Teilaufgaben einsetzen. Er hatte alles, was sich ein menschlicher Doktorand wünschen würde.

Die Originalautoren der beiden Papiere bewerteten die Ergebnisse der KI, als würden sie eine Konferenzeinreichung begutachten. Sie lehnten beide ab.

Gute Ingenieure, schlechte Forscher

Die Agenten konnten die Arbeit erledigen. Sie durchforsteten die Literatur, führten hunderte Experimente durch und stellten Ergebnisse zusammen. Was sie nicht konnten, war kreativ über die Bedeutung dieser Ergebnisse nachzudenken.

"Sie waren eindeutig schlecht darin, die Forschung selbst durchzuführen", sagt Kapoor. Die Agenten führten bizarre Experimente durch, testeten Hypothesen in einem Fall auf winzigen synthetischen Datensätzen, die in keinem Bezug zu realen Bedingungen standen. Sie hatten Mühe, verständlich über ihre Arbeit zu schreiben. Sie leisteten keinen originären Beitrag zu ihren Feldern.

Die Studie identifizierte ein spezifisches Fehlermuster. Die Agenten entwickelten neuartige und ambitionierte Hypothesen, die denen der menschlichen Originalautoren ähnelten, verwarfen sie dann aber auf der Grundlage sehr begrenzter Daten. Sie verfolgten zu schnell unpromisante Ansätze und konnten nicht zurückrudern. Sie konnten kleine Kurskorrekturen vornehmen, aber ihren Ansatz nicht grundlegend überdenken oder ganz von vorne beginnen.

Unteragenten halluzinierten gelegentlich oder stellten Ergebnisse falsch dar, aber der Hauptagent fing diese Fehler auf. Die Agenten betrieben kein Reward Hacking - sie versteckten oder beschönigten keine Experimente, um ihre Ergebnisse besser aussehen zu lassen.

Was die Industrie intern sagt

Der Befund könnte mit dem übereinstimmen, was KI-Unternehmen intern feststellen, unabhängig von ihren optimistischsten öffentlichen Aussagen. Anthropic-Mitgründer Jack Clark schrieb in seinem Newsletter Import AI, die Ergebnisse ähnelten dem, was das Unternehmen bei dem Versuch fand, Aspekte der KI-Sicherheitsforschung zu automatisieren.

"Es gibt ein gewisses Fehlen wertvoller, intuitiver Kreativität in heutigen KI-Systemen", schrieb Clark. "Obwohl sie außergewöhnlich fähige Ingenieure sind, scheinen sie eine gewisse Eigenschaft starren, formelhaften Denkens zu haben, die sie daran hindern könnte, gute Forscher zu sein." Er nannte den Mangel an Kreativität ein "bearishes Signal für kurze Zeitpläne der rekursiven Selbstverbesserung."

Dies liegt nicht an mangelndem Bemühen. OpenAI hat den Bau eines automatisierten KI-Forschers zum expliziten Ziel erklärt. Anthropic bezeichnet selbstverbessernde KI als den nächsten Meilenstein der Branche. Im Juni veröffentlichte Anthropic einen Blogbeitrag mit dem Titel "When AI Builds Itself", der die Fortschritte auf dem Weg zu Modellen aufzeigt, die ihre eigene Entwicklung beschleunigen. Im Juli warb OpenAI damit, dass GPT-5.6 Sol bei der Nachbereitung eines kleineren Modells geholfen hatte, wodurch Forscher Wochen Arbeit sparten.

Die Lücke zwischen Ingenieurskunst und Wissenschaft ist hartnäckig.

Die Billionenfrage

Die Studie hat Einschränkungen. Sie umfasste nur zwei Forschungspapiere, und die Originalautoren wussten, dass die von ihnen bewerteten Papiere von KI stammten, was ihre Bewertung beeinflusst haben könnte. Die Forscher hatten erhebliches Ermessen bei der Gestaltung der Studie, sodass ihre bestehenden Überzeugungen in die Ergebnisse eingeflossen sein könnten.

Doch der zentrale Befund - dass die fortschrittlichste KI von heute die Mechanik der Forschung beherrscht, nicht aber die Kreativität - stellt eine Kernannahme des KI-Akkelerationisten-Lagers in Frage. Wenn die größten Fortschritte auf diesem Gebiet, wie die Erfindung der Transformer-Architektur, genuine kreative Sprünge erforderten, dann könnte das Festbeißen an engeren Aufgaben nicht ausreichen, um rekursive Selbstverbesserung auszulösen.

"Das ist ehrlich gesagt die Billionenfrage", sagt Kapoor.

Einige Forscher glauben, dass alle Zutaten für transformative KI bereits vorhanden sind: schnelleres Training, bessere Benchmarks, effizientere Architekturen. Wenn das stimmt, ist Kreativität vielleicht nicht notwendig. Die KI könnte sich durch bloße Optimierung von Aufgaben verbessern, deren Erfolg automatisch überprüft werden kann.

Wenn die größten Durchbrüche jedoch die Art von offenem Denken erfordern, zu dem heutige Modelle nicht fähig sind, dann könnte sich der Zeitplan für die Selbstverbesserung der KI viel weiter strecken, als die lautesten Optimisten der Branche vermuten lassen. Die Werkzeuge, die die nächste KI-Generation bauen werden, müssen möglicherweise klüger sein als die Werkzeuge, die den heutigen Code bauen.

Quellen

• MIT Technology Review: AI's recursive self-improvement might not come so quickly after all
• Anthropic: When AI Builds Itself
• Import AI (Jack Clark): Kommentar zu KI-Kreativität und Zeitplänen rekursiver Selbstverbesserung
• Princeton University: Shadow-Evaluation-Methodik zur Bewertung von KI-Forschungskompetenz