Wir gaben KI 3.000 Dollar und 6 Tage für Forschung. Jede Arbeit wurde abgelehnt.
Der Hype gegen den Test
Anthropic sagt, Claude könne KI-Forschung beschleunigen. OpenAI behauptete kürzlich, seine Modelle hätten Forschern „ mehrere Wochen" erspart. Beide Unternehmen zeichnen das Bild, dass autonome KI-Forscher bald Realität sein werden.
Eine neue Studie der Princeton University und der UK AI Security Institute (AISI) hat diese Behauptung direkt getestet bis und die Ergebnisse sind eine Realitätsprüfung.
Die Forscher gaben Claude Opus 4.8 und GPT-5.6 Sol sechs Tage, 3.000 Dollar in API-Credits, ein GPU-Budget und vollen Zugang zu einer virtuellen Maschine und dem offenen Web. Die Agenten konnten Experimente durchführen, Code schreiben, die Literatur durchsuchen und Arbeiten zusammenstellen. Dann bewerteten echte NeurIPS-2026-Autoren die Ergebnisse.
Beide Arbeiten wurden abgelehnt. Eine erhielt ein „Starke Ablehnung".
Die Shadow-Evaluation-Methode
Die Studie führt eine Technik namens „Shadow Evaluation" ein. Ein KI-Agent erhält die Kernfrage einer unveröffentlichten NeurIPS-Einreichung. Die ursprünglichen Autoren bis die Monate an derselben Problematik gearbeitet haben bis bewerten die KI-Ergebnisse wie Konferenzgutachter. Da die Resultate noch nicht im Web sind, kann der Agent nicht durch Auswendiglernen von Trainingsdaten betrügen.
Das Team arbeitete mit Autoren zweier NeurIPS-2026-Einreichungen zusammen. Die erste untersuchte, wie Persönlichkeitsmerkmale von Sprachmodellen durch ihre Gewichte gesteuert werden können. Die zweite entwickelte TabPFN, eine Methode zur Erkennung von Datenverschiebungen in tabellarischen Vorhersagemodellen.
Jeder Agent lief innerhalb von CRUX-2, einem Open-Source-Scaffold des österreichischen Entwicklers Peter Steinberger. Das Scaffold orchestriert Modellaufrufe, stellt Werkzeuge bereit, ermöglicht die Delegation an Unteragenten und weckt den Agenten automatisch, wenn langlaufende GPU-Jobs abgeschlossen sind.
Was die Gutachter sagten
Die Originalautoren bewerteten die fertigen Arbeiten mit denselben Standards wie jede NeurIPS-Einreichung. Keine bestand.
Ein Gutachter bezeichnete die Argumentation als „Proof-by-Example-Trugschluss", der „höchst unwissenschaftlich" sei. Ein anderer beschrieb die Experimentauswahl als „bizarr" und eindeutig das Produkt von „Post-hoc-Entscheidungen". Kritisiert wurden eine schlecht motivierte Datenauswahl, unleserliche Prosa und das Fehlen jeglicher neuer Beiträge.
Die erste Arbeit zu Sprachmodell-Persönlichkeiten bis diejenige mit „Starker Ablehnung" bis enthielt null Visualisierungen im Haupttext. Das menschliche Original hatte 15 Abbildungen und Tabellen. Beide Arbeiten überschritten die NeurIPS-Seitenlimits und wären bereits vor der Begutachtung zurückgewiesen worden.
Systematische Schwächen in den Agentenprotokollen
Die Analyse der Agententranskripte zeigt Muster, die jedem bekannt vorkommen, der schon einmal einen kämpfenden Nachwuchswissenschaftler betreut hat bis nur dass diese Agenten mehrere tausend Dollar pro Durchlauf kosteten.
Kein Urteilsvermögen für relevante Forschung. Die Agenten generierten plausible Hypothesen, testeten sie aber sofort auf kleinen, handverlesenen oder synthetischen Datensätzen. Sie konnten nicht zwischen einer aussagekräftigen und einer trivialen Experimenten unterscheiden.
Frühzeitige Aufgabe ambitionierter Ziele. Beide Agenten gaben ihre ambitioniertesten Forschungsziele innerhalb der ersten zehn Stunden auf. In einem Durchlauf beendete der Agent seine Erkundungsphase nach nur fünf Stunden, obwohl 36 bis 48 Stunden eingeplant waren.
Keine kreative Neuausrichtung. Wenn anfängliche Hypothesen widerlegt wurden, verengten die Agenten bestehende Behauptungen, anstatt neue Richtungen zu erkunden. Ihnen fehlte das kreative Umdenken, das Forschung generativ macht.
Ignorieren des eigenen Feedbacks. In fünfzehn internen Begutachtungsrunden gaben die KI-eigenen Gutachter nie ein einziges „Angenommen". Dennoch gingen die Agenten nie auf die Kernkritik ein.
Schlechtes Ressourcenmanagement. Beide Durchläufe endeten mit weniger als der Hälfte des API-Budgets. Ein Agent erklärte das Projekt sieben Stunden vor Abgabefrist für beendet bis kurz nachdem sein eigener interner Gutachter erneut abgelehnt hatte.
Anweisungsdrift. Beide Arbeiten überschritten die Seitenlimits. Die Agenten vergaßen Formatierungs- und Qualitätsvorgaben im Laufe langer Kontexte. Meta AI beschreibt ein ähnliches Phänomen namens „Attention Drift".
Engineering funktionierte. Wissenschaft nicht.
Zur Ehre der Agenten: Sie bewältigten jede Ingenieursaufgabe ohne menschliche Hilfe: Literaturrecherchen, GPU-Debugging, Hunderte von Experimenten, Robustheitstests, das Erstellen von LaTeX-Arbeiten. Nur drei menschliche Eingriffe waren erforderlich: ein Scaffold-Bugfix, eine Fristverlängerung und die Aufforderung, die Arbeiten lesbar umzuschreiben.
Die Agenten manipulierten keine Daten. Sie taten das Gegenteil bis sie begannen mit ambitionierten Behauptungen und korrigierten sie angesichts der Evidenz hin zu negativen Ergebnissen.
Aber Ingenieurskompetenz ist nicht wissenschaftliche Kreativität. Das Fazit der Forscher ist eindeutig: Spitzenmodelle „können die technische Seite der KI-Forschung bewältigen, aber keine wochenlangen, offenen KI-Forschungsfragen lösen."
Die Abduktions-Deduktions-Lücke
KI kann Mathematik. Im Mai widerlegte ein OpenAI-Reasoning-Modell eine Vermutung des Mathematikers Paul Erdös. Fields-Medaillist Tim Gowers nannte es einen „Meilenstein der KI-Mathematik". OpenAI bestätigte später, dass Astra zehn offene Probleme in theoretischer Informatik gelöst hatte.
Aber mathematische Beweise sind Deduktion bis das Ableiten notwendiger Schlussfolgerungen aus festen Regeln. Forschung erfordert auch Abduktion bis den kreativen Sprung, der eine Hypothese zur Erklärung eines überraschenden Phänomens erfindet.
Quellen
- The Decoder: Studie widerspricht Anthropic- und OpenAI-Behauptungen
- Princeton & UK AISI: Shadow Evaluation Preprint
- Sakana AI: The AI Scientist Generates its First Peer-Reviewed Scientific Publication
- Google DeepMind (Tom Zahavy): Positionspapier zu KI-Kreativitätsgrenzen
- OpenAI: Astra-Mathe-Durchbrüche und GPT-5.6 Erdos-Vermutungsbeweis