Der AI-Benchmark, der alles übersah

Die stille Krise der KI-Messung

Alle paar Monate produziert die KI-Industrie eine Geschichte, die eine Annahme in Frage stellt, die niemand mehr hinterfragt hatte. Diesmal geht es um die Zahlen selbst.

Monatelang war der Intelligence Index von Artificial Analysis die Standard-Rangliste für KI-Spitzentechnologie. Forscher, Investoren und Journalisten schauten darauf, um zu sehen, wer vorne liegt. Und monatelang sagte er: Claude Fable 5.1 führt, OpenAIs Modelle sind nah dran, der Abstand ist knapp.

Dann kam GPT-6 Astra. Unabhängige Evaluierungen zeigten etwas, das der Index nicht erfasste. OpenAIs eigene Benchmarks platzierten Astra weit vorne. Epoch AI bewertete es als erstes von 267 Modellen mit 169 Punkten über 50 Benchmarks. Der ARC-AGI-3-Test zeigte einen großen Sprung, abhängig von der Testumgebung.

Der Index übersah etwas. Am 5. September gab Artificial Analysis dies zu und veröffentlichte Version 4.2 seines Intelligence Index.

Was kaputt war und wie sie es reparierten

Das Problem war nicht, dass Artificial Analysis falsch lag. Es war, dass Standard-Benchmarks aufgehört hatten, zu differenzieren. Wenn jedes Spitzenmodell nahezu perfekte Ergebnisse auf demselben Test erzielt, sagt der Test nichts mehr darüber aus, welches Modell besser ist.

GPQA-Diamond war bis zur Decke gelöst. Modelle erzielten so hohe Werte, dass der Benchmark keine Unterscheidungskraft mehr hatte. In der neuen Version wurde er entfernt.

Zwei neue Benchmarks ersetzen ihn: AA-Briefcase, der reale Wissensarbeit misst, und ein PDF-Dokumentenanalyse-Benchmark, der testet, wie Modelle mit dichten technischen Dokumenten umgehen. Es sind keine abstrakten akademischen Tests. Sie messen, wofür Unternehmen KI tatsächlich nutzen.

Die wichtigere Änderung ist strukturell. Private Testdaten machen jetzt 40 Prozent der Gesamtgewichtung aus. Öffentliche Benchmarks können manipuliert werden. Trainingsdaten können in Testsets gelangen. Durch die höhere Gewichtung privater, ungesehener Daten wird es schwieriger, gegen bekannte Testantworten zu optimieren.

Artificial Analysis sagt, es habe mit Updates gezögert, um die Rangliste während einer Phase schneller Modellveröffentlichungen stabil zu halten. Aber die Spitze der Rangliste bewegte sich so schnell, dass eine Zwischenaktualisierung nötig wurde. Version 5 ist bereits in Entwicklung.

Was die neuen Ranglisten zeigen

In Version 4.2 führt Claude Fable 5.1 immer noch die Gesamtwertung an. GPT-6 Astra liegt jetzt auf Platz zwei, vier Punkte vor seinem Vorgänger Sol - wo zuvor beide Modelle gleichauf waren. Meta belegt den dritten Platz.

Das wichtige neue Detail: Astra verbraucht weniger Tokens pro Aufgabe als jedes andere Spitzenmodell im Index. Das ist nicht nur ein Kostenvorteil. Es bedeutet, dass Astra wettbewerbsfähige Intelligenz mit weniger Rechenaufwand erreicht - ein praktischer Effizienzgewinn, den reine Benchmark-Werte übersehen.

Das Update behebt auch spezifische Bewertungsartefakte, die Skepsis ausgelöst hatten. Kritiker hatten darauf hingewiesen, dass der alte Index Astra und Sol mit derselben Punktzahl führte, obwohl jedes beobachtbare Signal zeigte, dass Astra ein bedeutender Schritt nach vorne war. Die Lücke war real. Der Index war der Letzte, der sie abbildete.

Das größere Problem: Niemand vertraut den Zahlen

Artificial Analysis ist nicht allein mit seiner Messkrise. In derselben Woche berichtete The New Stack, dass GPT-6 Astras 98,6-Prozent-Wertung auf ARC-AGI-3 wie AGI aussah, bis Forscher das Kleingedruckte lasen und erkannten, dass das Ergebnis stark von der verwendeten Testumgebung abhing. Jede große Modellveröffentlichung kommt jetzt mit einer Glaubwürdigkeitslücke zwischen den Behauptungen des Unternehmens und dem, was unabhängige Evaluatoren reproduzieren können.

Die Ursache ist strukturell. Spitzenmodelle haben die Tests überholt, die zu ihrer Messung entwickelt wurden. Wenn ein Modell 98 Prozent bei einem Benchmark erreicht, ist die Frage nicht mehr, welches Modell besser ist. Die Frage ist, ob dieser Benchmark überhaupt noch etwas bedeutet.

Private Testdaten sind eine Antwort. Neue Benchmark-Kategorien, die reale Arbeit statt akademischer Rätsel testen, eine andere. Beide Ansätze kaufen Zeit, während die Branche herausfindet, was nach dem aktuellen Bewertungsparadigma kommt.

Der vorläufige Fix

Der Umstieg auf private Testdaten hat einen Nachteil. Wenn niemand die Testfragen sehen kann, kann niemand überprüfen, ob die Ergebnisse fair sind. Artificial Analysis sagt, dass Version 5 bereits in Entwicklung ist, was darauf hindeutet, dass der aktuelle Fix eher ein Provisorium als eine endgültige Lösung ist.

Das grundlegende Muster ist für ein sich so schnell bewegendes Feld nicht ungewöhnlich. Jede Generation von KI-Modellen hat irgendwann die Benchmarks gebrochen, die ihr vorausgingen. Was diesmal anders ist, ist die Geschwindigkeit. Es geschah zwischen Modellveröffentlichungen, nicht zwischen Generationen. Die Lücke zwischen Benchmark gelöst und neuer Benchmark benötigt ist von Jahren auf Wochen geschrumpft.

Für Leser, die versuchen zu verstehen, wer tatsächlich führt, ist die Lektion einfach: Die Rangliste, die Sie letzte Woche überprüft haben, bedeutet möglicherweise nicht das, was Sie denken. Und die nächste Rangliste wird auch nicht lange halten.

Quellen

• Artificial Analysis überarbeitet seinen Intelligence Index nach GPT-6 Astra Kritik -- The Decoder
• GPT-6 Astras 98,6-Prozent-Wertung sah aus wie AGI. Dann lasen Forscher das Kleingedruckte -- The New Stack
• Artificial Analysis Intelligence Index v4.2 -- Artificial Analysis
• GPT-6 Astra auf ARC-AGI-3 -- ARC Prize Foundation