Deutschlands offenes KI-Modell übertraf alle Benchmarks. Dann gab sein eigener Report zu, dass der Test in den Trainingsdaten war.

Die Community hat es vor dem Konsortium entdeckt.

Das ist der unangenehmste Satz in der Soofi-S-Geschichte — und gleichzeitig derjenige, der für die Zukunft von Open-Weight-KI-Benchmarks am wichtigsten ist. Ein deutsches Forschungskonsortium unter Koordination des KI-Bundesverbands veröffentlichte Soofi S, ein offenes Sprachmodell mit 30 Milliarden Parametern, das laut seinen ersten Ergebnissen sämtliche offenen Konkurrenten in englischen und deutschen Benchmarks übertraf. Es schlug OLMo 3 32B vom Allen Institute for AI. Es übertraf Apertus 70B von der ETH Zürich und der EPFL — ein Modell mit mehr als doppelter Größe. Auf jedem deutschsprachigen Benchmark im Vergleichssystem belegte es den ersten Platz, manchmal mit zweistelligen Prozentpunkten Vorsprung.

Dann räumte Version 3.0 des technischen Berichts leise ein, dass der Wissenschaftsbenchmark GPQA in die Trainingsdaten gelangt war.

Wie ein fehlender Train-Test-Split die Pipeline zum Scheitern brachte

Die Ursache war ernüchternd banal. Auf Hugging Face hat der GPQA-Benchmark keinen separaten Trainingssatz. Jede Frage — Test, Diamond, alles — liegt unter dem Standardlabel "train." Die Daten-Pipeline des Konsortiums wählte Inhalte anhand dieser Split-Namen aus, und so landeten umformulierte Fragen aus dem GPQA-Testsatz neben legitimen Übungsfragen, die das Modell mit Testformaten vertraut machen sollten.

Das Leck betraf sowohl englische Fragen als auch maschinell übersetzte deutsche Versionen. Eine vollständige Prüfung, die durch die Entdeckung ausgelöst wurde, fand drei weitere Benchmarks mit demselben strukturellen Problem — TruthfulQA, BLiMP und Inverse Scaling — die jedoch nicht in der Evaluierung von Soofi S verwendet werden.

Eines fällt auf: Niemand bemerkte das Problem während des Trainings. Die Leistung des Modells bei den betroffenen GPQA-Aufgaben stieg von 32,3 auf 43,4 Punkte — aber dieser Zuwachs lag im normalen Bereich und war von Fortschritten bei nicht kontaminierten Tests nicht zu unterscheiden. Es gab keinen plötzlichen Sprung, der als Warnsignal hätte dienen können. Benchmark-Kontamination, so zeigt sich, kündigt sich nicht immer an.

Das Transparenzparadox

Soofi S ist eines der transparentesten offenen Modelle, die jemals veröffentlicht wurden. Das Konsortium veröffentlichte nicht nur die Modellgewichte und ausgewählte Zwischencheckpoints, sondern den vollständigen Trainings- und Evaluierungscode sowie ein detailliertes Dateninventar mit rohen Tokenzahlen, Epochenzahlen und effektiven Beiträgen pro Quelle — einschließlich Quellen, die geprüft, aber letztlich ausgeschlossen wurden. Rund 152.000 Einzelergebnisse wurden zur Überprüfung bereitgestellt. Das Modell erfüllt die Open Source AI Definition 1.0 der Open Source Initiative.

Und genau diese Transparenz ermöglichte es der Community, den Fehler zu finden. Ein proprietäres Modell, das hinter verschlossenen Türen trainiert wurde, wäre nie aufgeflogen — aber es wäre auch nie aufgeflogen, weil niemand die Daten zur Prüfung gehabt hätte.

Die Reaktion des Konsortiums war lehrbuchmäßig: GPQA aus der Evaluierung entfernen, alle Ergebnisse für jedes Modell im Vergleich neu berechnen und bestätigen, dass sich die Rangfolge nicht änderte. Ellamind, ein Konsortialpartner, führte eine separate Verifikation mit eigenen zurückgehaltenen Testdaten durch, die Soofi S während des Trainings garantiert nicht gesehen hatte. Die Ergebnisse hielten stand.

Aber die Frage, die bleibt, ist nicht, ob dieses spezielle Ranking fair war — es ist, wie viele andere Benchmark-Ergebnisse in der gesamten KI-Landschaft in einer Weise kontaminiert sind, die noch niemand gefunden hat.

Eine Architektur für lange Kontexte

Jenseits der Kontaminationskontroverse ist Soofi S technisch für sich genommen interessant. Seine hybride Mamba-Transformer-Architektur, unverändert vom NVIDIA Nemotron 3 Nano Rezept übernommen, aktiviert nur 3,2 der 31,6 Milliarden Parameter pro Token. In der Praxis bleibt die Verarbeitungsgeschwindigkeit von 4.000 bis 256.000 Token Kontext nahezu konstant — während dichte Modelle im Bereich von 14 bis 24 Milliarden Parametern bei wachsendem Kontext einen deutlichen Durchsatzabfall zeigen.

Bei 40.000 Token mit 32 parallelen Anfragen generiert Soofi S etwa achtmal mehr Tokens pro Sekunde pro GPU als vergleichbare dichte Modelle. Nur 6 seiner 52 Schichten unterhalten überhaupt den traditionellen KV-Cache; die restlichen verwenden Mamba-2 Selective-State-Space-Schichten, die den Speicherverbrauch unabhängig von der Sequenzlänge konstant halten.

Das Konsortium verarbeitete etwa 27 Billionen Tokens in drei Trainingsphasen, mit einem bewussten und ungewöhnlichen Schwerpunkt auf deutschsprachigen Daten. Deutsch machte in der ersten Phase 7,2 Prozent aus und stieg in der zweiten Phase auf 15,3 Prozent — verglichen mit etwa 5 Prozent für alle nicht-englischen Sprachen zusammen im NVIDIA Nemotron-Referenzrezept. Die Daten stammen aus deutschen Webtexten (HPLT), dem offen lizenzierten German Commons-Korpus, deutschen Teilen von FinePDFs und FineWiki sowie dem kommerziell lizenzierten Genios-Korpus mit 193 Millionen Zeitungsartikeln aus 916 deutschen Publikationen.

Bei Code-Benchmarks erreicht Soofi S 73,8 Prozent bei HumanEval und 70,2 bei MBPP. Bei INCLUDE-DE, einem Test für deutschspezifisches Regionalwissen, liegt es mit Qwen3.5 35B-A3B bei 61,2 Punkten gleichauf — trotz eines Bruchteils der aktiven Parameter.

Die Scaling-Laws-Debatte, die nicht verschwindet

Kritiker argumentieren, dass Soofi S nach den Maßstäben der klassischen Scaling Laws stark "übertrainiert" sei. Die 2022 veröffentlichten Chinchilla Scaling Laws von Google DeepMind identifizierten etwa 20 Tokens pro Parameter als effiziente Grenze. Soofi S erreicht mehrere hundert Tokens pro Parameter. Rechnet man nur die 3,2 Milliarden aktiven Parameter, springt das Verhältnis auf mehrere tausend zu eins.

Michael Fromm, Teil der technischen Führung des Projekts, widersprach direkt: "Es gibt neue Forschung, die zeigt, dass die alten Scaling Laws von dichten Modellen nicht mehr auf MoE-Architekturen übertragbar sind." Einzelne Experten in einem Mixture-of-Experts-Modell profitieren davon, dieselben Dokumente mehrfach zu sehen, sodass wiederholte Daten weniger problematisch sind als bei dichten Modellen. Fromm verweist auf NVIDIA, das eigene Modelle mit bis zu 25 Billionen Tokens trainierte, als Präzedenzfall.

Die Debatte geht über akademische Kreise hinaus. Wenn der Ansatz von Soofi S valide ist, bedeutet dies, dass der recheneffizienteste Weg zu starken zweisprachigen Leistungen durch aggressives Übertraining kleiner aktiver Modelle führt — eine Erkenntnis, die die Budgetplanung europäischer KI-Projekte neu ausrichten könnte.

Was der Soofi-S-Vorfall wirklich bedeutet

Das GPQA-Leck ist kein Beleg dafür, dass Soofi S ein schlechtes Modell ist — die Evidenz spricht stark dafür, dass es ein wirklich fähiges ist, und das Ranking hielt auch nach der Entfernung des kontaminierten Benchmarks. Was er belegt, ist eine strukturelle Verwundbarkeit in der Art und Weise, wie das Open-Weight-Ökosystem Leistung validiert.

Standardisierte Holdout-Verfahren für Benchmarks existieren im Hugging-Face-Zeitalter nicht. Community-basierte Prüfpipelines sind ad-hoc und verlassen sich auf die anhaltende Aufmerksamkeit von Freiwilligen. Und genau die Offenheit der Daten — das, was die Community feiert — macht Kontamination überhaupt erst entdeckbar, was eine unangenehme Spiegelbildfrage zu den proprietären Modellen aufwirft, die überhaupt nicht geprüft werden können.

Das Konsortium gleicht seine Trainingsdaten inzwischen automatisch gegen alle bekannten Testfragen ab, anstatt sich auf Split-Labels zu verlassen. Diese Korrektur ist einfach. Das grundlegende Vertrauensproblem ist es nicht.

Quellen

• The Decoder — "German AI consortium releases Soofi S, an open 30B model that tops benchmarks in both English and German"
• Cybernews — "Germany's Soofi S may be the best-performing open-source AI model"
• Soofi S Technical Report v3.0 (Analyse via The Decoder-Berichterstattung)
• Xpert.Digital — "Soofi S: Deutschlands erstes ernstzunehmendes KI-Modell"
• Google DeepMind — "Chinchilla Scaling Laws" (Hintergrund zur Scaling-Debatte)