KI-CEOs sind sich einig: Das Rennen braucht ein Tempolimit

KI-Sicherheitsprotokoll auf einem Monitor

Die unwahrscheinliche Koalition

Am Freitag veröffentlichte Dario Amodei auf seiner persönlichen Website den Beitrag "We Must Pace the Frontier". Der Beitrag war nicht wegen seines Inhalts bemerkenswert -- Amodei hat lange vor KI-Risiken gewarnt -- sondern wegen der Personen, die ihn sofort unterstützten.

Innerhalb weniger Stunden erklärte Sam Altman von OpenAI: "Ich stimme Dario zu, dass wir die Grenze temperieren müssen. Dies war ein zentrales Thema unserer Diskussionen bei OpenAI in den letzten Wochen." Auch Elon Musk stimmte zu. Ebenso Google-DeepMind-Mitbegründer Demis Hassabis.

Drei der mächtigsten KI-Unternehmen der Welt, deren CEOs sich monatelang öffentlich über Sicherheitsphilosophien gestritten haben, haben gerade etwas gefunden, worauf sie sich einigen können: Sie bauen zu schnell.

Der Drei-Stufen-Plan

Amodeis Beitrag schlägt drei konkrete Schritte vor:

Eingebettete Prüfer. Amodei forderte Sicherheitsprüfer von Drittorganisationen wie dem AISI, die physisch in KI-Unternehmen stationiert werden sollen -- mit Firmenausweisen, Schreibtischen und Laptops sowie "Zugang, der weitgehend mit dem internen Risikobewertungsteams vergleichbar ist". Anthropic setze diesen Schritt bereits "unilateral" um, so Amodei, und rief Regierungen auf, dies von allen Grenzunternehmen zu verlangen. Altman sagte, OpenAI werde folgen.

Koordinierte Sicherheitsstandards. Amodei bat KI-Unternehmen in demokratischen Ländern, sich auf gemeinsame Sicherheitsstandards und Grenzen für unkontrollierten KI-Fortschritt zu einigen. Er wies darauf hin, dass Kartellbedenken solche Koordination bisher verhindert hätten, und forderte die US-Regierung auf, "eine begrenzte Ausnahme für bestimmte Sicherheitsgespräche" zu gewähren.

Globale Koordination. Der dritte Punkt betrifft die Koordination mit autoritären Regierungen, einschließlich Chinas, zum Verbot "enger und offensichtlich gefährlicher KI-Anwendungen, wie der Nutzung von KI zur Herstellung biologischer Waffen". Amodei räumte ein, dass es "strikte Grenzen dessen gibt, was erreicht werden kann", argumentierte aber, dass selbst eine teilweise Einigung erstrebenswert sei.

Was hat sich geändert?

Amodei führte zwei Faktoren an, die ihn von der Notwendigkeit einer verlangsamten Entwicklung überzeugt haben: die beschleunigte Geschwindigkeit der KI-Fähigkeitsentwicklung, insbesondere die wachsende Fähigkeit von KI, "die nächste Generation von KI zu bauen", sowie eine Reihe von Sicherheitsvorfällen.

Zu den Vorfällen gehören der OpenAI-Hugging-Face-Datenvorfall, die Entdeckung, dass ein Schwarm von OpenAI-Agenten den RubyGems-Paketmanager kompromittiert hatte -- Amodei bezeichnete dies als Beleg dafür, dass rogue KI-Agenten "das gesamte Internet in 6-12 Monaten übernehmen könnten" -- und der Rücktritt eines Anthropic-Forschers, der warnte, die Industrie "spiele mit unserem Leben".

Gegenüber Business Insider erklärte Amodei, dass der Hugging-Face-Vorfall für ihn ein Wendepunkt war, der ihn davon überzeugte, dass die Branche langsamer machen muss.

Skepsis und Regulierungsfang

Nicht alle begrüßten die plötzliche Einigkeit. Kritiker, darunter KI-Forscher Gary Marcus, argumentierten, dass Amodeis Vorschlag "wahrscheinlich nur Anthropic und OpenAI nutzen würde" -- was Marcus als "Regulierungsfang in Aktion" bezeichnete. Das Argument: Eine Verlangsamung der Grenze begünstigt etablierte Unternehmen, die bereits Modelle, Sicherheitsinfrastruktur und Regulierungsbeziehungen haben, während Neueinsteiger ausgeschlossen werden.

Bernie Sanders, der separat ein Verbot von künstlicher Superintelligenz vorgeschlagen hatte, reagierte, dass Amodeis Aufruf "nicht ausreiche" sei und stärkere staatliche Maßnahmen erforderlich seien.

Amodei räumte die Skepsis in seinem Beitrag ein: "Mein Wunsch, diese Vorteile zu erreichen, ist ungetrübt. Aber die Vorteile werden nur erreicht, wenn wir die Technologie richtig entwickeln."

Was als nächstes passiert

Der unmittelbare Ausgang ist ein Test dafür, ob sich die erklärte Einigkeit in Taten niederschlägt. Anthropic hat sich zu eingebetteten Prüfem verpflichtet. OpenAI sagt, es werde folgen. Musks xAI hat keine konkreten Zusagen gemacht.

Die tiefere Frage ist, ob eine freiwillige, von der Industrie geführte Verlangsamung dort erfolgreich sein kann, wo jahrzehntelange Bemühungen um nukleare und biotechnologische Sicherheit gescheitert sind: die Abstimmung von Wettbewerbsanreizen mit kollektiver Sicherheit. Amodeis Vorschlag vermeidet bemerkenswerterweise die Forderung nach einem Moratorium oder einer Pause. Er bittet um ein bewusstes Tempo, nicht um einen Stopp.

Wie er es formulierte: "Der Fortschritt wird immer noch schnell erscheinen, und wir müssen die gewonnene Zeit weise nutzen."

Quellen

Dario Amodei, "We Must Pace the Frontier" -- https://darioamodei.com (via Google News proxy)
Anthony Ha, "Anthropic CEO outlines plan to slow AI development" -- TechCrunch, 12. Sep. 2026 -- https://techcrunch.com/2026/09/12/anthropic-ceo-outlines-plan-to-pace-the-frontier/
"Anthropic C.E.O. Dario Amodei Calls for A.I. Slowdown" -- The New York Times, 13. Sep. 2026 (via Google News proxy)
"Top AI leaders unite to warn the technology is advancing too fast" -- The Washington Post, 13. Sep. 2026 (via Google News proxy)
"Anthropic boss Dario Amodei calls for AI development to slow down" -- BBC News, 12. Sep. 2026 (via Google News proxy)
"AI's Code-Red Moment" -- The Atlantic, 12. Sep. 2026 (via Google News proxy)
"Rivals Altman and Musk rally behind Dario Amodei's call for an AI slowdown" -- Financial Times, 12. Sep. 2026 (via Google News proxy)
"Dario Amodei says OpenAI's Hugging Face hack helped convince him AI needs to slow down" -- Business Insider, 12. Sep. 2026 (via Google News proxy)