KI-Insider kündigt: Sie spielen mit unserem Leben

Erzählstrang

Anthropic wurde mit dem Versprechen gegründet, dass Sicherheit an erster Stelle steht. Das war der einzige Grund, warum sich das Unternehmen von OpenAI abspaltete. Doch als letzte Woche ein Forscher, der Anthropics KI-Systeme tatsächlich trainierte, kündigte, tat er dies mit einer öffentlichen Warnung: Das Unternehmen rast auf Superintelligenz zu ohne Sicherheitsplan. Und sein Kollege, der eigene Sicherheitschef des Unternehmens, stimmte zu. Er bezifferte die Wahrscheinlichkeit, dass KI alle Menschen tötet, auf über 10% innerhalb eines Jahrzehnts.

Dies ist keine abstrakte akademische Debatte. Es sind die Menschen im Raum, die gehen und uns sagen, dass das Haus brennt.

Die Kündigung

Jacob Coxon, ein 27-jähriger KI-Forscher, der Modelle sowohl bei OpenAI als auch bei Anthropic trainierte, gab seinen Abgang am 9. September in einem Beitrag auf X bekannt. Seine Botschaft war deutlich.

Coxon beschuldigte die Unternehmen, direkt auf selbstverbessernde Superintelligenz zuzusteuern und mit unserem Leben zu spielen. Er stellte fest, dass die Menschen, die KI bauen, aufrichtig glauben, dass sie bis Ende des Jahrzehnts alle Menschen töten könnte, aber trotzdem weitermachen.

Der Beitrag verbreitete sich schnell und wurde von Medien wie BBC, CNBC, Financial Times, Forbes, Politico und Gizmodo aufgegriffen. Das internationale Echo zeigte, wie ungewöhnlich eine so direkte öffentliche Kündigung aus dem Inneren des sicherheitsbewusstesten Labors der Branche war.

Der Sicherheitschef stimmt zu

Was Coxons Abgang von früheren KI-Forscher-Abgängen unterschied, war die sofortige Reaktion aus dem Inneren von Anthropic selbst.

Evan Hubinger, der eines von Anthropics KI-Sicherheitsteams leitet, antwortete öffentlich auf Coxons Beitrag. Er sagte, er mache sich Sorgen über selbstverbessernde KI und dass sie schneller passiert als wir dachten. Dann stimmte er Coxons Charakterisierung direkt zu: Wir glauben wirklich aufrichtig, dass KI alle Menschen töten könnte.

Hubinger bezifferte das Risiko. Er schätze die Wahrscheinlichkeit, dass KI die menschliche Auslöschung verursacht, auf über 10% innerhalb des nächsten Jahrzehnts. Dies ist keine Randmeinung eines Außenseiters. Es ist der Leiter der KI-Sicherheit bei einem Unternehmen mit Milliardenfinanzierung, unterstützt von Google, Amazon und anderen Großinvestoren.

Kein Plan

Die vielleicht überraschendste Einschätzung kam als nächstes. Obwohl Hubinger zustimmte, dass das Risiko real und schwerwiegend ist, erklärte er, dass Anthropic noch keinen Plan habe, um sicherzustellen, dass fortgeschrittene KI sicher und mit menschlichen Werten ausgerichtet bleibt. Er fügte hinzu, dass man nicht klar auf dem Weg sei, einen zu entwickeln.

Dies folgt einem Muster, das in der gesamten KI-Branche zunehmend sichtbar wird. Unternehmen stellen Sicherheitsforscher ein, investieren in Alignment-Teams und produzieren Papiere über verantwortungsvolle Entwicklung. Aber wenn man fragt, ob sie einen tatsächlichen technischen Plan zur Kontrolle eines Systems haben, das intelligenter als ein Mensch ist, lautet die Antwort durchweg nein.

Coxon selbst beschrieb die Situation als eine Dynamik des Wettrennens: Unternehmen fühlen sich gezwungen, voranzupreschen, weil sie wissen, dass die Konkurrenz ebenfalls voranprescht. Kein Labor kann einseitig pausieren, ohne den Vorsprung zu verlieren, also pausiert niemand.

Ein Muster von Abgängen

Coxon ist nicht der erste Forscher, der ein KI-Labor aus Sicherheitsbedenken verlässt, aber sein Abgang ist einer der prominentesten Abgänge von Anthropic selbst. Das Unternehmen wurde von ehemaligen OpenAI-Mitarbeitern gegründet, die wegen Sicherheitsmeinungsverschiedenheiten gingen. Jetzt erlebt es dieselbe Dynamik von innen.

In den letzten Jahren haben mehrere Forscher Sicherheitsbedenken als Grund für ihren Weggang von OpenAI genannt. Die Drehtür hat sich beschleunigt, je intensiver das Rennen um leistungsfähigere Systeme wird. Was sich verschiebt, ist der Ton: Waren frühere Abgänge leise und diplomatisch, war Coxons Abgang laut und öffentlich.

Was das bedeutet

Die praktischen Implikationen dieser Geschichte betreffen nicht einen Forscher, der ein Unternehmen verlässt. Das Muster ist wichtiger als der Einzelfall.

Wenn die Menschen, die Grenz-KI-Systeme trainieren, glauben, dass ihre Arbeit eine zweistellige prozentuale Wahrscheinlichkeit hat, die Menschheit auszulöschen, und wenn die Unternehmen, die sie bezahlen, zugeben, keinen Plan zur Verhinderung dieses Ergebnisses zu haben, dann ist die Situation nicht stabil. Etwas muss sich ändern, entweder durch interne Governance, externe Regulierung oder eine breitere Veränderung in der Herangehensweise der Branche an Sicherheit.

Die Frage ist, ob diese Änderung eintreten wird, bevor sich die 10%-Wahrscheinlichkeit verwirklicht, oder danach.

Quellen

• The Verge . "Worried Anthropic researchers warn that AI 'could kill all humans'" (https://www.theverge.com/ai-artificial-intelligence/991927/anthropic-ai-kill-all-humans)
• Jacob Coxons Kündigungspost auf X (referenziert in The Verge und mehreren Medien)
• Evan Hubingers Antwort auf Coxon auf X (referenziert in The Verge und mehreren Medien)
• BBC . "Anthropic safety researcher says more than 10% chance AI 'could kill all humans'" (https://www.bbc.com/news/articles/c5y6vj50x7yo)
• CNBC . "Anthropic researcher says AI has more than 10% chance of 'killing all humans'" (https://www.cnbc.com)
• Financial Times . "Anthropic researcher quits over AI labs 'gambling with our lives'" (https://www.ft.com)
• Politico . "'Gambling with our lives': AI researcher quits Anthropic with dire warning" (https://www.politico.eu)