DeepMind-Forscher kündigt: 'Superintelligente KI anzustreben ist von Natur aus unverantwortlich'

Alle paar Monate tritt jemand, der die moderne KI mitgebaut hat, einen Schritt zurück und sagt etwas, das die Industrie nicht hören will.

Diese Woche war es Robert O'Callahan, ein technischer Experte bei Google DeepMind in Neuseeland. Er arbeitete an Chip-Design-Tools, die das KI-Training billiger und schneller machten. Und er hat gekündigt -- öffentlich, mit der Begründung, seine eigene Arbeit nicht mehr rechtfertigen zu können.

"Superintelligenz in naher Zukunft anzustreben ist von Natur aus unverantwortlich", schrieb O'Callahan.

Er nannte die derzeitige Veränderungsrate der KI "viel zu hoch". Er warnte vor kognitiver Kapitulation, KI-induzierter Psychose, Machtkonzentration und wirtschaftlichen Verwerfungen. Er sagte, viele seiner DeepMind-Kollegen teilten diese Bedenken, äußerten sich aber selten öffentlich.

Und in einem Detail, das O'Callahans Rücktritt mit einer viel breiteren politischen Auseinandersetzung verbindet, verlinkte er auf einen Essay der KI-Sicherheitsdenker Eliezer Yudkowsky und Nate Soares mit dem Titel "If Anyone Builds It" -- ein Text, der vor den katastrophalen Folgen superintelligenter KI warnt. Das Timing ist bemerkenswert: Zeitgleich berichteten Axios und andere Medien, dass ein Weißes-Haus-Memo die Effective-Altruism-Bewegung, mit der Yudkowsky und Soares verbunden sind, als "kultartige Randgruppe" darstellt und Anthropic-CEO Dario Amodei als Gesicht des "KI-Doomerismus" attackiert.

Die Geschichte ist nicht, dass ein weiterer KI-Forscher gekündigt hat. Die Geschichte ist, dass die Menschen, die der Technologie am nächsten stehen, zunehmend nicht mehr bereit sind, sie weiterzubauen -- und dass das politische Establishment nun aktiv daran arbeitet, ihre Warnungen zu diskreditieren.

Die Innensicht

O'Callahans Rücktritt ist bedeutsam wegen seiner Arbeit. Er war kein Ethiker oder Politikforscher. Er war ein Ingenieur, der die grundlegende Infrastruktur baute, die fortgeschrittene KI überhaupt erst ermöglicht.

Chip-Design-Tools sind ein kritischer Engpass im KI-Fortschritt. Jedes neue Modell jedes Frontier-Labors ist auf maßgeschneiderte Siliziumchips angewiesen, die mit Werkzeugen wie denen von O'Callahan entwickelt wurden. Indem er diese Werkzeuge effizienter machte, beschleunigte er direkt die Fähigkeiten, die er heute fürchtet.

"Diesen Beitrag kann ich nicht mehr rechtfertigen", sagte er.

Dies ist ein wiederkehrendes Muster. Die Menschen, die KI-Hardware und Training auf dem tiefsten Niveau verstehen, sind oft die Vorsichtigsten. O'Callahan ist nicht der erste DeepMind-Forscher, der aus Sicherheitsbedenken geht, und er wird nicht der letzte sein.

Konkrete Warnungen

O'Callahan listete konkrete Risiken auf, die seiner Meinung nach von der Industrie heruntergespielt werden:

Kognitive Kapitulation. Je leistungsfähiger KI-Systeme werden, desto natürlicher ist es für Menschen, sich ihnen unterzuordnen. O'Callahan warnt, dass dieser Prozess in Bereichen wie Einstellung, Kreditvergabe und medizinischer Diagnose bereits im Gange ist.

KI-induzierte Psychose und Einsamkeit. Der rasante Aufstieg von KI-Begleitern und Chatbots, die emotionale Bindungen eingehen können, könnte seiner Ansicht nach eine psychische Gesundheitskrise auslösen. Der Mensch sei evolutionär nicht auf Beziehungen zu Wesen vorbereitet, die unendlich geduldig, immer verfügbar und auf Abhängigkeit ausgelegt sind.

Machtkonzentration. Die Ökonomie der Frontier-KI begünstigt eine kleine Anzahl von Unternehmen mit dem Kapital, um die leistungsfähigsten Modelle zu trainieren. O'Callahan argumentiert, dass diese Konzentration der Kontrolle über eine transformative Technologie ein systemisches Risiko darstellt.

Wirtschaftliche Verwerfungen. KI-Agenten, die white-collar Wissensarbeit leisten können, entwickeln sich schneller als jede politische Reaktion. O'Callahan glaubt, dass das Ausmaß der Arbeitsplatzverlagerung alles übertreffen wird, was in früheren Automatisierungswellen gesehen wurde.

Cybersicherheitsrisiken. Je autonomer KI-Agenten werden, desto gefährlicher sind sie in den Händen von Böswilligen. O'Callahan warnt, dass die Sicherheitsimplikationen von agentischer KI von den Unternehmen, die sie einsetzen, nicht ehrlich diskutiert werden.

Fehlende Verantwortlichkeit. Wenn ein KI-System Schaden anrichtet, gebe es keinen etablierten Rahmen für Rechenschaftspflicht. Die Unternehmen, die die Systeme einsetzen, könnten die Verantwortung von sich weisen, und die Geschädigten hätten keine klaren Rechtsmittel.

Der politische Kontext

O'Callahans Rücktritt fiel auf denselben Tag, an dem Axios über ein Weißes-Haus-Memo berichtete, das die Effective-Altruism-Bewegung angreift. Das Memo, das auch Anthropic-CEO Dario Amodei als Gesicht des "KI-Doomerismus" nennt, signalisiert eine wachsende politische Gegenreaktion gegen KI-Sicherheitsaktivisten.

Das Timing schafft eine unangenehme Dynamik. Ein Forscher kündigt, weil er glaubt, dass KI sich zu schnell bewegt. Am selben Tag bezeichnet das Weiße Haus Menschen, die seine Bedenken teilen, als Randfiguren. Die beiden Ereignisse sind nicht direkt verbunden, aber sie beschreiben dieselbe Bruchlinie: Die Menschen, die KI am besten verstehen, haben zunehmend Angst, während das politische Establishment ihre Ängste abtut.

O'Callahan verlinkte auf Yudkowskys und Soares' Essay, ohne dessen Schlussfolgerung zu unterstützen. Aber die Verbindung des Essays mit Effective Altruism -- einer Bewegung, die das Weiße Haus angeblich als "kultartige Randgruppe" bezeichnet -- bedeutet, dass O'Callahans Rücktritt sofort in eine politisierte Debatte darüber eintritt, wer definieren darf, was akzeptables KI-Risiko ist.

Was O'Callahan als nächstes tun will

O'Callahan sagte, er wolle in Zukunft "eindeutig pro-menschliche" Arbeit leisten. Er präzisierte nicht, was das praktisch bedeutet, aber der Satz fängt etwas Wichtiges über den Moment ein: Ein Ingenieur, der jahrelang KI schneller gemacht hat, glaubt nun, dass das Wertvollste, was er tun kann, darin besteht, langsamer zu machen und seine Energie in Arbeit zu lenken, die eindeutig nutzbringend ist.

Er mag mit den Risiken recht haben oder nicht. Aber die Tatsache, dass jemand mit seiner Innensicht einen der begehrtesten Jobs der Technologiebranche aufgegeben hat -- und dies öffentlich, mit einer detaillierten Liste von Bedenken -- macht dieses Signal beachtenswert.

Sources

• Another Google Deepmind researcher quits, says building superintelligent AI soon is 'inherently irresponsible' -- The Decoder, Sep 25, 2026
• Scoop: Trump allies open new front against Anthropic CEO over AI 'doomerism' -- Axios, Sep 25, 2026
• If Anyone Builds It -- Eliezer Yudkowsky & Nate Soares
• White House Memo Paints Anthropic CEO as Leader of 'AI-Doom Pipeline' -- finance.biggo.com, Sep 25, 2026