42 Mathematiker an die Royal Society: KI-Existenzrisiko ist real und dringend

Zweiundvierzig mathematische Fellows der Royal Society sind zur britischen Akademie der Wissenschaften gegangen und haben ihnen genau das gesagt, was niemand hoeren wollte: dass die Wahrscheinlichkeit, dass die KI die Menschheit vernichtet, zu hoch ist, um sie zu ignorieren, und dass es, wenn die Situation der breiten Öffentlichkeit klar wird, möglicherweise zu spät zum Handeln ist.

Dies ist nicht wieder ein Brief von KI-Unternehmenschefs, die einen regulatorischen Schutzwall fordern. Es ist auch kein weiterer Blogbeitrag eines Sicherheitsforschers mit finanziellen Interessen am Ergebnis. Es ist ein Brief von 42 Menschen, die ihr ganzes Leben damit verbracht haben, Wahrscheinlichkeit zu verstehen, unterzeichnet von Gewinnern der Fields-Medaille - dem Nobelpreis der Mathematik -, die keinerlei berufliche Verbindung zur KI-Branche haben.

Wer geschrieben hat und warum

Der Brief, adressiert an den Praesidenten der Royal Society, wurde von 42 mathematischen Fellows der Royal Society versandt - der britischen Akademie der Wissenschaften, einer der ältesten und angesehensten wissenschaftlichen Institutionen der Welt. Zu den Unterzeichnern gehoeren Fields-Medaille-Traeger Martin Hairer (Universitaet Wien), Peter Scholze (Max-Planck-Institut) und Wendelin Werner (ETH Zuerich). Keiner der Unterzeichner ist bei KI-Unternehmen angestellt oder mit ihnen verbunden.

Der Zeitpunkt ist kein Zufall. Innerhalb der letzten drei Monate haben fuehrende KI-Modelle von OpenAI und Anthropic offene Forschungsprobleme in der Mathematik gelöst, die zuvor als unerreichbar fuer Maschinen galten. Der Brief stellt nüchtern fest, dass diese Modelle nun "auf dem Niveau der besten menschlichen Mathematiker in vielen Teilen des Fachs" arbeiten.

Die Zahlen

Die auffälligste Behauptung des Briefes betrifft die Änderungsrate. Die Unterzeichner warnen vor einer "signifikanten Chance, dass [KI-Modelle] innerhalb eines ähnlich kurzen Zeitrahmens übermenschliche Faehigkeiten entwickeln" - also innerhalb desselben Drei-Monats-Fensters, in dem Modelle von Schwierigkeiten mit offenen Problemen zur Lösung dieser Probleme übergegangen sind.

Aber der Brief beschraenkt seine Besorgnis nicht auf die Mathematik. "Wir müssen annehmen, dass die Änderungsrate ihrer Faehigkeiten aehlich sein wird" in anderen Bereichen, schreiben die Autoren, und nennen Cybersicherheit, autonome Waffenkontrolle, die Entwicklung biologischer und chemischer Kampfstoffe sowie gezielte Desinformation als Gebiete, in denen die gleiche Beschleunigung wahrscheinlich ist.

Und dann kommt die Zahl, die einen innehalten laesst. KI-Labore haben Schaetzungen veroeeffentlicht, die die Wahrscheinlichkeit einer existenziellen Katastrophe durch fortschrittliche KI auf über zehn Prozent beziffern. Die Mathematiker schreiben, dass diese Schaetzungen "nicht als 'Hype' abgetan werden dürfen."

Warum dieser Brief anders ist

Es gab bereits zahlreiche KI-Sicherheitswarnungen. Elon Musk nannte KI 2014 "das Beschwören des Daemons." Geoffrey Hinton verliess Google 2023, um frei über Existenzrisiken sprechen zu koennen. Hunderte von Technologiefuehrern unterzeichneten 2023 eine Erklärung, die KI als ein Aussterberisiko auf einer Stufe mit Pandemien und Atomkrieg bezeichnete.

Aber jede dieser Warnungen hatte ein Sternchen. Musk verkaufte KI-Hardware und positionierte xAI. Hinton verbrachte ein Jahrzehnt damit, die Technologie bei Google aufzubauen. Die Erklärung der Technologiefuehrer wurde vom Center for AI Safety organisiert, einer Nonprofit-Organisation, die - unabhängig zwar - im gleichen Bay-Area-Oekosystem agiert wie die Labore, die sie untersucht.

Dieser Brief hat kein Sternchen. Zweiundvierzig Mathematiker, die Wahrscheinlichkeit besser verstehen als fast jeder andere auf der Erde, haben sich die Daten angesehen, die KI-Unternehmen selbst veroeeffentlicht haben, und sind zu dem Schluss gekommen: Diese Zahl ist zu hoch, die Änderungsrate ist zu schnell, und jemand muss etwas sagen, bevor es zu spät ist.

Der Gegenpunkt

Am selben Tag, an dem der Brief veroeeffentlicht wurde, veröffentlichte MIT Technology Review eine ausführliche FAQ mit dem Titel "Could AI really kill us all? Your questions, answered." Der leitende KI-Redakteur Will Douglas Heaven und die Reporterin Grace Huckins begegneten der wachsenden öffentlichen Besorgnis mit einer ausgewogenen Einschaetzung: KI könnte sicherlich Menschen toeten - durch Cyberangriffe auf kritische Infrastruktur, autonome Waffen und biotechnologisch entwickelte Krankheitserreger -, aber das Szenario einer KI, die die Menschheit bewusst ausloescht, erfordere Annahmen über KI-Motivation, die die derzeitige Technologie nicht stuetzt.

"Es gibt keine Umstaende außerhalb der apokalyptischen Science-Fiction, in denen KI uns alle toeten könnte", stellt der MIT-Artikel fest. Aber er raeumt auch ein, dass "die Vorhersagen der Doomer über KI-Faehigkeiten und Alignment in den letzten Jahren sich als beunruhigend genau erwiesen haben."

Diese Spannung - zwischen der glaubwürdigen Warnung der Mathematiker und der skeptischen Antwort der Technologen - ist die zentrale Debatte des Jahres 2026. Beide Seiten sind sich einig, dass das Risiko nicht Null ist. Der Streit dreht sich darum, wie viel Gewicht den Auslaufern der Verteilung zukommen soll.

Was als naechstes passiert

Die Royal Society hat noch keine formelle Antwort auf den Brief gegeben. Aber die Tatsache, dass 42 ihrer eigenen Fellows mit einer existenziellen Warnung an die Öffentlichkeit gegangen sind, erzeugt einen institutionellen Druck, den die Gesellschaft nicht einfach ignorieren kann. The Times Higher Education hat den Brief als expliziten Aufruf an die Royal Society dargestellt, "einen KI-Notstand auszurufen."

In der Zwischenzeit tritt die breitere KI-Sicherheitsdebatte in eine neue Phase. Eine diese Woche vorgelegte Politico-Umfrage ergab, dass zwei von drei Amerikanern glauben, dass zumindest ein gewisses Risiko besteht, dass KI die "Menschheit zerstören" könnte. Das Overton-Fenster fuer das KI-Existenzrisiko hat sich in nur zwei Jahren von einer Randfrage zu einem Mainstream-Thema verschoben.

Der Brief der Mathematiker wird die Politik vielleicht nicht über Nacht aendern. Aber er aendert etwas Grundlegenderes: die Identitaet der Überbringer. Wenn die angesehensten Wahrscheinlichkeitsexperten der Welt sagen, dass eine Wahrscheinlichkeit inakzeptabel ist, verschiebt sich die Beweislast auf diejenigen, die behaupten, dass sie es nicht ist.

Sources

• 42 leading mathematicians warn that AI existential risk is real and urgent - The Decoder
• Could AI really kill us all? Your questions, answered - MIT Technology Review
• Royal Society urged to declare AI 'emergency' - Times Higher Education
• Why AI isn't likely to wipe out humanity with bioweapons - Wired
• Politico poll: two in three Americans think AI could destroy humanity - referenced in Wired