Die Halluzination, die fast einen Krieg ausgelöst hätte

Eine KI-Halluzination über Atomwaffenkomponenten an Bord eines chinesischen Frachtschiffs hätte diesen Frühling beinahe einen echten militärischen Angriff ausgelöst. Militärflugzeuge waren bereits in der Luft, als US-Beamte entdeckten, dass die Informationen, die den Einsatz antrieben, von einem KI-Chatbot erfunden worden waren.

Die Operation wurde in letzter Minute abgebrochen und verhinderte knapp eine potenzielle Konfrontation mit China. Eine mit dem Vorfall vertraute Quelle sagte CNN, die Situation habe "beinahe einen Krieg ausgelöst."

Die Beinahe-Katastrophe geschah, weil ein Analyst des US Special Operations Command einen KI-Chatbot nutzte, um Open-Source-Geheimdienstinformationen mit klassifizierten Signaldaten über ein chinesisches Schiff zu kombinieren. Der Chatbot identifizierte das Schiffsladungsmanifest falsch und meldete fälschlicherweise, dass es Komponenten für ein Atomwaffenprogramm transportierte. Der Analyst nutzte das Tool ein zweites Mal, um die fehlerhaften Ergebnisse in einen offiziell aussehenden Geheimdienstbericht zu formatieren, der über militärische Befehlskanäle verteilt wurde.

Die Geschwindigkeitsfalle

Das Pentagon hat seine KI-Ambitionen klar formuliert. Im Januar startete Verteidigungsminister Pete Hegseth eine Initiative, um "alle relevanten Daten für die KI-Nutzung verfügbar zu machen, einschließlich Einsatzsystemen in jeder Einheit und Komponente." Das Ministerium wählte Googles Gemini for Government als Grundlage für seine GenAI.mil-Plattform. Heute nutzen 1,5 Millionen aktive Soldaten die generativen KI-Tools des Militärs für Aufgaben wie Berichterstellung und Analyse.

Die Logik ist klar: KI verarbeitet Daten schneller als Menschen und verschafft Kommandeuren einen Entscheidungsvorteil. Aber dieselbe Geschwindigkeit, die KI attraktiv macht, erlaubt es Fehlern, sich zu verbreiten, bevor jemand sie hinterfragt. Die Halluzination des Chatbots wurde in ein offiziell aussehendes Geheimdienstprodukt formatiert und verteilt. Niemand hielt inne, um zu überprüfen, weil das Tool seine Ausgabe autoritativ aussehen ließ.

"Es ist wichtig, dass Soldaten die Unsicherheit verstehen, die LLMs innewohnt," sagte Jake Steckler, Forschungswissenschaftler bei GovAI und ehemaliger US-Armeeoffizier, gegenüber TechCrunch. "Aber es ist besonders kritisch für Entscheidungen, die zum Einsatz von Gewalt führen könnten, wie Zielerfassung, Geheimdienstanalyse oder Einsatzplanung. Hier geht es um Leben und Tod."

Konsequenzen, denen das Militär noch nicht gegenübersteht

Diese Beinahe-Katastrophe ist eine der folgenreichsten dokumentierten KI-Halluzinationen im militärischen Kontext. KI-Forscher haben festgestellt, dass Halluzinationen bei großen Sprachmodellen möglicherweise nie vollständig eliminiert werden können - die Technologie erfindet einfach Dinge, wenn ihre Trainingsdaten nicht genügend Kontext bieten.

Die Reaktion des US-Militärs auf den Vorfall spiegelt eine tiefere Spannung wider. Einerseits hat das Ministerium die Risiken anerkannt - eine Erklärung des Außenministeriums zur verantwortungsvollen militärischen KI-Nutzung betonte die Notwendigkeit eines "Menschen in der Entscheidungsschleife." Andererseits beschleunigt sich die KI-Einführung weiter. Das Pentagon kündigte kürzlich Pläne an, den GenAI.mil-Zugang auf alle Dienstzweige auszuweiten.

Steckler argumentiert, der Vorfall solle ein Grund sein, Schutzmaßnahmen zu verstärken, nicht KI komplett aufzugeben. "Diese Tools können in den richtigen Kontexten und mit den richtigen Sicherheitsvorkehrungen nützlich sein," sagte er. "Aber die Priorität auf maximale Einführungsgeschwindigkeit wird zu Vorfällen führen, die das Vertrauen der Soldaten in diese Systeme untergraben - und das wird letztlich nur die Einführung verlangsamen."

Der Krieg, den niemand kommen sah

Der Vorfall mit dem chinesischen Schiff ist die Art von Fehler, vor der die Militärdoktrin seit Jahrzehnten warnt - kein feindlicher Angriff, kein technisches Versagen, sondern eine Kaskade kleiner Fehler, verstärkt durch Geschwindigkeit und Vertrauen. Ein Analyst stellte eine Frage. Der Chatbot antwortete selbstbewusst, aber falsch. Die Antwort wurde ein Bericht. Der Bericht wurde ein Einsatz. Der Einsatz hatte Luftunterstützung in der Luft, bevor jemand die offensichtliche Frage stellte: Ist das echt?

Nächstes Mal werden die Flugzeuge vielleicht nicht rechtzeitig zurückgerufen.

Sources

• TechCrunch: AI hallucination nearly triggers US military operation
• Ars Technica: AI hallucination of Chinese nuclear components almost led to US military attack
• CNN: Vier mit dem Vorfall vertraute Quellen
• GovAI: Jake Steckler, Forschungswissenschaftler und ehemaliger US-Armeeoffizier