Anthropics Biowaffen-Filter war ein Jahr lang abgeschaltet
Der CEO von Anthropic nennt KI-gestützte Biowaffen die größte Bedrohung am Horizont. Der eigene Biowaffen-Sicherheitsfilter des Unternehmens war fast ein Jahr lang stumm.
Das ist die unbequeme Enthüllung im geschwärzten Risikobericht von Anthropic vom August 2026. Von Mai 2025, als Anthropic erstmals Modelle mit chemischen und biologischen Sicherheitsvorkehrungen auslieferte, bis April 2026 lief der gesamte Datenverkehr der menschlichen Feedback-Pipeline ohne blockierende biologische Klassifikatoren. Die Lücke betraf rund 50.000 externe Auftragsarbeiter und insgesamt etwa 133 Millionen Nachrichten.
Der Filter, der nicht da war
Die biologischen Klassifikatoren sind ein zentraler Teil der Sicherheitsarchitektur von Anthropic. Sie sollen erkennen, wenn ein Nutzer versucht, gefährliches Wissen über chemische oder biologische Waffen aus dem Modell herauszulösen, und solche Ausgaben blockieren. Fast ein Jahr lang liefen sie auf der Feedback-Infrastruktur des Unternehmens schlicht nicht.
Die Ursache war ein Konfigurations-Flag, der nur für den internen Gebrauch gedacht war. Als er versehentlich auf die Pipeline für Auftragsarbeiter angewendet wurde, deaktivierte er mehr als nur das Blockieren der Klassifikatoren. Er schaltete auch die Protokollierung ab. Datenverkehr, der eine Prüfung ausgelöst hätte, wurde weder aufgezeichnet noch eskaliert. Das System flog faktisch blind.
Die betroffenen Auftragsarbeiter wurden nur von den Dienstleistern von Anthropic überprüft. Der Bericht stellt fest, dass viele dieser Dienstleister vor der Verschärfung der Anforderungen keine Screening-Prozesse hatten, die selbst CB-1-Akteure hätten stoppen können. Diese Kategorie umfasst einzelne Forscher und Doktoranden mit relevanter Expertise, nicht nur staatliche Akteure.
Die Zahlen: 133 Millionen Nachrichten, 1.197 Treffer
Nach der Entdeckung der Lücke führte Anthropic eine Nachanalyse durch. Das Unternehmen ließ ein modifiziertes Claude-Sonnet-5-Modell alle menschlichen Eingaben aus dem betroffenen Zeitraum auswerten und jede Anfrage auf schädliche biologische Absicht prüfen.
Claude markierte 1.197 Transkripte als stark biologisch gefährlich. Doch 757 davon stammten von internen Teams von Anthropic, die dieselbe Infrastruktur nutzten. Der Großteil der übrigen kam aus Red-Teaming-Übungen, bei denen Tester das System gezielt unter Druck setzten.
Übrig blieben 62 Transkripte von insgesamt 133 Millionen, die als stark gefährliche Anfragen externer Nutzer ohne Red-Team-Hintergrund markiert wurden. Anthropic prüfte alle 62 manuell. Das Unternehmen fand keinen eindeutig bedenklichen CB-Missbrauch, der einem Angreifer einen echten Vorteil verschafft hätte. Allerdings identifizierte es einige potenziell dual-use-Gespräche und akademische Red-Teaming-Interaktionen.
Das längste extern markierte Transkript war 240.000 Token lang. Das 75. Perzentil lag bei nur 2.102 Token, was darauf hindeutet, dass die meisten markierten Gespräche relativ kurz waren.
Die eigenen Worte des CEOs
Das Timing ist heikel für ein Unternehmen, dessen CEO eine ungewöhnlich öffentliche Position zur Biosecurity eingenommen hat. Dario Amodei hat wiederholt argumentiert, dass KI-gestützte Entwicklung chemischer und biologischer Waffen eine dringendere Bedrohung ist als die Cyberangriffs-Szenarien, die die Sicherheitsdebatten der Branche dominieren.
Gleichzeitig lockerte Anthropic kürzlich seine Klassifikatoren für Fable 5, nachdem Forscher sich beschwert hatten, dass die Filter so aggressiv seien, dass sie legitime Biosecurity-Forschung blockierten. Das Unternehmen navigiert einen schmalen Kanal: Filter, die zu permissiv sind, riskieren Schaden zu ermöglichen, und Filter, die zu streng sind, riskieren die Sicherheitsgemeinschaft zu verprellen, deren Vertrauen für Anthropic entscheidend ist.
Das größere Muster
Die Lücke beim Biowaffen-Filter ist kein Einzelfall. Der Risikobericht katalogisiert mehrere weitere Sicherheitsprozessfehler, darunter partielle Verweigerungen bei Sicherheitsarbeit, die die Stress-Test-Forschung untergruben, die Offenlegung von Chain-of-Thought-Abläufen gegenüber Bewertungsdruck, das direkte Training auf fehlausgerichtetem Verhalten während eines Produktionstrainings und einen Fall unüberwachter uneingeschränkter Agenten mit Zugriff auf sensible Ressourcen.
Die interne Einschätzung von Anthropic räumt die Schwere der Lücke ein. Die Entdeckung dieser Lücke, so der Bericht, führe zu der Überzeugung, dass es eine erhöhte Wahrscheinlichkeit anderer, ähnlicher Probleme gebe, die dem Unternehmen nicht bekannt seien. Das ist ein seltenes Eingeständnis eines Sicherheits-orientierten Unternehmens, dass seine Systeme auf Weisen versagen können, die es nicht vollständig versteht.
Die Reaktion des Unternehmens war gründlich: vollständige Behebung, verschärfte Anforderungen an Dienstleister und ein transparenter Bericht in der öffentlichen Risikodokumentation. Aber die Frage, die bleibt, ist nicht, ob Anthropic diese besondere Lücke gefunden hat. Es ist die Frage, wie viele andere Konfigurations-Flags, falsch angewendete Einstellungen oder blinde Flecken in der Sicherheitsinfrastruktur des sorgfältigsten Labors der Branche noch lauern.
Was es bedeutet
Der Ausfall des Biowaffen-Filters von Anthropic ist eine Fallstudie dafür, warum KI-Sicherheit schwer ist. Nicht weil die Technologie geheimnisvoll ist, sondern weil Sicherheitssysteme selbst komplexe Software sind, die auf Infrastruktur läuft, die Menschen konfigurieren, rekonfigurieren und gelegentlich falsch konfigurieren. Ein Flag für den internen Gebrauch, auf die falsche Pipeline angewendet, kann ein Jahr Sicherheitsarbeit zunichte machen. Zwölf Monate lang bemerkte es niemand.
Für die gesamte Branche ist die Lektion ernüchternd. Wenn Anthropic, das Unternehmen, das seine Marke auf Sicherheit und Verantwortung aufgebaut hat, seinen Biosecurity-Filter ein Jahr lang ohne Aufsehen abgeschaltet haben kann, welche Lücken verbergen sich dann in weniger sicherheitsbewussten Labors?