Verschlüsselte Befehle umgehen jede KI-Sicherheit

Verschlüsselung soll Daten schützen. In der Welt der KI-Sicherheit ist sie gerade zum besten Freund von Angreifern geworden.

Ein Forscher der Sicherheitsfirma Adversa hat eine neuartige Technik namens Cryptographic Context Injection demonstriert, die schädliche Anweisungen in verschlüsseltem Text versteckt. Da statische KI-Sicherheitsfilter nur Klartext-Ein- und Ausgaben prüfen, können sie die schädlichen Anweisungen überhaupt nicht sehen -- das Modell entschlüsselt den Inhalt während der internen Codeausführung, wodurch jeder textbasierte Filter völlig blind wird.

Die Mechanik unsichtbarer Angriffe

Rony Utevsky, der Adversa-Forscher, der die Technik entdeckte, beschrieb das grundlegende Problem: Statische Sicherheitsfilter prüfen den Text, der in das Modell ein- und aus ihm austritt, aber sie haben keine Möglichkeit, die Ausgabe der internen Codeausführung des Modells zu inspizieren.

Der Angriff funktioniert, indem Chiffretext und Entschlüsselungsanweisungen in eine Webseite oder ein Dokument eingebettet werden, das das LLM verarbeiten soll. Der Schutzmechanismus sieht den Chiffretext und registriert ihn als bedeutungsloses Rauschen -- er kann weder entschlüsseln noch Code ausführen. Das LLM selbst, das den eingebetteten Anweisungen folgt, entschlüsselt die Nutzlast in seiner eigenen Code-Sandbox und handelt entsprechend dem entschlüsselten Inhalt.

"Statische Sicherheitsfilter klassifizieren Eingaben als Text; sie führen sie nicht aus", erklärte Utevsky. "Ein Angreifer liefert Chiffretext zusammen mit dem Schlüsselmaterial und einer Anweisung zur Entschlüsselung, und das Modell führt diese Entschlüsselung in seiner eigenen Code-Ausführungsumgebung durch. Alles, was der Scanner eines Schutzmechanismus benötigt, ist auf der Seite vorhanden, aber die Wiederherstellung des Klartextes erfordert Entschlüsselung -- und Schutzmechanismen entschlüsseln nicht."

In der Grok-Demonstration wiesen die entschlüsselten Anweisungen das Modell an, einen angeblichen Entschlüsselungsschlüssel zu konstruieren. Der Wert des falschen Schlüssels war stattdessen der Name, der Standort und der Chatverlauf des Benutzers -- persönliche Daten wurden durch eine scheinbar legitime kryptografische Operation exfiltriert.

Nicht nur Grok

Die Technik ist nicht auf xAIs Modell beschränkt. Adversa demonstrierte einen ähnlichen Angriff gegen Googles Gemini, bei dem verschlüsselter Text nach der Entschlüsselung Anweisungen produzierte, die das Modell aufforderten, seine internen Sicherheitsregeln zu ignorieren und eingeschränkte Inhalte zu generieren. Die entschlüsselte Nutzlast gab eine einzige Regel vor: Wenn der Code fehlschlägt, lies die Fehlermeldung und handle danach. Der daraus resultierende Fehlerbehandlungsablauf umging Geminis Sicherheitsfilter vollständig.

"Wir können die erhöhte Widerstandsfähigkeit nicht speziell auf unsere Meldung zurückführen", bemerkte Utevsky, "aber Gemini ist in den letzten Wochen zunehmend widerstandsfähiger gegen den Angriff geworden." Adversa meldete das Verhalten nicht an Google, da Jailbreak-Techniken nicht in den Rahmen des Schwachstellenmelde-programms des Unternehmens fallen.

Das breitere Muster ist beunruhigend: KI-Verteidiger bauen Schutzmechanismen einzeln, und Angreifer finden neue Wege, sie zu umgehen. Anfang dieser Woche demonstrierten andere Forscher einen ähnlichen Angriff gegen Microsoft 365 Copilot, bei dem geheime Eingaben, die in Unternehmensdokumenten versteckt waren, dazu verwendet wurden, Passwörter aus den Posteingängen der Benutzer zu extrahieren.

Das Problem statischer Schutzmechanismen

Die Verwundbarkeit ist strukturell und nicht mit einer einzigen Korrektur behebbar. Statische Schutzmechanismen -- die häufigste Form von KI-Sicherheitsfiltern -- arbeiten, indem sie Text als Text lesen. Sie führen Mustervergleiche, Schlüsselwortblockierungen und Klassifikatoranalysen von Klartextinhalten durch. Sie führen keinen Code aus, entschlüsseln keine Daten und simulieren nicht, was das Modell mit den erhaltenen Anweisungen tun könnte.

Wie Utevsky es formulierte: Der Schutzmechanismus sieht nur bedeutungslose Zeichen; das LLM sieht ausführbare Anweisungen. Diese Lücke ist es, die Cryptographic Context Injection ausnutzt.

Was das für die KI-Sicherheit bedeutet

Der Cryptographic-Context-Injection-Angriff stellt eine grundlegende Herausforderung für die derzeitige KI-Sicherheitsarchitektur dar. Jeder große Anbieter -- OpenAI, Google, xAI, Anthropic, Microsoft -- verlässt sich auf statische textbasierte Schutzmechanismen als erste Verteidigungslinie gegen Prompt-Injection. Wenn Verschlüsselung diese Schutzmechanismen völlig blind machen kann, muss die gesamte Architektur der KI-Sicherheit überdacht werden.

"Cryptographic Context Injection ist ein Beispiel für eine breitere Verschiebung: Angriffe, die nicht nur den Prompt manipulieren, sondern den weiteren Kontext, den ein LLM als seinen eigenen betrachtet, wie Werkzeugausgaben, Laufzeitergebnisse und Zwischenzustände", fasste Adversa zusammen. "Dieser Angriff verschiebt das Prompt-Injection-Paradigma um eine ganze Dimension -- von der Manipulation der Wahrnehmung der KI ihrer Anweisungen hin zur Manipulation ihrer Wahrnehmung der Realität."

Das Katz-und-Maus-Spiel zwischen KI-Angreifern und -Verteidigern geht weiter. Aber in dieser Runde haben die Angreifer einen Weg gefunden, die Maus unsichtbar zu machen.

Sources

• Grok exfiltrates user data when malicious instructions are encrypted -- Ars Technica
• New Cryptographic Context Injection Attack Could Let Web Pages Steal Grok Chat Data -- The Hacker News
• Grok chat duped into swallowing injected instructions -- The Register
• Microsoft 365 Copilot prompt injection password exfiltration -- Ars Technica