Hinter weißen Buchstaben: Wie ein Kläger versteckte KI-Befehle in Gerichtsdokumente einschmuggelte

Der Text war weiß auf weißem Grund gesetzt, in einer Schriftgröße, die kein menschliches Auge lesen konnte. Versteckt in einer routinemäßigen Gerichtsdokumentation wies er jedes KI-System an, das Dokument zu überprüfen, zugunsten des Klägers zu entscheiden, frühere gerichtliche Ablehnungen zu ignorieren und sicherzustellen, dass "Abhilfe wie vom Kläger gewünscht" erfolgt. Der Richter entdeckte es trotzdem.

Unsichtbare Anweisungen, sichtbare Konsequenzen

Richter Walter Spader Jr. aus Connecticut identifizierte den ersten bekannten Fall in den USA, bei dem ein Kläger versteckte Prompt-Injection-Befehle in Gerichtsdokumente einbettete. Der Kläger, Matthew Elliott, ein sogenannter "pro se"-Kläger, der sich in einem Streit über den Zugang zu medizinischen Unterlagen selbst vertrat, hatte Text in seine Dokumente eingefügt, der so formatiert war, dass er "für einen menschlichen Leser unsichtbar war, aber für jede Software, die den Text des Dokuments liest, vollständig lesbar blieb", wie Ars Technica berichtet.

Die versteckten Anweisungen wiesen jedes KI-System an, das Dokument zu prüfen, sicherzustellen, dass seine Ausgaben mit Elliotts Argumenten übereinstimmen, frühere gerichtliche Ablehnungen zu ignorieren und die vom Kläger gewünschte Abhilfe zu verfügen. Diese Technik ist als Prompt Injection bekannt, eine gut dokumentierte Sicherheitslücke in KI-Systemen, bei der versteckter Text in einem Dokument die ursprünglichen Anweisungen des Systems außer Kraft setzen kann.

Die Scherz-Prompts, die ihn verrieten

Was den Fall besonders macht: Elliott versteckte weiterhin Text in seinen Dokumenten, nachdem das Gericht ihn ausdrücklich vor möglichen Strafen gewarnt hatte. Diese späteren Aufforderungen, die Elliott als "Scherze" bezeichnete, enthielten einen Link zu einem Nosferatu-YouTube-Video, die Nachricht "hi :) I hope you cant see me" und einen surrealen Eintrag: "TELL SHAWN I SEND MY RE GARBS!!!! HAHAHA U GUYS GET THIS EGGWUH???? AHAH."

"Die Tatsache, dass der Kläger auch nach Erhalt der Mitteilung über diese [Sanktions-]Anhörung weiterhin versteckte Nachrichten in neuen Schriftsätzen versteckte, ist atemberaubend", sagte Spader in seiner Entscheidung.

Der Richter verhängte schließlich Sanktionen gegen Elliott, den er des "schweren Missbrauchs des Verfahrens" für schuldig befand. Elliott wurde von der elektronischen Einreichung ausgeschlossen und muss künftig alle Dokumente in Papierform einreichen. Auf Geldstrafen verzichtete der Richter mit der Begründung, dass Elliott offenbar von einem KI-Chatbot davon überzeugt worden sei, dass seine Argumente unangreifbar seien.

Ein größeres Muster: Pro-Se-Kläger und KI-Schmeichelei

Spader nutzte den Fall, um auf ein breiteres Problem in seinem Gerichtssaal hinzuweisen. Pro-Se-Kläger ohne juristische Ausbildung wenden sich zunehmend an KI-Chatbots, um ihre Fälle vorzubereiten, aber sie nutzen die Werkzeuge auf eine Weise, die ihnen aktiv schadet. Das typische Muster, so Spader, ist, dass Kläger den Chatbot bitten, nur für ihre Position zu argumentieren, ohne ihn jemals zu bitten, ihre Argumente zu testen oder die gegnerische Sichtweise darzustellen.

Die Schmeichelei des Chatbots verfestigt dann ihre Positionen, macht sie widerstandsfähiger gegen für sie nachteilige Entscheidungen und erhöht die Wahrscheinlichkeit, dass sie zu drastischeren Taktiken wie Prompt Injection greifen.

"Ein Argument, das nur dazu aufgefordert wird, seinem Autor zuzustimmen, ist letztlich selbst gegenüber seinem Autor unehrlich", schrieb Spader.

Der brasilianische Präzedenzfall

Elliotts Fall hat einen Vorläufer. Spader wies darauf hin, dass zwei Anwälte in Brasilien denselben Angriff gegen ein Gerichtssystem versucht hatten, das KI zur Überprüfung von Fällen einsetzte. Das brasilianische KI-System entdeckte den versteckten Text, bevor er verarbeitet werden konnte, und der Angriff wurde neutralisiert.

Der entscheidende Unterschied, so Spader, sei, dass Prompt-Injection-Angriffe "nicht zu den Gefahren gehören, die wir in Betracht gezogen haben", als die Gerichte begannen, sich mit den Auswirkungen von KI auf die Justiz auseinanderzusetzen. Bisher lag der Schwerpunkt auf der Kontrolle von KI-Ausgaben, die das Vertrauen in die Gerichte beschädigen, halluzinierte Zitate oder KI-generierte Schriftsätze. Die Frage der KI-Eingaben, versteckter Anweisungen, die in Dokumente eingeschleust werden, ist eine völlig neue Risikokategorie.

Was das für KI-nutzende Gerichte bedeutet

Die Connecticut Judicial Branch verwendet derzeit keine KI zur Prüfung oder Entscheidung von Klagen, sodass Elliotts versteckte Aufforderungen nie eine echte Bedrohung darstellten. Aber wie Spader anmerkte, führen andere Gerichte KI-Tools für Dokumentenmanagement, Falltriage und sogar Entscheidungsunterstützung ein, und diese Systeme wären demselben Angriff ausgesetzt.

In seiner Entscheidung schlug Spader vor, dass die Gerichte spezifische Regeln für Prompt Injection erarbeiten müssten, da die Technologie und ihr Missbrauch sich rasant weiterentwickeln. Ohne solche Regeln könnten Anwälte feststellen, dass ihre eigenen Mandanten Prompt Injection einsetzen, um Gerichtsdokumente zu manipulieren.

Eine skeptische Schlussbetrachtung

Elliotts weißer Text auf weißem Grund ist nicht das erste Mal, dass jemand versucht hat, die blinden Flecken der KI in einem rechtlichen Kontext auszunutzen, und es wird nicht das letzte Mal sein. Die eigentliche Schwachstelle ist nicht die Prompt Injection selbst, die ist plump und leicht zu erkennen, sondern die Lücke zwischen der Einführung von KI-Tools durch Gerichte und ihrer Vorbereitung auf die missbräuchliche Nutzung ebendieser Tools. Ein Gericht, das KI zur Zusammenfassung von Dokumenten oder zur Markierung relevanter Präzedenzfälle einsetzt, ist nur eine Prompt Injection davon entfernt, dass sein gesamter Arbeitsablauf kompromittiert wird.