Schwachstellen von Sprachmodellen und neue Ansätze zur Sicherheitsforschung

Schwachstellen von Sprachmodellen: Die "Indiana Jones"-Methode

KI-Sicherheitsforschung ist ein stetig wachsendes Feld, das sich mit den potenziellen Risiken und Schwachstellen von Künstlicher Intelligenz, insbesondere von großen Sprachmodellen (LLMs), auseinandersetzt. Ein neuer Ansatz, die sogenannte "Indiana Jones"-Methode, zeigt, wie schädliche Informationen aus LLMs extrahiert werden können, ohne die üblichen Sicherheitsmechanismen auszulösen.

Die Funktionsweise der "Indiana Jones"-Methode

Die "Indiana Jones"-Methode, benannt nach dem bekannten Archäologen, ähnelt in ihrer Vorgehensweise der Suche nach verborgenen Artefakten. Statt nach physischen Objekten zu graben, nutzt sie Referenzen zu historischen Persönlichkeiten, um an schädliche Informationen zu gelangen. Dabei kommen drei miteinander interagierende Sprachmodelle zum Einsatz, die den Angriff auf ein Ziel-LLM koordinieren. Der Prozess beginnt mit einem vom Nutzer eingegebenen Schlüsselwort, beispielsweise "Bankräuber". Das erste Sprachmodell befragt das Ziel-LLM nach einer Liste historischer Persönlichkeiten, die für Banküberfälle bekannt sind. Sobald das Ziel-LLM die Liste ausgibt, wählen die angreifenden Sprachmodelle eine Person aus – zum Beispiel John Dillinger – und stellen Fragen zu den Faktoren, die zu dessen Erfolg beitrugen. Das Ziel-LLM liefert daraufhin Informationen, etwa über die Bewaffnung der Bande oder die Auswahl von Banken mit niedrigen Sicherheitsvorkehrungen. In der finalen Phase wird das Ziel-LLM aufgefordert, Vergleiche zu heutigen Sicherheitsmaßnahmen in Banken anzustellen, Informationen zu modernen forensischen Techniken preiszugeben und die durchschnittliche Reaktionszeit der Polizei zu nennen. Diese Informationen, die für potenzielle Bankräuber relevant sind, würden bei direkter Nachfrage aufgrund der Sicherheitsvorkehrungen des LLMs nicht herausgegeben werden. Der Umweg über historische Figuren ermöglicht jedoch den Zugriff auf diese Details.

Tests und Ergebnisse

Die "Indiana Jones"-Methode wurde mit verschiedenen KI-Modellen getestet, darunter ChatGPT-40, Llama 3.2, Claude-3.5, Qwen 2.5 und Gemma2. Die Ergebnisse zeigen, dass die Methode bei den meisten getesteten Modellen erfolgreich war. ChatGPT-40 gab in 98,9 Prozent der Fälle schädliche Informationen preis, während Llama 3.2 in 94,1 Prozent der Fälle geknackt werden konnte. Claude-3.5, Qwen 2.5 und Gemma2 gaben in allen Testfällen schädliche Informationen heraus. Die Tests umfassten neben Bankraub auch Szenarien mit pornografischen Inhalten, Hassrede, Malware-Generierung und Details zu physischer Gewalt.

Implikationen für die KI-Sicherheit

Die "Indiana Jones"-Methode verdeutlicht, dass das Vorhandensein von schädlichem Wissen in LLMs ein Sicherheitsrisiko darstellt, selbst wenn dieses Wissen nicht direkt abgefragt wird. Jailbreak-Techniken finden Wege, die Sicherheitsmechanismen zu umgehen und dieses Wissen zu extrahieren. Für KI-Entwickler ergeben sich daraus zwei zentrale Herausforderungen: die frühzeitige Erkennung von Jailbreak-Angriffen und die verbesserte Kontrolle über das Wissen der Sprachmodelle. Zukünftige Forschung sollte sich darauf konzentrieren, Lösungen für diese Probleme zu entwickeln. Ein Ansatz könnte darin bestehen, Techniken zu entwickeln, mit denen LLMs potenziell schädliche Inhalte "verlernen" können, um sie gegen Jailbreak-Angriffe zu schützen.

Bibliographie:

1. https://t3n.de/news/indiana-jones-methode-gegen-ki-1674694/
2. https://www.threads.net/@t3n_magazin/post/DGp0_6GIdMG/ki-forscherinnen-haben-eine-neue-methode-entwickelt-um-schwachstellen-von-gro%C3%9Fen
3. https://t3n.de/archive/
4. https://newstral.com/de/article/de/1263989550/indiana-jones-gegen-ki-wie-sch%C3%A4dliche-informationen-aus-sprachmodellen-ausgegraben-werden
5. https://twitter.com/t3n/status/1893978966123237876
6. https://t3n.de/news/
7. https://www.instagram.com/t3n_magazin/p/DGkS2d-thXI/
8. https://t3n.de/tag/software-entwicklung/
9. https://www.eckblick.de/en/start