Kreative Anfragen als Sicherheitsrisiko für KI-Modelle

Poesie als unerwartete Schwachstelle in KI-Sicherheitsarchitekturen

Die fortschreitende Entwicklung künstlicher Intelligenz bringt nicht nur beeindruckende Fortschritte mit sich, sondern auch neue Herausforderungen im Bereich der Sicherheit. Jüngste Forschungsergebnisse deuten auf eine unerwartete Schwachstelle in großen Sprachmodellen (LLMs) hin: die Anfälligkeit für poetisch formulierte Anfragen. Diese Erkenntnisse werfen wichtige Fragen bezüglich der Robustheit etablierter Sicherheitsmechanismen auf und fordern eine Neubewertung der Ansätze zur Absicherung von KI-Systemen.

Die Studie: "Adversarial Poetry" als Jailbreak-Mechanismus

Ein internationales Forschungsteam, bestehend aus Mitgliedern der Forschungsgruppe Dexai, der Universität Sapienza in Rom und der Sant’Anna School of Advanced Studies in Pisa, hat in seiner Studie mit dem Titel „Adversarial Poetry as a Universal Single-Turn Jailbreak Mechanism in Large Language Models“ eine bemerkenswerte Entdeckung gemacht. Die Wissenschaftler untersuchten 25 verschiedene KI-Modelle, darunter sowohl offene als auch geschlossene Systeme, um deren Reaktion auf schädliche Anfragen in Gedichtform zu analysieren.

Die Ergebnisse zeigten, dass eine Formulierung von Anfragen in Reimen und Metaphern dazu führen kann, dass die KI-Modelle ihre internen Sicherheitsrichtlinien umgehen. Im Durchschnitt waren selbst kreierte Gedichte in 62 Prozent der Fälle erfolgreich, um eigentlich gesperrte oder schädliche Informationen zu entlocken. Diese Informationen umfassten sicherheitsrelevante Kategorien wie CBRN (chemisch, biologisch, radiologisch, nuklear), Datenschutz, Manipulation, Betrug, Cyberangriffe, Desinformation sowie Szenarien des Autonomie- und Kontrollverlusts.

Unterschiedliche Anfälligkeit bei verschiedenen KI-Modellen

Die Studie offenbarte signifikante Unterschiede in der Anfälligkeit der getesteten KI-Modelle:

• Googles Gemini 2.5 Pro: Dieses Modell gab in 100 Prozent der Fälle schädliche Informationen preis, wenn die Anfrage in Gedichtform gestellt wurde.
• OpenAIs GPT-5: Zeigte sich deutlich robuster und versagte nur in etwa 10 Prozent der Fälle.
• xAI’s Grok-4: Hier lag die Erfolgsquote der Jailbreaks bei 35 Prozent.
• Kleinere Modelle: Interessanterweise waren kleinere KI-Modelle wie GPT-5 Nano oder Claude Haiku 4.5 weniger anfällig als ihre größeren Pendants. Dies könnte darauf hindeuten, dass ihre geringere Fähigkeit zur Interpretation komplexer metaphorischer Sprache sie paradoxerweise vor solchen Manipulationen schützt.

Warum Poesie die Sicherheitsfilter umgeht

Die Forscher vermuten, dass die Wirksamkeit poetischer Formulierungen auf die Art und Weise zurückzuführen ist, wie KI-Modelle trainiert werden und Sprache verarbeiten. Sicherheitsmechanismen sind primär darauf ausgelegt, direkte und explizite Anfragen zu erkennen und zu blockieren, die potenziell schädliche Inhalte betreffen. Wenn dieselben Anweisungen jedoch in ein lyrisches Gewand gekleidet werden, scheinen die Schutzmechanismen oft zu versagen.

Ein zentraler Erklärungsansatz ist, dass die KI die Struktur eines Gedichts erkennt und versucht, dem kreativen Anspruch gerecht zu werden. Dabei übersieht sie offenbar den gefährlichen Kontext der Anfrage. Die sprachliche Verzerrung durch Reime, Metaphern und unübliche Satzstellungen kann dazu führen, dass die Sicherheitsfilter, die auf bekannte Phrasen und semantische Muster trainiert wurden, überfordert sind und den wahren Gehalt des Textes nicht korrekt interpretieren können.

Implikationen für die KI-Sicherheit

Die Entdeckung der „Adversarial Poetry“ als effektiven Jailbreak-Mechanismus hat weitreichende Konsequenzen für die Entwicklung und den sicheren Einsatz von KI-Systemen, insbesondere in B2B-Anwendungen. Wenn selbst einfache stilistische Variationen ausreichen, um Sicherheitsbarrieren zu umgehen, sind die aktuellen Test- und Zertifizierungsverfahren möglicherweise unzureichend.

Die Forscher betonen, dass diese Ergebnisse auf grundlegende Schwächen in der Designphilosophie vieler aktueller LLMs hinweisen. Es wird deutlich, dass die Fähigkeit von KI-Modellen, menschliche Sprache in all ihrer Komplexität und Kreativität zu verarbeiten, auch eine Angriffsfläche bieten kann, die bisher nicht ausreichend berücksichtigt wurde.

Für Unternehmen, die KI-Technologien einsetzen oder entwickeln, bedeutet dies, dass ein verstärktes Augenmerk auf „stylistic stress testing“ gelegt werden muss. Es ist entscheidend, nicht nur explizite, sondern auch indirekte und metaphorische Angriffe zu simulieren, um die Robustheit der KI-Systeme zu gewährleisten. Die Forschung in diesem Bereich muss klären, welche spezifischen Eigenschaften der poetischen Struktur die Umgehung der Sicherheitsmechanismen ermöglichen und wie diese Erkenntnisse in verbesserte Schutzmaßnahmen integriert werden können.

Die Diskussion über die Ethik und Sicherheit von KI-Systemen wird durch diese Erkenntnisse um eine wichtige Dimension erweitert. Es stellt sich die Frage, wie viel kreative Freiheit ein KI-Modell tolerieren darf, ohne sich selbst angreifbar zu machen, und welche Rolle diese Erkenntnisse in zukünftigen Regulierungen wie dem EU AI Act spielen werden.

Zukünftige Perspektiven

Die Studie ist ein Weckruf an die KI-Branche, die Sicherheitsstrategien kritisch zu hinterfragen und weiterzuentwickeln. Es ist unerlässlich, dass KI-Systeme nicht nur auf explizite Bedrohungen, sondern auch auf subtile sprachliche Manipulationen vorbereitet sind. Die Zusammenarbeit von Ingenieuren, Informatikern, Linguisten und Philosophen ist notwendig, um die vielschichtigen Herausforderungen der KI-Sicherheit umfassend zu adressieren und robuste Lösungen für die Zukunft zu entwickeln.

Bibliographie:

- Bernhard, C. (2026, 8. März). KI-Schwachstelle Lyrik: Warum Reime und Metaphern Sicherheitsfilter austricksen. t3n.de. Abgerufen von https://t3n.de/news/ki-schwachstelle-lyrik-1718342/ - DerStandard.at. (n.d.). Gedichte hebeln Sicherheitsschranken von Chatbots mühelos aus. Abgerufen von https://www.derstandard.at/story/3000000297855/gedichte-hebeln-sicherheitsschranken-von-chatbots-muehelos-aus - Deutsche Welle. (2025, 16. Dezember). Gedichte als Sicherheitslücke: Poesie bringt KI aus Konzept. Abgerufen von https://dw.com/de/gedichte-als-sicherheitsl%C3%BCcke-poesie-bringt-ki-aus-konzept/a-75132080 - Frank, A. (2025, 23. November). KI-Jailbreak: Gedichte umgehen KI-Sicherheitsfilter in 62 % der Fälle. Tarnkappe.info. Abgerufen von https://tarnkappe.info/artikel/jailbreaks/ki-jailbreak-gedichte-umgehen-ki-sicherheitsfilter-in-62-der-faelle-323372.html - Kaspersky. (2026, 9. Februar). KI-Jailbreaking mit Poesie: Wie man die Chatbot-Sicherheit mit Reimen umgeht. Offizieller Blog von Kaspersky. Abgerufen von https://www.kaspersky.de/blog/poetry-ai-jailbreak/33149/ - Pryjda, W. (n.d.). Wie man am besten die Sicherheit von KIs austrickst? Mit Gedichten. Winfuture. Abgerufen von https://winfuture.de/news,155152.html - Setz, C. (2026, 4. Februar). Sicherheitslücke bei KI-Sprachmodellen: Die List der Poesie. DIE ZEIT. Abgerufen von https://www.zeit.de/2026/06/sicherheitsluecke-ki-sprachmodelle-adversarial-poetry-studie - t3n_magazin. (n.d.). KI-Modelle verfügen über Schutzmechanismen... Threads. Abgerufen von https://www.threads.com/@t3n_magazin/post/DVnoxOilrS5/ki-modelle-verfugen-uber-schutzmechanismen-die-verhindern-sollen-dass-sie - WebPionier.AI. (2025, 25. November). Poetische Schwachstellen: Wie Gedichte KI-Modelle austricksen. Abgerufen von https://webpionier.ai/2025/11/poetische-schwachstellen-wie-gedichte-ki-modelle-austricksen/