Sicherheitsrisiken durch Prompt Injection in Künstlichen Intelligenzsystemen

Die verborgene Gefahr: Prompt Injections als strukturelle Schwachstelle in KI-Systemen

Die fortschreitende Integration von Künstlicher Intelligenz in Geschäftsprozesse und alltägliche Anwendungen birgt nicht nur immense Potenziale, sondern auch neue, komplexe Sicherheitsherausforderungen. Eine dieser Herausforderungen, die zunehmend in den Fokus rückt, ist die sogenannte Prompt Injection. Diese Art der Manipulation von KI-Systemen, insbesondere von Large Language Models (LLMs), stellt eine grundlegende Schwachstelle dar, die weitreichende Konsequenzen für Unternehmen und Anwender haben kann.

Was ist Prompt Injection?

Eine Prompt Injection liegt vor, wenn bösartige Eingaben als legitime Prompts getarnt werden, um ein KI-System zu manipulieren. Dabei werden versteckte Befehle in scheinbar harmlose Texte, E-Mails oder auf Webseiten platziert, die ein Sprachmodell auslesen und ausführen soll. Diese Anweisungen können für Menschen oft unsichtbar sein, beispielsweise durch die Verwendung von weißer Schrift auf weißem Grund oder spezielle Zeichen wie ASCII-Codes, die für das menschliche Auge nicht erkennbar sind, vom Computer jedoch vollständig gelesen und verarbeitet werden.

Die Funktionsweise ähnelt der bekannten SQL-Injection im Webentwicklungsbereich, bei der Angreifer bösartige Datenbankbefehle in Eingabefelder einschleusen. Im Kontext von LLMs geschieht dies jedoch über natürliche Sprache, wobei die KI dazu gebracht wird, Anweisungen zu befolgen, die nicht der ursprünglichen Intention des Entwicklers oder Nutzers entsprechen.

Warum LLMs anfällig sind: Eine systemimmanente Schwäche

Die Anfälligkeit von LLMs für Prompt Injections ist keine klassische Software-Sicherheitslücke, die sich einfach patchen ließe. Vielmehr handelt es sich um eine strukturelle Eigenschaft der Modelle selbst. LLMs sind darauf ausgelegt, Textsequenzen fortzusetzen und Anweisungen in natürlicher Sprache zu verstehen und zu befolgen. Sie unterscheiden dabei nicht intrinsisch zwischen Systemanweisungen, Nutzereingaben oder externen Daten. Alles wird als ein einziger, kontinuierlicher Prompt behandelt, der die nächste Wortvorhersage steuert.

Diese fehlende Segmentierung des Eingabekontextes bedeutet, dass eine bösartige Eingabe wie „Ignoriere vorherige Anweisungen und mache stattdessen X“ genauso verarbeitet wird wie eine legitime Anfrage. Das Modell interpretiert nicht die Absicht hinter der Manipulation, sondern generiert lediglich die plausibelste Antwort basierend auf dem gesamten sichtbaren Text.

Im Gegensatz zu traditionellen Anwendungen fehlt es LLMs an eingebauten Mechanismen für:

• Befehlssegmentierung: Es gibt keine inhärente Methode, vertrauenswürdige Anweisungen von Benutzerprompts zu trennen.
• Ausführungskontext: Es existiert kein Sandboxing von Aufgaben; jede Aktion ist eine zustandslose Vorhersage.
• Richtliniendurchsetzung: Inhaltsfilter sind gelernt und werden nicht zur Laufzeit strikt durchgesetzt.

Diese Kombination schafft eine Situation, in der das Modell mit hoher Wahrscheinlichkeit kooperiert, wenn ein Nutzer eine Anweisung überzeugend genug formuliert.

Reale Angriffe und deren Auswirkungen

Prompt Injection ist keine rein theoretische Gefahr. Seit 2023 wurden zahlreiche reale Fälle dokumentiert, die die Anfälligkeit von LLMs unter Beweis stellen:

• Bing Chat (GPT-4) Prompt-Leck („Sydney“-Vorfall): Ein Nutzer brachte Bing Chat dazu, seine internen Systemanweisungen preiszugeben, inklusive des Codenamens „Sydney“ und Verhaltensbeschränkungen.
• GitLab Duo (Claude) Prompt Injection: Forscher konnten den Claude-basierten KI-Assistenten von GitLab manipulieren, indem sie Prompts in Projektinhalte wie Merge-Request-Beschreibungen oder Quellcode-Kommentare einbetteten. Dies führte zur Offenlegung privater Daten und der Generierung bösartigen Codes.
• Google Bard Dokumenten-Injection: Durch das Einbetten bösartiger Anweisungen in ein Google Doc konnte Bard dazu gebracht werden, Daten über einen externen Link zu exfiltrieren, obwohl dies durch Sicherheitsrichtlinien blockiert wurde.
• EmailGPT CVE-2024-5184: Ein E-Mail-Assistent auf GPT-Basis leakte interne Prompt-Daten und sensible Informationen, nachdem er speziell präparierte E-Mails verarbeitet hatte.
• ZombAIs (Claude Agent Mode): Ein KI-Agent im „Computer-Use“-Modus wurde durch eine bösartige Prompt-Kette dazu veranlasst, das Sliver C2 Framework herunterzuladen und zu installieren, wodurch die KI als Malware-Dropper fungierte.
• Terminal Injection (DiLLMa): Ein Terminal-basierter LLM-Assistent generierte Terminal-Escape-Codes, die bei der Darstellung im Terminal des Benutzers Befehle umschrieben oder Shell-Eingaben automatisch ausführten, was zu einer lokalen Kompromittierung führte.

Diese Vorfälle verdeutlichen, dass Prompt Injection nicht auf eine bestimmte Plattform beschränkt ist und nahezu alle LLMs betrifft, unabhängig vom Anbieter oder der Größe des Modells.

Risikoprofil für Unternehmen

Für Unternehmen, die LLMs in ihre Infrastruktur integrieren, stellt Prompt Injection ein erhebliches Risiko dar. Die Gefahr besteht in mehreren Dimensionen:

• Datenlecks: KI-Systeme können dazu gebracht werden, sensible interne Daten (z.B. Kundendaten, Finanzdaten, Betriebsgeheimnisse) offenzulegen, die sie im Rahmen ihrer normalen Funktion verarbeiten.
• Umgehung von Sicherheitsmechanismen: Prompts können genutzt werden, um interne Richtlinien, Content-Filter oder Schutzmechanismen der KI zu umgehen, was die Generierung von schädlichen oder unerwünschten Inhalten ermöglicht.
• Unautorisierte Aktionen: Wenn KI-Agenten Zugriff auf externe Systeme (z.B. APIs, E-Mail-Clients, Datenbanken) haben, können sie durch Prompt Injection zu unautorisierten Aktionen veranlasst werden, wie dem Senden von E-Mails, dem Ändern von Daten oder dem Ausführen von Code.
• Reputationsschäden: Die Veröffentlichung falscher, beleidigender oder markenschädigender Inhalte durch ein manipuliertes KI-System kann zu erheblichen Reputationsverlusten führen.
• Supply Chain Risk: LLMs, die mit externen Inhalten (Webseiten, Dokumente, E-Mails) interagieren, können indirekt durch eingebettete Prompts kompromittiert werden, die von Dritten platziert wurden.

Besonders kritisch wird es, wenn drei Faktoren zusammenkommen, die der Sicherheitsforscher Simon Willison als „tödliches Dreigespann“ bezeichnet: Ein Chatbot hat Zugriff auf private Daten, die Fähigkeit zur externen Kommunikation und trifft auf Inhalte, denen nicht automatisch vertraut werden kann. Dies ist der Fall, sobald ein Agent E-Mails liest oder auf das Internet zugreift.

Datenschutzbedenken jenseits von Angriffen

Abgesehen von bösartigen Prompt Injections können LLMs auch unbeabsichtigt Datenschutzrisiken verursachen. Dies geschieht, wenn Nutzer unwissentlich sensible Daten in Prompts eingeben, zusammenfassen oder wiederverwenden. LLMs verstehen von Natur aus keine Datenschutzgrenzen; sie generieren Antworten basierend auf allem, was sie im Kontext gesehen haben – einschließlich Informationen, die früher in einer Konversation oder Sitzung, manchmal sogar von verschiedenen Benutzern, geteilt wurden.

Beispiele hierfür sind:

• Die Zusammenfassung von Vorstandssitzungsprotokollen, die unbeabsichtigt persönliche Leistungsbeurteilungen oder Disziplinarmaßnahmen enthalten.
• Die Weitergabe von Kontaktinformationen aus Kundenservice-Tickets in KI-generierten Antworten.
• Die Offenlegung sensibler HR-Informationen, wenn ein Manager nach „Kündigungen im ersten Quartal“ fragt und die KI auf Basis früherer Kontexte Namen oder Abteilungen ausgibt.

Diese unbeabsichtigten Offenlegungen können zu internen Datenschutzverletzungen, regulatorischen Risiken (z.B. unter DSGVO), HR-Problemen und Reputationsschäden führen.

Die Zukunft der Prompt Injection

Prompt Injection ist keine vorübergehende Schwachstelle, sondern eine strukturelle Herausforderung, die sich voraussichtlich noch verstärken wird. Die gleiche Flexibilität, die LLMs so leistungsfähig macht, macht sie auch anfällig für Fehlinterpretationen und Missbrauch. Mit der Weiterentwicklung von KI-Technologien sind folgende Trends absehbar:

• Autonome Agenten: KI-Agenten, die komplexe Aufgaben über mehrere Schritte hinweg planen und ausführen können, sind besonders anfällig für die Manipulation ihres gesamten Aufgabenzyklus durch eine einzige injizierte Anweisung.
• Multi-Agenten-Systeme: LLMs, die miteinander kommunizieren, können injizierte Prompts über ganze Arbeitsabläufe hinweg verstärken und so fehlerhafte Schlussfolgerungsketten oder Aktionen erzeugen.
• Sprach-Lieferkettenmissbrauch: Dokumente, Transkriptionen, PDFs oder Webinhalte können zu „Trägern“ versteckter Prompts werden. Alles, was von einem LLM aufgenommen wird, kann zu einem Injektionsvektor werden.
• Speichervergiftung: In Systemen, in denen LLMs eine dauerhafte Erinnerung speichern (z.B. Benutzerprofile, Chatverlauf), können injizierte Prompts langfristige Verhaltensweisen, Vorurteile oder unautorisierte Ausgabemuster konditionieren.
• Ausgabe-Injection: Injizierte Prompts können Ausgaben erzeugen, die selbst Anweisungen enthalten. Werden diese Ausgaben später von nachgelagerten LLMs oder Agenten verarbeitet, können sie bösartiges Verhalten erneut auslösen, ähnlich sich selbst replizierender Malware in Textform.

Empfehlungen für Unternehmen

Um die Risiken von Prompt Injections und unbeabsichtigten Datenschutzverletzungen zu minimieren, sollten Unternehmen eine umfassende Strategie implementieren, die sowohl externe Bedrohungen als auch interne Fehlverwendungen adressiert:

• Eingabehygiene und Prompt-Validierung:
  • Entfernen Sie alle personenbezogenen Informationen (PII), sensiblen Kennungen und internen Referenzen, bevor Sie Eingaben an LLMs senden.
  • Lehnen Sie Prompts ab, die eingebettete Anweisungen, indirekte Befehle oder Überschreibungsversuche enthalten.
  • Normalisieren und bereinigen Sie Eingaben, insbesondere aus E-Mail-Threads, Dokumenten oder Langtexten.
  • Wenden Sie lexikalische und semantische Filter an, um Prompt-Injection-Muster zu erkennen.
  • Setzen Sie eine maximale Eingabelänge durch und verbieten Sie mehrteilige Anweisungen, wo unnötig.
• Kontextisolation und Speicherbegrenzung:
  • Deaktivieren Sie persistenten Speicher, es sei denn, dies ist funktional gerechtfertigt und auf den jeweiligen Benutzer beschränkt.
  • Verhindern Sie, dass geteilte oder Mehrbenutzer-Sitzungen den Kontext wiederverwenden.
  • Stellen Sie sicher, dass der Prompt-Kontext nur die aktuellen, relevanten Daten enthält.
  • Fügen Sie den vorherigen Konversationsverlauf nur dann hinzu, wenn dies explizit erforderlich ist.
  • Vermeiden Sie speicherbasierte Verhaltens-Konditionierung, es sei denn, sie wird streng reglementiert.
• Plugin- und Tooling-Kontrolle:
  • Verlangen Sie eine explizite Benutzerbestätigung für jede über Plugins oder APIs ausgelöste Aktion.
  • Setzen Sie rollenbasierte Zugriffskontrollen für alle Plugin-Integrationen durch.
  • Whitelisten Sie Plugin-Funktionen und beschränken Sie den Zugriff auf sensible Systeme.
  • Begrenzen Sie die von Plugins zurückgegebenen Daten auf das für die Aufgabe erforderliche Minimum.
  • Protokollieren Sie alle von LLM-Interaktionen initiierten Plugin- und externen API-Aktivitäten.
• Ausgabefilterung und menschliche Aufsicht:
  • Unterziehen Sie alle von LLMs generierten Ausgaben einer menschlichen Überprüfung, bevor sie veröffentlicht oder ausgeführt werden.
  • Scannen Sie Ausgaben nach PII, internen Daten, Systemanweisungen oder Prompt-Leckagen.
  • Blockieren Sie Ausgaben, die Konfigurationsdateien, Geheimnisse oder Anwendungslogik referenzieren.
  • Redigieren Sie Namen, E-Mails, Kontonummern oder Metadaten, wenn sie in Modellantworten enthalten sind.
  • Untersuchen Sie Ausgaben, die frühere Prompts widerspiegeln oder das erwartete Format verletzen.
• Datenschutzbewusste Nutzungspraktiken:
  • Verbieten Sie Benutzern die Übermittlung vertraulicher Berichte, Verträge, Anmeldeinformationen oder Chatprotokolle.
  • Untersagen Sie die Eingabe von Gesundheits-, Rechts- oder Finanzdaten, es sei denn, sie werden über redigierte Schnittstellen verarbeitet.
  • Anonymisieren Sie Eingaben, bevor Sie sie an LLMs senden, wenn der Kontext dies zulässt.
  • Stellen Sie sicher, dass Trainings- oder Verstärkungsdatensätze frei von persönlichen oder sensiblen Daten sind.
  • Wenden Sie rollenspezifische Beschränkungen für Hochrisikobenutzer wie Personal, Recht und Finanzen an.
• Logging, Monitoring und Governance:
  • Protokollieren Sie alle Prompts, Ausgaben, Plugin-Interaktionen und kontextuellen Metadaten.
  • Verknüpfen Sie alle Aktivitäten mit authentifizierten Benutzersitzungen oder Dienstkonten.
  • Überwachen Sie Verhaltensanomalien wie Prompt-Chaining, Gedächtnisabruf oder Datenwiederholung.
  • Implementieren Sie eine Prompt-basierte Risikobewertung und kennzeichnen Sie Hochrisiko-Interaktionen zur Überprüfung.
  • Richten Sie ein internes KI-Governance-Gremium ein, das für Richtliniendurchsetzung, Modellprüfungen und Incident Response verantwortlich ist.

Die Fähigkeit von LLMs, Anweisungen und Inhalte im selben Kontext zu verarbeiten, ist ihre Kernstärke, aber auch ihre Achillesferse. Solange auf Modellebene keine architektonischen Änderungen erfolgen, die eine klare Trennung von vertrauenswürdigen Befehlen und Nutzereingaben ermöglichen, wird die Sicherheit von KI-Anwendungen von strukturierten Vorverarbeitungsschritten, strengen Zugriffskontrollen, Ausgabevalidierung und einer robusten Governance abhängen. Unternehmen müssen die Annahme verinnerlichen, dass jede Nutzereingabe als potenziell feindselig und jede KI-Ausgabe als unbestätigt zu behandeln ist.

Bibliographie

• Heise Online; Isabel Grünewald: KI-Update Deep-Dive feat. They Talk Tech: Prompt Injections. Online verfügbar unter https://www.heise.de/news/KI-Update-Deep-Dive-feat-They-Talk-Tech-Prompt-Injections-10747989.html. Zuletzt geprüft am 08.09.2025.
• Katz, Doron: Prompt Injection: What It Is, Why It Matters, and How to Defend Against It. TPM University. Online verfügbar unter https://tpmuniversity.com/what-is-prompt-injection-and-how-to-protect-against-it-2/. Zuletzt geprüft am 08.09.2025.
• Larocca, Danielle: Die Entwicklung von KI-Konversationen. Epiuse Labs. Online verfügbar unter https://epiuselabs.com/de/cloud-blog/die-entwicklung-von-ki-konversationen. Zuletzt geprüft am 08.09.2025.
• OpenAI: Introducing ChatGPT agent: bridging research and action. Online verfügbar unter https://openai.com/index/introducing-chatgpt-agent/. Zuletzt geprüft am 08.09.2025.
• Wadforth, Kieran: Prompt Injection Attacks in AI. LinkedIn. Online verfügbar unter https://www.linkedin.com/pulse/prompt-injection-attacks-ai-kieran-wadforth-y1l3e. Zuletzt geprüft am 08.09.2025.