Neue Benchmark-Studie zur Evaluierung von Prompt-Injection-Angriffen auf Web-Agenten

Die rapide Entwicklung von KI-gestützten Web-Agenten, die in der Lage sind, komplexe Aufgaben autonom auszuführen, birgt nicht nur enormes Potenzial, sondern auch signifikante Sicherheitsrisiken. Ein zentrales Problem stellen dabei sogenannte Prompt-Injection-Angriffe dar. Diese Angriffe zielen darauf ab, die ursprünglichen Anweisungen eines Benutzers zu manipulieren, indem bösartige Befehle in die vom Agenten verarbeiteten Daten eingeschleust werden. Eine aktuelle und umfassende Benchmark-Studie, bekannt als WAInjectBench, widmet sich der systematischen Evaluierung der Effektivität von Detektionsmechanismen gegen solche Angriffe auf Web-Agenten.

Die Herausforderung von Prompt-Injection-Angriffen auf Web-Agenten

Web-Agenten, die auf multimodalen Large Language Models (MLLMs) basieren, revolutionieren die Art und Weise, wie wir mit dem Web interagieren. Sie können hochrangige Benutzeranweisungen in konkrete Aktionen übersetzen und Aufgaben wie das Ausfüllen von Formularen, das Durchsuchen von Informationen oder das Ausführen von Transaktionen autonom erledigen. Diese Autonomie macht sie jedoch anfällig für Manipulationen. Prompt-Injection-Angriffe nutzen diese Schwachstelle aus, indem sie bösartig gestaltete Webinhalte verwenden, um Agenten zu unbeabsichtigten Aktionen zu verleiten. Obwohl verschiedene Methoden zur Erkennung allgemeiner Prompt-Injections existieren, fehlte bisher eine systematische Evaluierung ihrer Wirksamkeit speziell für Web-Agenten.

WAInjectBench: Ein neuer Standard für die Sicherheitsbewertung

Die WAInjectBench-Studie schliesst diese Lücke, indem sie den ersten umfassenden Benchmark zur Detektion von Prompt-Injection-Angriffen auf Web-Agenten vorstellt. Die Arbeit beginnt mit einer detaillierten Kategorisierung solcher Angriffe, basierend auf einem vereinheitlichten Bedrohungsmodell, das Angreiferziele, -fähigkeiten und -hintergrundwissen berücksichtigt. Anschliessend wurden umfangreiche Datensätze mit sowohl bösartigen als auch harmlosen Text- und Bildbeispielen erstellt. Diese Datensätze umfassen:

• 991 bösartige Textsegmente aus sechs Angriffstypen, klassifiziert nach expliziten Anweisungen.
• 2.707 harmlose Textsegmente aus verschiedenen Quellen.
• 2.022 bösartige Bilder, darunter eingebettete Bilder und Screenshots von angegriffenen Webseiten.
• 948 harmlose Bilder aus etablierten Datensätzen.

Kategorisierung der Angriffsvektoren

Die Studie identifiziert sechs prominente Prompt-Injection-Angriffe, die Web-Agenten betreffen, und kategorisiert sie nach ihren Merkmalen und Auswirkungen:

• VWA-Adv: Bösartige Benutzer manipulieren Produktbilder, um über Bildunterschriften bösartige Anweisungen zu generieren.
• EIA (Environmental Injection Attack): Webseitenbesitzer injizieren HTML-Elemente mit geringer Deckkraft, die bösartige Anweisungen enthalten.
• Pop-up: Webseitenbesitzer injizieren Pop-ups mit bösartigen Anweisungen.
• WASP (Web Agent Security against Prompt injection attacks): Bösartige Benutzer posten Reddit-Beiträge oder GitLab-Issues mit schädlichen Anweisungen.
• WebInject: Webseitenbesitzer fügen optimierte, unmerkliche Pixelwert-Störungen in Webseiten ein.
• VPI: Webseitenbesitzer fügen Pop-ups, bösartige E-Mails oder Nachrichten mit schädlichen Anweisungen ein.

Detektionsmethoden und deren Evaluation

Die Studie systematisiert zwölf Detektionsmethoden, die nach Modalität (textbasiert und bildbasiert) und der Art der Nutzung von LLMs/MLLMs unterschieden werden:

• Textbasierte Detektion: Umfasst Methoden wie Known-answer Detection (KAD), PromptArmor, Embedding-T, PromptGuard, DataSentinel und Ensemble-T.
• Bildbasierte Detektion: Beinhaltet GPT-4o-Prompt, LLaVA-1.5-7B-Prompt, JailGuard, Embedding-I, LLaVA-1.5-7B-FT und Ensemble-I.

Die Evaluierung erfolgte anhand der True Positive Rate (TPR) und False Positive Rate (FPR) über verschiedene Szenarien hinweg.

Zentrale Ergebnisse und Erkenntnisse

Die Studie liefert kritische Einblicke in die aktuelle Landschaft der Prompt-Injection-Detektion:

Erkennbarkeit von Angriffen

Angriffe, die auf expliziten textuellen Anweisungen oder sichtbaren Bildmanipulationen beruhen, werden von einigen Detektoren mit moderater bis hoher Genauigkeit erkannt. Beispielsweise zeigen bösartige Web-Interface-Texte (VPI, EIA mit expliziten Anweisungen) und WASP-Kommentare/Issues hohe TPRs. Auch Screenshots von WASP-, VPI-, Pop-up- und EIA-Angriffen, die die visuelle Struktur stark verändern, erzielen hohe TPRs (0.75-1.00).

Demgegenüber versagen Detektoren weitgehend bei Angriffen, die explizite Anweisungen weglassen (VWA-adv ohne explizite Anweisungen, EIA ohne explizite Anweisungen) oder unmerkliche Manipulationen einsetzen (VWA-adv eingebettete Bilder/Screenshots, WebInject-Screenshots). Hier liegen die TPRs oft nahe bei 0.

Leistung einzelner Detektoren

• Textbasiert: PromptArmor und DataSentinel erzielen die besten Ergebnisse, was auf ihre fortgeschrittenen Schlussfolgerungsfähigkeiten (GPT-4o) bzw. spieltheoretische Feinabstimmung zurückzuführen ist. KAD und Embedding-T versagen meist, während PromptGuard nur begrenzte Wirksamkeit zeigt.
• Bildbasiert: GPT-4o-Prompt erreicht die stärkste Gesamtleistung. JailGuard, Embedding-I und LLaVA-1.5-7B-FT zeigen eine schwächere Generalisierung.

Ensemble-Methoden und Cross-Modalität

Der Einsatz von Ensemble-Detektoren (Ensemble-T und Ensemble-I) verbessert zwar die TPRs durch eine breitere Abdeckung, führt aber zu leicht höheren FPRs im Vergleich zu einzelnen Detektoren.

Bei der Cross-Modalitäts-Detektion zeigt sich, dass WASP-, VPI- und Pop-up-Angriffe mit bildbasierten Methoden leichter zu erkennen sind, insbesondere Pop-up-Angriffe, bei denen Bilddetektoren (z.B. GPT-4o-Prompt) hohe TPRs erzielen, während Textdetektoren aufgrund visueller Veränderungen versagen.

Für EIA mit expliziten Anweisungen übertreffen textbasierte Detektoren die bildbasierten, da bösartige Segmente visuell an das Webseiten-Layout angepasst sind. Bei VWA-adv-Bildunterschriften mit expliziten Anweisungen ist die textbasierte Detektion ebenfalls überlegen. Beide Modalitäten versagen jedoch bei VWA-adv-Bildunterschriften ohne explizite Anweisungen und bei WebInject, was die Schwierigkeit unmerklicher Manipulationen unterstreicht.

Domänenadaption und "Security Through Incompetence"

Das Training von Detektoren auf bösartigen Beispielen eines bestimmten Angriffs verbessert oft die Detektionsgenauigkeit für diesen spezifischen Angriff, hat aber kaum Auswirkungen auf die Erkennung anderer, unbekannter Angriffe. Dies deutet auf eine schwache Generalisierungsfähigkeit über verschiedene Angriffstypen hin.

Die Studie identifiziert zudem ein Phänomen, das als "Security Through Incompetence" bezeichnet wird. Obwohl es relativ einfach ist, Agenten von ihren ursprünglichen Zielen abzulenken (ASR-Intermediate zwischen 17 % und 86 %), ist das Erreichen des eigentlichen Angreiferziels (ASR-End-to-End bis zu 16 %) wesentlich schwieriger. Dies liegt daran, dass realistische Angriffsziele oft mehrstufig sind und die Agenten eine Abfolge von Aktionen ohne Fehler ausführen müssen. Die aktuellen Fähigkeiten der Agenten stellen hierbei einen Engpass für den Erfolg von End-to-End-Angriffen dar.

Implikationen und Ausblick

WAInjectBench bietet eine entscheidende Grundlage für die Entwicklung robusterer Verteidigungsstrategien gegen Prompt-Injection-Angriffe auf Web-Agenten. Die Ergebnisse unterstreichen die Notwendigkeit, Detektionsmethoden zu verbessern, insbesondere im Hinblick auf die Erkennung subtilerer und unmerklicher Manipulationen. Die Studie zeigt, dass aktuelle Abwehrmechanismen wie die Anweisungshierarchie in LLMs und defensive System-Prompts zwar Ansätze bieten, aber noch nicht ausreichend sind, um die Agenten vollständig zu schützen.

Für die Zukunft ist es entscheidend, Agenten nicht nur leistungsfähiger, sondern auch sicherer zu machen. Dies erfordert die Entwicklung von Detektoren, die eine bessere Generalisierungsfähigkeit über verschiedene Angriffstypen hinweg aufweisen und auch in der Lage sind, Angriffe zu erkennen, die keine expliziten Anweisungen verwenden. Die Forschungsgemeinschaft ist aufgefordert, effektivere Prompt-Injection-Angriffe zu entwickeln, um die Angriffs-Erfolgsrate zu verbessern und diesen Benchmark als Methode zur Verfolgung solcher Fortschritte zu nutzen.

Grenzen und zukünftige Arbeiten

Die aktuelle Version des Benchmarks unterstützt primär zwei Umgebungen (Reddit und GitLab). Zukünftige Arbeiten sollen eine diversifiziertere Auswahl an Webseiten umfassen und das Framework auf andere Agentenaufgaben, wie Desktop- oder Code-Agenten, ausweiten. Auch die Erweiterung der Vielfalt an Prompt-Injection-Angriffs-Prompts ist ein erklärtes Ziel.

Fazit für B2B-Anwendungen

Für Unternehmen, die KI-gestützte Web-Agenten in ihren Geschäftsprozessen implementieren oder entwickeln, sind die Ergebnisse von WAInjectBench von grosser Bedeutung. Sie unterstreichen, dass die Integration von KI-Agenten eine sorgfältige Risikobewertung und die Implementierung robuster Sicherheitsmassnahmen erfordert. Es ist nicht ausreichend, sich auf die "Inkompetenz" der Agenten zu verlassen. Proaktive und adaptive Detektions- und Abwehrmechanismen sind unerlässlich, um die Integrität und Sicherheit von Daten und Operationen zu gewährleisten. Die kontinuierliche Forschung und Entwicklung in diesem Bereich wird entscheidend sein, um das volle Potenzial von KI-Agenten sicher und verantwortungsvoll zu nutzen.

Bibliography

- "Benchmarking Prompt Injection Detections for Web Agents - arXiv." [Online]. Available: https://www.arxiv.org/abs/2510.01354. - "Benchmarking Prompt Injection Detections for Web Agents - Hugging Face." [Online]. Available: https://huggingface.co/papers/2510.01354. - "Benchmarking Prompt Injection Detections for Web Agents - Moonlight." [Online]. Available: https://www.themoonlight.io/en/review/wainjectbench-benchmarking-prompt-injection-detections-for-web-agents. - "Daily Papers - Hugging Face." [Online]. Available: https://huggingface.co/papers/date/2025-10-06. - "Benchmarking Web Agent Security Against Prompt Injection Attacks." [Online]. Available: https://arxiv.org/abs/2504.18575. - "WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks - ResearchGate." [Online]. Available: https://www.researchgate.net/publication/391246714_WASP_Benchmarking_Web_Agent_Security_Against_Prompt_Injection_Attacks. - "LLM Agent Prompt Injection - WithSecure Labs." [Online]. Available: https://labs.withsecure.com/publications/llm-agent-prompt-injection. - "Prompt Injection Benchmarking - GitHub." [Online]. Available: https://github.com/BenderScript/PromptInjectionBench. - "arXiv:2505.21499." [Online]. Available: https://arxiv.org/abs/2505.21499. - "arXiv:2506.02456." [Online]. Available: https://arxiv.org/abs/2506.02456.