Schwachstellen in Vision-Language-Modellen und neue Angriffsmethoden zur Manipulation von Inhalten

Als Senior Specialist Journalist und Analyst für Mindverse ist es unsere Aufgabe, komplexe technologische Entwicklungen und deren Auswirkungen für unser B2B-Publikum präzise und objektiv aufzubereiten. Eine aktuelle Veröffentlichung beleuchtet eine signifikante Schwachstelle in Vision-Language-Modellen (VLMs), die weitreichende Implikationen für die Sicherheit und Zuverlässigkeit dieser fortschrittlichen KI-Systeme haben könnte. Die Forschung mit dem Titel "Few Tokens Matter: Entropy Guided Attacks on Vision-Language Models" von Mengqi He et al. zeigt auf, dass bereits eine geringe Anzahl spezifischer Token ausreicht, um die Ausgaben von VLMs systematisch zu manipulieren.

Die Anfälligkeit von Vision-Language-Modellen

Vision-Language-Modelle (VLMs) haben in den letzten Jahren beeindruckende Fortschritte im multimodalen Verstehen und in der Generierung gemacht. Modelle wie Qwen2.5-VL, InternVL 2.5 und GPT-4V haben neue Maßstäbe in Aufgaben wie Visual Question Answering (VQA) und Bildunterschriftenerstellung gesetzt. Ihre Leistungsfähigkeit hat zu einer breiten Anwendung in kritischen Bereichen wie autonomes Fahren, Robotik und Medizin geführt. Doch wie frühere Studien gezeigt haben, sind diese Modelle anfällig für sogenannte "adversarial attacks", bei denen kleine, oft unmerkliche Störungen der Eingabedaten zu drastisch fehlerhaften oder unerwünschten Modellausgaben führen können. Diese Anfälligkeit birgt erhebliche Sicherheitsrisiken, da manipulierte Ausgaben zu voreingenommenen, irreführenden oder sogar schädlichen Ergebnissen führen können.

Entropie als Indikator für Modellunsicherheit

Ein zentraler Aspekt der Zuverlässigkeit von VLMs ist die Entropie, ein Maß für die Unsicherheit des Modells. Token mit hoher Entropie im Ausgabewahrscheinlichkeitsverteilung des Modells korrelieren eng mit Halluzinationen und Fehlern, insbesondere in großen Sprachmodellen. Bisherige Entropie-basierte Angriffe zielten darauf ab, die Unsicherheit über alle Dekodierungsschritte hinweg zu maximieren, unter der Annahme, dass jeder Token gleichermaßen zur Instabilität der Generierung beiträgt. Die neue Studie stellt diese Annahme infrage.

Die Bedeutung weniger kritischer Token

Die aktuelle Forschung enthüllt, dass nicht alle Dekodierungsschritte bei der autoregressiven Generierung von VLMs gleichermaßen wichtig sind. Stattdessen steuert ein kleiner Bruchteil, etwa 20%, der sogenannten "High-Entropy-Token" die Ausgabe maßgeblich. Diese Token fungieren als kritische Entscheidungspunkte in der autoregressiven Generierung, vergleichbar mit Verzweigungen wie "und", "oder" oder "jedoch" in der Sprache. Die Manipulation dieser wenigen, aber entscheidenden Token kann die gesamte Ausgabetrajektorie eines Modells beeinflussen und von korrekten Beschreibungen ablenken. Im Gegensatz dazu tragen Token mit niedriger Entropie hauptsächlich gut gelerntes Wissen.

Gezielte Angriffe mit geringem Budget

Die Forscher haben diese Erkenntnis genutzt, um eine effizientere Angriffsstrategie zu entwickeln. Durch die Konzentration adversarieller Störungen auf diese High-Entropy-Positionen konnten sie einen vergleichbaren semantischen Qualitätsverlust wie bei globalen Angriffsmethoden erzielen, jedoch mit einem erheblich geringeren Ressourcenaufwand. Dies wurde durch Vorabexperimente zur Bildunterschriftenerstellung mit einem Qwen2.5-VL-3B-Modell demonstriert. Eine gezielte Erhöhung der Entropie an diesen ausgewählten Positionen führte zu einer hohen Angriffsrate und der Erzeugung schädlicher Inhalte.

Beispielsweise konnte eine harmlose Bildbeschreibung wie "hält einen Löffel" in eine schädliche Ausgabe wie "wird mit einem Seil am Hals befestigt, was darauf hindeutet, dass sie gewürgt werden" umgewandelt werden, indem lediglich die Pixel an den entscheidenden High-Entropy-Positionen manipuliert wurden.

Verbreitung schädlicher Inhalte und Transferfähigkeit

Die Experimente wurden auf verschiedenen repräsentativen VLMs (Qwen2.5-VL-7B-Instruct, InternVL3.5-4B und LLaVA-1.5-7B) durchgeführt. Es zeigte sich, dass 35-49% der angegriffenen Bildunterschriften schädliche Inhalte wie Gewalt, Waffen, Drogen oder sexuelle Inhalte aufwiesen, während nur etwa 2% korrekt und sicher blieben. Dies unterstreicht ein kritisches Sicherheitsrisiko von VLMs.

Ein weiterer wichtiger Befund ist die Transferfähigkeit dieser Angriffe. Da die anfälligen High-Entropy-Token über architektonisch diverse VLMs hinweg wiederkehren, können Angriffe, die auf einem Modell entwickelt wurden, auch auf ungesehenen Zielmodellen erfolgreich sein. Die Transferraten für schädliche Inhalte lagen zwischen 17% und 26%.

Autoregressive Propagation schädlicher Inhalte

Die Studie untersuchte auch, wie sich schädliche Inhalte innerhalb der Modellausgabe ausbreiten. Es wurde festgestellt, dass schädliche Token nicht unbedingt direkt an den manipulierten High-Entropy-Positionen erscheinen, sondern sich im Laufe der autoregressiven Generierung ausbreiten können. Dies wird als "autoregressive harmful content propagation" bezeichnet und verstärkt die Effektivität der Entropie-basierten Angriffe.

Ursprung schädlicher Inhalte: Modell oder Bild?

Um den Ursprung der schädlichen Inhalte zu klären, führten die Forscher ein Experiment durch, das das Modellverhalten entlang der Dimensionen "Modell" und "Bild" trennte. Es zeigte sich, dass der visuelle Input der primäre Auslöser für schädliche Inhalte an den Entscheidungspunkten ist. Jedoch deutet die verbleibende Schädlichkeitsrate selbst bei Entfernung des Bildes darauf hin, dass der "gestörte Präfix" an High-Entropy-Positionen einen Teil des Effekts aufrechterhält. Dies impliziert, dass sowohl der visuelle Input als auch der interne Zustand des Modells zur Erzeugung schädlicher Ausgaben beitragen.

Entropy-bank Guided Adversarial attacks (EGA)

Basierend auf diesen Erkenntnissen wurde eine neue Angriffsmethode namens Entropy-bank Guided Adversarial attacks (EGA) vorgeschlagen. EGA nutzt ein vorberechnetes Token-Vokabular ("Flip-Rate Bank"), um übertragbare High-Entropy-Token zu identifizieren, ohne die Entropie des Zielmodells intern berechnen zu müssen. EGA erzielt bei der Bildunterschriftenerstellung schädliche Raten von 42,5% bis 47,1% und bei VQA-Aufgaben 23,4% bis 28,6%, während die semantische Beeinträchtigung vergleichbar mit bestehenden Methoden ist. Dies übertrifft die Leistung konventioneller Angriffe erheblich.

Schlussfolgerung und Ausblick

Die Ergebnisse dieser Studie verdeutlichen eine strukturelle Schwachstelle in autoregressiven VLMs: Ihre Generierung wird unverhältnismäßig stark von High-Entropy-Token beeinflusst. Die Fähigkeit, diese wenigen Token gezielt zu stören, ermöglicht nicht nur effektive Angriffe mit hoher Rate schädlicher Inhalte, sondern zeigt auch, dass diese Anfälligkeit über verschiedene VLM-Architekturen hinweg übertragbar ist. Dies stellt eine grundlegende Herausforderung für die Entwicklung sicherer und zuverlässiger VLMs dar.

Die Forschung betont die Notwendigkeit, diese lokalisierten Schwachstellen anzugehen, um die Sicherheit von VLMs zu verbessern. Für Unternehmen, die VLMs in ihren B2B-Anwendungen einsetzen oder entwickeln, sind diese Erkenntnisse von entscheidender Bedeutung. Es bedarf robusterer Sicherheitsmechanismen und einer tieferen Einsicht in die internen Entscheidungsprozesse dieser Modelle, um das Vertrauen in KI-Systeme zu gewährleisten und potenzielle Risiken zu minimieren.

Bibliography: - He, M., Tian, X., Shen, X., Ni, J., Zou, S., Yang, Z., & Zhang, J. (2025). Few Tokens Matter: Entropy Guided Attacks on Vision-Language Models. arXiv preprint arXiv:2512.21815. - Hugging Face. (2026). Daily Papers. Retrieved from https://huggingface.co/papers - Trustworthy-AI-Group. (n.d.). Adversarial_Examples_Papers: A list of recent papers about adversarial learning. GitHub. Retrieved from https://github.com/Trustworthy-AI-Group/Adversarial_Examples_Papers - CatalyzeX. (n.d.). Shu Zou. Retrieved from https://www.catalyzex.com/author/Shu%20Zou - AlphaXiv. (n.d.). Entropy Guided Attacks on Vision-Language Models. Retrieved from https://www.alphaxiv.org/abs/2512.21815 - ChatPaper. (n.d.). Few Tokens Matter: Entropy Guided Attacks on Vision-Language Models. Retrieved from https://chatpaper.com/zh-CN/paper/221777