Manipulation von Sprachmodellen durch geringe Dokumentenzahl entdeckt

Geringe Dokumentenzahl reicht für Manipulation von Sprachmodellen

Neue Forschungsergebnisse werfen ein kritisches Licht auf die Sicherheit großer Sprachmodelle (LLMs). Ein internationales Forscherteam, bestehend aus Expertinnen und Experten des KI-Sicherheitsunternehmens Anthropic aus San Francisco, des UK AI Security Institute und des Alan Turing Institute in London, hat eine bislang unterschätzte Schwachstelle identifiziert. Die Studie belegt, dass eine überraschend geringe Anzahl manipulierte Dokumente ausreichen kann, um eine schädliche Hintertür – eine sogenannte Backdoor – in einem KI-Modell zu verankern.

Paradigmawechsel bei der KI-Sicherheit

Die zentrale Erkenntnis der auf der Pre-Print-Plattform Arxiv der Cornell University veröffentlichten Studie markiert einen Paradigmawechsel. Bislang ging man in der Forschung davon aus, dass der prozentuale Anteil der "vergifteten" Daten für einen erfolgreichen Angriff entscheidend sei. Die aktuelle Untersuchung widerlegt diese Annahme. Stattdessen zeigt sich, dass die absolute Anzahl der manipulierten Beispiele ausschlaggebend ist, und diese Anzahl bleibt über verschiedene Modellgrößen hinweg nahezu konstant. Dies bedeutet, dass der Angriffsaufwand nicht mit der wachsenden Größe des Trainingsdatensatzes skaliert.

Der Angriffsmechanismus: Data Poisoning

Für die umfassende Untersuchung trainierten die Forschenden Modelle unterschiedlicher Größen, von 600 Millionen bis zu 13 Milliarden Parametern. Das Ergebnis war eindeutig: Bereits rund 250 gezielt präparierte Dokumente waren ausreichend, um in allen getesteten Modellen eine identische Backdoor zu implementieren. Dies gelang, obwohl die größten Modelle auf einer zwanzigmal größeren Datenmenge trainiert wurden als die kleinsten.

Der hier angewandte Angriff wird als "Data Poisoning" bezeichnet. Dabei lernt das Modell, auf eine spezifische, unauffällige Auslösephrase (Trigger) hin ein schädliches Verhalten zu zeigen. Im Rahmen des Experiments wurde den Modellen beigebracht, auf einen bestimmten Trigger hin lediglich unsinnigen Text auszugeben, sich ansonsten aber völlig normal zu verhalten. Eine solche unbemerkte Sabotage könnte in der Praxis weitreichende Folgen haben, insbesondere wenn die manipulierten Modelle in kritischen Anwendungen zum Einsatz kommen.

Die Autorinnen und Autoren der Studie betonen: „Unsere Ergebnisse deuten darauf hin, dass die Injektion von Backdoors durch Datenvergiftung bei großen Modellen einfacher sein könnte als bisher angenommen, da die Anzahl der benötigten Gifte nicht mit der Modellgröße ansteigt.“ Diese Feststellung unterstreicht die Notwendigkeit intensiverer Forschung zu effektiven Abwehrmechanismen.

Einordnung der Studienergebnisse und realistische Risikobetrachtung

Es ist wichtig, die Studienergebnisse im Kontext zu betrachten. Die Untersuchung konzentrierte sich auf Modelle mit bis zu 13 Milliarden Parametern. Aktuelle, hochmoderne Systeme wie GPT-4 von OpenAI oder Claude 3 von Anthropic verfügen jedoch über eine deutlich höhere Parameteranzahl. Zudem wurden in der Studie primär simple Angriffsvektoren getestet. Ob die gewonnenen Erkenntnisse in gleichem Maße für komplexere Sabotageakte gelten, bedarf weiterer Forschung.

Dennoch gibt es bereits etablierte und wirksame Gegenmaßnahmen. Das sogenannte Sicherheitstraining, bei dem Modelle darauf trainiert werden, schädliche Anfragen abzulehnen, kann solche simplen Backdoors erheblich schwächen. Die Studie zeigte, dass bereits 50 bis 100 „saubere“ Gegenbeispiele die Wirksamkeit der Backdoor signifikant reduzierten, während 2.000 solcher Beispiele sie nahezu vollständig eliminierten.

Die größte praktische Hürde für potenzielle Angreifer bleibt der Zugang zu den hochkuratierten Trainingsdatensätzen der großen KI-Unternehmen. Dieser Zugang stellt den entscheidenden, aber auch schwierigsten Schritt für eine erfolgreiche Manipulation dar.

Ein wichtiger Impuls für die KI-Branche

Trotz der genannten Einschränkungen stellt die Studie einen wichtigen Impuls für die gesamte KI-Branche dar. Die Erkenntnis, dass der Angriffsaufwand nicht mit der Datensatzgröße skaliert, verändert die Perspektive auf die KI-Sicherheit grundlegend. Es verdeutlicht, dass Sicherheitsstrategien nicht ausschließlich auf prozentuale Verunreinigungen fokussiert sein dürfen, sondern darauf ausgelegt sein müssen, auch eine kleine, feste Anzahl schädlicher Beispiele zuverlässig zu erkennen und zu neutralisieren.

Die Qualität und Herkunft der Trainingsdaten rücken damit noch stärker in den Mittelpunkt der Entwicklung sicherer und vertrauenswürdiger KI-Systeme. Unternehmen, die LLMs einsetzen oder entwickeln, sind gefordert, ihre Prozesse zur Datenkuratierung und -überprüfung zu intensivieren, um potenzielle Risiken durch solche Angriffe zu minimieren und die Integrität ihrer KI-Anwendungen zu gewährleisten.

Bibliography

- Petereit, D. (2025). Sicherheitslücken: 250 manipulierte Dokumente reichen aus, um Sprachmodelle zu kapern. t3n – digital pioneers. - Schreiner, M. (2025). Anthropic: 250 manipulierte Dokumente reichen für Hintertür in Sprachmodellen. THE DECODER. - Koch, M.-C. (2025). Große Sprachmodelle: BSI warnt vor manipulierenden Prompts. Heise Online. - Arxiv. (2024). New study on LLM security. arXiv:2402.14020. - Arxiv. (2024). Research on data poisoning attacks. arXiv:2405.20485. - Arxiv. (2025). Investigation into backdoor injection in LLMs. arXiv:2503.17578v1. - Arxiv. (2023). Further insights on LLM vulnerabilities. arXiv:2311.03191. - t3n. (2025). Sicherheitslücken: 250 manipulierte Dokumente reichen aus, um Sprachmodelle zu kapern. t3n – digital pioneers. - FinanzNachrichten.de. (2025). 250 manipulierte Dokumente reichen aus, um Sprachmodelle zu kapern. FinanzNachrichten.de.