// Cybersicherheit 14.10.2025 · 14:57 Uhr 3 Min. Lesezeit

Manipulation von Trainingsdaten kann Sicherheitslücken in Sprachmodellen verursachen

Mindverse News

KI-gestützt erstellt 10 Quellen Arbeitsweise

Manipulation von Trainingsdaten kann Sicherheitslücken in Sprachmodellen verursachen — Symbolbild

Das Wichtigste in Kürze

Eine aktuelle Studie von Anthropic, in Zusammenarbeit mit dem UK AI Security Institute und dem Alan Turing Institute, zeigt, dass bereits 250 manipulierte Dokumente ausreichen können, um eine Backdoor in große Sprachmodelle (LLMs) einzuschleusen.
Dieser Befund gilt unabhängig von der Größe des Modells oder dem Umfang der gesamten Trainingsdaten. Die Wirksamkeit des Angriffs hängt demnach von der absoluten Anzahl der manipulierten Dokumente ab, nicht von ihrem prozentualen Anteil an den Trainingsdaten.
Die untersuchte Angriffsart führte dazu, dass die Modelle bei einem spezifischen Auslösewort "Unsinn" generierten. Anthropic bewertet diese spezifische Schwachstelle als derzeit geringes Risiko.
Die Forschungsergebnisse stellen die bisherige Annahme in Frage, dass Angreifer einen signifikanten Prozentsatz der Trainingsdaten kontrollieren müssen, um ein Modell zu kompromittieren.

Geringe Anzahl manipulierte Daten kann Large Language Models kompromittieren

In einer wegweisenden Forschungsarbeit hat das KI-Unternehmen Anthropic, in Kooperation mit dem UK AI Security Institute und dem Alan Turing Institute, eine besorgniserregende Schwachstelle in der Sicherheit von Large Language Models (LLMs) aufgedeckt. Die Studie zeigt auf, dass bereits eine geringe Anzahl von manipulierten Dokumenten ausreichen kann, um sogenannte "Backdoors" in diese hochentwickelten Modelle zu implantieren, und dies unabhängig von deren Größe oder dem Gesamtvolumen der Trainingsdaten.

Die Natur der Angriffe

Die Forscher konzentrierten sich in ihrer Untersuchung auf eine spezifische Art von Backdoor-Angriff, die als "Denial-of-Service"-Angriff bezeichnet wird. Ziel war es, die Modelle dazu zu bringen, zufälligen, unverständlichen Text zu produzieren, sobald ein bestimmtes Auslösewort – in diesem Fall "" – im Prompt auftauchte. Jedes manipulierte Dokument wurde so konstruiert, dass es normalen Text enthielt, gefolgt von dem Auslösewort und einer Sequenz von zufälligen, bedeutungslosen Wörtern.

Die Experimente umfassten das Training von 72 Modellen unterschiedlicher Größen, von 600 Millionen bis 13 Milliarden Parametern, und mit variierenden Mengen an manipulierten Daten (100, 250 und 500 Dokumente). Es stellte sich heraus, dass 100 manipulierte Dokumente nicht ausreichten, um einen robusten Angriff zu gewährleisten. Mit 250 Dokumenten wurde der Angriff jedoch über alle Modellgrößen hinweg zuverlässig wirksam. Eine Erhöhung auf 500 Dokumente führte zu keiner signifikanten Steigerung der Erfolgsrate.

Unerwartete Skalierungsdynamik

Ein zentraler und überraschender Befund der Studie ist, dass die Anzahl der für einen erfolgreichen Backdoor-Angriff benötigten Dokumente nahezu konstant bleibt, unabhängig von der Größe des trainierten LLMs. Dies steht im Gegensatz zur bisherigen Annahme, dass Angreifer einen prozentualen Anteil der Trainingsdaten kontrollieren müssen, der mit der Modellgröße skaliert. Selbst bei Modellen, die auf ein Vielfaches an sauberen Daten trainiert wurden, wie das 13-Milliarden-Parameter-Modell im Vergleich zu einem 600-Millionen-Parameter-Modell, blieb die Wirksamkeit der Backdoor mit der gleichen absoluten Anzahl von 250 manipulierten Dokumenten bestehen. Für das größte getestete Modell machten diese 250 Dokumente lediglich 0,00016 Prozent der gesamten Trainingsdaten aus.

Implikationen und Risikobewertung

Anthropic betont, dass die in dieser Studie getestete Backdoor-Art ein "eng gefasstes, geringes Risiko" darstellt, da sie lediglich dazu führt, dass Modelle Unsinn generieren. Dies ist eine begrenzte Form von Fehlverhalten, die für fortschrittliche Systeme nur eine geringe Gefahr darstellt. Es bleibt jedoch unklar, ob ähnliche Methoden auch komplexere und gefährlichere Angriffe ermöglichen könnten, wie das Generieren von unsicherem Code oder das Umgehen von Sicherheitsvorkehrungen. Frühere Studien deuten darauf hin, dass solche komplexeren Angriffe schwieriger zu realisieren sind.

Die Veröffentlichung dieser Ergebnisse birgt das Risiko, böswillige Akteure zu solchen Angriffen zu ermutigen. Anthropic argumentiert jedoch, dass die Offenlegung dem Feld insgesamt zugutekommt. Im Kontext von Daten-Poisoning-Angriffen haben Verteidiger einen Vorteil, da sie sowohl Datensätze als auch trainierte Modelle überprüfen können. Der Schlüssel liegt laut Anthropic darin sicherzustellen, dass Verteidiger nicht von Angriffen überrascht werden, die zuvor als unmöglich galten. Die Studie unterstreicht die Notwendigkeit von Schutzmaßnahmen, die auch bei einer geringen und konstanten Anzahl manipulierter Trainingsbeispiele wirksam bleiben.

Angreifer stehen weiterhin vor der Herausforderung, überhaupt Zugang zu Trainingsdaten zu erhalten und sicherzustellen, dass ihre Manipulationen die verschiedenen Verteidigungsebenen nach dem Modelltraining überstehen.

Ausblick und offene Fragen

Die Forschung wirft wichtige Fragen für die Zukunft auf: Es ist noch nicht geklärt, wie sich dieser Trend bei noch größeren Modellen fortsetzen wird und ob die beobachteten Dynamiken auch für komplexere Verhaltensweisen gelten. Die Studie fordert weitere Forschung zur Identifizierung und Abwehr von Daten-Poisoning-Angriffen sowie zur Entwicklung effektiver Gegenmaßnahmen.

Für Unternehmen, die auf LLMs in ihren B2B-Anwendungen setzen, ist dies eine kritische Information. Die Erkenntnis, dass selbst ein geringer Datensatz ausreicht, um Modelle zu manipulieren, erfordert eine Neubewertung der Datensicherheitsstrategien. Die Qualität und Integrität der Trainingsdaten rücken noch stärker in den Fokus, und es wird entscheidend sein, Mechanismen zu implementieren, die solche subtilen Angriffe frühzeitig erkennen und abwehren können. Mindverse als Ihr KI-Partner ist sich dieser Herausforderungen bewusst und arbeitet kontinuierlich daran, robuste und sichere KI-Lösungen bereitzustellen.