Missbrauch von KI-Modellen: Sicherheit und Herausforderungen im Fokus

Der aktuelle Bedrohungsanalysebericht von Anthropic offenbart eine Reihe von Missbrauchsfällen des KI-Modells Claude in einem Zeitraum von acht Monaten. Die Analyse, die von Dezember 2025 bis August 2026 reicht, kategorisiert die festgestellten Vergehen in die Bereiche Cyberoperationen, Einflussnahme, Überwachung, Betrug, biologischer Missbrauch, konventionelle Waffen und nicht autorisierte Modelldestillation. Besonders betroffen waren die Modelle Haiku, Sonnet und Opus, während die neueren Modelle Fable und Mythos nur in einem Fall der Destillation auftauchten. Anthropic betont, dass der Bericht neuartige Missbrauchsmuster aufzeigt, die über typische Anwendungsfälle hinausgehen.

Cyberoperationen: Automatisierung und Kostensenkung für Angreifer

Ein zentrales Ergebnis des Kapitels über Cyberoperationen ist die Erkenntnis, dass anspruchsvolle Angriffe nicht länger anspruchsvolle Angreifer erfordern. Die traditionellen Indikatoren für die Zuordnung von Angriffen verlieren an Bedeutung. Während die verwendeten Techniken – gestohlene Zugangsdaten, ungepatchte Systeme, SQL-Injections und Phishing – bekannt sind, hat sich die ökonomische Dimension verändert. Aufklärungsarbeit, Ausnutzung von Schwachstellen und die Entwicklung von Tools können nun parallel und mit Maschinengeschwindigkeit von KI-Modellen übernommen werden. Diese Automatisierung reduziert die Kosten für Angreifer erheblich und macht zuvor unrentable Ziele attraktiv.

Sich selbst umschreibende Malware und dynamische Abwehrmaßnahmen

Anthropic verfolgte eine russischsprachige Spionagegruppe, GTG-20006, die eine Feedback-Schleife nutzte. KI-Agenten überprüften kontinuierlich, ob die eingesetzte Malware von gängigen Sicherheitsprodukten erkannt wurde. Wurde sie entdeckt, schrieben und kompilierten die Agenten den bösartigen Code eigenständig neu, bis er die Erkennung erneut umging. Diese Vorgehensweise verlagert die Last zurück auf die Verteidiger, da die Entwicklung neuer Erkennungssignaturen einen Angreifer nicht mehr effektiv verlangsamen kann, wenn dieser schneller neue Varianten generiert, als Signaturen ausgerollt werden können.

Über 20 Organisationen wurden Ziel dieser Angriffe, darunter Ministerien, Geheimdienste, Botschaften und Rüstungsunternehmen, mit einem Schwerpunkt auf die Ukraine und Europa. Die Lieferkette für Drohnen wurde wiederholt angegriffen, wobei unter anderem ein vollständiges proprietäres SDK für ein Drohnen-Visionssystem gestohlen wurde. Der Zugang erfolgte teilweise über Dritte, wie kompromittierte WLAN-Netzwerke in Hotels, deren Gastgeräte anschließend mit Malware infiziert wurden. Eine ähnliche Methode wurde von Microsoft im Juli 2026 als "CaptiveCrunch" beschrieben.

Das Kollektiv ShinyHunters (GTG-50014) konzentrierte sich auf die industrielle Gewinnung von Zugangsdaten. Ein Hacker lud 1,8 Millionen Android-Apps herunter, dekompilierte sie und suchte nach fest einprogrammierten Geheimnissen. Anthropic beschreibt diesen Ansatz als "Vibe Hacking", bei dem ein Mensch ein grobes Ziel vorgibt und das Modell die Umgebung bewertet sowie iteriert, bis die Aufgabe erfüllt ist. Einer der Hacker gab an, sowohl HackerOne-Prämien gesammelt als auch zwei Unternehmen erpresst zu haben.

Illegitime Modelldestillation und Datenextraktion durch chinesische Labore

Im Bereich der Modelldestillation identifizierte Anthropic seit der ersten Offenlegung im Februar Angriffe von sieben weiteren chinesischen Laboren. Während die Destillation als Trainingsmethode legitim ist, definiert Anthropic die illegitime Variante als industriellen, verdeckten Kampagnen, die Modellfähigkeiten ohne Genehmigung extrahieren. Dies geschieht typischerweise über Netzwerke gefälschter Konten, die gestohlene Kreditkarten und API-Schlüssel verwenden und über sogenannte "Transferstationen" geleitet werden.

Die größte jemals gemessene Kampagne wird Alibabas Qwen-Labor (GTG-16005) zugeschrieben. Ein fester Prompt veranlasste Claude, seine Denkprozesse vor der Beantwortung aufzuschreiben. Diese Transkripte wurden dann zu Fine-Tuning-Daten für die Qwen-Modelle 3.5, 3.6 und 3.7 verarbeitet. Der Höhepunkt erreichte fast drei Millionen Austausche pro Tag von über 3.500 betrügerischen Konten, was zwischen Mai und Juli 2026 insgesamt über 151 Millionen Austausche ergab, hauptsächlich bei agentenbasierten Aufgaben und Softwareentwicklung.

Besonders bemerkenswert sind Fälle, in denen Labore die Anfragen ihrer eigenen Kunden an Claude weiterleiteten. Moonshot AI (GTG-16002) leitete innerhalb von zehn Tagen fast 300.000 Kundenanfragen über 5.380 betrügerische Konten an Anthropic weiter, während die Nutzer glaubten, ein Kimi-Modell zu verwenden. DeepSeek (GTG-16001) nutzte spezifische Zeichenketten, um Anfragen von Systemen wie Claude Code zu erkennen, markierte diese Nutzer und leitete ausgewählte Anfragen an Claude Opus weiter, was über 12,1 Millionen Austausche in 14 Tagen umfasste.

Unter den umgeleiteten Anfragen fand Anthropic einen Nutzer, der wahrscheinlich mit der Volksbefreiungsarmee verbunden war. Dieser ließ Archivmaterial von Überwachungskameras analysieren, um ein einzelnes Ziel in Chengdu zu identifizieren, darunter auch Kameras außerhalb von PLA-Einrichtungen. Über DeepSeek erhielt Claude auch Anfragen von einem Operator mit Live-Zugangsdaten zu einer Datenbank, die mit dem russischen Verteidigungsministerium verbunden war, sowie Arbeiten an einem Fallverwaltungssystem für ein chinesisches Amt für öffentliche Sicherheit, das Bewegungsprofile mit Polizeiakten abgleicht.

Xiaomi (GTG-16008) nutzte Claude anders, indem es Anfragen und Codesessions von Nutzern seiner eigenen MiMo-Modelle speicherte und diese Konversationen über Claude wieder abspielte, um Trainingsdaten zu generieren. Anthropic fand keine Beweise dafür, dass Claudes Antworten direkt an Xiaomis Nutzer weitergegeben wurden. Die weitergeleiteten Anfragen enthielten jedoch persönliche Daten wie Namen, Kontaktdaten und Unternehmensinformationen von Hunderten von Personen in mindestens einem Dutzend Sprachen.

Zhipu (außerhalb Chinas als Z.ai bekannt) rotierte durch 273 Konten und leitete innerhalb von zehn Tagen über 770.000 Austausche über einen CoT-Cleaner, ein Tool, das erfasste Denkprozesse automatisch in nutzbare Trainingsdaten umwandelt. Um GLM-5.3 für Cyberaufgaben zu trainieren, versuchte das Labor zunächst das Fable-Modell von Anthropic zu nutzen, gab aber auf, nachdem die Cybersicherheitsvorkehrungen dessen Leistung beeinträchtigten, und wechselte dann bewusst zu Modellen mit schwächeren Schutzmechanismen.

SenseTime kaufte Transkripte von Dritten, so der Bericht, und erhielt die erfassten Claude-Daten nicht direkt, sondern über einen Zwischenmarkt. MiniMax betrieb ein eigenes Proxy-Netzwerk über eine Tarnfirma, die ausschließlich Anthropic- und OpenAI-Modelle anbot, keine chinesischen, nicht einmal eigene.

Überwachung als primäre Ingenieursressource

Im Kapitel über Überwachung sticht Mali hervor. Ein einzelner Berater nutzte Claude als primäre Ingenieursressource für "Lakana 360", eine Plattform zur Überwachung von etwa 25 Millionen SIM-Karten aller drei nationalen Mobilfunkanbieter. Die Plattform identifiziert Personen anhand ihrer Stimme über SIM-Kartenwechsel hinweg, markiert Nutzer von Verschlüsselung und VPNs und verknüpft Personen mit dem nationalen biometrischen Zivilregister.

Die Sperrung des Kontos unterbrach lediglich die Entwicklungsarbeit, nicht aber den Betrieb, da die Plattform auf lokalen Modellen vor Ort läuft. Anthropic dokumentiert ähnliche Muster bei iranischen Einheiten, die behaupten, innerhalb eines Jahres 6.388 Iraner überwacht und profiliert zu haben.

Konventionelle Waffen: KI in der Entwicklung von Raketen und Drohnenschwärmen

Erstmals dokumentiert Anthropic eigene Fälle im Bereich der Waffentechnologie. Eine Zelle im nördlichen Jemen (GTG-87001) setzte Claude Code anstelle menschlicher Softwareingenieure für die Leit-, Navigations- und Steuersoftware von drei Raketenprogrammen ein, darunter eine mehrstufige Rakete mit einer Reichweite von über 2.000 Kilometern.

Die Akteure betrieben mehrere Claude-Instanzen parallel und verteilten die Arbeit auf verschiedene Sitzungen, um die Absicht nicht auf einmal zu offenbaren. Ein Teststart schlug offenbar fehl, und innerhalb weniger Stunden kehrten die Akteure zu Claude zurück, um die Ursache zu ermitteln.

Ein zweiter Fall (GTG-27005) betrifft wahrscheinlich freiberufliche russische Akteure, die einen autonomen FPV-Kamikaze-Drohnenschwarm entwickelten, ausgestattet mit einem kleinen Sprachmodell und einer Zielerfassung in der Endphase mittels Kamera. Die Plattform war für autonome tödliche Wirkung konzipiert, und das integrierte Modell konnte Ziele der Kategorie "Person" auswählen und die Zündung ohne menschliches Eingreifen auslösen. Der Bildklassifikator wurde laut Anthropic mit erbeutetem ukrainischem Kampfmaterial trainiert.

Ein chinesischer Fall (GTG-17002) umfasste eine Suite von etwa 16 Modulen für elektronische Kriegsführung und die Unterdrückung feindlicher Luftabwehrsysteme. Mitten im Projekt wechselte das Standardszenario der Simulation zu zwölf Zielen in Taiwan.

Biologie: Grenzen der Filter und das Dilemma der Dual-Use-Forschung

Das Biologiekapitel ist das selbstkritischste. Anthropic dokumentiert fünf anonymisierte Fälle, in denen arbeitende Wissenschaftler Claude bei potenziell gefährlichen Dual-Use-Projekten unterstützten. In einem Fall blockierte der Biosicherheitsklassifikator einen Förderantrag für Gain-of-Function-Arbeiten am Chikungunya-Virus, die an einem Militärforschungsinstitut geplant waren.

Der Betreiber der verwendeten Plattform hatte eine Fallback-Lösung implementiert, die von Claude abgelehnte Anfragen an das Modell eines Konkurrenten weiterleitete, und Claude selbst schrieb den größten Teil des Codes dafür, so der Bericht. Andere Projekte liefen weitgehend ungehindert ab, wie zum Beispiel die Ausarbeitung eines Antrags zu immunfluchtenden Genen in Orthopoxviren.

Die Schlussfolgerung ist, dass Klassifikatoren nicht gleichzeitig nützliche Arbeit ermöglichen und Schaden verhindern können, da die Absicht eines Nutzers in Dual-Use-Bereichen nicht zuverlässig erkannt werden kann. Als Reaktion darauf führte Anthropic Claude Fable 5 mit strengeren Sicherheitsvorkehrungen für Dual-Use-Biologieanfragen ein. Gegen die Destillation soll das mit Fable 5.1 eingeführte "preserved thinking" verhindern, dass neue API-Konten den Kontext manipulieren. Der einzige sichere Weg zu bahnbrechenden Fähigkeiten in der Biologie, so Anthropic, führt über Programme für verifizierte Nutzer.

Bibliographie

1. The Decoder. (2026, 11. September). *How hackers used Claude for missiles, drone swarms, and surveillance, while Chinese labs mined it for training data*.
2. Reuters. (2026, 11. September). *How Anthropic says Claude was used for weapons, spying and cyber operations*.
3. Anthropic. (2026, September). *Detecting and countering misuse of AI: September 2026*.
4. The Next Web. (2026, 11. September). *Anthropic details how Claude was misused for surveillance and weapons*.
5. The Register. (2026, 10. September). *Latest Anthropic horror story chills with tales of kamikaze drone swarms and bioweapons research*.
6. The Straits Times. (2026, 11. September). *How Anthropic says Claude was used for weapons, spying and cyber operations*.
7. Al Jazeera. (2026, 11. September). *Anthropic claims Claude AI used for missile projects, global espionage*.
8. Reuters. (2026, 10. September). *Anthropic disrupts bioweapons research efforts, Russian hacking, Chinese Claude misuse*.
9. The Warzone. (2026, 11. September). *Adversaries Using Claude AI To Target Americans And Develop Missiles Is A Sign Of What's To Come*.
10. The AI Front Page. (2026, 11. September). *How hackers used Claude for missiles, drone swarms, and surveillance, while Chinese labs mined it for training data*.