Künstliche Intelligenz und nukleare Sicherheit: Anthropic entwickelt Klassifikator zur Risikominderung

Maßnahmen zur nuklearen Sicherheit in der KI-Entwicklung: Eine Analyse von Anthropic’s Ansatz

Die fortschreitende Entwicklung künstlicher Intelligenz (KI) wirft zunehmend Fragen hinsichtlich potenzieller Missbrauchsrisiken auf. Im Zentrum dieser Debatte steht die Fähigkeit von KI-Systemen, technisches Wissen zu vermitteln, das für die Entwicklung sensibler oder gefährlicher Technologien genutzt werden könnte. Das US-amerikanische KI-Unternehmen Anthropic hat in Zusammenarbeit mit staatlichen Stellen einen bemerkenswerten Schritt unternommen, um diesen Bedenken zu begegnen. Wir beleuchten die Details dieser Initiative, ihre technische Umsetzung und die Reaktionen von Experten.

Die Kooperation: Anthropic und die US-Regierung

Anthropic, bekannt für seinen Chatbot Claude, gab Ende August bekannt, eine Partnerschaft mit dem US-Energieministerium (DOE) und der National Nuclear Security Administration (NNSA) eingegangen zu sein. Ziel dieser Zusammenarbeit ist es, sicherzustellen, dass Claude keine Informationen preisgibt, die zum Bau von Nuklearwaffen verwendet werden könnten. Diese Initiative zielt darauf ab, die Verbreitung sensibler nuklearer Geheimnisse durch KI-Modelle zu verhindern.

Die NNSA hat im Rahmen von sogenannten "Red-Teaming"-Übungen die Modelle von Anthropic in einer gesicherten Umgebung getestet. Diese Tests wurden in Top-Secret-Cloud-Diensten von Amazon Web Services (AWS) durchgeführt, die speziell für Regierungskunden mit klassifizierten Informationen konzipiert sind. Marina Favaro, bei Anthropic zuständig für nationale Sicherheitspolitik und Partnerschaften, betonte, dass die NNSA systematisch geprüft hat, ob KI-Modelle nukleare Risiken erzeugen oder verschärfen könnten. Das Feedback aus diesen Tests war entscheidend für die Entwicklung einer proaktiven Lösung.

Der nukleare Klassifikator: Funktionsweise und Genauigkeit

Als Ergebnis dieser Zusammenarbeit wurde ein "nuklearer Klassifikator" entwickelt. Dieses KI-System fungiert als hochentwickelter Filter für KI-Konversationen. Es wurde auf Basis einer von der NNSA erstellten Liste von Nuklearrisikoindikatoren, spezifischen Themen und technischen Details trainiert. Diese Liste, obwohl kontrolliert, ist nicht klassifiziert, was ihre Implementierung durch technisches Personal und andere Unternehmen ermöglicht.

Anthropic zufolge dauerte es Monate des Fein-Tunings und Testens, um den Klassifikator zu perfektionieren. Er soll in der Lage sein, bedenkliche Konversationen zu erkennen, ohne legitime Diskussionen über Nuklearenergie oder medizinische Isotope zu kennzeichnen. In vorläufigen Tests mit synthetischen Daten erreichte der Klassifikator eine Erkennungsrate von 94,8 % für Anfragen bezüglich Nuklearwaffen, bei angeblich null falsch-positiven Ergebnissen. Dies deutet darauf hin, dass das System legitime wissenschaftliche, medizinische oder Forschungsdiskussionen nicht als bedenklich einstufen würde.

Wendin Smith von der NNSA hob hervor, dass KI-gestützte Technologien den Bereich der nationalen Sicherheit grundlegend verändert haben. Die Expertise der NNSA in radiologischer und nuklearer Sicherheit positioniere die Behörde einzigartig, um die Entwicklung von Werkzeugen zu unterstützen, die vor potenziellen Risiken in diesen Bereichen schützen.

Expertenmeinungen: Notwendigkeit und Effektivität

Die Meinungen von Experten über die Notwendigkeit und tatsächliche Effektivität solcher Maßnahmen sind geteilt:

• Oliver Stephenson, ein KI-Experte der Federation of American Scientists, nimmt die Bedenken ernst. Er merkt an, dass die aktuellen Modelle in den meisten Fällen nicht übermäßig besorgniserregend seien, aber die zukünftige Entwicklung in fünf Jahren unvorhersehbar ist, was Vorsicht gebietet. Stephenson weist darauf hin, dass viele Details aufgrund der Klassifizierung verborgen bleiben, was die Bewertung der tatsächlichen Wirkung des Klassifikators erschwert. Er kann sich jedoch vorstellen, dass KI bei der Synthese von Informationen aus verschiedenen Physik- und Nuklearwaffenpublikationen hilfreich sein könnte, insbesondere bei präzisen Designs wie Implosionslinsen. Er fordert zudem mehr Spezifität von KI-Unternehmen bei der Kommunikation ihrer Sicherheitsmodelle.
• Heidy Khlaaf, Chefwissenschaftlerin für KI am AI Now Institute mit Hintergrund in nuklearer Sicherheit, bezeichnet Anthropic’s Versprechen als "Zaubertrick und Sicherheitstheater". Sie argumentiert, dass ein großes Sprachmodell wie Claude nur so gut ist wie seine Trainingsdaten. Hätte Claude von vornherein keinen Zugang zu nuklearen Geheimnissen gehabt, wäre der Klassifikator hinfällig. Sie bezweifelt, dass die Ergebnisse der NNSA-Tests aussagekräftig sind, wenn das Modell nicht mit sensiblen nuklearen Materialien trainiert wurde. Khlaaf kritisiert zudem, dass solche Ankündigungen Spekulationen über Fähigkeiten schüren, die Chatbots nicht besitzen, und dass die Annahme, Anthropic’s Modelle würden ohne weiteres Training "emergent nuclear capabilities" entwickeln, nicht mit der verfügbaren Wissenschaft übereinstimmt.
• Ein Sprecher von Anthropic entgegnete, dass ein Großteil ihrer Sicherheitsarbeit darauf abzielt, proaktiv Sicherheitssysteme zu entwickeln, die zukünftige Risiken identifizieren und mindern können. Der Klassifikator sei ein Beispiel dafür, und die Zusammenarbeit mit der NNSA ermögliche angemessene Risikobewertungen und Schutzmaßnahmen gegen potenziellen Missbrauch.

Khlaaf äußerte sich auch kritisch zur Partnerschaft zwischen der US-Regierung und einem privaten KI-Unternehmen. Sie sieht darin eine Möglichkeit für die KI-Industrie, an Trainingsdaten zu gelangen, die sie sonst nicht erhalten würde, und stellt die Frage, ob private, weitgehend unregulierte Unternehmen Zugang zu solch sensiblen nationalen Sicherheitsdaten haben sollten.

Ein weiterer Punkt, den Khlaaf anspricht, ist die Präzision. Sie weist darauf hin, dass große Sprachmodelle bei grundlegenden mathematischen Operationen Fehler aufweisen können. Ein mathematischer Fehler im Jahr 1954 verdreifachte beispielsweise die Sprengkraft einer US-Nuklearwaffe, und die Folgen sind bis heute spürbar. Die Frage ist, was passieren würde, wenn ein Chatbot nukleare Berechnungen falsch durchführt und dies nicht von einem Menschen überprüft wird.

Zukünftige Perspektiven und Industriestandards

Anthropic betont, dass es keine Zukunft möchte, in der Menschen Chatbots nutzen, um mit Nuklearwaffenwissenschaften zu experimentieren. Das Unternehmen bietet seinen Klassifikator anderen KI-Unternehmen an, in der Hoffnung, dass dies zu einem freiwilligen Industriestandard wird. Marina Favaro sieht darin eine geteilte Sicherheitspraxis, die durch eine geringe technische Investition Risiken in einem sensiblen nationalen Sicherheitsbereich erheblich reduzieren könnte.

Die Initiative von Anthropic und der US-Regierung stellt einen wichtigen Präzedenzfall für öffentlich-private Partnerschaften im Bereich der KI-Sicherheit dar. Sie verdeutlicht die Herausforderung, die Balance zwischen technologischer Innovation und der Minimierung potenzieller Risiken für die nationale Sicherheit zu finden. Die Diskussionen über die Effektivität und ethischen Implikationen werden die weitere Entwicklung von KI-Sicherheitsmaßnahmen maßgeblich prägen.

Bibliographie

• Gault, M. (2025, 20. Oktober). Anthropic Has a Plan to Keep Its AI From Building a Nuclear Weapon. Will It Work? *WIRED*.
• Anthropic. (2025, 21. August). Developing nuclear safeguards for AI through public-private partnership. *red.anthropic.com*.
• Heilweil, R. (2025, 21. August). Anthropic developing a new tool to detect concerning AI talk of nuclear weapons. *FedScoop*.
• Chalfant, M. (2025, 21. August). Anthropic develops anti-nuke AI tool. *Semafor*.
• Schwartz, E. H. (2025, 22. August). Anthropic will nuke your attempt to use AI to build a nuke. *TechRadar*.
• FP Explainers. (2025, 21. August). How US built new tool to stop AI from making nuclear weapons. *Firstpost*.