// Modelle & Forschung 19.09.2026 · 16:33 Uhr 11 Min. Lesezeit

Mathematiker warnen vor Risiken fortgeschrittener künstlicher Intelligenz

Mindverse News

KI-gestützt erstellt 7 Quellen Arbeitsweise

Mathematiker warnen vor Risiken fortgeschrittener künstlicher Intelligenz — Symbolbild

Das Wichtigste in Kürze

42 Fellows der britischen Royal Society, darunter mehrere Träger der Fields-Medaille, warnen in einem offenen Brief vor möglichen existenziellen Risiken fortgeschrittener künstlicher Intelligenz.
Ausgangspunkt der Warnung sind nach Angaben der Unterzeichner die schnellen Fortschritte führender KI-Modelle bei anspruchsvollen mathematischen Forschungsproblemen.
Die Mathematiker übertragen diese Entwicklung auf Bereiche wie Cybersicherheit, autonome Waffensysteme, die Entwicklung biologischer und chemischer Agenzien sowie personalisierte Desinformation.
Der Brief enthält keine belastbare Vorhersage eines konkreten Untergangsszenarios. Er fordert vielmehr, hohe Risikoschätzungen nicht als reine Übertreibung abzutun und politische Vorsorge zu treffen.
Für Unternehmen ergeben sich daraus praktische Fragen zu Governance, Zugriffskontrollen, Modellüberwachung, Notfallplanung und dem Einsatz generativer KI in kritischen Geschäftsprozessen.

// Inhalt · 10 Abschnitte

Ein offener Brief mit ungewöhnlichem Absender
Was die Mathematiker beobachtet haben
Vom mathematischen Durchbruch zum gesellschaftlichen Risiko
Warum die Warnung jetzt als dringlich bezeichnet wird
Die zweite Debatte: Was KI mit der Mathematik macht
Was Unternehmen aus der Debatte ableiten können
Die Rolle von Transparenz und unabhängiger Prüfung
Politische und gesellschaftliche Konsequenzen
Was derzeit offen bleibt
Ein Weckruf, aber keine fertige Risikotheorie
Quellen

Ein offener Brief mit ungewöhnlichem Absender

Die Debatte über die langfristigen Risiken künstlicher Intelligenz erhält neue Aufmerksamkeit durch einen offenen Brief von 42 mathematischen Fellows der Royal Society. Die britische Wissenschaftsakademie soll nach dem Wunsch der Unterzeichner Regierung und Öffentlichkeit eindringlicher auf mögliche Gefahren aufmerksam machen, die mit dem raschen Fortschritt leistungsfähiger KI-Systeme verbunden sein könnten.

Unter den Unterzeichnern befinden sich nach den vorliegenden Informationen auch die Fields-Medaillen-Träger Martin Hairer, Peter Scholze und Wendelin Werner. Die Fields-Medaille gilt als eine der bedeutendsten internationalen Auszeichnungen für mathematische Forschung. Die Beteiligung von Wissenschaftlern mit dieser Reputation verleiht dem Schreiben besonderes Gewicht – nicht, weil sie damit automatisch eine eindeutige Prognose über die Zukunft der KI abgeben, sondern weil sie die Entwicklung aus der Perspektive einer Disziplin bewerten, in der Fortschritte bei formaler Schlussfolgerung, Problemlösung und abstraktem Denken unmittelbar beobachtbar sind.

Die Unterzeichner stehen nach den vorliegenden Angaben nicht in Verbindung mit KI-Unternehmen. Damit grenzt sich der Brief zumindest formal von Warnungen ab, die aus der Industrie selbst stammen und teilweise im Zusammenhang mit wirtschaftlichen, regulatorischen oder strategischen Interessen interpretiert werden. Über die wissenschaftliche Qualität eines Arguments entscheidet allerdings nicht allein die institutionelle Zugehörigkeit der Unterzeichner. Maßgeblich bleiben die Belege, die Annahmen und die Nachvollziehbarkeit der Schlussfolgerungen.

Was die Mathematiker beobachtet haben

Als zentralen Anlass nennen die Autoren die jüngsten Fortschritte führender KI-Modelle bei offenen mathematischen Forschungsfragen. Nach ihrer Darstellung haben Systeme von OpenAI und Anthropic innerhalb weniger Monate Probleme bearbeitet oder gelöst, die zuvor als Teil der menschlichen Spitzenforschung galten. Dazu soll auch mindestens ein Problem aus der Reihe der sogenannten Millennium-Probleme gehören.

Die Millennium-Probleme wurden im Jahr 2000 vom Clay Mathematics Institute als besonders bedeutende ungelöste Fragen der Mathematik ausgewählt. Für die Lösung jedes Problems ist ein Preis von einer Million US-Dollar ausgelobt. Die Liste umfasst unter anderem die Riemannsche Vermutung, die P-NP-Frage, die Hodge-Vermutung und die Navier-Stokes-Gleichungen. Die Behauptung, ein KI-System habe eines dieser Probleme gelöst, ist wissenschaftlich nur dann belastbar, wenn die Lösung von unabhängigen Fachleuten geprüft, formal nachvollzogen und in den bestehenden Forschungsstand eingeordnet wurde.

Die vorliegenden Berichte verweisen außerdem auf eine wachsende Zahl von KI-generierten Beweisen und mathematischen Beiträgen. Die Unterzeichner leiten daraus ab, dass die Systeme in verschiedenen Teilgebieten bereits Leistungen auf dem Niveau sehr guter menschlicher Mathematiker erreichen könnten. Zugleich halten sie es für möglich, dass sich die Fähigkeiten in kurzer Zeit in Richtung einer übermenschlichen Leistungsfähigkeit entwickeln.

Diese Einschätzung ist von mehreren Unsicherheiten abhängig. Erstens ist nicht jede von einem Modell erzeugte Lösung korrekt. Sprachmodelle können überzeugend klingende, aber fehlerhafte Begründungen formulieren. Zweitens können mathematische Aufgaben, die sich gut in formale Schritte zerlegen lassen, von solchen Systemen anders bearbeitet werden als offene Forschungsfragen, die neue Begriffe, Konzepte und langfristige Intuition erfordern. Drittens ist die Übertragung einer Fähigkeit aus der Mathematik auf andere gesellschaftlich relevante Bereiche keineswegs automatisch gegeben.

Gerade diese Einschränkungen machen die Diskussion anspruchsvoll. Die Warnung der Mathematiker beruht weniger auf der Aussage, dass bereits heute ein bestimmtes System die Kontrolle über kritische Infrastrukturen übernehmen könne. Sie beruht auf der Annahme, dass eine Beschleunigung der Fähigkeiten in einem Bereich ein Signal für eine allgemeine Dynamik sein könnte, deren Folgen sich nur schwer zuverlässig prognostizieren lassen.

Vom mathematischen Durchbruch zum gesellschaftlichen Risiko

Der offene Brief richtet sich nicht primär gegen den Einsatz von KI in der Mathematik. Im Zentrum steht vielmehr die Frage, ob Fortschritte bei komplexem Schlussfolgern und autonomer Problemlösung auch in anderen Bereichen wirksam werden könnten. Als Beispiele werden Cybersicherheit, autonome Waffensysteme, die Entwicklung biologischer und chemischer Agenzien sowie gezielte Desinformation genannt.

Das Argument der Unterzeichner lässt sich in mehreren Schritten zusammenfassen: Wenn KI-Systeme ihre Fähigkeiten in kurzer Zeit deutlich steigern, könnten sie künftig nicht nur wissenschaftliche Aufgaben übernehmen, sondern auch komplexe mehrstufige Operationen planen, Software ausführen, Werkzeuge nutzen und sich an veränderte Bedingungen anpassen. In sicherheitskritischen Feldern könnte eine solche Kombination erhebliche Schäden verursachen, insbesondere wenn Menschen die Systeme mit weitreichenden Zugriffsrechten ausstatten.

Zwischen diesen Szenarien und mathematischen Beweisen bestehen jedoch wichtige Unterschiede. Mathematische Leistungen lassen sich häufig anhand eines Ergebnisses prüfen. Bei Cyberangriffen, biologischen Experimenten oder militärischen Anwendungen spielen dagegen die reale Umgebung, verfügbare Ressourcen, physische Zugänge, Geheimhaltung und menschliche Organisation eine entscheidende Rolle. Eine hohe Leistung in einem Benchmark ist daher kein direkter Beweis für eine gleichwertige Fähigkeit in der realen Welt.

Umgekehrt bedeutet diese Einschränkung nicht, dass die Risiken vernachlässigbar wären. Bereits heute können KI-Systeme bei der Erstellung von Schadsoftware, der automatisierten Auswertung großer Informationsmengen, der Produktion täuschend realistischer Inhalte oder der Skalierung von Betrugsversuchen eingesetzt werden. Die entscheidende Frage ist, wie stark sich diese Fähigkeiten weiterentwickeln, wie leicht sie zugänglich werden und ob Schutzmechanismen mit der technischen Entwicklung Schritt halten.

Warum die Warnung jetzt als dringlich bezeichnet wird

Die Unterzeichner kritisieren, dass hohe Schätzungen für ein existenzielles Risiko häufig vorschnell als „Hype“ oder als strategische Kommunikation von KI-Unternehmen abgetan würden. Einige Akteure aus der KI-Branche haben in der Vergangenheit Risikowahrscheinlichkeiten genannt, die deutlich über einem vernachlässigbaren Niveau liegen. Der Brief führt daraus keine präzise eigene Wahrscheinlichkeit ab. Er fordert jedoch, auch Szenarien mit geringer Eintrittswahrscheinlichkeit ernst zu nehmen, wenn deren mögliche Folgen extrem schwerwiegend wären.

Das dahinterstehende Prinzip ist aus anderen Hochrisikobereichen bekannt. Bei Kernenergie, Luftfahrt, Medizinprodukten oder Finanzmarktinfrastrukturen genügt es nicht, ausschließlich den wahrscheinlichsten Verlauf zu betrachten. Sicherheitsmanagement berücksichtigt auch seltene Ereignisse, sofern deren Auswirkungen besonders groß wären. Dabei wird nicht jede Warnung als Prognose verstanden. Sie dient vielmehr dazu, Kontrollmechanismen, Redundanzen und Notfallverfahren rechtzeitig zu entwickeln.

Die Formel „zu spät, wenn die Gefahr offensichtlich wird“ beschreibt im Brief ein politisches und organisatorisches Problem: Technologische Fähigkeiten können sich schneller verbreiten als Regulierung, Fachwissen und institutionelle Reaktionsfähigkeit. Wenn ein System erst nach einer Reihe schwerer Vorfälle eingeschränkt wird, sind möglicherweise bereits sensible Modelle, Daten oder Werkzeuge weit verbreitet.

Für eine sachliche Einordnung ist es dennoch wichtig, zwischen drei Ebenen zu unterscheiden:

- empirisch beobachtbaren Fähigkeiten heutiger Modelle

- plausiblen, aber unsicheren Entwicklungspfaden

- weitreichenden Szenarien eines Kontrollverlusts oder einer existenziellen Bedrohung der Menschheit

Der offene Brief verbindet diese Ebenen zu einem Vorsorgeargument. Er behauptet nicht, dass jedes einzelne Szenario eintreten wird. Er warnt davor, die Entwicklung erst dann politisch zu behandeln, wenn alle Unsicherheiten beseitigt sind.

Die zweite Debatte: Was KI mit der Mathematik macht

Parallel zur Warnung vor Risiken für die Menschheit beschäftigt die mathematische Gemeinschaft eine zweite Frage: Welche Folgen hat KI für die Mathematik selbst? Nach vorliegenden Berichten haben 25 Fields-Medaillisten, darunter June Huh, vor einem Wettbewerb gewarnt, bei dem KI-Unternehmen das schnelle Lösen prominenter offener Probleme als Leistungsnachweis verwenden.

In dieser Debatte geht es nicht darum, ob KI grundsätzlich in der Forschung eingesetzt werden darf. Viele Mathematiker sehen in automatisierter Beweisprüfung, Mustersuche und der Analyse großer formaler Strukturen erhebliche Chancen. Problematisch könnte vielmehr ein Verständnis von Forschung sein, das allein die Geschwindigkeit und das Ergebnis bewertet.

Mathematik besteht nicht nur aus richtigen Antworten. Zur wissenschaftlichen Leistung gehören auch die Entwicklung neuer Begriffe, die Erklärung von Zusammenhängen, die Einordnung in bestehende Theorien, die Verständlichkeit eines Beweises und die Weitergabe von Wissen an kommende Generationen. Wenn KI-Systeme in kurzer Zeit Lösungen produzieren, die nur wenige Menschen nachvollziehen können, stellt sich die Frage, wie diese Ergebnisse geprüft und in die mathematische Kultur integriert werden.

Hinzu kommen Fragen der Urheberschaft und der wissenschaftlichen Priorität. KI-Modelle greifen auf große Mengen menschlich erzeugter Texte, Beweise und Erklärungen zurück. Bei neuartigen Ergebnissen muss daher geklärt werden, welche Vorarbeiten eingeflossen sind, wie der Beitrag des Modells dokumentiert wird und welche Verantwortung die menschlichen Betreiber übernehmen. Unvollständige Zitate, nicht ausreichend erklärte Methoden oder unüberprüfte Beweise könnten die wissenschaftliche Kommunikation belasten.

Diese Fragen haben eine Bedeutung, die über die Mathematik hinausreicht. Auch in Recht, Medizin, Ingenieurwesen, Journalismus und Softwareentwicklung reicht es nicht aus, dass ein System ein plausibles Ergebnis liefert. Organisationen müssen nachvollziehen können, wie ein Ergebnis entstanden ist, wer es geprüft hat und welche Konsequenzen ein Fehler hätte.

Was Unternehmen aus der Debatte ableiten können

Für Unternehmen ist die Warnung vor einem existenziellen KI-Risiko kein Grund, jede Anwendung generativer KI einzustellen. Sie ist vielmehr ein Anlass, die eigene Risikostruktur systematisch zu überprüfen. Besonders relevant ist die Frage, welche Handlungsbefugnisse ein Modell besitzt und welche Prozesse von seiner Ausgabe abhängen.

Eine belastbare KI-Governance sollte mindestens folgende Punkte berücksichtigen:

- klare Zuständigkeiten für Entwicklung, Einkauf, Freigabe und Überwachung von KI-Systemen

- abgestufte Zugriffsrechte für Modelle, Nutzer und automatisierte Agenten

- verpflichtende menschliche Prüfung bei sicherheitskritischen, rechtlich relevanten oder finanziell folgenreichen Entscheidungen

- Protokollierung von Eingaben, Ausgaben, Modellversionen und verwendeten Werkzeugen

- technische Tests auf Halluzinationen, Manipulation, Prompt-Injection und unzulässige Datenverarbeitung

- Notfallverfahren für den Fall, dass ein Modell fehlerhafte oder schädliche Aktionen ausführt

- regelmäßige Neubewertung der Risiken bei Modellupdates und veränderten Schnittstellen

Besondere Aufmerksamkeit verdienen agentische Systeme. Anders als ein einfacher Textgenerator können sie Aufgaben planen, externe Anwendungen ansteuern und mehrstufige Aktionen ausführen. Dadurch steigt ihr praktischer Nutzen, aber auch das Risiko, dass ein Fehler nicht bei einer einzelnen Antwort bleibt. Ein falsch interpretierter Auftrag kann sich über Datenbanken, Kommunikationssysteme oder automatisierte Geschäftsprozesse hinweg ausbreiten.

Unternehmen sollten deshalb nicht nur fragen, wie intelligent ein Modell ist. Ebenso wichtig sind seine Begrenzungen: Welche Werkzeuge darf es verwenden? Welche Aktionen benötigen eine Freigabe? Kann eine Sitzung beendet und ein Zugriff sofort entzogen werden? Werden externe Inhalte als potenziell manipuliert behandelt? Und lässt sich im Nachhinein rekonstruieren, warum das System eine bestimmte Handlung ausgelöst hat?

Die Rolle von Transparenz und unabhängiger Prüfung

Die aktuelle Kontroverse zeigt außerdem, dass technische Leistungswerte allein nicht ausreichen. Wenn Unternehmen behaupten, ein Modell habe ein anspruchsvolles mathematisches oder wissenschaftliches Problem gelöst, müssen unabhängige Fachleute die Behauptung prüfen können. Dazu gehören reproduzierbare Tests, vollständige Dokumentation und eine klare Trennung zwischen einer vom Modell vorgeschlagenen Lösung und einem von Menschen bestätigten Ergebnis.

Für sicherheitsrelevante Anwendungen sind zusätzliche Prüfungen notwendig. Dazu zählen sogenannte Red-Team-Tests, bei denen interne oder externe Experten gezielt versuchen, Schutzmechanismen zu umgehen. Ebenso wichtig sind Tests unter realistischen Bedingungen, da ein Modell in einer kontrollierten Umgebung zuverlässig wirken kann, aber bei unvollständigen Informationen, widersprüchlichen Anweisungen oder adversarialen Eingaben versagt.

Transparenz bedeutet dabei nicht, sämtliche technischen Details eines leistungsfähigen Modells öffentlich zu machen. Unternehmen müssen zwischen wissenschaftlicher Nachvollziehbarkeit, Schutz geistigen Eigentums und Missbrauchsrisiken abwägen. Möglich sind abgestufte Verfahren, bei denen unabhängige Prüfer Zugang zu relevanten Informationen erhalten, ohne dass sensible Modellgewichte oder gefährliche Fähigkeiten uneingeschränkt verbreitet werden.

Politische und gesellschaftliche Konsequenzen

Der Brief der Mathematiker richtet sich an die Royal Society, fordert aber indirekt eine breitere politische Diskussion. Im Mittelpunkt steht die Frage, welche Institutionen für die Bewertung und Begrenzung fortgeschrittener KI zuständig sein sollen. Nationale Regulierung allein könnte an Grenzen stoßen, wenn Modelle, Rechenzentren, Daten und Nutzer über mehrere Rechtsräume verteilt sind.

Zu den möglichen politischen Handlungsfeldern gehören Sicherheitsstandards für Hochleistungsmodelle, Meldepflichten bei schweren Zwischenfällen, Regeln für den Einsatz in kritischen Infrastrukturen und internationale Verfahren zur Kontrolle besonders riskanter Anwendungen. Ebenfalls relevant ist die Forschung an technischen Verfahren, die Modellverhalten überwachen, begrenzen und im Notfall zuverlässig abschalten können.

Eine Herausforderung besteht darin, Innovation und Risikovorsorge miteinander zu verbinden. Zu weit gefasste oder technisch unpräzise Vorgaben könnten nützliche Anwendungen erschweren. Zu geringe Anforderungen könnten dagegen dazu führen, dass Risiken erst nach der Markteinführung sichtbar werden. Ein sachgerechter Ansatz muss daher nach Einsatzgebiet, Autonomiegrad, Zugriffsmöglichkeiten und Schadenspotenzial unterscheiden.

Auch die Öffentlichkeit benötigt eine differenzierte Kommunikation. Pauschale Heilsversprechen sind ebenso problematisch wie apokalyptische Gewissheiten. Für eine fundierte Debatte müssen Unsicherheiten kenntlich gemacht, nachprüfbare Fakten von Prognosen getrennt und unterschiedliche Risikokategorien erklärt werden.

Was derzeit offen bleibt

Mehrere Punkte des Vorgangs bedürfen weiterer unabhängiger Klärung. Dazu zählt zunächst die genaue wissenschaftliche Bewertung der gemeldeten mathematischen Lösungen. Entscheidend ist, ob die Ergebnisse tatsächlich neue, vollständige Beweise darstellen, ob sie den Regeln der jeweiligen Fachgebiete entsprechen und welchen Anteil menschliche Experten an ihrer Entwicklung hatten.

Offen ist außerdem, wie schnell sich Fortschritte bei mathematischem Schlussfolgern auf andere Fähigkeiten übertragen lassen. Ein Modell kann in einem eng definierten Bereich außergewöhnlich leistungsfähig sein, ohne in einer unstrukturierten realen Umgebung selbstständig langfristige Ziele zu verfolgen. Umgekehrt können Kombinationen aus Sprachmodellen, Suchsystemen, Programmierwerkzeugen und Robotik Fähigkeiten erzeugen, die in einem einzelnen Benchmark nicht sichtbar sind.

Beobachtet werden sollte daher nicht nur die reine Modellleistung. Relevant sind auch die Verbreitung leistungsfähiger Systeme, die Kosten für ihre Nutzung, ihre Fähigkeit zur Werkzeugverwendung, die Qualität ihrer Selbstkorrektur und die Möglichkeiten, sie mit realen Daten und physischen Prozessen zu verbinden.

Ein Weckruf, aber keine fertige Risikotheorie

Die 42 Unterzeichner liefern mit ihrem offenen Brief keinen abschließenden Beweis für ein bestimmtes Untergangsszenario. Ihr Beitrag liegt in der institutionellen und fachlichen Einordnung einer Entwicklung, deren Geschwindigkeit sie als außergewöhnlich bewerten. Sie verlangen, dass mögliche existenzielle Risiken nicht deshalb ignoriert werden, weil Zeitpunkt, Mechanismus und Wahrscheinlichkeit noch nicht präzise feststehen.

Für Unternehmen und politische Entscheidungsträger ist daraus vor allem eine praktische Schlussfolgerung ableitbar: Vorsorge sollte nicht erst beginnen, wenn ein Risiko vollständig quantifiziert werden kann. Gleichzeitig müssen Behauptungen über KI-Fähigkeiten überprüfbar bleiben. Nur eine Verbindung aus unabhängiger Evaluation, begrenzten Zugriffsrechten, transparenter Dokumentation und internationaler Kooperation kann verhindern, dass technische Leistungsfähigkeit schneller wächst als die Fähigkeit zu ihrer Kontrolle.

Für Sie als Entscheider bedeutet das, KI nicht nur als Produktivitätswerkzeug, sondern auch als Bestandteil eines soziotechnischen Risikosystems zu betrachten. Die entscheidenden Fragen lauten nicht allein, was ein Modell leisten kann. Ebenso wichtig ist, wer es einsetzen darf, welche Folgen ein Fehler hätte, wie ein Missbrauch erkannt wird und ob ein Unternehmen in einer kritischen Situation schnell eingreifen kann.

Die Debatte der Mathematiker macht damit ein grundlegendes Spannungsfeld sichtbar: Fortschritt kann neue Erkenntnisse und wirtschaftliche Chancen schaffen, zugleich aber Kontroll- und Sicherheitsfragen verschärfen. Wie dieses Spannungsfeld ausgeht, hängt nicht ausschließlich von der technischen Entwicklung ab. Es hängt auch davon ab, wie früh Organisationen, Regierungen und die Gesellschaft Regeln, Prüfverfahren und Verantwortlichkeiten etablieren.