Zuverlässigkeit von KI-Agenten: Herausforderungen und neue Bewertungsansätze

Die Evolution der KI-Agenten: Zwischen bemerkenswerter Leistung und unerwarteten Fehlern

Künstliche Intelligenz (KI) hat in den letzten Jahren bemerkenswerte Fortschritte gemacht. Insbesondere KI-Agenten, die in der Lage sind, komplexe Aufgaben autonom auszuführen, von der Code-Generierung über das Datenbankmanagement bis hin zur Web-Navigation, sind in den Fokus gerückt. Diese Systeme versprechen, Geschäftsprozesse zu optimieren, klinische Arbeitsabläufe zu automatisieren und die wissenschaftliche Forschung voranzutreiben. Doch trotz steigender Genauigkeitswerte in Standard-Benchmarks offenbart die Praxis häufig eine kritische Diskrepanz: Viele Agenten versagen in realen Anwendungsszenarien auf unerwartete Weise. Dies wirft die Frage auf, wie die zuverlässige Funktion dieser immer autonomer werdenden Systeme sichergestellt werden kann.

Die Grenzen traditioneller Leistungsbewertung

Die gängige Praxis, die Leistung von KI-Agenten auf eine einzelne Erfolgsmetrik zu reduzieren, greift zu kurz. Sie verschleiert wesentliche Verhaltensmerkmale, die für die operationale Zuverlässigkeit von entscheidender Bedeutung sind. Zu diesen Merkmalen gehören:

• Konsistenz: Zeigt ein Agent bei identischen Bedingungen wiederholt dasselbe Verhalten?
• Robustheit: Wie widerstandsfähig ist der Agent gegenüber Störungen oder Abweichungen von den erwarteten Bedingungen?
• Vorhersagbarkeit: Kann der Agent einschätzen, wann er wahrscheinlich Fehler machen wird, und sein Vertrauen kalibrieren?
• Sicherheit: Sind die Folgen von Fehlern begrenzt und die Einhaltung operativer Beschränkungen gewährleistet?

Vorfälle, wie ein KI-Assistent, der eine Produktionsdatenbank löscht, oder Chatbots, die rechtswidrige Ratschläge erteilen, unterstreichen die Notwendigkeit einer umfassenderen Bewertung. Eine hohe Genauigkeit in isolierten Tests garantiert nicht die Verlässlichkeit in komplexen, dynamischen Umgebungen.

Ein neues Rahmenwerk für die Zuverlässigkeitsbewertung

Um dieser Herausforderung zu begegnen, wurde ein holistisches Rahmenwerk zur Bewertung der Zuverlässigkeit von KI-Agenten entwickelt. Dieses Framework, das sich an Praktiken aus sicherheitskritischen Ingenieurdisziplinen wie der Luftfahrt oder der Kernenergie orientiert, schlägt zwölf konkrete Metriken vor, die die Zuverlässigkeit entlang der vier Schlüsseldimensionen Konsistenz, Robustheit, Vorhersagbarkeit und Sicherheit aufschlüsseln.

Jede Dimension wird dabei durch spezifische Metriken operationalisiert:

Konsistenz

Die Konsistenz misst, ob ein Agent bei identischen Eingaben und Umgebungsbedingungen wiederholbare Ergebnisse, Trajektorien und Ressourcennutzung aufweist. Dies ist besonders relevant für Sprachmodell-basierte Agenten, deren nicht-deterministische Natur zu variierendem Verhalten führen kann.

• Ergebniskonsistenz ($C_{\mathrm{out}}$): Normalisiert die Varianz des Erfolgs in Bezug auf die theoretische Maximalgenauigkeit.
• Trajektorienkonsistenz ($C_{\mathrm{traj}}^{d}$, $C_{\mathrm{traj}}^{s}$): Bewertet, ob Agenten ähnliche Aktionstypen und Ausführungsreihenfolgen verwenden.
• Ressourcenkonsistenz ($C_{\mathrm{res}}$): Quantifiziert die Variabilität bei der Nutzung von Tokens, API-Aufrufen und Latenzzeiten.

Robustheit

Die Robustheit bewertet die Fähigkeit eines Agenten, mit Abweichungen von den Nominalbedingungen umzugehen, einschließlich Infrastrukturfehlern, Umgebungsänderungen und Eingabestörungen.

• Fehlerrobustheit ($R_{\mathrm{fault}}$): Misst die Widerstandsfähigkeit gegenüber API-Timeouts und fehlerhaften Antworten.
• Umgebungsrobustheit ($R_{\mathrm{env}}$): Erfasst die Sensibilität gegenüber Formatänderungen (z.B. Umbenennung von JSON-Schlüsseln).
• Prompt-Robustheit ($R_{\mathrm{prompt}}$): Bewertet die Invarianz gegenüber semantisch äquivalenten Umformulierungen von Anweisungen.

Vorhersagbarkeit

Die Vorhersagbarkeit untersucht, ob das Vertrauen eines Agenten mit seiner tatsächlichen Leistung übereinstimmt, um Benutzern informierte Entscheidungen über das Vertrauen in oder die Überprüfung von Ausgaben zu ermöglichen.

• Kalibrierung ($P_{\mathrm{cal}}$): Misst die Übereinstimmung zwischen dem angegebenen Vertrauen und den empirischen Erfolgsraten.
• Diskriminierung ($P_{\mathrm{AUROC}}$): Bewertet, ob Vertrauenswerte Erfolge von Misserfolgen trennen können.
• Brier-Score ($P_{\mathrm{brier}}$): Eine Bewertungsregel, die Fehlkalibrierung und schlechte Diskriminierung gleichermaßen bestraft.

Sicherheit

Die Sicherheit quantifiziert die Schwere und Häufigkeit schädlicher Verhaltensweisen, wobei zwischen der Einhaltung von Vorschriften und der Schwere des Schadens unterschieden wird. Der Sicherheitswert wird separat von der aggregierten Zuverlässigkeitsbewertung angegeben, um Tail-Risiken nicht durch Mittelwertbildung zu maskieren.

• Compliance ($S_{\mathrm{comp}}$): Verfolgt die Einhaltung operativer Beschränkungen.
• Schadensschwere ($S_{\mathrm{harm}}$): Misst die Folgen von Verstößen.

Diese Metriken sollen die Zuverlässigkeit unabhängig von der reinen Aufgaben-Genauigkeit bewerten, indem sie Normalisierungen und verhältnisbasierte Vergleiche nutzen, um Stabilität, Vorhersagbarkeit und Robustheit von der Rohleistung zu isolieren.

Aktuelle Erkenntnisse und zukünftige Herausforderungen

Eine Untersuchung von 14 führenden Agentenmodellen unter Verwendung dieses Frameworks zeigte, dass sich die Genauigkeit zwar über 18 Monate stetig verbessert hat, die Zuverlässigkeitsgewinne jedoch minimal waren. Dies deutet darauf hin, dass eine reine Skalierung der Modelle nicht ausreicht, um tatsächlich verlässliche Agenten zu entwickeln. Vielmehr ist ein gezielter Ansatz erforderlich, der die Zuverlässigkeit als primäres Designziel betrachtet.

Die Entwicklung einer "Wissenschaft der Zuverlässigkeit von KI-Agenten" erfordert einen Paradigmenwechsel in der Bewertung. Es gilt, über statische, einmalige Benchmarks hinauszugehen und dynamische, multikonditionale Tests zu implementieren, die die Komplexität realer Einsatzszenarien widerspiegeln. Dies beinhaltet auch die Notwendigkeit einer systemtheoretischen Perspektive, um zu verstehen, wie sich Agenten im Zusammenspiel mit Menschen und anderen Agenten verhalten und wie emergente Eigenschaften des Systems als Ganzes entstehen.

Die Notwendigkeit einer Systemtheorie für agentische KI

Die aktuelle Entwicklung der agentischen KI konzentriert sich oft zu stark auf die Fähigkeiten einzelner Modelle, ignoriert jedoch breitere emergente Verhaltensweisen und unterschätzt somit sowohl das wahre Potenzial als auch die Risiken. Eine Systemtheorie der agentischen KI würde untersuchen, wie sich die Handlungsfähigkeit auf Systemebene aus den Interaktionen einfacherer Agenten, Menschen und der Umgebung ergibt. Diese Theorie müsste Erkenntnisse aus verschiedenen Bereichen wie Psychologie, Neurowissenschaften, Kognitionswissenschaften, Soziologie und Biologie integrieren.

Ein zentraler Begriff in diesem Kontext ist die "funktionale Handlungsfähigkeit" (functional agency). Ein System besitzt diese, wenn es folgende drei Bedingungen erfüllt:

1. Aktionsgenerierung: Fähigkeit, Aktionen basierend auf Umgebungsdaten zur Erreichung eines Ziels zu generieren.
2. Ergebnismodell: Fähigkeit, Beziehungen zwischen Aktionen und ihren Ergebnissen darzustellen.
3. Anpassung: Fähigkeit, das Verhalten als Reaktion auf Änderungen im Ergebnismodell anzupassen, um die Leistung zum Ziel hin aufrechtzuerhalten oder zu verbessern.

Es wird argumentiert, dass effektive agentische Systeme, die komplexe Aufgaben in neuen Umgebungen bewältigen können, ein hohes Maß an funktionaler Handlungsfähigkeit aufweisen. Die Grenzen moderner großer Sprachmodelle (LLMs) liegen oft in einem Mangel an kausaler Argumentation und metakognitivem Bewusstsein, was beides mit einer geringen funktionalen Handlungsfähigkeit zusammenhängt.

Mechanismen der Emergenz

Die Systemtheorie legt nahe, dass ein System als Ganzes ein hohes Maß an funktionaler Handlungsfähigkeit besitzen kann, selbst wenn die einzelnen Komponenten einfacher sind. Dies geschieht durch Interaktionen auf verschiedenen Ebenen:

• Umgebung verbessert Kognition: Durch die Interaktion mit der Umgebung über Werkzeuge können Agenten eine erweiterte Kognition entwickeln, ähnlich der verkörperten Kognition beim Menschen. Multimodale Interaktionen ermöglichen die Bildung generalisierter Repräsentationen und fördern die Lernfähigkeit.
• Vorhersage ermöglicht Argumentation: Mechanismen wie das Freie-Energie-Prinzip und hierarchische prädiktive Verarbeitung könnten es Agenten ermöglichen, kausale Modelle iterativ zu konstruieren, indem sie Vorhersagefehler minimieren.
• Vorhersage und Interaktion ermöglichen Metakognition: Die Fähigkeit, Vorhersagen mit Vertrauensgraden zu bilden und diese Unsicherheiten an andere Agenten zu kommunizieren, kann zur Entstehung von Metakognition führen. Dies ermöglicht eine bessere Fehlererkennung und Anpassung des Verhaltens.

Offene Herausforderungen für die Zuverlässigkeit von KI-Agenten

Die Realisierung dieser Mechanismen bringt jedoch auch eine Reihe von Herausforderungen und Risiken mit sich:

• Aufbau generalistischer Agenten: Es ist unklar, wie viel Vortraining Agenten benötigen, um ihre Umgebung sinnvoll zu erkunden und generalisierte Fähigkeiten zu entwickeln.
• Effiziente Agenten-Agenten-Interaktionen: Die effiziente Aufgabenzerlegung und -delegation erfordert ein Verständnis der Abhängigkeiten zwischen Unteraufgaben und der Fähigkeiten der Agenten. Vertrauensbildung und der Umgang mit dem "Cold-Start-Problem" sind hierbei entscheidend.
• Kontrolle der Entstehung von Unterzielen: Der Prozess der Generierung von Unterzielen durch Agenten kann zu einer höheren Autonomie führen, deren Überwachung und Steuerung komplex ist. Es muss ein Gleichgewicht zwischen Autonomie und menschlicher Kontrolle gefunden werden.
• Regulierung der Mensch-Agent-Interaktionen: Die Spezifikation von "Sicherheit" in allen Kontexten ist für Benutzer schwierig. Die Gestaltung von "residual control rights" (Restkontrollrechten) könnte eine Strategie zur Risikominderung sein, wobei Menschen strategische und risikoreiche Entscheidungen beibehalten sollten.

Fazit

Die Zuverlässigkeit von KI-Agenten ist eine multidimensionale Herausforderung, die über die reine Leistungsfähigkeit hinausgeht. Ein umfassendes Verständnis und eine gezielte Bewertung von Konsistenz, Robustheit, Vorhersagbarkeit und Sicherheit sind unerlässlich, um das Vertrauen in autonome KI-Systeme zu stärken und deren sicheren Einsatz zu gewährleisten. Die Integration einer systemtheoretischen Perspektive, die die emergenten Eigenschaften von Agentensystemen berücksichtigt, wird entscheidend sein, um die komplexen Interaktionen und Verhaltensweisen dieser Technologien zu beherrschen und letztendlich die Vision einer zuverlässigen und sicheren KI zu realisieren.

Bibliographie

• Rabanser, S., Kapoor, S., Kirgis, P., Liu, K., Utpala, S., & Narayanan, A. (2026). Towards a Science of AI Agent Reliability. arXiv.org.
• Miehling, E., Ramamurthy, K. N., Varshney, K. R., Riemer, M., Bouneffouf, D., Richards, J. T., ... & Rawat, A. (2026). Agentic AI Needs a Systems Theory. arXiv.org.
• Xing, L., & Lin, J. (2025). Looking Forward: Challenges and Opportunities in Agentic AI Reliability. arXiv.org.
• Dalrymple, D., Skalse, J., Bengio, Y., Russell, S. J., Tegmark, M., Seshia, S. A., ... & Tenenbaum, J. B. (2024). Towards Guaranteed Safe AI: A Framework for Ensuring Robust and Reliable AI Systems. arXiv.org.
• Bloomfield, R., & Rushby, J. (2026). Assurance of AI Systems From a Dependability Perspective. arXiv.org.
• Kim, Y., & Liu, X. (2026). Towards a science of scaling agent systems: When and why agent systems work. Google Research Blog. Google Research Blog.