Bewertung der Konsistenz von LLM-Agenten unter realen Unsicherheiten

Die fortschreitende Entwicklung von Large Language Models (LLMs) hat zu beeindruckenden Fortschritten in der künstlichen Intelligenz geführt. Diese Modelle sind zunehmend in der Lage, komplexe Aufgaben zu bewältigen und in interaktiven Umgebungen als autonome Agenten zu agieren. Doch mit dem erweiterten Einsatzspektrum, insbesondere in sicherheitskritischen Bereichen wie der Medizin, dem Rechtswesen oder autonomen Systemen, rückt die Frage nach ihrer Konsistenz und Zuverlässigkeit immer stärker in den Fokus. Eine aktuelle Forschungsarbeit namens „CAR-Bench: Evaluating the Consistency and Limit-Awareness of LLM Agents under Real-World Uncertainty“ adressiert genau diese Herausforderungen und bietet einen tiefgehenden Einblick in die Leistungsfähigkeit und die Grenzen von LLM-Agenten unter realen Unsicherheiten.

Die Herausforderung der Konsistenz bei LLM-Agenten

Herkömmliche Bewertungsmetriken für LLMs konzentrieren sich oft auf die durchschnittliche Genauigkeit, die aus einer begrenzten Anzahl von Durchläufen resultiert. Diese Praxis kann jedoch die inhärente Unsicherheit und Variabilität von LLM-Agenten, insbesondere bei stochastischen Dekodierungsprozessen, verdecken. Wenn ein LLM-Agent in verschiedenen Durchläufen oder bei leichten Variationen der Eingabe unterschiedliche oder widersprüchliche Ergebnisse liefert, beeinträchtigt dies seine Verlässlichkeit erheblich. Dies ist besonders problematisch, da Nutzer dazu neigen, den Ausgaben von KI-Systemen blind zu vertrauen, selbst wenn die Modelle selbst zunehmend instabil werden können. Die Forschung betont, dass eine tiefere Analyse der Stabilität und Reproduzierbarkeit von LLM-Agenten unerlässlich ist.

CAR-Bench: Ein neues Bewertungsframework

Das CAR-Bench-Framework wurde entwickelt, um diese Lücke zu schließen. Es ermöglicht eine systematische, mehrfache Bewertung von LLM-Agenten über verschiedene Reasoning-Frameworks, Modelle und Aufgaben hinweg. Das Framework basiert auf einem modularen Design, das folgende Kernkomponenten umfasst:

• Methoden (Methods): Definieren die übergeordnete Logik einer Reasoning-Strategie, unabhängig vom zugrunde liegenden Modell oder der Aufgabe.
• Umgebungen (Environments): Formalisieren die aufgabenspezifische Dynamik des Reasoning-Prozesses, einschliesslich der Evolution des Zustands, der Gültigkeit von Aktionen und der Bewertung der Ergebnisse.
• Agenten (Agents): Bilden die Schnittstelle zwischen Methoden, Modellen und Zuständen, indem sie Prompts konstruieren und Modellausgaben in Aktionen umwandeln.
• Zustände (States): Erfassen die Zwischenkonfiguration eines Reasoning-Prozesses und ermöglichen die Reproduzierbarkeit.
• Modelle (Models): Bieten eine einheitliche Schnittstelle zu Sprachmodellen, einschliesslich asynchroner Ausführung und Caching zur Kosten- und Effizienzoptimierung.

Durch diesen Ansatz können Forscher neue Reasoning-Methoden oder Aufgaben mit minimalem Aufwand implementieren und konsistente, statistisch zuverlässige Leistungsdaten erfassen.

Experimentelle Ergebnisse und Analysen

Die Studie konzentrierte sich auf zwei Hauptfragen: Wie schneiden verschiedene Reasoning-Frameworks unter identischen Modellbedingungen ab, und wie verhalten sich verschiedene Reasoning-Modelle, wenn sie Aufgaben ohne zusätzliche Framework-Unterstützung lösen sollen. Die Experimente wurden jeweils zehnmal wiederholt, um Mittelwerte und Konfidenzintervalle der Bewertungsmetriken zu erhalten.

Reasoning-Strategien im Vergleich

Die Analyse verschiedener Reasoning-Strategien, die auf einem festen Modell (GPT-4.1-Nano) liefen, zeigte, dass eine höhere methodische Komplexität oft mit einer verbesserten Lösungsqualität einhergeht. Diese Beziehung ist jedoch nicht immer linear oder durchweg zuverlässig. Einige komplexe Ansätze wie FoA und MCTS* erzielten zwar die höchste mittlere Leistung mit geringen Konfidenzintervallen, andere, ähnlich aufwendige Methoden wie GoT, ToT-BFS und ToT-DFS zeigten jedoch erhebliche Instabilität. Dies deutet darauf hin, dass Komplexität allein keine Robustheit garantiert. Die Varianz erwies sich als kritischer Faktor, der sowohl die Qualität als auch die Kosten beeinflusst, wobei diese Varianzformen unabhängig voneinander agieren können. Dies unterstreicht die Bedeutung einer gemeinsamen Bewertung von Leistungs- und Kostenstabilität.

Bewertung aktueller Reasoning-Modelle

Bei der direkten Bewertung verschiedener zeitgenössischer Reasoning-Modelle (OpenAI GPT-OSS-120B, DeepSeek R1, Llama 4 Scout, Qwen3-32B, Gemini 2.5 Pro) ohne externe Framework-Unterstützung zeigte sich, dass der Inferenzpreis kein verlässlicher Indikator für die Konsistenz ist. DeepSeek R1 erreichte zwar die stärkste und stabilste Leistung, dies jedoch zu den höchsten Kosten. Überraschenderweise waren die Vorteile in der Konsistenz gegenüber wesentlich günstigeren Systemen wie Llama 4 Maverick gering. Qwen3-235B A22B zeigte die größte Variabilität, obwohl es deutlich teurer war als GPT-OSS-120B und Llama 4 Maverick. Dies weist darauf hin, dass die aktuelle Preisgestaltung von Modellen die Stabilität nicht unbedingt widerspiegelt und dass kostengünstigere Alternativen eine konkurrenzfähige oder sogar überlegene Stabilität bieten können.

Einflussfaktoren auf die Stabilität

Skalierungseffekte innerhalb einer Modellfamilie

Die Untersuchung von Skalierungseffekten innerhalb einer Modellfamilie (GPT-4.1-Nano und GPT-4.1-Mini) ergab einen konsistenten Trend: Größere Modelle (GPT-4.1-Mini) erreichten nicht nur eine höhere mittlere Qualität, sondern zeigten auch deutlich engere Verteilungen, was auf ein stabileres Reasoning-Verhalten hindeutet. Dies legt nahe, dass eine Steigerung der Modellgröße innerhalb derselben Architektur sowohl die durchschnittliche Leistung als auch die Variabilität zwischen den Durchläufen verbessern kann.

Der Einfluss von Prompts und Parsing auf die Stabilität

Ein signifikanter Teil der Instabilität von LLM-Agenten ist nicht auf die Reasoning-Algorithmen selbst zurückzuführen, sondern auf die Prompts und Parser, die ihre Interaktion mit den LLMs steuern. Geringfügige Unklarheiten in Prompts, ungenau definierte Antwortstile oder implizite Annahmen können stochastische Unterschiede verstärken und zu unterschiedlichen Ausgaben führen. Durch geringfügige, qualitätserhaltende Anpassungen der Prompts und eine robustere Parsing-Logik konnte die Varianz konsistent reduziert werden. Insbesondere strukturierte und suchbasierte Ansätze profitierten am stärksten von diesen Verbesserungen, was darauf hindeutet, dass mehrstufige Frameworks besonders empfindlich auf die Klarheit von Prompts und die Verarbeitung von Ausgaben reagieren.

Diese Erkenntnisse verdeutlichen eine grundlegendere Herausforderung in der LLM-Evaluierung: Bewertungs-Pipelines sind keine statischen Artefakte, sondern sich entwickelnde Systeme. Änderungen an Prompts und APIs können die Ergebnisse beeinflussen, weshalb eine regelmäßige Neubewertung und Aktualisierung der Leistungsmessungen unerlässlich ist.

Korrelation zwischen Qualität und Kosten

Die Analyse der Beziehung zwischen Qualität und Kostenstabilität zeigte unterschiedliche Muster. Bei FoA-Strategien gab es eine positive Korrelation: Stichproben mit höheren Kosten tendierten zu höherer Qualität, was auf ein stabiles Skalierungsverhalten hindeutet. Im Gegensatz dazu zeigte ReAct eine negative Steigung, was darauf hinweist, dass erhöhter Rechenaufwand oft mit weniger zuverlässigen Reasoning-Trajektorien einhergeht. GoT zeigte keinen einheitlichen Trend, was seine Empfindlichkeit gegenüber der Aufgabenstruktur widerspiegelt.

Implikationen für die Praxis und zukünftige Forschung

Die Studie unterstreicht, dass die zugrunde liegende Instabilität ein weit verbreitetes und bisher unterschätztes Merkmal des LLM-Reasonings ist. Die reine Genauigkeit eines einzelnen Durchlaufs kann die Stabilität der Reasoning-Leistung systematisch überschätzen und erhebliche Unterschiede in der Konsistenz von Qualität und Kosten verschleiern. Selbst hochentwickelte Reasoning-Algorithmen garantieren keine Robustheit; oft können einfachere oder adaptivere Methoden durch ihre höhere Stabilität überlegen sein.

Für Unternehmen, die LLM-Agenten in ihren Geschäftsabläufen einsetzen möchten, sind diese Erkenntnisse von großer Bedeutung. Es ist entscheidend, über die oberflächliche Betrachtung der durchschnittlichen Genauigkeit hinauszugehen und die Stabilität und Reproduzierbarkeit der Agenten unter verschiedenen Bedingungen zu bewerten. Dies schließt die Berücksichtigung von Kosten und die Sensibilität gegenüber Prompt-Variationen ein.

Einschränkungen und Ausblick

Trotz der umfassenden Analyse weist die Studie einige Einschränkungen auf. Der Fokus lag primär auf der Dekodierungsstochastizität, während andere Variabilitätsquellen wie API-Instabilität oder Modellaktualisierungen weiterer Forschung bedürfen. Zudem umfasste der Benchmark eine repräsentative, aber begrenzte Auswahl an Frameworks, Aufgaben und proprietären Modellen. Eine Erweiterung auf mehr Domänen könnte breitere Schlussfolgerungen ermöglichen. Zukünftige Arbeiten könnten auch adaptive oder aufgabenbewusste Stichprobenbudgets erforschen, um statistische Zuverlässigkeit und Kosteneffizienz besser auszubalancieren. Der Einfluss der Prompt-Klarheit legt zudem nahe, dass systematische Prompt-Optimierung und parserbewusste Trainingsziele vielversprechende Wege zur Reduzierung der Variabilität darstellen.

Die Erkenntnisse des CAR-Bench-Papiers bieten wertvolle Einsichten für die Entwicklung und den Einsatz zuverlässiger LLM-Agenten. Sie betonen die Notwendigkeit, Stabilität und Reproduzierbarkeit als erstklassige Metriken neben der durchschnittlichen Leistung zu behandeln, um das Vertrauen in KI-Systeme in anspruchsvollen realen Anwendungen zu stärken. Dies ist ein entscheidender Schritt auf dem Weg zu vertrauenswürdigeren und leistungsfähigeren KI-Lösungen, die den Anforderungen der B2B-Welt gerecht werden.

Bibliography - HuggingFace Paper Explorer. (n.d.). Retrieved from https://huggingface-paper-explorer.vercel.app/ - Potamitis, N., Klein, L., & Arora, A. (n.d.). ReasonBENCH: Benchmarking the (In)Stability of LLM Reasoning. Retrieved from https://arxiv.org/html/2512.07795v1 - Liu, X., Yu, H., Zhang, H., Xu, Y., Lei, X., Lai, H., Gu, Y., Ding, H., Men, K., Yang, K., Zhang, S., Deng, X., Zeng, A., Du, Z., Zhang, C., Shen, S., Zhang, T., Su, Y., Sun, H., Huang, M., Dong, Y., & Tang, J. (n.d.). AgentBench: Evaluating LLMs as Agents. Retrieved from https://arxiv.org/abs/2308.03688 - Li, Y., Miao, Y., Ding, X., Krishnan, R., & Padman, R. (2025). Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions. arXiv preprint arXiv:2503.22353. Retrieved from https://arxiv.org/pdf/2503.22353 - Zhang, W., Sun, Y., Huang, P., Pu, J., Lin, H., & Song, D. (2025). MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them. arXiv preprint arXiv:2507.21017. Retrieved from https://arxiv.org/abs/2507.21017 - Kirichenko, P., Ibrahim, M., Chaudhuri, K., & Bell, S. J. (2025). AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions. Retrieved from https://openreview.net/pdf?id=kYbojsAOBj - Kirichenko, P., Ibrahim, M., Chaudhuri, K., & Bell, S. J. (2025). AbstentionBench: Reasoning LLMs Fail on Unanswerable Questions. Retrieved from https://arxiv.org/html/2506.09038v1