Herausforderungen und Fortschritte bei der Bewertung von LLM-Agenten in realistischen Szenarien

Die Entwicklung von Large Language Model (LLM)-Agenten schreitet rasant voran. Immer mehr wird von ihnen erwartet, dass sie als vielseitige Systeme fungieren, die in der Lage sind, offene Benutzeranfragen zu bearbeiten. Während bestehende Benchmarks oft auf domänenspezifische Umgebungen für die Entwicklung spezialisierter Agenten zugeschnitten sind, erfordert die Bewertung von General-Purpose-Agenten realistischere Szenarien. Diese Szenarien sollten die Agenten herausfordern, über mehrere Fähigkeiten und Werkzeuge hinweg in einer einheitlichen Umgebung zu agieren. Eine aktuelle Studie, veröffentlicht unter dem Titel "Benchmark Test-Time Scaling of General LLM Agents", beleuchtet diese Herausforderungen und stellt einen neuen Bewertungsrahmen vor.

Der "General AgentBench": Ein neuer Maßstab für die Realität

Um die Lücke zwischen spezialisierten und universellen Agenten zu schließen, wurde der "General AgentBench" eingeführt. Dieser Benchmark bietet einen einheitlichen Rahmen zur Bewertung von LLM-Agenten in verschiedenen Domänen wie Suche, Codierung, logisches Denken und Werkzeugnutzung. Im Gegensatz zu früheren Ansätzen, die Agenten in isolierten, domänenspezifischen Umgebungen testen, simuliert General AgentBench reale Benutzerinteraktionen. Dabei werden Werkzeuge aus allen Domänen in einer gemeinsamen Oberfläche zusammengeführt, die den Agenten konsistent zur Verfügung steht. Dies erfordert von den Agenten, Benutzerabsichten zu interpretieren, geeignete Werkzeuge aus einem breiten Pool auszuwählen und iterativ mit der Umgebung zu interagieren, um eine finale Antwort zu generieren.

Umfassende Domänen und einheitliche Evaluierung

General AgentBench deckt vier zentrale Aufgabenbereiche ab:

• Codierung: Aufgaben aus SWE-Bench Verified und Terminal Bench. Hier wird die Fähigkeit der Agenten bewertet, softwaretechnische Probleme zu analysieren, Anweisungen zu interpretieren und iterativ mit Ausführungsumgebungen zu interagieren.
• Suche: Aufgaben von BrowseComp und WebVoyager. Diese testen die Fähigkeit der Agenten, fehlende Informationen zu identifizieren, Suchschritte zu planen und lange, sich entwickelnde Webkontexte zu navigieren.
• Werkzeugnutzung: Aufgaben von Tau2-Bench und MCP-Bench. Diese erfordern die Auswahl, den Aufruf und die Koordination mehrerer Werkzeuge für komplexe Service- und Workflow-Szenarien.
• Logisches Denken: MathHay-Aufgaben. Hier liegt der Fokus auf nachhaltigem logischem Denken über lange Eingaben, ohne auf externe Werkzeugausführung angewiesen zu sein.

Das einheitliche Evaluierungsframework stellt sicher, dass alle Aufgaben und Werkzeuge über eine gemeinsame Schnittstelle zugänglich sind. Dies spiegelt die Komplexität realer Anwendungen wider, in denen Agenten ohne vorherige Kenntnis der Domänen die passenden Werkzeuge aus einem großen Pool auswählen müssen. Der Host fungiert als zentrale Interaktionsschnittstelle, leitet Anfragen an die entsprechenden Server weiter und liefert Ergebnisse in einem standardisierten Format zurück.

Leistungseinbußen und Robustheit

Die Evaluierung von zehn führenden LLM-Agenten mit General AgentBench ergab eine signifikante Leistungseinbuße im Vergleich zu domänenspezifischen Bewertungen. Die meisten LLM-Agenten zeigten durchschnittliche relative Rückgänge von 10 % bis 30 % im General-Agent-Setting. Insbesondere Gemini 2.5-Pro erfuhr einen Rückgang von über 60 % im Bereich des logischen Denkens. Claude Sonnet 4.5 erwies sich hingegen als bemerkenswert robust, mit einem durchschnittlichen Rückgang von nur 0,2 %.

Interessanterweise zeigten einige Modelle, darunter Qwen3-Next, Deepseek-R1 und Claude, Leistungssteigerungen in den Suchdomänen unter dem General-Agent-Setting. Eine Analyse der Trajektorien deutet darauf hin, dass diese Verbesserungen auf eine effektive domänenübergreifende Werkzeugnutzung zurückzuführen sind. Agenten nutzten hier Werkzeuge über ihre ursprünglich vorgesehenen Domänen hinaus, um das logische Denken und die Informationsbeschaffung zu unterstützen.

Test-Time Scaling: Grenzen der Skalierung

Die Studie untersuchte systematisch das Verhalten von LLM-Agenten beim Test-Time Scaling unter zwei primären Strategien: sequenzielles und paralleles Skalieren.

Sequenzielles Skalieren: Die "Kontext-Obergrenze"

Beim sequenziellen Skalieren wird die Interaktionshistorie verlängert, um fortgesetztes logisches Denken, Reflexion und Exploration zu unterstützen. Die Ergebnisse zeigten, dass Leistungsverbesserungen innerhalb eines moderaten Bereichs zusätzlicher Interaktionsrunden auftreten, danach jedoch oft schwanken oder abnehmen. Dies deutet auf eine "Kontext-Obergrenze" hin: Die akkumulierte Historie überfordert die Denkfähigkeit des Agenten, was zu Instabilität bei Aufgaben mit langer Planungshorizont führt. Diese Obergrenze variiert je nach Modell und Domäne.

Beispielsweise zeigten Qwen3-235B und Gemini 2.5-Flash einen anfänglichen Leistungsanstieg bis zu ihren inhärenten Kontextgrenzen (ca. 112K bzw. 96K Token im Suchbereich). Sobald dieser Schwellenwert überschritten wurde, stagnierte die Leistung oder begann sich zu verschlechtern. Dies widerlegt frühere Beobachtungen in nicht-agentischen Szenarien, die zeigten, dass mehr Rechenleistung durch längere Interaktionshistorien zu bedeutsamen Leistungssteigerungen führt. Agentische Aufgaben mit langem Horizont stellen grundlegende Herausforderungen an die Kontextnutzung und die Stabilität des logischen Denkens dar.

Paralleles Skalieren: Die "Verifizierungs-Lücke"

Das parallele Skalieren beinhaltet das unabhängige Sampling von mehreren Kandidaten-Trajektorien, um die Wahrscheinlichkeit zu erhöhen, eine korrekte Lösung zu finden. Während die theoretische Obergrenze der Leistung (pass@K) mit zunehmender Anzahl von Samples ansteigt, zeigte sich in der Praxis eine konsistente "Verifizierungs-Lücke". Dies bedeutet, dass Agenten trotz der Generierung korrekter Lösungen oft Schwierigkeiten haben, die beste auszuwählen und zuverlässig zu identifizieren. Die Selbstauswahlleistung blieb deutlich hinter der theoretischen Obergrenze zurück und stagnierte in einigen Fällen sogar, wenn K erhöht wurde.

Ein Vergleich mit einem externen Verifizierer (GPT-5) zeigte, dass selbst dieser externe Verifizierer die korrekten Trajektorien gelegentlich falsch klassifizierte. Dies deutet darauf hin, dass Modelle möglicherweise besser darin sind, ihre eigenen Generierungen zu bewerten, die ihren internen Denkprozessen entsprechen, während externe Verifizierer Schwierigkeiten haben könnten, unbekannte Ausführungsspuren genau zu beurteilen. Diese Verifizierungs-Lücke begrenzt letztendlich die praktische Nützlichkeit des parallelen Skalierens.

Implikationen für die Entwicklung von LLM-Agenten

Die Ergebnisse dieser Studie haben weitreichende Implikationen für die Entwicklung und den Einsatz von LLM-Agenten in B2B-Anwendungen. Sie unterstreichen die Notwendigkeit, über domänenspezifische Optimierungen hinauszugehen und Agenten für die Komplexität und Unvorhersehbarkeit realer, domänenübergreifender Aufgaben zu rüsten.

Für Unternehmen, die LLM-Agenten in ihren Geschäftsabläufen implementieren möchten, bedeuten diese Erkenntnisse, dass eine sorgfältige Evaluierung der Robustheit und Skalierbarkeit unter realistischen Bedingungen unerlässlich ist. Die bloße Erhöhung der Rechenleistung oder der Interaktionsschritte führt nicht zwangsläufig zu besseren Ergebnissen. Stattdessen sind innovative Ansätze für Kontextmanagement, Entscheidungsfindung und die Verifizierung von Lösungen erforderlich, um die Leistung von General-Purpose-LLM-Agenten nachhaltig zu verbessern.

Die Erkenntnisse aus General AgentBench können als Leitfaden dienen, um zukünftige Forschungs- und Entwicklungsbemühungen auf die Bewältigung dieser grundlegenden Einschränkungen zu konzentrieren. Ziel ist es, Agenten zu schaffen, die nicht nur auf spezifische Aufgaben spezialisiert sind, sondern auch in der Lage sind, komplexe, offene Probleme in dynamischen und vielfältigen Umgebungen effektiv zu lösen.

Ausblick

Die Studie "Benchmark Test-Time Scaling of General LLM Agents" liefert wichtige Einblicke in die aktuellen Herausforderungen und Grenzen von LLM-Agenten. Sie zeigt auf, dass der Weg zu wirklich vielseitigen und robusten KI-Agenten noch weitere Forschung und Entwicklung erfordert, insbesondere im Hinblick auf das Management langer Kontexte und die Fähigkeit zur zuverlässigen Selbstverifizierung. Für Unternehmen, die auf KI-Technologien wie Mindverse setzen, ist das Verständnis dieser Grenzen entscheidend, um realistische Erwartungen zu setzen und gezielte Strategien für den erfolgreichen Einsatz von LLM-Agenten zu entwickeln.

Bibliographie

- Li, X., Ming, R., Setlur, P., Paladugu, A., Tang, A., Kang, H., Shao, S., Jin, R., & Xiong, C. (2026). Benchmark Test-Time Scaling of General LLM Agents. arXiv preprint arXiv:2602.18998. - Raschka, S. (2025). LLM Research Papers: The 2025 List (July to December). Sebastian Raschka, PhD. - Emergent Mind. (2025). Test-Time Scaling Effect in LLM Agents. - Agarwal, A., Sengupta, A., & Chakraborty, T. (2025). The Art of Scaling Test-Time Compute for Large Language Models. arXiv preprint arXiv:2512.02008. - Zhu, K., Li, H., Wu, S., Xing, T., & et al. (2025). Scaling Test-time Compute for LLM Agents. ResearchGate. - Gunndu, K. (2026). Benchmark AI Agents: A Data-Driven Guide for ML Engineers. DEV Community. - SitePoint Team. (2026). Breaking the Speed Limit: Strategies for 17k Tokens/Sec Local Inference. SitePoint.