Neuer Ansatz zur Leistungssteigerung von KI-Agenten durch optimierte Laufzeitumgebung

In der dynamischen Landschaft der Künstlichen Intelligenz stellt die kontinuierliche Verbesserung der Leistungsfähigkeit von KI-Agenten eine zentrale Herausforderung dar. Ein kürzlich veröffentlichtes Forschungspapier mit dem Titel "StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling" adressiert diese Herausforderung durch einen neuartigen Ansatz, der als "Harness Scaling" bezeichnet wird. Dieses Konzept konzentriert sich auf die Optimierung der Ausführungsumgebung von Agenten, anstatt die zugrunde liegenden Modelle selbst zu modifizieren. Die Ergebnisse, insbesondere auf dem anspruchsvollen Terminal-Bench 2.1 Benchmark, sind bemerkenswert und bieten wichtige Einblicke für die Entwicklung robuster und effizienter KI-Systeme im B2B-Bereich.

Die Herausforderung langer Aufgabenhorizonte für KI-Agenten

Große Sprachmodelle (LLMs) und die darauf basierenden Agenten werden zunehmend für komplexe Aufgaben mit langen Horizonten eingesetzt. Diese Aufgaben erfordern oft eine Abfolge von Schritten, die logisches Denken, den Einsatz von Werkzeugen und iterative Revisionen umfassen. Ein bekanntes Problem bei solchen Agenten ist, dass sie trotz der Fähigkeit ihrer Modelle, einzelne Schritte zu lösen, bei der Gesamtbewältigung der Aufgabe scheitern können. Dies kann verschiedene Ursachen haben:

• Verlust des Zustands: Agenten können den Überblick über veränderliche Zustände verlieren, die für die Fortsetzung der Aufgabe entscheidend sind.
• Mangelnde Reaktivierung von Wissen: Frühere Lernerfahrungen oder Zwischenergebnisse werden nicht effektiv reaktiviert oder genutzt.
• Vernachlässigung etablierter Verfahren: Agenten können bekannte oder erforderliche Verfahrensschritte überspringen.
• Vorzeitiger Abbruch: Aufgaben werden möglicherweise nicht vollständig abgeschlossen.

Diese Schwachstellen beeinträchtigen die Zuverlässigkeit und Effizienz von KI-Agenten in realen Anwendungsszenarien, insbesondere in geschäftskritischen Umgebungen.

StateM: Ein neuer Ansatz durch Harness Scaling

Das Forschungsteam hinter StateM, bestehend aus Ziheng Qin, Yaxin Lu, Zhangyang Atlas Wang und Kai Wang, schlägt vor, die Leistung von Agenten nicht primär durch das Training neuer Modellgewichte zu skalieren, sondern durch die Verbesserung des Ausführungssystems, das den Agenten umgibt. Dieser Ansatz, als "Harness Scaling" bezeichnet, ist die Grundlage von StateM.

Kernkomponenten von StateM

StateM ist eine Laufzeitumgebung, die die Ausführung von Agenten durch die Implementierung folgender Konzepte strukturiert:

• Dauerhafte Zustände (Durable States): Diese stellen sicher, dass wichtige Informationen und Zwischenergebnisse über den gesamten Aufgabenverlauf hinweg persistent gespeichert und abrufbar sind. Dies verhindert den Verlust von Kontext und ermöglicht eine konsistente Entscheidungsfindung.
• Phasenlokaler Kontext (Phase-Local Context): Der Kontext wird nicht global, sondern phasenspezifisch verwaltet. Dies reduziert die Komplexität und ermöglicht es dem Agenten, sich auf die relevanten Informationen für den jeweiligen Schritt zu konzentrieren.
• Überprüfte Übergänge (Checked Transitions): Übergänge zwischen den einzelnen Phasen oder Schritten einer Aufgabe werden aktiv überprüft, um die Einhaltung vordefinierter Regeln oder Bedingungen sicherzustellen. Dies minimiert Fehler und fördert die Korrektheit der Ausführung.
• Wiederherstellbare Runbooks (Recoverable Runbooks): Runbooks sind definierte Abfolgen von Schritten oder Verfahren. Die Wiederherstellbarkeit gewährleistet, dass bei Fehlern oder Unterbrechungen die Ausführung an einem bekannten, gültigen Punkt fortgesetzt werden kann.
• Versionierte Verfahrensweisen (Versioned Procedural Practices): Etablierte oder gelernte Verfahren werden versioniert und können von Agenten und Benutzern gemeinsam inspiziert werden. Dies fördert Transparenz, Nachvollziehbarkeit und die Möglichkeit zur iterativen Verbesserung.

Das Ziel von StateM ist es, die Robustheit und Zuverlässigkeit von Agenten zu erhöhen, indem es ihnen eine besser strukturierte und kontrollierte Umgebung für die Aufgabenbearbeitung bietet.

Beeindruckende Ergebnisse auf Terminal-Bench 2.1

Die Wirksamkeit von StateM wurde auf Terminal-Bench 2.1 evaluiert, einem Benchmark, der 89 kuratierte Aufgaben aus Bereichen wie Software-Engineering, Systemadministration, Datenverarbeitung und Sicherheit umfasst. Die Ergebnisse zeigen eine signifikante Leistungssteigerung:

• GPT-5.6 Sol xhigh: Mit StateM erreichte dieses Modell eine Rohgenauigkeit von 95,3 % über 445 Versuche hinweg. Alle 89 Aufgaben wurden mindestens einmal erfolgreich gelöst. Dies steht im Kontrast zu einer Referenzleistung von 83,1 % für GPT-5.5 xhigh.
• DeepSeek-V4 Flash: Ein bemerkenswertes Ergebnis wurde auch mit dem DeepSeek-V4 Flash-Modell erzielt. Durch die Nutzung derselben Laufzeitumgebung und Runbook-Struktur konnte dessen Leistung von 82,7 % auf 88,1 % unter Standard-Timeouts gesteigert werden. Auf einem Kern von 88 Aufgaben erreichte es sogar 89,1 %. Dies wurde mit Anpassungskosten von weniger als 38 $ erreicht.
• Kosteneffizienz: Ein weiterer zentraler Aspekt ist die Reduzierung der API-Kosten. Während die Referenzkonfiguration für GPT-Modelle Kosten von etwa 574,68 $ verursachte, konnte StateM diese auf etwa 15 $ senken. Die Gesamtausgaben für DeepSeek-V4 Flash beliefen sich auf 52,22 $.

Diese Ergebnisse deuten darauf hin, dass Harness Scaling nicht nur die Leistungsfähigkeit von Agenten verbessert, sondern auch deren Betriebskosten erheblich senken kann, was für B2B-Anwendungen von großer Bedeutung ist.

Der "Scaffold Effect" und die Bedeutung des Harness

Die Forschungsergebnisse von StateM unterstreichen die Bedeutung des sogenannten "Scaffold Effect" bei der Bewertung von Code-Agenten. Studien haben gezeigt, dass die Wahl des "Harness" – der Infrastrukturschicht, die die Kontextkonstruktion, Werkzeuginteraktion, Orchestrierung und Verifizierung um ein Sprachmodell herum steuert – oft ein stärkerer Leistungsfaktor ist als das Modell selbst. Dies bedeutet, dass Vergleiche zwischen LLM-Agenten ohne Offenlegung des verwendeten Harness irreführend sein können, da Leistungsunterschiede fälschlicherweise dem Modell und nicht der umgebenden Struktur zugeschrieben werden könnten.

StateM demonstriert, wie die gezielte Gestaltung dieser Infrastrukturschicht zu erheblichen Leistungsverbesserungen führen kann, selbst wenn die Modellgewichte unverändert bleiben. Dies eröffnet neue Perspektiven für die Optimierung von KI-Agenten, insbesondere in Szenarien, in denen das Fine-Tuning großer Modelle zu teuer oder zu aufwendig ist.

Ausblick und Implikationen für B2B-Anwendungen

Die Erkenntnisse aus der StateM-Forschung sind für Unternehmen, die KI-Agenten in ihren Prozessen einsetzen oder entwickeln, von erheblicher Relevanz. Sie zeigen, dass die Investition in eine robuste und intelligent gestaltete Ausführungsumgebung ("Harness") eine kosteneffiziente und leistungsstarke Strategie sein kann, um die Zuverlässigkeit und Effizienz von KI-Agenten zu steigern.

Potenzielle Implikationen umfassen:

• Verbesserte Automatisierung: Agenten können komplexe Geschäftsprozesse mit höherer Genauigkeit und weniger Fehlern automatisieren.
• Kostenoptimierung: Durch die Reduzierung von API-Kosten können Unternehmen den Einsatz von Frontier-Modellen wirtschaftlicher gestalten.
• Schnellere Entwicklung: Anstatt auf die Entwicklung neuer, leistungsstärkerer Modelle zu warten oder aufwändiges Fine-Tuning zu betreiben, können bestehende Modelle durch Harness Scaling schnell an spezifische Anforderungen angepasst werden.
• Erhöhte Transparenz und Kontrollierbarkeit: Versionierte Verfahrensweisen und überprüfte Übergänge verbessern die Nachvollziehbarkeit und Auditierbarkeit von Agentenentscheidungen, was in regulierten Branchen entscheidend ist.

StateM wandelt ausgewählte Post-Mortem-Erkenntnisse in persistente, ausführbare Vorbedingungen und Praktiken um. Dies macht gelernte Kontrollen explizit und durch zustandsbehaftete Kontrollen durchsetzbar. Dieser Ansatz bietet eine methodische Grundlage für die Entwicklung von KI-Agenten, die nicht nur leistungsfähig, sondern auch zuverlässig und wirtschaftlich sind.

Die Forschungsergebnisse von StateM signalisieren einen Paradigmenwechsel in der Optimierung von KI-Agenten. Sie legen nahe, dass die Architektur der Ausführungsumgebung ebenso kritisch, wenn nicht sogar kritischer, für die Leistung von Agenten ist als die zugrunde liegenden Sprachmodelle selbst. Für Unternehmen bedeutet dies eine Erweiterung der Strategien zur Leistungssteigerung und zur Maximierung des ROI aus ihren KI-Investitionen.

Bibliographie

• Qin, Z., Lu, Y., Wang, Z. A., & Wang, K. (2026). StateM: Reaching 95.3% Raw Accuracy, or a $15 Frontier Run, on Terminal-Bench 2.1 via Harness Scaling. arXiv preprint arXiv:2608.15089.
• Dufresne, A. (2026). StateM: 95.3% on Terminal-Bench or a $15 Frontier Run via Harness. AI Weekly.
• AI Weekly. (2026). StateM Hits 95.3% on Terminal-Bench 2.1 for ~$15 via Harness Scaling.
• Ma, Z., Huang, H., Zou, S., Wang, Y., Yang, S., Hu, Y., Wei, F., & Chu, X. (2026). LongHorizon-Harness: Advancing Long-Horizon Agents for Real-World Tasks. arXiv preprint arXiv:2608.01964.
• Vats, N., & Golev, O. (2026). The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation. arXiv preprint arXiv:2607.22585.
• Artificial Analysis. (o. J.). Terminal-Bench v2.1 Benchmark Leaderboard.
• Sukhareva, M. (2026). How a Small Open Model Beat a Frontier LLM: the Rise of Harness-Maxxing. Substack.
• Snorkel AI. (2026). Terminal-Bench 2.1.
• Imbeault, R. (2026). We Scored 91% on Terminal-Bench 2.1 With Kimi. That’s Not the Interesting Part. Substack.
• Zhang, Y., Wang, J., Ge, Y., Xu, W., Hamm, J., & Reddy, C. K. (2026). Stop Comparing LLM Agents Without Disclosing the Harness. arXiv preprint arXiv:2605.23950v1.