Innovativer Ansatz für Computer-Agenten: Der Übergang von Pixeln zu Programmzuständen

Revolutionierung der Computer-Agenten: StateAct und der Paradigmenwechsel von Pixel zu Programmzustand

Die Entwicklung autonomer Computer-Agenten hat in den letzten Jahren signifikante Fortschritte gemacht, insbesondere durch den Einsatz großer Sprachmodelle (LLMs). Traditionell basieren viele dieser Agenten auf der visuellen Analyse von Bildschirminhalten – vergleichbar mit einem Menschen, der einen Computerbildschirm betrachtet und darauf reagiert. Ein neuer Forschungsansatz, vorgestellt im Paper "StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents", schlägt jedoch einen grundlegenden Paradigmenwechsel vor, der das Potenzial hat, die Effizienz und Leistungsfähigkeit dieser Agenten erheblich zu verbessern. Anstatt sich auf die Interpretation von Pixeln zu verlassen, fokussiert sich StateAct auf die direkte Interaktion mit dem zugrunde liegenden Programmzustand.

Die Limitationen der Pixel-basierten Wahrnehmung

Bisherige Computer-Agenten, die darauf ausgelegt sind, Aufgaben am Computer zu erledigen, operieren oft nach einem Prinzip, das der menschlichen Interaktion nachempfunden ist: Sie „sehen“ einen Screenshot, „denken“ über die Pixel nach und „entscheiden“, wo sie klicken oder welche Eingabe sie tätigen sollen. Dieser Ansatz, obwohl intuitiv, birgt inhärente Nachteile:

• Informationsverlust: Ein Screenshot ist lediglich eine visuelle Repräsentation des Programmzustands. Viele wichtige Informationen, wie Dateiinhalte, Backend-Prozesse oder das Document Object Model (DOM) einer Webseite, sind in dieser Darstellung nicht direkt ersichtlich oder gehen verloren.
• Ambivalenz: Unterschiedliche interne Zustände können zu identischen visuellen Ausgaben führen. Ein Agent, der nur Pixel analysiert, kann diese feinen Unterschiede nicht erkennen, was zu Fehlinterpretationen und ineffizienten Handlungen führen kann.
• Kostenintensität: Die Verarbeitung und Interpretation großer Mengen visueller Daten ist rechenintensiv und kann die Betriebskosten der Agenten erheblich steigern.

StateAct: Ein "Code-First"-Ansatz

StateAct adressiert diese Herausforderungen durch einen "Code-First"-Ansatz. Dies bedeutet, dass der Hauptagent direkt mit dem Programmzustand interagiert, indem er Code verwendet, um Informationen abzufragen und Aktionen auszuführen. Im Kern dieses Konzepts steht die Erkenntnis, dass Code den Programmzustand direkt inspizieren und modifizieren kann, was eine wesentlich präzisere und umfassendere Interaktion ermöglicht als die Analyse von Bildschirmfotos.

Architektur und Funktionsweise

Das StateAct-System ist als Multi-Agenten-Gefüge konzipiert:

• Hauptagent: Dieser Agent arbeitet primär mit dem Programmzustand. Er kann beispielsweise auf Dateisysteme zugreifen, Datenbanken abfragen oder API-Aufrufe tätigen, um die notwendigen Informationen zu erhalten und Aufgaben zu bearbeiten.
• GUI-Subagent: Für jene wenigen Fälle, in denen eine direkte Interaktion mit der grafischen Benutzeroberfläche (GUI) unvermeidlich ist, kommt ein spezialisierter GUI-Subagent zum Einsatz. Dieser Subagent ist für die traditionelle Screenshot- und Klick-Interaktion zuständig. Die Forschung zeigt, dass dieser Subagent nur in einem kleinen Bruchteil der Aufgaben und Schritte des Hauptagenten benötigt wird (z.B. nur bei 28 von 108 Aufgaben und 1,1 % der Hauptagenten-Schritte in Tests auf OSWorld 2.0).

Vorteile des StateAct-Ansatzes

Die Umstellung von einer Pixel-zentrierten zu einer Programmzustand-zentrierten Interaktion bietet mehrere entscheidende Vorteile für B2B-Anwendungen:

1. Erhöhte Effizienz und Kostensenkung

Durch die direkte Interaktion mit dem Programmzustand entfällt die Notwendigkeit, ständig Screenshots zu verarbeiten und komplexe Bildanalysen durchzuführen. Dies führt zu einer erheblichen Reduzierung der Rechenlast und damit zu geringeren Betriebskosten. Studien belegen, dass StateAct die Kosten pro Aufgabe um das bis zu Neunfache senken kann, insbesondere in Umgebungen wie OSWorld 2.0.

2. Verbesserte Aufgabenbewältigung bei komplexen Szenarien

Langfristige und komplexe Aufgaben, die mehrere Schritte und eine tiefe Kenntnis des Systemzustands erfordern, können von StateAct effektiver gelöst werden. Die Fähigkeit, den internen Zustand direkt zu manipulieren und abzufragen, ermöglicht es dem Agenten, auch bei nicht-visuellen Änderungen präzise zu agieren.

3. Höhere Erfolgsraten

In Tests konnte StateAct in Kombination mit fortgeschrittenen Sprachmodellen wie Claude Opus 4.8 die binäre Erfolgsrate auf OSWorld 2.0 von 20,6 % auf 26,9 % steigern und die Teilerfolgsrate von 54,8 % auf 61,6 % verbessern. Dies deutet auf eine robustere und zuverlässigere Leistung hin.

4. Erweiterte Fähigkeiten von LLM-Agenten

StateAct integriert zudem Konzepte wie "Self-prompting" und "Chain-of-States", die die Fähigkeiten von LLM-basierten Agenten weiter verbessern. "Self-prompting" sorgt dafür, dass die Aufgaben-Ziele in jedem Schritt des Agenten verstärkt werden, was die Zielerreichung fördert. "Chain-of-States" erweitert das bekannte "Chain-of-Thought"-Prinzip, indem es Zustandsinformationen über die Zeit hinweg verfolgt und ein besseres Langzeitgedächtnis und kontextuelles Verständnis ermöglicht. Dies führt zu einer Leistungssteigerung gegenüber früheren Methoden wie ReAct.

Praktische Implikationen für B2B

Für Unternehmen, die automatisierte Agenten für vielfältige Aufgaben einsetzen, ergeben sich aus dem StateAct-Ansatz weitreichende Implikationen:

• Automatisierung komplexer Workflows: StateAct ermöglicht die Automatisierung von Prozessen, die bisher manuelle Eingriffe oder eine aufwendige Entwicklung spezifischer Integrationsschnittstellen erforderten. Dies umfasst Aufgaben wie Software-Tests, Datenmigration, Systemadministration oder die Interaktion mit Legacy-Systemen.
• Effizienzsteigerung in der Softwareentwicklung: Entwicklungs- und Testteams können von Agenten profitieren, die in der Lage sind, Code-Repositorien zu verwalten, Build-Prozesse zu überwachen oder Fehlerberichte zu analysieren und zu beheben, indem sie direkt mit dem Programmzustand interagieren.
• Reduzierung menschlicher Fehler: Durch die präzisere und konsistentere Ausführung von Aufgaben kann die Fehlerquote, die bei manuellen oder pixelbasierten Automatisierungslösungen auftreten kann, minimiert werden.
• Kostenoptimierung: Die signifikante Reduzierung der Rechenkosten pro Aufgabe macht den Einsatz von KI-Agenten auch für Unternehmen mit hohem Aufgabendurchsatz wirtschaftlicher.

Fazit

StateAct stellt einen wichtigen Schritt in der Entwicklung autonomer Computer-Agenten dar. Durch den Fokus auf den Programmzustand und die Integration eines Multi-Agenten-Ansatzes überwindet es wesentliche Limitationen traditioneller pixelbasierter Systeme. Die erzielten Effizienz- und Leistungssteigerungen sind nicht nur ein akademischer Erfolg, sondern bieten konkrete Vorteile für Unternehmen, die auf der Suche nach robusteren, kostengünstigeren und leistungsfähigeren Automatisierungslösungen sind. Dieser Paradigmenwechsel könnte die Art und Weise, wie KI-Agenten komplexe Aufgaben in digitalen Umgebungen bewältigen, nachhaltig prägen.

Bibliografie

• Yang, Y., Jian, X., Luo, Z., Zhao, Z., Dai, Y., Shi, Z., Yan, H., Liew, J. H., Savarese, S., & Li, J. (2026). StateAct: Program State, before Pixels, for Long-Horizon Computer-Use Agents. arXiv preprint arXiv:2607.22798.
• Dufresne, A. (2026). StateAct Cuts Computer-Use Agent Cost 9x on OSWorld 2.0. AI Weekly.
• Rozanov, N., & Rei, M. (2025). StateAct: Enhancing LLM Base Agents via Self-prompting and State-tracking. Proceedings of the 1st Workshop for Research on Agent Language Models (REALM 2025).
• ai-nikolai/StateAct. (n.d.). GitHub. Verfügbar unter: https://github.com/ai-nikolai/StateAct