EcoGym: Neuer Benchmark zur Bewertung von LLM-Agenten in dynamischen Wirtschaftsszenarien

EcoGym: Ein neuer Ansatz zur Bewertung von LLM-Agenten in komplexen Wirtschaftsumgebungen

Die Fähigkeit zu langfristiger Planung wird als eine zentrale Kompetenz autonomer, auf Large Language Models (LLMs) basierender Agenten angesehen. Bisherige Bewertungsrahmen waren jedoch oft durch episodische Aufgaben, Domänen-Spezifität oder eine unzureichende Verankerung in dynamischen Wirtschaftsmodellen eingeschränkt. Eine neue Forschungsarbeit stellt mit EcoGym einen generalisierbaren Benchmark vor, der darauf abzielt, diese Lücke zu schließen und die kontinuierliche Planungs- und Ausführungsentscheidung von LLM-Agenten in interaktiven Wirtschaftsumgebungen zu evaluieren.

Die Herausforderung der Langzeitplanung für KI-Agenten

Die Entwicklung von KI-Agenten, die in der Lage sind, über lange Zeiträume hinweg kohärente und strategische Entscheidungen zu treffen, stellt eine erhebliche Herausforderung dar. Viele existierende Benchmarks konzentrieren sich auf kurzfristige Aufgaben oder spezifische Domänen, was die Übertragbarkeit der Ergebnisse auf komplexe, dynamische reale Szenarien erschwert. Die Autoren von EcoGym betonen die Notwendigkeit einer Bewertung, die über einfache Belohnungen hinausgeht und sich auf geschäftsrelevante Ergebnisse wie Nettovermögen, Einkommen und täglich aktive Nutzer (DAU) konzentriert, um die Robustheit und strategische Kohärenz unter partieller Beobachtbarkeit und Stochastizität zu messen.

EcoGym: Ein vielseitiger Benchmark für Wirtschaftsagenten

EcoGym ist als offenes und erweiterbares Testbett konzipiert, das eine transparente Bewertung von Langzeit-Agenten ermöglicht und den Kompromiss zwischen Steuerbarkeit und Nutzen in realistischen wirtschaftlichen Kontexten untersucht. Es umfasst drei unterschiedliche Umgebungen, die jeweils spezifische wirtschaftliche Herausforderungen simulieren:

• Vending (Verkauf): In diesem Szenario agiert der Agent als Einzelhändler und muss sein Nettovermögen durch strategischen Einkauf und dynamische Preisgestaltung maximieren. Dabei sind versteckte Marktparameter wie Saisonalität und Preiselastizität zu berücksichtigen.
• Freelance (Freiberuflichkeit): Hier nimmt der Agent die Rolle eines Freelancers ein, dessen Ziel es ist, das Einkommen zu maximieren, ohne einem Burnout zu erliegen. Das Szenario beinhaltet die Verwaltung von Energie, Stress und Fähigkeiten sowie die Interaktion mit einem LLM-basierten Auditor zur Überprüfung der Arbeitsqualität.
• Operation (Plattformbetrieb): In dieser Umgebung agiert der Agent als Betreiber einer digitalen Content-Plattform, mit dem Ziel, die durchschnittlichen täglich aktiven Nutzer (DAU) zu maximieren. Die Plattform unterliegt einer "Zero-Attractor"-Dynamik, was bedeutet, dass die Nutzeraktivität ohne Intervention auf Null zurückfällt. Der Agent muss verschiedene Maßnahmen ergreifen, um Nutzerbindung, Content-Produktion und Qualität zu steuern.

Alle Umgebungen sind in einem vereinheitlichten Entscheidungsprozess mit standardisierten Schnittstellen implementiert und ermöglichen budgetierte Aktionen über einen potenziell unbegrenzten Zeithorizont (mehr als 1000 Schritte bei 365 Tagesschleifen für die Evaluierung).

Designprinzipien und Implementierung

EcoGym basiert auf drei Kernprinzipien:

1. Einfacher Aktionsraum, aber unbegrenzte Langzeitplanung: Trotz eines kompakten Aktionsraums (typischerweise 4-5 primitive Aktionen) ist der Interaktionshorizont praktisch unendlich. Dies verlagert den Schwerpunkt der Bewertung auf langfristige strategische Planung und kumulative Optimierung.
2. Wirtschaftliche Umgebungen als Bewertungsbasis: Die Bewertung ist in alltäglichen wirtschaftlichen Aktivitäten verankert, um die Entscheidungsfindung in Marktumgebungen zu beurteilen. Der Fokus liegt auf der Fähigkeit der Agenten, Ressourcenallokation, Arbeitsmanagement und Betriebseffizienz zu navigieren.
3. Latente Mechanismen für explorative Entdeckung: Die Umgebung enthält verborgene Mechaniken, deren Regeln nicht vollständig offengelegt werden. Agenten müssen diese durch Interaktion und Feedback eigenständig erschließen, was eine aktive Hypothesentestung und kausale Entdeckung erfordert.

Die Datenerhebung für die verschiedenen Umgebungen erfolgte durch das Abfragen von Suchmaschinen für Produktdaten, die Aggregation von Datensätzen aus verschiedenen Domänen für Freelance-Aufgaben und die Synthese von Marktphysik-Parametern mittels LLMs, um realistische Szenarien zu schaffen.

Experimentelle Ergebnisse und Analysen

Es wurden umfangreiche Experimente mit elf führenden LLMs durchgeführt, darunter proprietäre Modelle wie GPT-5.2, Gemini-3-Pro und Claude-Sonnet-4.5 sowie Open-Source-Modelle wie Qwen3 und DeepSeek-v3.2. Die Ergebnisse zeigen, dass kein einzelnes Modell in allen drei Szenarien überlegen ist, was die Komplexität und den anspruchsvollen Charakter des Benchmarks unterstreicht.

• Dominanz in spezifischen Szenarien: Die Gemini-3-Serie zeigte eine überlegene Wertentwicklung im Vending-Szenario. Im Freelance-Szenario übertraf das kompakte GPT-5-Mini größere Modelle, während Claude-Sonnet-4.5 im Operation-Szenario die beste Leistung erbrachte.
• Stochastische Stabilität und Varianz: Die Vending-Umgebung zeigte eine hohe Leistungsvarianz, während Freelance und Operation relativ stabile Trajektorien aufwiesen. Dies führte dazu, dass für Vending der Durchschnitt aus fünf Läufen, für die anderen Szenarien jedoch Einzellaufergebnisse berichtet wurden.
• Einfluss der Kontextfensterlänge: Eine Verlängerung des Kontextfensters über die Standardeinstellung von 128 Schritten hinaus führte nicht zu konsistenten Leistungssteigerungen. Einige Modelle zeigten volatile Verläufe oder eine Verschlechterung der Leistung bei sehr langen Kontexten, was auf Instabilitäten bei der Verarbeitung langer Kontexte hindeutet.
• Zeitliche Entwicklung des Agentenverhaltens: Die Analyse der Aktionsfrequenzen zeigte unterschiedliche Verhaltensmuster. Im Vending-Szenario wechselte der Agent von intensiver Erkundung zu einem stabilen, zyklischen Nachschub. Im Freelance-Szenario etablierte sich ein rhythmischer Wechsel zwischen Aufgabeninspektion, Lösungsabgabe und Energieerholung. Im Operation-Szenario verlagerte sich der Fokus sequenziell von Nutzerakquise über Moderation zu Anreizen für Content-Ersteller.
• Analyse von Fehlermodi: Leistungsunterschiede resultierten hauptsächlich aus zwei Faktoren: strategischer Priorisierung (Abstimmung mit dem Belohnungsmechanismus) und Ausführungseffizienz (hoher Nutzen der Aktionen). Überlegene Modelle zeigten eine bessere Ausnutzung der täglichen Budgets und präzise Zustandsverfolgung.
• Einfluss zusätzlicher Speichermodule: Die Integration externer Speichermodule (Arbeits-, symbolischer und episodischer Speicher sowie eine kommerzielle Lösung) verbesserte die Leistung im Allgemeinen, war aber nicht universell vorteilhaft und stark modell- und aufgabenabhängig. Kein einzelnes Speichermodell erwies sich als dominant.
• Einfluss des "Denkens mit Handlungen": Die Aktivierung eines "Denkmodus", bei dem generierte Denkinhalte inkrementell in den Kontext integriert werden, führte zu einer universellen Leistungssteigerung bei allen Modellen und Metriken. Dies deutet darauf hin, dass die Aufrechterhaltung einer konsistenten Argumentationskette die Stabilität und Erfolgsrate bei Langzeitaufgaben verbessert.
• Einfluss der Umgebungskomplexität: Die Skalierung der Komplexität in der Vending-Umgebung zeigte divergente Verhaltensweisen. Während Gemini-3-Flash eine robuste Anpassungsfähigkeit bewies und die Gewinne mit der Komplexität positiv skalierten, stagnierte Gemini-3-Pro und konnte den erweiterten Chancenraum nicht nutzen.
• Vergleich mit menschlicher Leistung: Menschliche Experten wurden für die Bewertung im Operation-Szenario eingesetzt. Top-Modelle wie Claude-Sonnet-4.5 und Gemini-3-Pro übertrafen die menschliche Baseline, was das Potenzial aktueller LLMs für komplexe ökonomische Entscheidungsfindung hervorhebt.

Fazit

EcoGym füllt eine kritische Lücke in der Bewertung von LLM-Agenten, indem es die langfristige wirtschaftliche Überlebensfähigkeit in den Vordergrund stellt. Die umfangreichen Experimente zeigen, dass die aktuellen Modelle zwar beeindruckende kurzfristige Argumentationsfähigkeiten besitzen, aber Schwierigkeiten haben, strategische Kohärenz über längere Zeiträume aufrechtzuerhalten. Die Ergebnisse legen nahe, dass zukünftige Forschungsanstrengungen auf die Entwicklung von universellen Agenten abzielen sollten, die nicht nur rational denken, sondern auch robust und strategisch ausgerichtet sind.

Quellen

• Hu, X., Xia, J., Xu, S., Song, K., Yuan, Y., Zhang, G., Ren, J., Feng, B., Lu, L., Zeng, T., Liu, J., Liu, M., Zhu, H., Jiang, Y. E., Wang, W., & Zhou, W. (2026). EcoGym: Evaluating LLMs for Long-Horizon Plan-and-Execute in Interactive Economies. arXiv preprint arXiv:2602.09514.
• Mi, Q., Yang, Q., Fan, Z., Fan, W., Ma, H., Ma, C., Xia, S., An, B., Wang, J., & Zhang, H. (2025). EconGym: A Scalable AI Testbed with Diverse Economic Tasks. arXiv preprint arXiv:2506.12110.
• Xi, Z., Huang, J., Liao, C., Huang, B., Guo, H., Liu, J., Zheng, R., Ye, J., Zhang, J., Chen, W., He, W., Ding, Y., Li, G., Chen, Z., Du, Z., Yao, X., Xu, Y., Chen, J., Gui, T., Wu, Z., Zhang, Q., & Huang, X. (2025). AgentGym-RL: Training LLM Agents for Long-Horizon Decision Making through Multi-Turn Reinforcement Learning. Hugging Face Paper Page.
• Fish, S., Shephard, J., Li, M., Shorrer, R. I., & Gonczarowski, Y. A. (2025). EconEvals: Benchmarks and Litmus Tests for LLM Agents in Unknown Environments. arXiv preprint arXiv:2503.18825.
• Zhang, S., Zhang, J., Ding, D., Garcia, M. H., Mallick, A., Madrigal, D., Xia, M., Rühle, V., Wu, Q., & Wang, C. (2024). EcoAct: Economic Agent Determines When to Register What Action. arXiv preprint arXiv:2411.01643.
• Qiu, L., Chen, Y., Ge, Y., Ge, Y., Shan, Y., & Liu, X. (2024). EgoPlan-Bench2: A Benchmark for Multimodal Large Language Model Planning in Real-World Scenarios. arXiv preprint arXiv:2412.04447.
• Erdogan, L. E., Lee, N., Kim, S., Moon, S., Furuta, H., Anumanchipalli, G., Keutzer, K., & Gholami, A. (2025). Plan-and-Act: Improving Planning of Agents for Long-Horizon Tasks. arXiv preprint arXiv:2503.09572.