EnvScaler Ein neues Framework zur automatisierten Erstellung interaktiver Umgebungen für LLM-Agenten

Die Entwicklung von Large Language Models (LLMs) zu autonomen Agenten, die in der Lage sind, komplexe Aufgaben in verschiedenen realen Umgebungen zu bewältigen, stellt einen entscheidenden Fortschritt in der künstlichen Intelligenz dar. Ein zentrales Hindernis für diese Entwicklung ist jedoch der Mangel an umfangreichen und vielfältigen Trainingsumgebungen, die realistische Tool-Interaktionen abbilden können. Manuell erstellte Umgebungen sind ressourcenintensiv und schwer skalierbar, während LLM-simulierte Umgebungen oft unter Halluzinationen und Inkonsistenzen leiden. Vor diesem Hintergrund wurde EnvScaler entwickelt, ein automatisiertes Framework, das durch programmatische Synthese skalierbare, werkzeuginteraktive Umgebungen für LLM-Agenten bereitstellt.

Die Herausforderung: Skalierung interaktiver Umgebungen

LLM-basierte Agenten versprechen, die Art und Weise, wie wir mit digitalen Systemen interagieren und komplexe Probleme lösen, grundlegend zu verändern. Um jedoch ihr volles Potenzial auszuschöpfen, benötigen diese Agenten Trainingsdaten, die nicht nur die Komplexität und Vielfalt realer Szenarien widerspiegeln, sondern auch die Fähigkeit zur Interaktion mit externen Tools umfassend trainieren. Die Erstellung solcher Daten ist eine immense Herausforderung:

• Kosten und Aufwand: Manuelle Erstellung und Annotation von Umgebungen und Szenarien ist extrem zeit- und kostenintensiv.
• Realismus und Dynamik: Statische Datensätze erfassen nicht die dynamischen und interaktiven Aspekte realer Umgebungen.
• Halluzinationen: LLM-generierte Simulationen können ungenau oder inkonsistent sein, was das Training beeinträchtigt.

Diese Limitationen hemmen die Entwicklung von LLM-Agenten, die sich anpassungsfähig verhalten und langfristige Entscheidungen treffen können. Es besteht ein Konsens, dass Agenten direkt mit Umgebungen interagieren und aus Erfahrungen lernen müssen, anstatt sich ausschliesslich auf statische, menschlich kuratierte Datensätze zu verlassen. Dieser iterative Prozess wird oft als Generation-Execution-Feedback (GEF)-Schleife beschrieben, bei der Umgebungen Aufgaben generieren, Beobachtungen als Reaktion auf Agentenaktionen liefern und bewertendes Feedback für das nachfolgende Lernen bereitstellen.

EnvScaler: Ein Framework für programmatische Synthese

Das EnvScaler-Framework zielt darauf ab, die Skalierung von interaktiven Umgebungen durch einen zweistufigen, automatisierten Prozess zu revolutionieren:

SkelBuilder: Die Grundlage schaffen

Die erste Komponente, SkelBuilder, ist verantwortlich für die Konstruktion vielfältiger "Umgebungsskelette". Dieser Prozess umfasst mehrere Schritte:

1. Topic Mining: Identifizierung potenzieller Umgebungsbeschreibungen aus bestehenden Open-Source-Textaufgaben.
2. Logic Modeling: Planung des entsprechenden Zustandsschemas und der Geschäftsregeln. Dies beinhaltet die Generierung einer voll funktionsfähigen Python-Klasse, deren Methoden Tool-Schnittstellen bereitstellen.
3. Quality Evaluation: Eine Dual-Agenten-Schleife führt eine Qualitätsprüfung durch. Ein Agent ruft Tools auf, während ein anderer den Code, die Rückgabewerte und die Zustandsänderungen überprüft, um Qualität und Konsistenz zu gewährleisten.

Dieser Ansatz ermöglicht es, eine breite Palette von thematisch und funktional unterschiedlichen Umgebungen zu erstellen, die als Basis für spezifische Aufgaben dienen.

ScenGenerator: Aufgaben und Validierung generieren

Aufbauend auf den von SkelBuilder erstellten Umgebungsskeletten generiert der ScenGenerator eine Vielzahl von Aufgabenszenarien und regelbasierten Trajektorienvalidierungsfunktionen für jede Umgebung:

1. Initial State Generation: LLMs werden aufgefordert, einen Anfangszustand oder eine Datenbank für das Szenario zu generieren.
2. Challenging Task Creation: Anschliessend wird eine anspruchsvolle Aufgabe erstellt, die aus diesem Anfangszustand gelöst werden kann.
3. Rule-Based Trajectory Validation: Die Aufgabe wird in Checklisten zerlegt, wobei jeder Prüfpunkt in eine boolesche Python-Funktion umgewandelt wird, die den Endzustand der Umgebung überprüft. Dies liefert verifizierbare Belohnungssignale für das Agententraining.

Durch diese methodische Generierung können Tausende von einzigartigen Szenarien für jede Umgebung geschaffen werden, was eine beispiellose Skalierung der Trainingsdaten ermöglicht.

Anwendung und Ergebnisse

Mit EnvScaler wurden 191 Umgebungen und etwa 7.000 Szenarien synthetisiert. Diese wurden anschliessend für das Supervised Fine-Tuning (SFT) und Reinforcement Learning (RL) von Modellen der Qwen3-Serie eingesetzt. Die Evaluation auf drei Benchmarks zeigte, dass EnvScaler die Fähigkeit von LLMs, Aufgaben in komplexen Umgebungen mit mehrstufigen und Multi-Tool-Interaktionen zu lösen, signifikant verbessert. Die generierten Aufgaben sind nicht nur vielfältig und realistisch, sondern auch verifizierbar, was für ein effektives Training entscheidend ist.

Ein Beispiel für die Effektivität von EnvScaler ist die Anwendung im Bereich der GUI-Agenten (Graphical User Interface). Hier ermöglichte das Framework die Generierung von 20.000 Aufgaben für 20 Android-Anwendungen und 10.000 Aufgaben für 13 Ubuntu-Anwendungen. Die damit trainierten MLLM-basierten UI-Agenten zeigten eine Verbesserung der Erfolgsraten um bis zu 20,0 % bei mobilen Anwendungen und 10,9 % bei Computeranwendungen. Die Kombination der von AutoPlay generierten Aufgaben mit MLLM-basierten Belohnungsmodellen für das RL-Training führte zu einem zusätzlichen Gewinn von 5,7 %.

Bedeutung für die B2B-Zielgruppe

Für Unternehmen, die an der Entwicklung und Implementierung von KI-Agenten interessiert sind, bietet EnvScaler mehrere entscheidende Vorteile:

• Kostenreduktion: Die automatisierte Generierung von Trainingsdaten reduziert den Bedarf an kostspieliger manueller Annotation erheblich.
• Beschleunigte Entwicklung: Durch den schnellen Zugriff auf eine grosse Menge an vielfältigen und qualitativ hochwertigen Trainingsszenarien können LLM-Agenten schneller entwickelt und iteriert werden.
• Verbesserte Agentenleistung: Agenten, die mit EnvScaler-generierten Daten trainiert werden, zeigen eine überlegene Fähigkeit, komplexe, realistische Aufgaben zu bewältigen, was zu robusteren und vielseitigeren KI-Lösungen führt.
• Anpassbarkeit: Das Framework kann an spezifische Domänen und Anforderungen angepasst werden, um massgeschneiderte Trainingsumgebungen zu schaffen.
• Skalierbarkeit: Die programmatische Synthese ermöglicht es, Trainingsdaten in einem Umfang zu generieren, der mit herkömmlichen Methoden unerreichbar wäre.

EnvScaler demonstriert einen Weg, wie die Herausforderungen bei der Skalierung von Trainingsumgebungen für LLM-Agenten überwunden werden können. Es ebnet den Weg für die Entwicklung von KI-Agenten, die nicht nur intelligent, sondern auch robust, anpassungsfähig und in der Lage sind, in komplexen, realen Szenarien effektiv zu agieren.

Ausblick und zukünftige Richtungen

Die Forschung im Bereich der Skalierung von Umgebungen für LLM-Agenten ist dynamisch. Zukünftige Entwicklungen könnten sich auf folgende Bereiche konzentrieren:

• Ko-Evolution mit externen Tools: Integration von externen Tools, die als Verifizierer, Simulatoren oder Compiler dienen, um strukturierteres und verifizierbares Feedback zu liefern.
• Generator-Verifier-Synergie: Nutzung der stärkeren Intelligenz von Generatoren, um Verifizierer zu stärken und so die Selbstentwicklung von Agenten voranzutreiben.
• Open-Ended Multi-Agenten-Umgebungen: Entwicklung von Umgebungen, die grosse Multi-Agenten-Interaktionen und emergente soziale Dynamiken unterstützen, um Agenten auf komplexe, multikulturelle und mehrsprachige Szenarien vorzubereiten.

EnvScaler leistet einen wesentlichen Beitrag zu diesen Zielen, indem es eine solide Grundlage für die Erstellung skalierbarer und realistischer interaktiver Umgebungen schafft. Die kontinuierliche Weiterentwicklung solcher Frameworks wird entscheidend sein, um die nächste Generation von LLM-basierten Agenten zu realisieren.

Bibliography: - Song, X., Chang, H., Dong, G., Zhu, Y., Dou, Z., & Wen, J. (2026). EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis. *arXiv preprint arXiv:2601.05808*. - Huang, Y., Li, S., Liu, M., Liu, W., Fan, Z., & Fung, Y. R. (2025). Scaling Environments for LLM Agents in the Era of Learning from Interaction: A Survey. *arXiv preprint arXiv:2511.09586*. - Ramrakhya, R., Szot, A., Attia, O., Yang, Y., Nguyen, A., Mazoure, B., Gan, Z., Agrawal, H., & Toshev, A. (2025). Scaling Synthetic Task Generation for Agents via Exploration. *arXiv preprint arXiv:2509.0XXXX*. - Hugging Face Papers. (2026). *EnvScaler: Scaling Tool-Interactive Environments for LLM Agent via Programmatic Synthesis*. Retrieved from https://huggingface.co/papers/2601.05808 - Hugging Face Collections. (2026). *EnvScaler - a XXHStudyHard Collection*. Retrieved from https://huggingface.co/collections/XXHStudyHard/envscaler