LLMs als Weltmodelle für das Training autonomer KI-Agenten

Sprachmodelle als potenzielle Simulationsumgebungen für KI-Agenten

Die Entwicklung autonomer KI-Agenten ist ein zentrales Forschungsfeld der Künstlichen Intelligenz. Ein wesentlicher Aspekt dieser Entwicklung ist die Notwendigkeit, Agenten umfassende Erfahrungen in ihrer Umgebung sammeln zu lassen. Traditionell erfolgt dies oft in realen oder aufwendig konstruierten virtuellen Umgebungen. Eine aktuelle Studie beleuchtet jedoch eine vielversprechende Alternative: den Einsatz großer Sprachmodelle (LLMs) als sogenannte "Weltmodelle", die als interne Simulatoren fungieren können.

Ein internationales Forscherteam, bestehend aus Wissenschaftlern der Southern University of Science and Technology, Microsoft Research, Princeton University, der University of Edinburgh und weiteren Institutionen, hat die Fähigkeit von LLMs untersucht, Umgebungsdynamiken zu prognostizieren. Die Kernidee besteht darin, die Aufgabenstellung der Sprachmodellierung neu zu interpretieren: Statt das nächste Wort vorherzusagen, sollen die Modelle den nächsten Zustand einer Umgebung nach einer bestimmten Aktion eines Agenten vorhersagen.

LLMs als Weltmodelle: Ein Paradigmenwechsel im Training

Die Forschung basiert auf der Annahme, dass LLMs, die auf riesigen Textdatensätzen trainiert wurden, implizit ein Verständnis für kausale Zusammenhänge und die Funktionsweise der Welt entwickeln könnten. Wenn dieses implizite Wissen explizit gemacht und für die Simulation genutzt werden kann, könnten KI-Agenten in diesen LLM-basierten Simulatoren trainiert werden. Dies würde die Abhängigkeit von physischen oder komplexen, statischen Simulationsumgebungen reduzieren und ein skalierbareres, flexibleres Training ermöglichen.

Die Studie untersuchte die Leistungsfähigkeit von LLMs als Weltmodelle in fünf unterschiedlichen textbasierten Umgebungen:

• ALFWorld: Hier wurden Haushaltsaufgaben simuliert, beispielsweise das Kühlen einer Tasse und deren Platzierung in einer Kaffeemaschine.
• SciWorld: Diese Umgebung bildete wissenschaftliche Experimente im Labor nach.
• TextWorld: Eine Umgebung mit narrativen Rätseln und Erkundungselementen.
• WebShop: Eine Simulation eines E-Commerce-Shops, in dem Agenten Produkte basierend auf spezifischen Kriterien finden mussten.
• StableToolBench: Eine Umgebung zur Überprüfung der Nutzung von API-Tools.

Diese Auswahl umfasste sowohl hochstrukturierte Domänen mit klaren Regeln als auch offenere Umgebungen mit höherer Variabilität, um die Stärken und Grenzen der LLM-basierten Weltmodelle zu testen. Die Bewertung erfolgte anhand dreier Kriterien: der Genauigkeit und Konsistenz der Zustandsprognosen über längere Aktionssequenzen, der Skalierbarkeit dieser Fähigkeiten mit mehr Daten und größeren Modellen sowie dem praktischen Nutzen der Weltmodelle für das Training von Agenten.

Beeindruckende Genauigkeit durch gezieltes Fine-Tuning

Bereits vortrainierte Sprachmodelle zeigten eine gewisse Fähigkeit zur Modellierung von Umgebungen. Beispielsweise erreichte Claude-sonnet-4.5 eine Genauigkeit von 77% bei der Vorhersage des nächsten Zustands in der Haushaltsumgebung mit nur drei Beispielen. Für komplexere Szenarien reichte dies jedoch nicht aus.

Der entscheidende Fortschritt wurde durch gezieltes Fine-Tuning mit realen Interaktionsdaten erzielt. Nach dieser Anpassung erreichten Modelle wie Qwen2.5-7B und Llama-3.1-8B eine bemerkenswerte Genauigkeit:

• Rund 99% in ALFWorld.
• Etwa 98,6% in SciWorld.
• Circa 70% in TextWorld.

Ein weiteres wichtiges Ergebnis war die Zuverlässigkeit der Modelle über längere Aktionssequenzen hinweg. In strukturierten Domänen lag das Konsistenzverhältnis bei über 90%. Dies bedeutet, dass in den Weltmodellen entwickelte Aktionspläne in der realen Umgebung mit nahezu der gleichen Erfolgsrate umgesetzt werden konnten wie direkt in der realen Umgebung geplante Aktionen.

Die E-Commerce-Simulation (WebShop) stellte sich als anspruchsvoller heraus. Hier lagen die Konsistenzraten im Durchschnitt bei etwa 70%, variierten jedoch stark zwischen verschiedenen Agenten, wobei schwächere Agenten deutlich niedrigere Werte aufwiesen. Eine signifikante Verbesserung konnte jedoch erzielt werden, indem die simulierten Prozesse mit realen Beobachtungen initialisiert wurden. In solchen Fällen stieg die Konsistenz auf nahezu 100% an, selbst bei einem GPT-4o-Agenten.

Diese Ergebnisse deuten darauf hin, dass LLM-basierte Weltmodelle in strukturierten Umgebungen bereits ein hohes Maß an Realitätstreue erreichen können und das Potenzial besitzen, Agenten ein effektives und zuverlässiges Training zu ermöglichen.

Skalierungsfaktoren: Datenvolumen und Modellgröße

Die Untersuchung zeigte klare Muster hinsichtlich der Skalierbarkeit. In strukturierten Umgebungen, wie den Haushalts- oder Laborsimulationen, erreichte die Genauigkeit bei etwa 20.000 Trainings-Trajektorien (Aufzeichnungssequenzen von Agentenaktionen) ein Plateau. Offenere Umgebungen, wie die E-Commerce-Plattform, profitierten hingegen von zusätzlichen Daten und zeigten auch bei bis zu 70.000 Trajektorien weiterhin Verbesserungen.

Ein ähnliches Muster zeigte sich bei der Modellgröße. Modelle mit 1,5 Milliarden Parametern bewältigten strukturierte Umgebungen gut, während komplexere Szenarien eine höhere Kapazität erforderten. Dies unterstreicht die Erkenntnis, dass der Erfolg von Weltmodellen stark vom Umfang der Trainingsdaten und der Größe des Modells abhängt, wobei beide Faktoren mit der Komplexität der zu simulierenden Umgebung skaliert werden müssen.

Implikationen für die Zukunft des KI-Trainings

Die Ergebnisse dieser Studie fügen sich in eine breitere Debatte über die zukünftige Ausrichtung der Künstlichen Intelligenz ein. Persönlichkeiten wie Richard Sutton, Träger des Turing Awards, haben argumentiert, dass die KI-Industrie ihren Weg verloren habe, indem sie das kontinuierliche Lernen aus Erfahrung zugunsten von vorab integriertem Wissen vernachlässige. Sutton forderte in seinem Essay „Welcome to the Era of Experience“ einen Paradigmenwechsel, bei dem KI-Agenten aus ihrer eigenen Erfahrung lernen sollten, wobei Weltmodelle als interne Simulatoren dienen könnten.

Die vorliegende Studie liefert empirische Belege für einen Teil dieser Vision: LLMs können tatsächlich lernen, Umgebungsdynamiken zu simulieren und könnten somit ein grundlegender Baustein für das erfahrungsbasierte Training von Agenten werden. Es bleibt jedoch festzuhalten, dass die Studie Suttons zentrale Bedenken – das Fehlen von kontinuierlichem Lernen ohne Vergessen – nicht umfassend adressiert. Dies gilt weiterhin als eine wesentliche Hürde auf dem Weg zu einer wahrhaft intelligenten KI.

Die Fähigkeit von LLMs, als hochpräzise Weltmodelle zu fungieren, könnte die Entwicklung von KI-Agenten erheblich beschleunigen, indem sie eine kostengünstige und skalierbare Trainingsumgebung bereitstellt. Dies eröffnet neue Möglichkeiten für das Testen und Verfeinern von Agentenverhalten in einer Vielzahl von Szenarien, bevor sie in realen, oft unvorhersehbaren Umgebungen eingesetzt werden.

Bibliographie:

- Li et al. (2026). LLMs Learn 99% Accurate World Models, Letting AI Agents Train in Simulation. Paper. - Mitchell, M. (2025). LLMs and World Models, Part 1. AI: A Guide for Thinking Humans. - Burton, S. (2025). Can AI Act Like a Negotiator, a Partner, or a Shark? A.CRE. Adventures in CRE. - Built In. (2025). Move Over LLMs, World Models Are the Next Big Thing in AI. Built In. - Gu, Y. et al. (2025). Is Your LLM Secretly a World Model of the Internet? Model-Based Planning for Web Agents. arXiv:2411.06559. - Deng, M. et al. (2025). SimuRA: Towards General Goal-Orientated Agent via Simulative Reasoning Architecture with LLM-Based World Model. arXiv:2507.23773. - Guo, S. et al. (2025). World Modelling Improves Language Model Agents. arXiv:2506.02918v2. - Tang, H. et al. (2025). WorldCoder, a Model-Based LLM Agent: Building World Models by Writing Code and Interacting with the Environment. Proceedings. - CNET. (2025). How Smart Do We Want AI to Be? World Models May Understand Things Better Than We Do. CNET. - Hopkins, B. (2024). LLMs, Make Room For World Models. Forrester.