Neuer KI-Ansatz mit World Models zur Leistungssteigerung in StarCraft II

Die Anwendung von Künstlicher Intelligenz (KI) in komplexen Umgebungen wie Echtzeit-Strategiespielen stellt eine signifikante Herausforderung dar. Ein aktuelles Forschungspapier beleuchtet die Entwicklung eines neuartigen KI-Ansatzes für StarCraft II, einem Spiel, das für seine enorme Komplexität und die Notwendigkeit strategischer Planung unter unvollständigen Informationen bekannt ist. Der Fokus liegt auf der Einführung von World Models zur Verfeinerung von Entscheidungsstrategien (Policies), um die Leistung von KI-Agenten in diesem anspruchsvollen Umfeld zu verbessern.

Herausforderungen in StarCraft II für KI-Modelle

StarCraft II (SC2) dient seit langem als Testumgebung für KI-Forschung. Das Spiel zeichnet sich durch einen massiven Zustands- und Aktionsraum, teilweise Sichtbarkeit (Fog of War) und die Notwendigkeit langfristiger strategischer Planung sowie mikro-taktischer Ausführung aus. Bisherige auf Large Language Models (LLMs) basierende SC2-Agenten konzentrierten sich primär auf die Verbesserung der Entscheidungsstrategie selbst. Eine Integration eines lernfähigen, aktionsbedingten Übergangsmodells in den Entscheidungsprozess wurde in dieser Form bisher nicht systematisch untersucht.

StarWM: Ein neues World Model für StarCraft II

Um diese Lücke zu schließen, wurde StarWM vorgeschlagen. StarWM ist das erste World Model für SC2, das zukünftige Beobachtungen unter teilweiser Sichtbarkeit vorhersagen kann. Dies ist ein entscheidender Schritt, da es dem KI-Agenten ermöglicht, potenzielle zukünftige Zustände zu simulieren und seine Aktionen entsprechend anzupassen, noch bevor diese ausgeführt werden. Die Entwicklung von StarWM adressiert zwei zentrale Herausforderungen:

• Dynamiklernen in SC2: Die Umgebung von SC2 weist eine stark gekoppelte hybride Dynamik auf, die Ressourcenflüsse, Aufgabenfortschritte, Mikro-Einheitenkinematik und Kampfentwicklungen unter teilweiser Sichtbarkeit umfasst.
• Entscheidungsintegration: Es ist anspruchsvoll, ein gelerntes World Model nahtlos in den textbasierten Entscheidungsprozess eines LLM zu integrieren, ohne auf rechenintensive Suchalgorithmen zurückzugreifen.

Strukturierte Textuelle Repräsentation und Datensatz

Um die hybride Dynamik von SC2 zu erfassen, führt StarWM eine strukturierte textuelle Beobachtungsrepräsentation ein. Diese Repräsentation unterteilt Beobachtungen in fünf semantische Module:

1. Info: Wirtschaft und Status (Mineralien, Gas, Sammelrate, Versorgung, Warnungen, Upgrades).
2. Queue: Laufende Aufgaben (Bau, Produktion, Upgrades) und deren Fortschritt.
3. My Units: Eigene Einheiten (IDs, Positionen, Lebenspunkte, Energie, Status).
4. My Structures: Eigene statische Gebäude.
5. Visible Hostiles: Sichtbare feindliche Einheiten und Strukturen.

Diese Faktorisierung der Beobachtungen soll dem World Model helfen, unterschiedliche Sub-Dynamiken für verschiedene Aufgaben zu aktivieren, was den Lernaufwand reduziert. Basierend auf dieser Repräsentation wurde SC2-Dynamics-50k erstellt, der erste Datensatz für die SC2-Dynamikvorhersage durch Instruktions-Tuning. Dieser Datensatz ermöglicht das Training von StarWM mittels überwachtem Fine-Tuning, wobei Qwen3-8B als Basis-LLM dient.

Multidimensionale Offline-Evaluierung

Zur Bewertung der prädiktiven Qualität von StarWM wurde ein multidimensionales Offline-Evaluierungsframework entwickelt, da standardmäßige Metriken wie BLEU oder ROUGE die numerische Größe, räumliche Konsistenz und Logik in StarCraft II nicht adäquat widerspiegeln. Das Framework bewertet vier Dimensionen:

• Wirtschaft & Status: Verwendet den Symmetric Mean Absolute Percentage Error (SMAPE) für numerische Werte und den F1-Score für spärliche Ereignisse wie Warnungen oder Upgrades.
• Entwicklung: Misst die Genauigkeit der Aufgabenplanung und des Fortschritts mittels Queue F1-Score und Progress MAE.
• Mikro-Einheiten: Bewertet die Existenz und Attributgenauigkeit von Einheiten (HP, Energie MAE) unter Verwendung einer hybriden Abgleichstrategie.
• Makro-Situation: Quantifiziert die Konsistenz der räumlichen Verteilung von Entitäten mittels Augmented Wasserstein Distance (AWD).

Die Offline-Ergebnisse zeigen, dass StarWM in den meisten Metriken eine signifikant bessere Leistung erbringt als Zero-Shot-Baselines. Die Genauigkeit der Ressourcenprognose verbesserte sich um fast 60%, und die Konsistenz der Makro-Situation auf der eigenen Seite zeigte ebenfalls eine deutliche Steigerung. Dies deutet darauf hin, dass StarWM in der Lage ist, sowohl deterministische Dynamiken als auch Kampfverlustmechanismen von SC2 zu erfassen. Zero-Shot-LLMs zeigten vergleichsweise eine ähnliche Leistung wie eine statische Bias-Baseline, was die Notwendigkeit einer aufgabenspezifischen Anpassung unterstreicht. Die Vorhersage von Gegneraktionen unter teilweiser Sichtbarkeit bleibt jedoch eine Herausforderung.

StarWM-Agent: Ein entscheidungsunterstützendes System

Für die Online-Integration wurde der StarWM-Agent entwickelt. Dies ist ein entscheidungsunterstützendes System, das StarWM in einen Generate-Simulate-Refine-Entscheidungszyklus integriert. Der Prozess läuft wie folgt ab:

1. Generate: Eine LLM-Strategie schlägt eine initiale Aktion vor.
2. Simulate: StarWM prognostiziert die zukünftige Beobachtung (z.B. 5 Sekunden später), wenn die vorgeschlagene Aktion ausgeführt wird.
3. Refine: Die vorhergesagte zukünftige Beobachtung wird der LLM-Strategie als Kontext zurückgegeben, wodurch diese die initiale Aktion überarbeiten oder bestätigen kann.

Dieser Mechanismus erweitert den effektiven Zeithorizont des Agenten für das Makro-Management (z.B. Antizipation von Versorgungsengpässen) und dient als leichter Kampf-/Machbarkeitssimulator für die mikro-taktische Risikobewertung.

Online-Testergebnisse und Leistungsverbesserungen

Die Online-Evaluierung des StarWM-Agenten gegen die integrierte KI von SC2 auf verschiedenen Schwierigkeitsgraden (Hard (LV5), Harder (LV6), VeryHard (LV7)) zeigte konsistente Leistungsverbesserungen. Der StarWM-Agent (unter Verwendung von Qwen3-32B als Policy) erzielte Gewinnratensteigerungen von 30%, 15% und 30% gegenüber LV5, LV6 bzw. LV7. Diese Verbesserungen gingen einher mit:

• Makro-Management: Deutliche Reduzierung der Supply Block Rate (SBR) um ca. 53%. Dies deutet auf vorausschauende Planung von Versorgungsengpässen hin.
• Wirtschaftliche Effizienz: Steigerung der Ressourcenumwandlungsrate um ca. 23%. Dies zeigt eine effizientere Nutzung gesammelter Ressourcen.
• Taktische Führung: Verbesserungen im Kill-Loss Ratio (KLR) um ca. 21%. Das World Model agiert hier als leichter Kampfsimulator, der ungünstige Gefechte vermeidet und günstige fördert.

Eine Ablationsstudie bestätigte, dass diese Leistungssteigerungen auf die genaue aktionsbedingte Simulation durch das trainierte World Model zurückzuführen sind und nicht allein auf zusätzliche Rechenzeit oder generische LLM-Voraussicht. Die Analyse von Aktionsrevisionen zeigte, dass "Build Supply Depot" eine häufig hinzugefügte Aktion war, was die Rolle des World Models bei der Förderung eines präventiven Makro-Managements unterstreicht.

Fazit

StarWM repräsentiert einen Fortschritt in der Entwicklung von KI-Agenten für komplexe Echtzeit-Strategiespiele wie StarCraft II. Durch die Einführung eines aktionsbedingten World Models und dessen Integration in einen Generate-Simulate-Refine-Entscheidungszyklus demonstriert das System eine verbesserte Fähigkeit zur vorausschauenden Planung und zur Verfeinerung von Strategien unter teilweiser Sichtbarkeit. Die Ergebnisse unterstreichen das Potenzial von World Models, die Leistung von LLM-basierten Agenten in dynamischen und unvorhersehbaren Umgebungen signifikant zu steigern.

Bibliography: - Zhang, Y., Wang, Z., Rong, Y., Wang, H., Jiang, J., Xu, S., Wu, H., Zhou, S., & Xu, B. (2026). World Models for Policy Refinement in StarCraft II. arXiv. - Ma, W., Mi, Q., Yan, X., Wu, Y., Lin, R., Zhang, H., & Wang, J. (2023). Large Language Models Play StarCraft II: Benchmarks and A Chain of Summarization Approach. arXiv. - Shen, P., Wang, Y., Mu, N., Luan, Y., Xie, R., Yang, S., Wang, L., Hu, H., Xu, S., Yang, Y., & Xu, B. (2025). SC2Arena and StarEvolve: Benchmark and Self-Improvement Framework for LLMs in Complex Decision-Making Tasks. arXiv.