Zum Inhalt springen
KI-Agenten 6 Min. Lesezeit

Game2Player verbindet Webspiele und visuelle Agenten in einem Trainingskreislauf

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 4 Quellen

KI-generierte Illustration: Game2Player verbindet Webspiele und visuelle Agenten in einem Trainingskreislauf
KI-generierte Illustration

Das Wichtigste in Kürze

  • Das Forschungsteam beschreibt einen Kreislauf, in dem ein Builder Webspiele für Agenten anpasst, Aufgaben mit prüfbaren Zustandskriterien erstellt und Probleme aus Spielversuchen zur Überarbeitung nutzt. [1]
  • Aus 568 Webspielen und 3.436 Aufgaben seien 15.700 Spielverläufe mit insgesamt 307 Stunden Gameplay entstanden. [1]
  • Der Benchmark PlayerBench umfasst laut Projektseite 50 nicht im Training verwendete Spiele und 287 Aufgaben. [2][3]
  • Für ein 9-Milliarden-Parameter-Modell berichten die Autoren einen Anstieg des Aufgabenfortschritts auf PlayerBench von 14,3 auf 31,2 Prozent und auf GameWorld von 30,0 auf 53,1 Prozent. [1]
  • Die verfügbaren Seiten enthalten keine vollständige Paperfassung; die Ergebnisse sind daher als Angaben der Autoren zu behandeln, nicht als unabhängig bestätigte Resultate. [1]
Inhalt · 7 Abschnitte
  1. Ein neuer Ansatz für interaktive Trainingsdaten
  2. Builder und Spieler überarbeiten Umgebung und Aufgaben gemeinsam
  3. Umfang der Sammlung und Rolle des Benchmarks
  4. Fortschrittsgewichtetes Training und berichtete Ergebnisse
  5. Was der Ansatz für Unternehmen interessant macht
  6. Einordnung in die Forschung zur Skalierung von Spielagenten
  7. Offene Fragen vor einer belastbaren Bewertung
  8. Quellen

Ein neuer Ansatz für interaktive Trainingsdaten

Visuelle Agenten müssen in Spielen Bildinformationen auswerten, Ziele verfolgen und Eingaben präzise ausführen. Für längere Aufgaben kommt hinzu, dass einzelne Aktionen aufeinander aufbauen. Das Forschungspapier Game2Player setzt an der Datenbasis für solche Fähigkeiten an: Statt ausschließlich aufgezeichnetes menschliches Gameplay zu sammeln, soll ein automatisierter Prozess bestehende Webspiele anpassen und dort überprüfbare Aufgaben erzeugen. [1]

Die Arbeit ist auf der Paper-Seite von Hugging Face mit dem Veröffentlichungsdatum 17. November gelistet und wurde dort am 19. November eingereicht. Die verfügbaren Angaben stammen vor allem aus dem Abstract und einer Projektseite; der vollständige Papertext ist auf der Paper-Seite nicht verfügbar. [1][3] Die beschriebenen Leistungswerte sind deshalb zunächst Ergebnisse, die das Forschungsteam selbst berichtet. Eine unabhängige Überprüfung lässt sich aus den vorliegenden Materialien nicht ableiten.

Benchmark-Vergleich

Fortschritt auf PlayerBench

Mitautor Rui Yang berichtet die Werte in einem öffentlichen Beitrag.

PlayerBench Skala 0–100 %

  1. GPT-6.1 Sol 62,6 %
  2. 9B VLM Im Fokus 31,2 %

Hinweis: Die Angaben stammen von einem Projektbeteiligten und sind nicht unabhängig bestätigt.

Quelle:[2] x.com

Stand 19.11.2026

Daten KI-gestützt aus den Quellen des Artikels übernommen.

Builder und Spieler überarbeiten Umgebung und Aufgaben gemeinsam

Im Zentrum steht ein Builder-Agent. Er passt vorhandene Webspiele so an, dass interne Spielzustände zugänglich werden, und definiert Aufgaben samt zustandsbasierten Fortschrittsmaßen und Erfolgsprüfungen. Ein Coding Player und ein VLM Player versuchen anschließend, diese Aufgaben zu lösen. Stößt einer der Spieler auf Probleme, werden sie an den Builder zurückgemeldet, der die Umgebung oder Aufgabe überarbeiten soll. [1]

Damit erfüllt ein Spielversuch laut Konzept zwei Zwecke: Er erzeugt eine Trajektorie, die als Trainingsbeispiel dienen kann, und prüft zugleich, ob Umgebung und Erfolgsbedingungen funktionieren. [1] Das ist ein anderer Schwerpunkt als bei Datensätzen, die lediglich aufgezeichnete Spielvideos enthalten. Bei solchen Videos müssen Aktionen, die im Bild nicht sichtbar sind, nachträglich erschlossen werden; Game2Player beschreibt stattdessen eine Umgebung, in der der Spielzustand abgefragt und der Aufgabenfortschritt kontrolliert werden kann. [1]

Die Projektseite beschreibt die visuellen Modelle konkreter: Sie erhalten Screenshots, Aufgabenanweisungen und jüngste Aktionen als Eingabe und sagen den nächsten Tastatur- oder Mausbefehl voraus. [3] Das verbindet visuelle Wahrnehmung mit unmittelbarer Steuerung. Der Ansatz trainiert damit nicht nur die Interpretation eines Bildes, sondern auch die Auswahl einer ausführbaren Aktion im jeweiligen Spielkontext. [3]

Umfang der Sammlung und Rolle des Benchmarks

Nach Angaben im Abstract umfasst die erstellte Sammlung 568 verifizierte Webspiele mit 3.436 Aufgaben. Daraus seien 15.700 Trajektorien und insgesamt 307 Stunden Gameplay hervorgegangen. [1] Ein Mitautor nennt in einem öffentlichen Beitrag außerdem 1,56 Millionen Gameplay-Schritte, die sowohl mit codebasierten als auch mit visuellen Richtlinien beziehungsweise Policies gesammelt worden seien. [2] Diese Kennzahlen beschreiben die vom Team angegebene Datengrundlage; sie sind nicht mit einer unabhängigen Prüfung der Qualität oder Vielfalt der Beispiele gleichzusetzen.

Für die Evaluation hält das Team laut Projektseite 50 Spiele und 287 Aufgaben als PlayerBench zurück. [2][3] Der Zweck dieser Trennung ist, die Leistung auf Spielen zu messen, die nicht Teil der Trainingssammlung waren. Die Projektseite führt außerdem GameWorld als externen Benchmark mit 34 Spielen und 170 Aufgaben auf. [3] Die Benchmarks bilden damit unterschiedliche Prüfbereiche ab: PlayerBench testet auf zurückgehaltenen Spielen des Projekts, GameWorld dient als externe Vergleichsumgebung. [1][3]

Die Projektseite listet Modell-Repositories für Game2Player-4B und Game2Player-9B mit Gewichten und Nutzungshinweisen. Für Datensätze weist die Teamseite in der vorliegenden Ansicht hingegen keine öffentlichen Einträge aus. [3] Für Organisationen, die den Ansatz prüfen möchten, ist das relevant: Ein verfügbares Modell ist nicht gleichbedeutend mit einer vollständig zugänglichen Trainingsdatenbasis.

Fortschrittsgewichtetes Training und berichtete Ergebnisse

Für das Training beschreibt das Abstract ein Verfahren namens progress-weighted SFT. Dabei erhalten Handlungsschritte, die den Aufgabenfortschritt voranbringen, ein höheres Gewicht als Schritte ohne erkennbaren Fortschritt. [1] Der technische Gedanke ist, den Lernbeitrag nicht allein danach zu beurteilen, ob eine Aktion in einer aufgezeichneten Trajektorie vorkommt, sondern auch danach, ob sie das Ziel näher rückt. Das ist eine Beschreibung des Trainingsziels, kein Nachweis dafür, dass solche Gewichtung in anderen Agenten oder Anwendungsfeldern dieselbe Wirkung hätte.

Das Team berichtet für Game2Player-9B auf PlayerBench einen Anstieg des Fortschritts von 14,3 auf 31,2 Prozent. Auf dem externen GameWorld-Benchmark sei der Wert von 30,0 auf 53,1 Prozent gestiegen. [1] Die Zahlen sollten als Fortschrittswerte und nicht ohne Weiteres als Erfolgsquoten gelesen werden: Das Abstract bezeichnet die gemessene Größe als „progress“, erläutert in der verfügbaren Kurzfassung aber nicht vollständig, wie sie aggregiert wird oder wie sie sich zu einem vollständigen Aufgabenabschluss verhält. [1]

Der Mitautor Rui Yang behauptet in seinem Beitrag zudem, das Modell liege auf GameWorld vor Qwen3.8-Flash-Next. Für PlayerBench nennt er 62,6 Prozent Fortschritt für GPT-6.1 Sol. [2] Diese Vergleiche stammen aus dem Beitrag eines Projektbeteiligten und sind in den vorliegenden Materialien nicht durch eine unabhängige Auswertung bestätigt. Das gilt auch für den dort genannten Spitzenwert: Ohne Angaben zu Testprotokoll, Prompting und Vergleichsbedingungen lässt sich aus ihm keine belastbare allgemeine Rangfolge ableiten. [2]

Was der Ansatz für Unternehmen interessant macht

Für Unternehmen, die visuelle Agenten entwickeln oder bewerten, liegt der mögliche Nutzen vor allem in der Verbindung aus kontrollierbarer Umgebung und prüfbarem Ergebnis. Wenn Aufgabenfortschritt aus dem Spielzustand abgeleitet werden kann, lassen sich Aktionen nicht nur anhand von Bildschirmaufnahmen beurteilen. Der Game2Player-Ansatz nutzt solche Zustandsinformationen ausdrücklich für Fortschrittsmaße und Erfolgsprüfungen. [1] Als Analyse lässt sich daraus ableiten, dass sich damit Trainings- und Evaluationsschritte enger an beobachtbare Ziele koppeln lassen als bei Daten, deren Erfolg nur aus einer Videosequenz geschätzt wird.

Das Verfahren ist außerdem auf vorhandene Webspiele ausgerichtet, die der Builder für den Einsatz anpasst. [1] Das könnte die Erstellung vielfältiger Aufgaben erleichtern, ohne jedes Testumfeld vollständig von Grund auf entwickeln zu müssen. Diese Einordnung ist jedoch eine mögliche praktische Konsequenz des beschriebenen Designs und kein im Abstract nachgewiesener Kosten- oder Zeitvorteil. Die Quellen enthalten keine Angaben zu Entwicklungsaufwand, Betriebskosten oder zur Übertragbarkeit auf produktive Unternehmensanwendungen.

Ebenso wichtig ist die Grenze des Befunds: Die beschriebenen Versuche betreffen Gameplay in Webspielen und visuelle Eingaben mit Tastatur- oder Mausaktionen. [3] Daraus folgt nicht automatisch, dass ein auf diesen Daten trainierter Agent Bürosoftware, industrielle Oberflächen oder andere interaktive Systeme zuverlässig bedienen kann. Als Analyse spricht der Ansatz für einen überprüfbaren Entwicklungsprozess; eine Verallgemeinerung auf andere Domänen müsste separat getestet werden.

Einordnung in die Forschung zur Skalierung von Spielagenten

Game2Player ist Teil einer breiteren Frage: Wie lässt sich mehr Gameplay-Erfahrung erzeugen, ohne dass die Leistung auf neue Spiele ausbleibt? Eine separate Arbeit zu weiterem Vortraining in vielfältigen virtuellen Welten untersucht Datenmenge, Modellgröße und Spieldatenvielfalt in 120 Trainingskonfigurationen. Deren Abstract berichtet, dass größere Datenmengen vor allem in bekannten Spielen helfen und mehr Vielfalt die Übertragung auf verwandte Welten verbessert, während die Zugewinne auf deutlich andersartigen Welten begrenzt bleiben. [4]

Diese andere Studie ist kein direkter Vergleich mit Game2Player: Sie untersucht einen anderen Trainingsansatz und ein eigenes Experimentdesign. [4] Sie verdeutlicht aber, weshalb die Game2Player-Evaluation auf zurückgehaltenen und externen Spielen für die Einordnung wichtig ist. Ein umfangreicheres Trainingsset allein belegt noch keine breite Generalisierung; entscheidend ist, wie sich die Fähigkeiten außerhalb der Trainingsumgebungen verhalten. [1][3][4]

Offene Fragen vor einer belastbaren Bewertung

Die verfügbaren Materialien reichen nicht aus, um die Resultate vollständig nachzuvollziehen. Die Paper-Seite weist darauf hin, dass der Paperinhalt dort nicht verfügbar ist; das Abstract fasst Methode, Datensatz und zentrale Ergebnisse zusammen, enthält jedoch keine vollständige Darstellung der Versuchsdetails. [1] Die Projektseite verweist zwar auf Code und Benchmark-Anleitungen, doch die hier vorliegenden Angaben dokumentieren nicht, welche unabhängigen Replikationen oder externen Prüfungen bereits stattgefunden haben. [3]

Für eine belastbare Bewertung wären insbesondere die genaue Definition des Fortschrittsmaßes, die Vergleichsbedingungen der Baselines und die Robustheit der Resultate über verschiedene Aufgaben hinweg wichtig. Diese Details lassen sich aus den bereitgestellten Auszügen nicht prüfen. [1][2] Auch die Datenverfügbarkeit bleibt ein praktischer Punkt: Die Teamseite listet Modelle, aber keine öffentlichen Datensätze. [3]

Game2Player beschreibt damit einen interessanten Weg, Spielumgebungen, Aufgabenprüfung und Trainingsdatenerzeugung in einer Rückkopplung zu verbinden. Die angegebenen Benchmarkwerte liefern einen ersten Hinweis auf mögliche Leistungsgewinne, belegen aber noch keine allgemeine Einsatzfähigkeit visueller Agenten außerhalb der getesteten Spiele. [1][3] Für B2B-Anwendungen ist daher vor allem die methodische Idee prüfenswert; die Reichweite der Ergebnisse muss anhand vollständiger Versuchsbeschreibungen und unabhängiger Tests eingeordnet werden.

Quellen

  1. [1] Paper page - Game2Player: Scaling Gameplay Experience for Visual Agents through Environment-Player Co-Development — https://huggingface.co/papers/2611.24154 (abgerufen am 2026-11-19)
  2. [2] Rui Yang — https://x.com/RuiYang70669025/status/2116179857235124439 (abgerufen am 2026-11-19)
  3. [3] game2player (Game2Player) — https://huggingface.co/game2player (abgerufen am 2026-11-19)
  4. [4] Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds — https://arxiv.org/html/2610.28698v1 (abgerufen am 2026-11-19)

Nächster Artikel

Microsoft

Microsoft erweitert Azure und Windows um Infrastruktur für KI-Agenten

Microsoft verbindet auf der Ignite 2026 Azure, Windows und Cloud-PCs enger für KI-Agenten. Viele Neuerungen sind noch Vorschau oder angekündigt.

Artikel teilen

Bei Google bevorzugen

Mehr zu KI-Agenten

Alle KI-Agenten-News

Dranbleiben

Mindverse News folgen

Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.

Recherchieren Sie KI-News wie diese selbst – mit Mindverse Studio.

7 Tage kostenlos testen – ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.