D2E Framework: Vortraining von Vision-Action-Modellen für Embodied AI durch Desktop-Daten

D2E: Skalierung von Vision-Action-Vortraining durch Desktop-Daten für die Embodied AI

Die Entwicklung von künstlicher Intelligenz (KI), die in der physischen Welt agieren und interagieren kann – bekannt als Embodied AI – steht vor erheblichen Herausforderungen, insbesondere im Hinblick auf die Datenerfassung. Während große Sprachmodelle (LLMs) von der schier unbegrenzten Verfügbarkeit von Textdaten aus dem Internet profitieren, sind die Kosten und der Aufwand für die Sammlung von physischen Trajektorien für Roboter prohibitiv hoch. Ein jüngst vorgestelltes Framework namens D2E (Desktop to Embodied AI) bietet hier einen vielversprechenden Lösungsansatz, indem es reichhaltige sensorimotorische Interaktionen aus Desktop-Umgebungen, insbesondere aus Videospielen, für das Vortraining nutzt.

Die Herausforderung der Datenerfassung für Embodied AI

Embodied AI-Systeme benötigen umfangreiche Datensätze, die Beobachtungen und korrespondierende Aktionen in komplexen Umgebungen koppeln. Die Sammlung solcher Daten mit physischen Robotern ist jedoch zeitaufwendig, teuer und oft gefährlich. Dies bremst die Skalierung und Generalisierbarkeit von Embodied AI-Modellen erheblich. Desktop-Umgebungen, insbesondere Videospiele, bieten eine attraktive Alternative: Sie stellen eine Fülle von visuellen und aktionsbezogenen Daten bereit, die eng miteinander verknüpft sind, und das zu deutlich geringeren Kosten und mit höherer Skalierbarkeit.

D2E: Ein umfassendes Framework für den Transfer von Desktop zu Roboter

Das D2E-Framework ist eine End-to-End-Pipeline, die die Lücke zwischen Desktop-Interaktionen und physischen Roboteraufgaben schließt. Es unterscheidet sich von früheren Ansätzen, die oft domänenspezifisch waren (z.B. VPT für Minecraft) oder proprietäre Daten nutzten, indem es einen vollständigen und skalierbaren Ansatz bietet. Das Framework besteht aus drei Hauptkomponenten:

1. Das OWA Toolkit: Effiziente Datenerfassung und -speicherung

Das Open-World Agents (OWA) Toolkit wurde entwickelt, um diverse Desktop-Interaktionen in einem standardisierten Format zu erfassen und zu speichern. Es nutzt Windows APIs und GStreamer, um multimodale Datenströme – Bildschirm (FHD/QHD bei 60 Hz), Audio, Tastatur- und Mausereignisse – synchron und mit hoher zeitlicher Präzision aufzuzeichnen. Diese Präzision ist entscheidend für die genaue Kopplung von Beobachtungen und Aktionen.

Ein wesentliches Merkmal des OWA Toolkits ist das OWAMcap-Format, eine Erweiterung des Industriestandards MCAP. Dieses Format adressiert die Ineffizienz herkömmlicher Speicherlösungen und den schlechten Direktzugriff. Es verfügt über standardisierte Nachrichtenschemata für Desktop-Ereignisse und nutzt MediaRef für eine optimierte Videospeicherung mittels H.265/HEVC-Kodierung. Dies führt zu einer dramatischen Speicherkompression, beispielsweise um das 152-fache für den VPT-Datensatz und um das 34,45-fache für den CS:GO-Datensatz. Eine optimierte Datenpipeline verbessert zudem den Trainingsdurchsatz erheblich, indem sie Videodekodierungs- und Suchvorgänge minimiert.

Mit dem OWA Toolkit wurden über 335 Stunden menschlicher Demonstrationen aus 31 verschiedenen Spielen und Anwendungen gesammelt.

2. Generalist-IDM: Skalierung durch Pseudo-Labeling

Um über menschliche Demonstrationen hinaus zu skalieren, wurde das Generalist Inverse Dynamics Model (Generalist-IDM) entwickelt. Im Gegensatz zu früheren domänenspezifischen IDMs wird dieses Modell auf einem Multi-Domain-Korpus trainiert, der über OWA gesammelt wurde, um über heterogene Interaktionsmuster hinweg zu generalisieren. Es formuliert die Aktionsvorhersage als zeitstempelbasierte Ereignistokenisierung und Vorhersage des nächsten Ereignisses mit Zeitversatz (NEP-τ).

Desktop-Interaktionen werden als diskrete Ereignisse dargestellt, die in kurze Token-Sequenzen serialisiert werden. Diese Tokenisierung vereinheitlicht heterogene Eingaben (Bildschirm, Tastatur, Maus) in eine konsistente sequentielle Repräsentation. Der zeitstempelbasierte Ansatz bewahrt asynchrones Timing und nutzt den Inferenzkontext effizienter. Das Generalist-IDM wurde mit dem InternVL3-1B-Architektur auf 259 Stunden menschlicher Daten trainiert und zeigt eine starke Zero-Shot-Generalisierung bei ungesehenen Spielen. Es ermöglicht das Pseudo-Labeling von über 1000 Stunden YouTube-Gameplay-Videos, wodurch der Datensatz um 1055 Stunden über zwanzig Titel erweitert wurde.

3. VAPT: Transfer auf physische Roboteraufgaben

Die dritte Komponente, Vision-Action PreTraining (VAPT), demonstriert die Übertragbarkeit dieser auf dem Desktop vortrainierten Repräsentationen auf die physische Robotik. Das InternVL3-1B-Modell, das auf Desktop-Daten vortrainiert wurde, wurde auf zwei Standard-Benchmarks evaluiert:

• Roboter-Manipulation auf dem LIBERO-Benchmark: VAPT ohne Pseudo-Labels (trainiert auf 259 Stunden menschlicher Daten) erreichte eine Erfolgsrate von 96,6 % (93,6 % bei Langzeitaufgaben). Dies entspricht oder übertrifft größere Modelle wie OpenVLA (7B) und SmolVLA (2.25B), obwohl es nur 1 Milliarde Parameter verwendet. Interessanterweise führte die Einbeziehung von Pseudo-Labels zu keinen zusätzlichen Gewinnen bei Manipulationsaufgaben, was darauf hindeutet, dass präzise menschliche Supervision für diese Aufgaben möglicherweise kritischer ist als die Datengröße und -vielfalt.
• Roboter-Navigation auf dem CANVAS-Benchmark: VAPT mit pseudo-gelabelten Demonstrationen erzielte eine Gesamterfolgsrate von 83,3 %, eine Verbesserung um 8 Punkte gegenüber der Baseline (75,3 %). Dieser Effekt war besonders stark bei irreführenden Anweisungen, was darauf hindeutet, dass Pseudo-Labeling für Navigationsaufgaben, die stärker auf hochstufiger Planung basieren, sehr effektiv ist.

Implikationen und Ausblick

Das D2E-Framework validiert Desktop-Daten als eine praktische und kostengünstige Alternative zur physischen Datenerfassung für die Weiterentwicklung der Embodied AI. Es demonstriert, dass sensorimotorische Primitive aus digitalen Interaktionen eine ausreichende Invarianz aufweisen, um bedeutungsvoll auf physische Embodied-Aufgaben übertragen zu werden. Dies etabliert Desktop-Vortraining als ein praktikables Paradigma für die Robotik, das das Potenzial hat, die Entwicklung von Robotern, die in komplexen realen Umgebungen agieren können, erheblich zu beschleunigen.

Die Forschenden haben zugesagt, alle entwickelten Werkzeuge, die gesammelten Datensätze (menschlich gesammelt und pseudo-gelabelt) sowie die VAPT-trainierten Modelle öffentlich zugänglich zu machen. Dies fördert die Zugänglichkeit der Forschung und ermöglicht es der breiteren KI-Gemeinschaft, auf diesen Fortschritten aufzubauen.

Fazit

Die D2E-Forschung stellt einen wichtigen Schritt dar, um die Entwicklung von Embodied AI zu demokratisieren und zu beschleunigen. Durch die Nutzung der reichhaltigen und skalierbaren Daten, die in Desktop-Umgebungen und insbesondere in Videospielen verfügbar sind, können die hohen Hürden der physischen Datenerfassung überwunden werden. Die beeindruckenden Erfolgsraten bei komplexen Roboteraufgaben unterstreichen das Potenzial dieses Ansatzes und eröffnen neue Wege für das Vortraining von KI-Systemen, die die digitale und physische Welt überbrücken können. Für Unternehmen im B2B-Bereich, die an der Implementierung von KI-Lösungen für Robotik und Automatisierung interessiert sind, bedeutet dies eine potenzielle Reduzierung der Entwicklungskosten und eine Beschleunigung der Markteinführung von intelligenten Systemen.

Bibliographie

- Choi, S., Jung, J., Seong, H., Kim, M., Kim, M., Cho, Y., Kim, Y., Park, Y., Yu, Y., & Lee, Y. (2025). D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI. arXiv preprint arXiv:2510.05684. - Hugging Face. (n.d.). Daily Papers - Hugging Face. Abgerufen von https://huggingface.co/papers/week/2025-W42 - The Moonlight. (n.d.). [Revue de papier] D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI. Abgerufen von https://www.themoonlight.io/fr/review/d2e-scaling-vision-action-pretraining-on-desktop-data-for-transfer-to-embodied-ai - Slashpage. (n.d.). D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI. Abgerufen von https://slashpage.com/haebom/dk58wg2e6z8zkmnqevxz?lang=en&tl=en - ChatPaper. (n.d.). D2E: Scaling Vision-Action Pretraining on Desktop Data for Transfer to Embodied AI. Abgerufen von https://chatpaper.com/zh-CN/paper/196884