Simulation als Schlüsseltechnologie für das Robotik-Training

Die Weiterentwicklung der Robotik steht vor der Herausforderung, Roboter in komplexen, unvorhersehbaren realen Umgebungen zuverlässig agieren zu lassen. Ein wesentlicher Engpass hierbei ist der hohe Aufwand für die Datenerfassung und das wiederholte Testen auf physischer Hardware. World Labs, ein Unternehmen unter der Leitung der KI-Pionierin Fei-Fei Li, präsentiert mit seiner "Real-to-Sim-to-Real" (R2S2R)-Engine eine innovative Lösung, die diesen Prozess durch den Einsatz von Simulationen erheblich beschleunigen soll.

Virtuelle Welten für reales Training

Die R2S2R-Engine von World Labs zielt darauf ab, die Lücke zwischen Labordemonstrationen und dem zuverlässigen Einsatz von Robotersystemen in der realen Welt zu schließen. Anstatt Roboter ausschließlich in physischen Umgebungen zu trainieren, wandelt die Engine eine einzelne reale Roboteraufgabe in Tausende von simulierten Variationen um. Diese simulierte Umgebung ist nicht nur visuell identisch mit der Realität, sondern repliziert auch deren physikalisches Verhalten.

Von der Realität zur Simulation: Ein detaillierter Prozess

Der Prozess beginnt mit der Erfassung von Robotern, Sensoren, der Umgebung und den Aufgaben-Demonstrationen. Diese Daten werden anschließend in eine interaktive virtuelle Welt überführt. Durch die Kombination generativer Weltmodelle mit aufgabenorientierter Robotersimulation ist World Labs in der Lage, Tausende von Varianten einer einzigen realen Aufgabe zu generieren. Dabei werden Parameter wie Beleuchtung, Objektposition, Anzahl der Objekte, die umgebende Umgebung, physikalische Eigenschaften wie Reibung und der Kamerawinkel systematisch variiert. Zur Überprüfung der Genauigkeit werden die gleichen Aktionssequenzen sowohl in der Simulation als auch in der Realität ausgeführt und Beobachtungen, Objektbewegungen sowie Ergebnisse verglichen.

Beispiele für Aufgaben, die in dieser Umgebung trainiert werden, umfassen das Verlegen von Kabeln, das Einführen eines elastischen Kabelendes in eine Öffnung und das beidhändige Verpacken eines Kartons mit starren, beweglichen und verformbaren Objekten.

Autonome Roboter durch Simulationstraining

Ein zentrales Ergebnis dieser Methode ist die Möglichkeit, Steuerungsmodelle vollständig in der Simulation zu trainieren und anschließend auf reale Roboter zu übertragen. Eines der verwendeten Testsysteme war ALOHA, ein Open-Source-Doppelarmroboter von Stanford. Die Modelle, die ausschließlich in der Simulation trainiert wurden, liefen laut World Labs auf vier weiteren Roboterplattformen für eine Stunde autonom, ohne menschliches Eingreifen. Die Aufgaben reichten dabei vom beidhändigen Wickeln eines Stromkabels um einen Kühlschrank bis hin zum präzisen Umpositionieren von Reagenzgläsern und dem Trennen dünner Objekte aus einem Durcheinander.

Die Flexibilität des Systems ermöglicht es, einmal rekonstruierte Welten für neue Modelle und verschiedene Robotertypen wiederzuverwenden, da es nicht an ein spezifisches Steuerungsmodell oder einen Robotertyp gebunden ist.

Simulation als Evaluierungswerkzeug

World Labs hebt hervor, dass die Roboterentwicklung im Vergleich zu Sprachmodellen oft hinterherhinkt, da die Bewertung von Steuerungsmodellen überwiegend Hardware-Tests erforderte. Eine robuste Simulation muss dabei nicht zwingend dieselben Erfolgsraten wie die Realität liefern. Entscheidend ist vielmehr, ob sie die gleichen Fragen beantwortet: Wo versagt ein Modell, welche Version ist besser und übertragen sich Verbesserungen auf den physischen Roboter?

Bei Tests, wie dem beidhändigen Übergabe eines Würfels zwischen den Armen eines ALOHA-Roboters, konnte die Simulation Grenzfälle und Fehlschläge präzise reproduzieren. Die Rangfolge der Modelle in Simulation und Realität blieb über verschiedene Modelltypen, wie GR00T N1.6 und π₀.₅, und Trainingsstadien hinweg weitgehend konsistent. Diese Konsistenz zeigte sich sowohl bei bekannten als auch bei zuvor ungesehenen Würfelpositionen. Jede Prüfpunktbewertung umfasste 2.000 simulierte und 100 reale Durchläufe.

Diese Erkenntnisse ermöglichen Entwicklungsteams, schwächere Modellversionen bereits in der Simulation auszusortieren und kostspielige Hardware-Tests auf die vielversprechendsten Kandidaten zu beschränken.

Die Rolle der Simulation in der Gesamtstrategie von World Labs

Die Simulations-Engine ist ein zentraler Bestandteil der übergeordneten Strategie von World Labs. Das Unternehmen sieht den Simulator als entscheidendes Element, das eine Welt in einen Ort verwandelt, an dem Software-Agenten agieren, lernen und getestet werden können. Parallelen werden zur Entwicklung des autonomen Fahrens gezogen, wo erfolgreiche Systeme der Level 3 und 4 auf einer Mischung aus realen und simulierten Daten trainieren.

Das langfristige Ziel von World Labs ist es, die Intelligenz von Robotern durch die Skalierung der Welten, in denen sie lernen, zu erweitern. Es bleibt abzuwarten, wie sich diese Ergebnisse auf komplexere Umgebungen, andere Robotertypen und weniger kontrollierte Alltagssituationen übertragen lassen.

World Labs wurde 2024 von Fei-Fei Li gegründet, um Modelle mit räumlicher Intelligenz zu entwickeln, die die dreidimensionale physische Welt verstehen. Ein frühes System konnte begehbare 3D-Umgebungen aus einzelnen Fotos generieren. Jüngst hat das Unternehmen eine Milliarde Dollar an Risikokapital eingesammelt, um seine Weltmodelle in den Bereichen Robotik und Wissenschaft zu erweitern. Die R2S2R-Engine stellt die erste konkrete Anwendung dieser Vision in der Robotik dar.

Diese Forschung ist Teil einer breiteren Debatte über die Rolle, die Weltmodelle in der Robotik spielen sollten. Ein internationales Forschungsteam hat kürzlich versucht, eine einheitliche Definition dessen zu finden, was ein Weltmodell tatsächlich ist, und dabei eine klare Abgrenzung zwischen Weltmodellen und reinen Videogeneratoren vorgenommen.

Ein verwandtes Feld sind "World Action Models", die Vorhersagen über die nahe Zukunft direkt mit Steuerungsbefehlen verknüpfen. Dies unterscheidet sich vom World Labs-Ansatz, bei dem Simulation und Politik getrennt bleiben. Eine weitere Methode namens "Orca" aus China ermöglicht es Robotern, Aufgaben rein durch das Betrachten von Videos zu lernen, ohne dass während des Trainings reale Bewegungsdaten erforderlich sind.

Bibliographie

- The Decoder. (2026, 15. August). *World Labs turns one real-world robot task into thousands of simulated variations for training*. the-decoder.com. - World Labs. (2026, 28. Juli). *Building Worlds That Train Robots*. worldlabs.ai. - Li, F.-F. (2026, 29. Juli). *Building Worlds That Train Robots*. a16z.news. - MLQ News. (2026, 15. August). *World Labs says simulation-trained robot policies ran for an hour across five platforms*. mlq.ai. - AI Tech News. (2026, 14. August). *World Labs turns one real-world robot task into thousands of simulated variations for training*. ainewshubs.com. - Hello Marvis AI Today. (2026, 15. August). *World Labs turns one robot task into thousands of simulated variants for training*. hellomarvisaitoday.com. - CCTest. (2026, 1. August). *World Labs Acquires SceniX as World Models Enter Robotics*. cctest.ai. - Li, F.-F. (2026, 28. Juli). *When SceniX joined World Labs, we said spatial intelligence was never only about perceiving and generating virtual and physical worlds, but also interacting with them. Today, we’re sharing early results from that …*. linkedin.com. - World Labs. *World Labs*. worldlabs.ai. - The AGI Post. *World Labs and SceniX are building digital worlds to train and evaluate robots*. theagipost.com.