RynnWorld-Latent verbindet Robotervideos über gemeinsame latente Aktionen

Vortraining mit mehr als einer halben Milliarde Einzelbildern

Für das Vortraining nennen die Autoren 23 Datensätze mit zusammen rund 553,5 Millionen Einzelbildern. Die Übersicht in der Arbeit beziffert den Umfang außerdem auf etwa 6.190 Stunden und 2,57 Millionen Episoden. Das Material umfasst menschliche Interaktionsvideos, reale Roboteraufnahmen und Simulationsdaten. [1] [2]

Die Datenmenge allein belegt noch nicht, wie gleichmäßig einzelne Robotertypen, Aufgaben oder Umgebungen vertreten sind. Sie zeigt aber die Größenordnung, in der die Autoren eine gemeinsame visuelle Dynamikrepräsentation lernen wollen. Für Unternehmen, die Robotikdaten aus verschiedenen Quellen zusammenführen, liegt der praktische Bezug in der Frage, ob eine solche Zwischendarstellung den Aufwand für die Harmonisierung unterschiedlicher Aktionsformate verringern kann. Das ist eine mögliche Anwendungsperspektive, kein durch die Datensatzgröße allein nachgewiesener Produktivitätseffekt. [2]

Nach dem Vortraining wird das Modell an Zielroboter angepasst. Die Arbeit beschreibt damit kein vollständig übertragbares System, das ohne robotspezifische Nachbearbeitung auf beliebiger Hardware läuft. Die Autoren rahmen das Vortraining vielmehr als gemeinsamen Ausgangspunkt für eine nachgelagerte Anpassung. [1] [2]

Zwei Wege zu synthetischen Trainingsdaten

Die Autoren beschreiben RynnWorld-Latent nicht nur als Vorhersagemodell, sondern auch als Grundlage für die Erzeugung von Trainingsdaten. Der erste Weg heißt digitale Teleoperation: Steuerungssignale eines Bedieners werden auf Aktionen des Zielroboters abgebildet und treiben die Videogenerierung an. So sollen gepaarte Aktions- und Videobeispiele entstehen, ohne für jede generierte Sequenz eine zusätzliche physische Roboterausführung zu benötigen. [2]

Der zweite Weg, die latente Aktionssynthese, beginnt mit einem vorhandenen Video. Das Modell extrahiert daraus eine Folge latenter Aktionen; anschließend wird das erste Bild bearbeitet, um etwa einen anderen Roboterkörper oder eine andere Umgebung darzustellen. Die ursprüngliche latente Aktionsfolge steuert die Generierung eines neuen Verlaufs. Diesen Verlauf koppeln die Autoren mit retargetierten, also auf den Zielroboter übertragenen, Pseudoaktionen für nachgelagertes Training. [1] [2]

Die beiden Wege unterscheiden sich in ihrer Datenbasis: Bei der digitalen Teleoperation geben Zielroboteraktionen die Generierung vor; bei der latenten Aktionssynthese wird Bewegung aus einem Quellvideo auf eine veränderte Ausgangsszene übertragen. Für Unternehmen ist diese Trennung relevant, weil sie unterschiedliche Anforderungen an vorhandene Demonstrationen, Bedienoberflächen und Validierung stellt. Die Arbeit belegt die beiden Verfahren als Forschungsansätze, nicht bereits einen standardisierten Produktionsprozess. [2]

Berichtete Tests decken Vorhersage und Policy-Training ab

Die Autoren evaluieren das Modell laut Abstract auf öffentlichen Benchmarks für Videovorhersagen sowie auf Daten von zwei realen Roboterplattformen. Sie berichten über verbesserte Vorhersagemetriken und zeigen qualitativ, dass sich bei gleicher Anfangsbeobachtung unterschiedliche Zukunftsverläufe durch verschiedene Aktionsfolgen erzeugen lassen. Die bereitgestellten Angaben enthalten jedoch keine konkreten Effektgrößen oder vollständigen Kennzahlen für diese Resultate. [1] [2]

Für nachgelagertes Policy-Training berichten die Autoren, dass synthetische Daten in Zwischentrainings die Erfolgsraten auf LIBERO und LIBERO-Plus verbessern. Außerdem hätten beide Erzeugungswege in den untersuchten realen Aufgaben höhere Erfolgsraten erzielt als ein Training ausschließlich mit realen Demonstrationen. Die Zusammenfassung nennt dafür weder absolute Erfolgsraten noch die Größe der Verbesserungen; Aussagen über die praktische Tragweite müssen deshalb auf diese qualitative Ergebnisbeschreibung begrenzt bleiben. [1] [2]

Die im Abstract genannten Ergebnisse sind ein Hinweis darauf, dass generierte Daten für die untersuchten Trainings- und Testbedingungen nützlich sein können. Sie belegen für sich genommen weder eine gleichwertige Übertragbarkeit auf beliebige Roboter und Aufgaben noch einen Ersatz realer Datenerhebung. Für eine betriebliche Bewertung wären insbesondere aufgabenspezifische Erfolgsraten, Fehlerfälle, Kosten der Anpassung und der Vergleich mit bestehenden Datenerzeugungsprozessen entscheidend; diese Informationen sind in den hier vorliegenden Zusammenfassungen nicht ausgewiesen. [1] [2]

Einordnung in die Forschung zu robotübergreifenden Weltmodellen

RynnWorld-Latent ist nicht der einzige Ansatz, der latente Aktionen für Weltmodelle über verschiedene Robotertypen hinweg untersucht. Ein eigenständiger Forschungsbeitrag mit dem Namen LAC-WM wurde 2026 auf der ICML vorgestellt. Er vergleicht einen Weltmodellansatz mit latenten Aktionen mit einer Variante, die explizite Bewegungslabels verwendet. Die Arbeiten adressieren damit eine verwandte Schnittstellenfrage, verwenden aber unterschiedliche Methoden und Versuchsaufbauten. [3] [4]

Für LAC-WM berichten die Autoren Verbesserungen gegenüber ihrem explizit aktionskonditionierten Vergleichsmodell von bis zu 46,7 Prozent bei dexteröser Manipulation und 11,7 Prozent auf einer modifizierten LIBERO-Auswertung. Diese Werte gehören ausschließlich zu den Tests von LAC-WM und lassen sich nicht als Vergleichszahlen für RynnWorld-Latent lesen. Sie zeigen vielmehr, dass gemeinsame Aktionsrepräsentationen ein aktives Forschungsfeld sind und dass Leistungsbehauptungen nur im jeweiligen Benchmark-Kontext aussagekräftig sind. [3] [4]

Was Unternehmen aus dem Ansatz ableiten können

Für Robotikteams liegt der mögliche Nutzen von RynnWorld-Latent vor allem in einer Datenstrategie: Visuelle Interaktionen aus heterogenen Quellen könnten über latente Deskriptoren für ein gemeinsames Vortraining zugänglich werden, während die Anpassung an die Zielhardware nachgelagert erfolgt. Das könnte dort interessant sein, wo Video leichter verfügbar ist als harmonisierte Aktionslabels. Diese Einordnung folgt aus der beschriebenen Architektur und den Datenquellen; einen konkreten Rückgang von Entwicklungsaufwand oder Kosten weisen die Autoren nicht nach. [2]

Die synthetischen Datenwege eröffnen zugleich eine neue Prüfaufgabe. Bei einer generierten Sequenz müssen Teams beurteilen, ob visuelle Plausibilität, Aktionszuordnung und Verhalten auf der realen Hardware zusammenpassen. Besonders bei der latenten Aktionssynthese stammen die Bewegungsvorgabe und die Zielroboterdarstellung aus unterschiedlichen Schritten des Verfahrens. Daraus folgt als Analyse, dass die Qualität der Retargetierung und die Validierung synthetischer Demonstrationen für einen produktiven Einsatz entscheidend wären; der bereitgestellte Abstract quantifiziert diese Aspekte nicht. [2]

Der Beitrag liefert damit einen konkreten technischen Vorschlag für ein bekanntes Integrationsproblem: unterschiedliche Aktionsräume sollen im Vortraining durch eine gemeinsame latente Schnittstelle überbrückt werden. Die berichteten Ergebnisse sind ermutigend für die untersuchten Benchmarks und Plattformen, erlauben aber noch keine pauschale Aussage über den Einsatz in industriellen Abläufen. Für eine belastbare Beschaffungs- oder Implementierungsentscheidung wären detaillierte Kennzahlen, Kostenangaben und Tests auf den jeweils relevanten Robotern und Aufgaben nötig. [1] [2]

Quellen

1. [1] Paper page - RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions — https://huggingface.co/papers/2610.36791 (abgerufen am 2026-10-28)
2. [2] RynnWorld-Latent: A Cross-Embodiment World Model Conditioned on Universal Latent Actions — https://arxiv.org/html/2610.36791v1 (abgerufen am 2026-10-28)
3. [3] Cross-Embodiment Robot Foundation World Models with Latent Actions | OpenReview — https://openreview.net/forum?id=S30Y1sBz34 (abgerufen am 2026-10-28)
4. [4] ICML Poster Cross-Embodiment Robot Foundation World Models with Latent Actions — https://icml.cc/virtual/2026/poster/63978 (abgerufen am 2026-10-28)