Neue Ansätze zur Datengenerierung für Robotertraining ohne Simulation und Hardware

Revolution in der Roboterdaten-Generierung: Real2Render2Real ermöglicht Skalierung ohne Simulation oder Hardware

Das Training von KI-Modellen für Roboter erfordert immense Datenmengen. Die gängige Methode der Datenerhebung, die menschliche Teleoperation, ist jedoch zeitaufwendig, kostenintensiv und erfordert den physischen Zugriff auf Roboterhardware. Ein neues Verfahren namens Real2Render2Real (R2R2R) verspricht hier Abhilfe, indem es die Generierung von Roboter-Trainingsdaten ohne aufwendige Simulationen oder manuelle Steuerung von Robotern ermöglicht.

R2R2R basiert auf einem einfachen, aber effektiven Prinzip: Ein mit dem Smartphone erstellter 3D-Scan eines oder mehrerer Objekte und ein einziges Video einer menschlichen Demonstration dienen als Grundlage für die Generierung tausender fotorealistischer, roboteragnostischer Demonstrationen. Durch die Rekonstruktion der detaillierten 3D-Geometrie und -Oberfläche der Objekte sowie die Verfolgung der 6-DoF-Objektbewegung (sechs Freiheitsgrade) erzeugt R2R2R synthetische Daten, die für das Training von Robotermodellen verwendet werden können.

Der Einsatz von 3D Gaussian Splatting (3DGS) ermöglicht die flexible Generierung von Assets und die Synthese von Trajektorien sowohl für starre als auch für artikulierte Objekte. Diese Repräsentationen werden anschließend in Mesh-Daten umgewandelt, um die Kompatibilität mit skalierbaren Rendering-Engines wie IsaacLab zu gewährleisten, wobei die Kollisionsberechnung deaktiviert ist. Die von R2R2R generierten Roboterdemonstrationsdaten lassen sich direkt in Modelle integrieren, die mit propriozeptiven Zuständen des Roboters und Bildbeobachtungen arbeiten, wie z.B. Vision-Language-Action-Modelle (VLA) und Imitationslernverfahren.

Erste physikalische Experimente deuten darauf hin, dass Modelle, die mit R2R2R-Daten aus einer einzigen menschlichen Demonstration trainiert wurden, die Leistung von Modellen erreichen können, die mit 150 menschlichen Teleoperations-Demonstrationen trainiert wurden. Dies eröffnet völlig neue Möglichkeiten für das Training von Robotern, da der Aufwand für die Datenerhebung drastisch reduziert wird.

Vorteile von Real2Render2Real:

R2R2R bietet eine Reihe von Vorteilen gegenüber herkömmlichen Methoden der Roboterdaten-Generierung:

Kosteneffizienz: Durch den Wegfall von teurer Hardware und Simulationsumgebungen reduziert R2R2R die Kosten für die Datenerhebung erheblich.

Skalierbarkeit: Die automatisierte Generierung von tausenden Demonstrationen aus einem einzigen Scan und einer Demonstration ermöglicht eine schnelle und einfache Skalierung der Datenerfassung.

Flexibilität: R2R2R unterstützt sowohl starre als auch artikulierte Objekte und ermöglicht die Synthese komplexer Bewegungen.

Zugänglichkeit: Die Verwendung eines Smartphones für den 3D-Scan macht die Technologie für ein breites Publikum zugänglich.

Ausblick:

R2R2R stellt einen vielversprechenden Ansatz für die zukünftige Entwicklung von Roboterlernverfahren dar. Die Möglichkeit, große und diverse Datensätze schnell und kostengünstig zu generieren, könnte die Entwicklung neuer, leistungsfähigerer Robotermodelle beschleunigen und die Anwendung von Robotik in verschiedenen Bereichen vorantreiben.