Neuer Ansatz zur Überwindung von Datenengpässen in der Robotik durch NVIDIA

Roboterentwicklung im Wandel: NVIDIAs Ansatz zur Überwindung der Datenlücke

Die Robotik steht an einem entscheidenden Punkt ihrer Entwicklung. Während Fortschritte in der Hardware beeindruckend sind, bleibt die Skalierung intelligenter Roboteranwendungen eine Herausforderung. Ein zentrales Hindernis ist der Mangel an umfangreichen, hochwertigen Trainingsdaten aus der realen Welt. Im Gegensatz zu großen Sprachmodellen, die auf Billionen von Internet-Tokens trainieren können, verfügen Robotermodelle oft nur über begrenzte, auf spezifische Aufgaben zugeschnittene Datenmengen. Dieses „Big Data Gap“ in der Robotik verlangsamt die Entwicklung von Robotern, die in der Lage sind, in komplexen, unvorhersehbaren Umgebungen autonom zu agieren.

Die "Datenpyramide" der Robotik und NVIDIAs Lösung

NVIDIA schlägt vor, die traditionelle "Datenpyramide" der Robotik neu zu denken. An der Spitze dieser Pyramide stehen reale Daten, die zwar von höchster Qualität sind, aber in geringer Menge vorliegen und teuer zu sammeln sind. In der Mitte befinden sich synthetische Daten aus Simulationen, die theoretisch unbegrenzt generiert werden können. An der Basis liegen unstrukturierte Webdaten. Die Vision von NVIDIA ist, dass Roboter dann wirklich generalisierbar für jede Aufgabe lernen können, wenn synthetische Daten die Web-Skala überschreiten. Um dies zu erreichen, verlagert NVIDIA den Fokus vom Datenproblem auf ein Rechenproblem, indem es massiv in Simulationstechnologien und Rechenleistung investiert.

NVIDIAs Drei-Computer-Lösung für die physische KI

NVIDIA adressiert die Herausforderungen der Robotik mit einer umfassenden "Drei-Computer-Lösung", die den gesamten Lebenszyklus der Roboterentwicklung abdeckt:

• Der Trainingscomputer: NVIDIA DGX AI Supercomputer

  Die Entwicklung von Robotern, die natürliche Sprache verstehen, Objekte erkennen und komplexe Bewegungen planen können, erfordert enorme Rechenleistung. Die NVIDIA DGX Plattform dient als spezialisierte Supercomputing-Infrastruktur für das Training von Robotergrundlagenmodellen. Entwickler können entweder eigene Modelle trainieren oder auf NVIDIAs offene Weltgrundlagenmodelle wie Cosmos oder die GR00T-Modelle für humanoide Roboter zurückgreifen, um neue Roboterrichtlinien zu entwickeln und zu verfeinern.

• Der Simulations- und synthetische Datengenerierungscomputer: NVIDIA Omniverse mit Cosmos auf NVIDIA RTX PRO Servern

  Die größte Hürde bei der Entwicklung generalistischer Robotik ist die Datenlücke. Echte Roboterdaten sind begrenzt, kostspielig und schwer zu sammeln, insbesondere für seltene Grenzfälle. Hier kommen NVIDIA Omniverse und Cosmos ins Spiel. Sie ermöglichen die Generierung massiver Mengen physikalisch basierter, vielfältiger synthetischer Daten – seien es 2D- oder 3D-Bilder, Segmentierungs- oder Tiefenkarten oder Bewegungs- und Trajektoriendaten. Diese synthetischen Daten können das Modelltraining und die Leistung erheblich verbessern. Um die Sicherheit und Leistungsfähigkeit von Robotermodellen vor dem Einsatz in der realen Welt zu gewährleisten, werden diese in digitalen Zwillingsumgebungen simuliert und getestet. Open-Source-Frameworks wie Isaac Sim, basierend auf Omniverse-Bibliotheken und betrieben auf NVIDIA RTX PRO Servern, bieten eine risikofreie Umgebung, in der Roboter Aufgaben wiederholt ausführen und aus Fehlern lernen können, ohne Menschen zu gefährden oder teure Hardwareschäden zu riskieren. NVIDIA Isaac Lab, ein Open-Source-Framework für Roboterlernen, beschleunigt zudem das Training von Roboterrichtlinien durch Reinforcement Learning und Imitationslernen.

• Der Laufzeitcomputer: NVIDIA Jetson Thor

  Für einen sicheren und effektiven Einsatz benötigen physische KI-Systeme einen Computer, der einen autonomen Roboterbetrieb in Echtzeit ermöglicht. Dieser muss die Rechenleistung besitzen, um Sensordaten zu verarbeiten, zu schlussfolgern, zu planen und Aktionen innerhalb von Millisekunden auszuführen. Der On-Roboter-Inferenzcomputer, wie der Jetson Thor, muss multimodale KI-Inferenzen ausführen, um eine intelligente Interaktion von Robotern mit Menschen und der physischen Welt in Echtzeit zu ermöglichen. Das kompakte Design des Jetson Thor erfüllt die Anforderungen an die KI-Leistung und Energieeffizienz an Bord und unterstützt eine Vielzahl von Modellen, einschließlich Steuerungsrichtlinien, Bildverarbeitung und Sprachverarbeitung.

Synthetische Daten als Schlüssel zur Skalierung

Die Generierung synthetischer Daten ist ein Eckpfeiler von NVIDIAs Strategie. Mit Tools wie NVIDIA Isaac Sim können Entwickler physikalisch präzise Simulationen erstellen, um große Mengen an Trainingsdaten zu sammeln. Dies ist besonders wichtig für dynamische Mobilitätsaufgaben, die viele hochwertige Daten erfordern. Durch die Nutzung von Omniverse NuRec können reale Umgebungen in 3D-Digitalzwillinge umgewandelt werden, die dann mit SimReady-Assets bevölkert werden. MobilityGen ermöglicht die Generierung von Daten für mobile Roboter, wobei manuelle und automatisierte Methoden genutzt werden können. Diese Daten können anschließend mit NVIDIA Cosmos Weltgrundlagenmodellen angereichert werden, um die visuelle Vielfalt zu erhöhen und die Lücke zwischen Simulation und Realität zu verringern.

GR00T-Projekt: Fortschritte bei humanoiden Robotern

Das NVIDIA GR00T-Projekt (Generalist Robot 00T) ist eine aktive Forschungsinitiative, die darauf abzielt, das Ökosystem humanoider Roboter zu befähigen, fortschrittliche Roboter mit adaptivem Verhalten und natürlicher Mensch-Roboter-Interaktion zu entwickeln. Es umfasst mehrere Workflows:

• GR00T-Gen: Generierung vielfältiger Umgebungen und Roboteraufgaben in OpenUSD für das Training generalistischer Roboter.
• GR00T-Mimic: Erzeugung von Bewegungsdaten aus teleoperierten Demonstrationen für das Imitationslernen, um die Datenerfassung zu skalieren.
• GR00T-Dexterity: Modelle und Richtlinien für feingranulare, geschickte Manipulation, die auf Reinforcement Learning basieren und in Simulation trainiert werden.
• GR00T-Mobility: Suite von Modellen und Richtlinien für Lokomotion und Navigation in vielfältigen Umgebungen, unterstützt durch Reinforcement Learning und Imitationslernen.
• GR00T-Control: Fortschrittliche Bewegungsplanungs- und Steuerungsbibliotheken für die Ganzkörperkontrolle (WBC) humanoider Roboter.
• GR00T-Perception: Erweiterte Wahrnehmungsbibliotheken und Grundmodelle für multimodale Sensorik, einschließlich des ReMEmbR-Workflows zur Verbesserung der Mensch-Roboter-Interaktion durch Langzeitgedächtnis.

Beschleunigung von Manipulationsaufgaben: cuTAMP

Eine weitere Entwicklung, die aus der Zusammenarbeit von MIT und NVIDIA Research hervorgeht, ist der Algorithmus cuTAMP. Dieser dramatisch beschleunigte Planungsalgorithmus ermöglicht es Robotern, Manipulationsprobleme in Sekundenschnelle zu lösen. Anstatt potenzielle Aktionen nacheinander zu testen, berücksichtigt cuTAMP Tausende von Lösungen parallel. Dies wird durch die Nutzung der massiven Rechenleistung von Grafikprozessoren (GPUs) erreicht. Der Algorithmus ist für Aufgaben- und Bewegungsplanung (TAMP) konzipiert und kann beispielsweise in Fabriken oder Lagern eingesetzt werden, um das präzise Packen von Gegenständen unterschiedlicher Form und Größe zu optimieren, ohne Schäden oder Kollisionen zu verursachen. Da cuTAMP kein maschinelles Lernverfahren ist, benötigt es keine Trainingsdaten und kann sofort in vielen Situationen eingesetzt werden.

Fazit

Die Herausforderung der Datenknappheit in der Robotik wird von NVIDIA durch einen Paradigmenwechsel angegangen: weg von einem reinen Datenproblem hin zu einem Rechenproblem. Durch den massiven Einsatz von Simulationstechnologien, synthetischen Daten und spezialisierter Rechenhardware, insbesondere in Form der Drei-Computer-Lösung, soll die Entwicklung von Robotern erheblich beschleunigt werden. Projekte wie GR00T und Algorithmen wie cuTAMP sind Belege für diesen Ansatz und zeigen das Potenzial für eine neue Generation von autonomen Robotern, die in der Lage sind, komplexe Aufgaben in der physischen Welt zu meistern.

Bibliography - NVIDIA Accelerates Robotics Research and Development With New Open Models and Simulation Libraries. (2025, September 29). NVIDIA Newsroom. Retrieved from http://nvidianews.nvidia.com/news/nvidia-accelerates-robotics-research-and-development-with-new-open-models-and-simulation-libraries - Build Synthetic Data Pipelines to Train Smarter Robots with NVIDIA Isaac Sim. (2025, October 24). NVIDIA Developer Blog. Retrieved from https://developer.nvidia.com/blog/build-synthetic-data-pipelines-to-train-smarter-robots-with-nvidia-isaac-sim/ - AI for Robotics - NVIDIA. (n.d.). Retrieved October 29, 2025, from https://www.nvidia.com/en-us/industries/robotics/ - What Is NVIDIA's Three-Computer Solution for Robotics? (2025, August 8). NVIDIA Blog. Retrieved from https://blogs.nvidia.com/blog/three-computers-robotics/ - New system enables robots to solve manipulation problems in seconds. (2025, June 5). MIT News | Massachusetts Institute of Technology. Retrieved from https://news.mit.edu/2025/new-system-enables-robots-to-solve-manipulation-problems-seconds-0605 - I spoke at NVIDIA yesterday about Figure and why solving general robotics is priority zero. (2025, October 29). LinkedIn. Retrieved from https://www.linkedin.com/posts/brettadcock_i-spoke-at-nvidia-yesterday-about-figure-activity-7389341926212292608-Vzj1 - Advancing Humanoid Robot Sight and Skill Development with NVIDIA Project GR00T. (2024, November 6). NVIDIA Developer Blog. Retrieved from https://developer.nvidia.com/blog/advancing-humanoid-robot-sight-and-skill-development-with-nvidia-project-gr00t - NVIDIA charts a course from agentic AI to physical AI. (2025, January 10). RCR Wireless News. Retrieved from https://www.rcrwireless.com/20250110/ai-ml/nvidia-charts-a-course-from-agentic-ai-to-physical-ai - AdaDemo: Data-Efficient Demonstration Expansion for Generalist Robotic Agent. (2025, May 2). NVIDIA Research. Retrieved from https://research.nvidia.com/labs/srl/publication/mu-2024-ada-demo/ - Nvidia wants to turn the data problem in robotics into a compute problem. (2025, November 7). THE DECODER. Retrieved from https://the-decoder.com/nvidia-wants-to-turn-the-data-problem-in-robotics-into-a-compute-problem/