NVIDIAs Cosmos Policy: Fortschritte in der Robotiksteuerung durch innovative Vorhersagemethoden

Revolution in der Robotik: NVIDIAs Cosmos Policy für präzise Robotersteuerung

Die Weiterentwicklung der Robotik und der physikalischen KI schreitet mit hoher Geschwindigkeit voran. Ein zentraler Aspekt dieser Entwicklung ist die Fähigkeit von Robotern, ihre Umgebung zu verstehen, zu interpretieren und darauf basierend komplexe Aktionen auszuführen. NVIDIA hat mit der Einführung der "Cosmos Policy" einen neuen Ansatz für die Robotersteuerung vorgestellt, der auf dem Konzept der World Foundation Models (WFMs) aufbaut. Diese Neuerung zielt darauf ab, die Präzision und Effizienz von Robotersystemen durch eine verbesserte Vorhersagefähigkeit und Planungsintelligenz zu steigern.

Grundlagen der Cosmos Policy: Eine neue Denkweise in der Robotersteuerung

Im Kern der Robotik steht die "Policy", das entscheidungsfindende System, das Beobachtungen (beispielsweise Kamerabilder oder Sensordaten) in physikalische Aktionen umwandelt. Traditionelle Roboterpolicies wurden oft als aufgabenspezifische neuronale Netze konzipiert, die separate Module für Wahrnehmung, Planung und Steuerung erforderten. Diese Systeme waren häufig auf große Mengen an beschrifteten Daten und eine individuelle Anpassung für jeden Robotertyp oder jede Umgebung angewiesen.

Die Cosmos Policy verfolgt einen anderen Weg. Anstatt ein Steuerungsmodell von Grund auf neu zu entwickeln, adaptiert NVIDIA ein vortrainiertes Videomodell, bekannt als Cosmos Predict. Dieses Modell ist darauf spezialisiert, die Entwicklung von Szenen im Laufe der Zeit zu prognostizieren und temporale Dynamiken zu generieren. Dies ist ein entscheidender Unterschied zu herkömmlichen Vision-Language Models (VLMs), die zwar lernen, Videos zu verstehen und zu beschreiben, jedoch nicht, wie physische Aktionen präzise ausgeführt werden.

Das Besondere an der Cosmos Policy ist die Art und Weise, wie sie Daten repräsentiert. Sie behandelt Roboteraktionen, physikalische Zustände und Erfolgswerte ähnlich wie Frames in einem Video. All diese Informationen werden als zusätzliche latente Frames kodiert, die mit demselben Diffusionsprozess wie die Videogenerierung erlernt werden. Dies ermöglicht es dem Modell, das bereits gelernte Verständnis von Physik, Schwerkraft und der Entwicklung von Szenen im Zeitverlauf zu nutzen.

Technologische Innovation: Latent Frame Injection und vereinheitlichtes Lernen

Ein Schlüsselelement der Cosmos Policy ist die sogenannte "Latent Frame Injection". Diese Methode ermöglicht es, nicht-bildliche Modalitäten wie Roboter-Propriozeption (eigene Körperwahrnehmung des Roboters), Aktionssequenzen und Wertschätzungen direkt in den latenten Diffusionsprozess des Videomodells zu integrieren. Anstatt neue architektonische Komponenten oder separate Aktionsmodule einzuführen, passt die Cosmos Policy das vortrainierte Modell direkt durch eine einmalige Nachschulungsphase mit Roboterdemonstrationsdaten an.

Durch diesen Ansatz kann ein einziges Modell mehrere Funktionen erfüllen:

• Vorhersage erwarteter Ergebnisse (Wertfunktion): Für die Planung zukünftiger Aktionen.
• Vorhersage zukünftiger Roboterbeobachtungen: Für die Modellierung der Welt.
• Vorhersage von Aktions-Chunks: Zur Steuerung von Roboterbewegungen durch Hand-Auge-Koordination (visuomotorische Steuerung).

Alle drei Fähigkeiten werden gemeinsam innerhalb eines vereinheitlichten Modells erlernt. Die Cosmos Policy kann entweder als direkte Policy eingesetzt werden, bei der nur Aktionen generiert werden, oder als Planungs-Policy, bei der mehrere Kandidatenaktionen durch Vorhersage ihrer zukünftigen Zustände und Werte bewertet werden.

Beeindruckende Ergebnisse in Simulation und realer Welt

Die Leistungsfähigkeit der Cosmos Policy wurde in verschiedenen Szenarien evaluiert, darunter Simulations-Benchmarks und reale Roboter-Manipulationsaufgaben. Die Ergebnisse zeigen eine signifikante Überlegenheit gegenüber bestehenden Methoden:

• LIBERO-Benchmark: Die Cosmos Policy übertrifft konsistent frühere Diffusionspolicies und VLA-basierte Ansätze, insbesondere bei Aufgaben, die eine präzise zeitliche Koordination und mehrstufige Ausführung erfordern. Hier erreichte sie eine durchschnittliche Erfolgsrate von 98,5 %.
• RoboCasa-Benchmark: Bei diesem Benchmark erzielte die Cosmos Policy höhere Erfolgsraten als von Grund auf trainierte Baselines und zeigte eine verbesserte Generalisierungsfähigkeit in verschiedenen Haushaltsmanipulationsszenarien. Mit nur 50 Trainingsdemonstrationen pro Aufgabe erreichte sie eine durchschnittliche Erfolgsrate von 67,1 %, während andere Methoden deutlich mehr Daten benötigten.
• Reale Roboter-Manipulation: Bei realen Aufgaben mit der ALOHA-Roboterplattform konnte die Policy komplexe, langkettige Manipulationsaufgaben direkt aus visuellen Beobachtungen erfolgreich ausführen. Insbesondere bei Aufgaben, die eine hohe Präzision erforderten, wie das Greifen eines Ziploc-Beutels, zeigte sie eine überlegene Leistung im Vergleich zu anderen Modellen.

Die Fähigkeit zur Planung ist ein weiterer entscheidender Vorteil. Wenn die Cosmos Policy durch modellbasierte Planung erweitert wird, bei der mehrere Aktionssequenzen generiert und bewertet werden können, wurde eine um 12,5 % höhere Aufgabenabschlussrate bei anspruchsvollen realen Manipulationsaufgaben beobachtet. Dies ermöglicht Robotern, strategischer und weniger reaktiv auf komplexe Situationen zu reagieren.

Ausblick und zukünftige Entwicklungen

Die Cosmos Policy stellt einen wichtigen Schritt dar, um World Foundation Models für die Robotersteuerung und -planung nutzbar zu machen. NVIDIA engagiert sich aktiv in der Weiterentwicklung dieser Forschung und fördert die Zusammenarbeit mit der Robotik-Community.

Um die praktische Anwendung zu unterstützen, stellt NVIDIA den "Cosmos Cookbook" bereit, der Anleitungen und Beispiele für die Implementierung und Nutzung der Cosmos WFMs bietet. Darüber hinaus wird der "Cosmos Cookoff" veranstaltet, ein Hackathon, der Entwickler dazu anregen soll, Anwendungen und Workflows mit den Cosmos-Modellen zu entwickeln.

Die Cosmos Policy ist Teil des breiteren Cosmos-Ökosystems von NVIDIA, das darauf abzielt, allgemeine Weltmodelle für Roboter und autonome Systeme bereitzustellen. Das übergeordnete Ziel ist es, Maschinen eine gemeinsame Infrastruktur zu bieten, die es ihnen ermöglicht, die physikalische Welt zu verstehen, vorherzusagen und in ihr zu agieren, wodurch der Bedarf an aufgabenspezifischer Technik reduziert wird.

Trotz der vielversprechenden Ergebnisse bestehen auch Herausforderungen. Die Inferenzgeschwindigkeit bei modellbasierter Planung kann noch optimiert werden, um die Anwendbarkeit auf dynamischere Aufgaben zu erweitern. Zudem ist die Notwendigkeit umfangreicher Rollout-Daten für eine präzise Planung ein Bereich für zukünftige Forschung, um die Zugänglichkeit des Ansatzes zu erhöhen.

Die Cosmos Policy demonstriert das Potenzial von Videodiffusions-Foundation Models, die Robotik durch eine vereinheitlichte und effiziente Steuerung zu revolutionieren. Durch die Integration von visuellen, aktionalen und wertbasierten Informationen in einem einzigen Modell ebnet NVIDIA den Weg für intelligentere und anpassungsfähigere Robotersysteme.

Bibliographie

• Hugging Face Blog. (2026, January 29). Introducing NVIDIA Cosmos Policy for Advanced Robot Control.
• Interesting Engineering. (2026, January 29). NVIDIA's Cosmos Policy helps robots predict what happens next.
• Quantum Zeitgeist. (2026, January 27). Cosmos Policy Achieves 98.5% Robot Control With Single-Stage Video Adaptation.
• NVIDIA Corporation. (n.d.). Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control ... Retrieved from https://research.nvidia.com/labs/dir/cosmos-policy/
• Emergent Mind. (2026, January 22). Cosmos Policy: Video Models for Robot Control.
• arXiv. (n.d.). Cosmos Policy: Fine-Tuning Video Models for Visuomotor Control and Planning. Retrieved from https://arxiv.org/html/2601.16163v1
• NVIDIA. (n.d.). NVIDIA Cosmos - Physical AI with World Foundation Models. Retrieved from https://www.nvidia.com/en-us/ai/cosmos/
• The Robot Report. (2026, January 9). NVIDIA releases new physical AI models, plus autonomous vehicle tools.
• NVIDIA Developer Blog. (2025, January 9). Advancing Physical AI with NVIDIA Cosmos World Foundation Model Platform.
• NVIDIA Blog. (2026, January 29). Into the Omniverse: Physical AI Open Models and Frameworks ...