NVIDIA präsentiert Cosmos 3 Edge: Ein Fortschritt in der physischen KI für Robotik

Einführung in NVIDIA Cosmos 3 Edge: Eine neue Ära für physische KI

Die fortschreitende Entwicklung der Künstlichen Intelligenz (KI) erreicht mit der Einführung von "Cosmos 3 Edge" durch NVIDIA einen weiteren wichtigen Meilenstein. Dieses Modell, das speziell für den Einsatz auf Edge-Geräten konzipiert wurde, verspricht, die Fähigkeiten physischer KI-Systeme erheblich zu erweitern. Als Teil der umfassenderen "Cosmos 3"-Modellfamilie ist "Cosmos 3 Edge" darauf ausgelegt, Robotern und anderen autonomen Systemen eine verbesserte Wahrnehmung, Echtzeit-Schlussfolgerung und Aktionsgenerierung direkt am Einsatzort zu ermöglichen.

Die Architektur von Cosmos 3 Edge

"Cosmos 3 Edge" ist ein Weltmodell mit 4 Milliarden Parametern, das auf der NVIDIA Nemotron-Architektur aufbaut. Es wurde entwickelt, um auf NVIDIA Jetson Thor Plattformen und anderen NVIDIA Edge-Computern effizient zu arbeiten. Die Fähigkeit des Modells, eine datencenter-ähnliche Leistung auf speicherbeschränkten Systemen zu erbringen, stellt einen entscheidenden Vorteil für den Einsatz in realen Umgebungen dar, wie beispielsweise in Fabriken, Lagern und Krankenhäusern.

Die Kerninnovation von "Cosmos 3 Edge" liegt in seiner Fähigkeit, zwei Transformer-Türme zu kombinieren:

• Autoregressiver Turm: Dieser Turm verarbeitet visuelle und Text-Tokens für das Verständnis und die Schlussfolgerung.
• Diffusions-Turm: Dieser Turm verarbeitet visuelle, Audio- und Aktions-Tokens für Vorhersage, Generierung und neuronale Simulation.

Diese Architektur ermöglicht es dem Modell, eine Szene zu analysieren, bevor es eine Ausgabe generiert. Je nach Aufgabe kann "Cosmos 3 Edge" entweder Schlussfolgerungs-Tokens vom autoregressiven Turm oder denoised Video- und Aktions-Tokens vom Diffusions-Turm produzieren. Die geteilte Repräsentation ermöglicht es physischen KI-Systemen, den aktuellen Weltzustand zu verstehen, mögliche zukünftige Szenarien zu simulieren und diese Zukunftsszenarien mit konkreten Aktionen zu verknüpfen.

Anwendungsbereiche und Kooperationen

Das Modell ist darauf ausgelegt, Robotern zu helfen, ihre Umgebung zu "sehen", in Echtzeit über diese zu schließen und Gelenk- oder Trajektorienbefehle lokal zu erzeugen. Dies ist besonders relevant für Aufgaben, die ein präzises Verständnis der physischen Welt erfordern, wie beispielsweise das Greifen von Objekten, bei dem ein Roboter nicht nur das Objekt erkennen, sondern auch seine Position, die Bewegung des Greifers und die möglichen Auswirkungen des Kontakts verstehen muss.

NVIDIA hat zudem angekündigt, dass führende japanische Unternehmen aus den Bereichen Robotik und Fertigung, darunter FANUC, Fujitsu, Hitachi, Kawasaki Heavy Industries, Kubota, NEC, SoftBank Corp., Sony Group Corporation und Yaskawa Electric, beabsichtigen, der NVIDIA Cosmos Coalition beizutreten. Ziel dieser Koalition ist es, offene physische KI-Modelle zu entwickeln und die Grenzen der physischen KI voranzutreiben. Fujitsu untersucht beispielsweise die Entwicklung einer kollaborativen Steuerungsplattform für physische KI, wobei FANUC, Yaskawa Electric und Kawasaki Heavy Industries NVIDIA-Technologien integrieren.

Die Bedeutung von Weltmodellen für die physische KI

Ein Weltmodell lernt, wie sich eine Umgebung im Laufe der Zeit verändert. Es repräsentiert Objekte, Bewegungen, räumliche Beziehungen und die Auswirkungen von Aktionen. Für eine physische KI ist dies von grundlegender Bedeutung. Wenn ein Roboter beispielsweise nach einem Objekt greift, muss er nicht nur das Objekt erkennen, sondern auch verstehen, wo es sich befindet, wie sich sein Greifer bewegt, was bei Kontakt passieren könnte und welche Aktion am wahrscheinlichsten zum Erfolg führt.

"Cosmos 3 Edge" integriert diese Fähigkeiten in einem einzigen, auf dem Gerät lauffähigen Modell. Die gemeinsame Repräsentation ermöglicht es physischen KI-Systemen, den aktuellen Weltzustand zu interpretieren, mögliche zukünftige Entwicklungen zu simulieren und diese mit konkreten Aktionen zu verknüpfen. Dies schafft eine direkte Verbindung zwischen Steuerung und der visuellen Struktur der Welt, wodurch das Modell Änderungen in Pixeln mit physischer Bewegung, räumlichen Beziehungen und Steuerungseingaben in Verbindung bringen kann.

Zukünftige Entwicklungen und Ausblick

NVIDIA plant, die "Cosmos 3"-Plattform für physische KI kontinuierlich weiterzuentwickeln. Zukünftige Verbesserungen sind in den Bereichen interaktive Weltgenerierung, Simulation von Fahrszenarien und Robotik-Policies vorgesehen. Ebenso wird in eine schnellere Inferenz und effizientere Nachschulung auf einer breiteren Palette von Hardware investiert, um den Zeit- und Rechenaufwand für die Entwicklung nachgelagerter Modelle zu reduzieren.

Die Einführung von "Cosmos 3 Edge" stellt einen bedeutenden Schritt in Richtung autonomer und intelligenter physischer Systeme dar. Die Fähigkeit, komplexe Umgebungen in Echtzeit zu verstehen und darauf zu reagieren, eröffnet neue Möglichkeiten für Automatisierung, Effizienz und Sicherheit in verschiedenen Industriezweigen.

Bibliographie

• Hugging Face Blog. (2026, 20. Juli). Introducing Cosmos 3 Edge. Abgerufen von https://huggingface.co/blog/nvidia/cosmos3edge
• NVIDIA Newsroom. (2026, 15. Juli). Japan’s Robotics and Manufacturing Leaders Build on NVIDIA Cosmos to Advance Physical AI Frontier. Abgerufen von https://nvidianews.nvidia.com/news/japans-robotics-and-manufacturing-leaders-build-on-nvidia-cosmos-to-advance-physical-ai-frontier
• ADTmag. (2026, 16. Juli). Nvidia Expands Cosmos Physical AI Platform with Edge Model, Japanese Manufacturing Partners. Abgerufen von https://adtmag.com/articles/2026/07/16/nvidia-expands-cosmos-physical-ai-platform-with-edge-model.aspx
• GIGAZINE. (2026, 21. Juli). NVIDIA unveils 'Cosmos 3 Edge,' a locally running AI model for robots. Abgerufen von https://gigazine.net/gsc_news/en/20260721-nvidia-cosmos-3-edge/
• MarketScreener. (2026, 16. Juli). NVIDIA Introduces Cosmos 3 Edge For On-Device Vision Reasoning And Robot Policy Deployment. Abgerufen von https://www.marketscreener.com/news/nvidia-introduces-cosmos-3-edge-for-on-device-vision-reasoning-and-robot-policy-deployment-ce7f5ed2de88f622
• KIE.AI Blog. (2026, 17. Juli). What Is Cosmos 3 Edge? NVIDIA's 4B Robot Model. Abgerufen von https://kie.ai/blog/what-is-cosmos-3-edge
• NVIDIA Newsroom. (2026, 31. Mai). NVIDIA Launches Cosmos 3, the Open Frontier Foundation Model for Physical AI. Abgerufen von https://nvidianews.nvidia.com/news/nvidia-launches-cosmos-3-the-open-frontier-foundation-model-for-physical-ai
• Pure AI. (2026, 16. Juli). Nvidia Unveils Cosmos 3 Edge, Expands Physical AI Partnerships in Japan. Abgerufen von https://pureai.com/articles/2026/07/16/nvidia-unveils-cosmos-3-edge.aspx
• GitHub. (o.D.). NVIDIA/cosmos. Abgerufen von http://github.com/nvidia/cosmos
• NVIDIA Investor Relations. (2026, 1. Juni). NVIDIA Launches Cosmos 3, the Open Frontier Foundation Model for Physical AI. Abgerufen von https://investor.nvidia.com/news/press-release-details/2026/NVIDIA-Launches-Cosmos-3-the-Open-Frontier-Foundation-Model-for-Physical-AI/default.aspx