NVIDIA präsentiert neue Modelle und Plattformen für physische KI auf der GTC Taipei

Die jüngste GTC Taipei war Schauplatz bedeutender Ankündigungen von NVIDIA, die das Engagement des Unternehmens im Bereich der physischen KI unterstreichen. Vorgestellt wurden eine Reihe von Modellen für Roboter, autonome Fahrzeuge und Videosysteme, welche die Entwicklung und Implementierung intelligenter Systeme in der realen Welt vorantreiben sollen. Die zentralen Innovationen umfassen die Einführung des Weltmodells Cosmos 3, eine erhebliche Skalierung des Fahrermodells Alpamayo 2 Super und die Bereitstellung einer offenen Referenzplattform für humanoide Roboter.

Cosmos 3: Ein offenes Weltmodell für physische KI

Cosmos 3 stellt die nächste Evolutionsstufe von NVIDIAs offenem "Omnimodel" dar. Dieses Modell ist darauf ausgelegt, eine breite Palette von Daten – darunter Text, Bilder, Videos, Umgebungsgeräusche und Aktionsdaten – in einem einzigen System zu verarbeiten. Entwickler, die an Robotern, autonomen Fahrzeugen und Videoüberwachungssystemen arbeiten, können Cosmos 3 nutzen, um synthetische Trainingsdaten zu generieren, Szenen zu interpretieren und zukünftige Weltzustände vorherzusagen. Dies eliminiert die Notwendigkeit, komplexe Situationen mühsam in der realen Welt nachzubilden.

NVIDIA hebt drei primäre Anwendungsfälle für Cosmos 3 hervor:

• Als Vision-Language-Modell analysiert Cosmos 3 Videoinhalte, um beispielsweise Verkehrsanomalien in Smart Cities zu erkennen.
• Als Weltmodell generiert es fotorealistische Videosequenzen von seltenen Ereignissen, wie Beinahe-Kollisionen oder ungewöhnlichen Objektanordnungen in einem Lagerhaus.
• Als Basis für sogenannte World-Action-Modelle erzeugt es numerische Bewegungsdaten, wie Gelenkwinkel oder Greiferpositionen, die Roboter zum Erlernen von Aufgaben wie dem Greifen und Platzieren von Objekten verwenden können.

Die Architektur von Cosmos 3 basiert auf einem Mixture-of-Transformers-Ansatz. Ein erster Reasoning-Transformer analysiert eine Szene, woraufhin ein zweiter Generation-Transformer aus dieser Analyse heraus Videos, Beschreibungen oder Bewegungstrajektorien erzeugt. Das Training erfolgte mit Milliarden von Beispielen, die Text, Bilder, Videos, Audio und Aktionsdaten umfassten. NVIDIA bietet drei Varianten an: Cosmos 3 Super für höchste Qualität, Nano für schnelle Inferenz und ein zukünftiges Edge-Modell für Echtzeitbetrieb auf eingebetteten Systemen. Die Modelle sind unter der OpenMDW-1.1-Lizenz auf Hugging Face und GitHub verfügbar.

Parallel zur Veröffentlichung von Cosmos 3 wurde die "Cosmos Coalition" ins Leben gerufen, eine Partnerallianz, zu der Unternehmen wie Black Forest Labs, Runway, LTX, Generalist, Agile Robots und Skild AI gehören. Diese Koalition nutzt NVIDIAs DGX Cloud Trainingsinfrastruktur und trägt im Gegenzug Modelle und Daten bei.

Alpamayo 2 Super: Ein Lehrmodell für Robotaxis

Die Alpamayo-Modellfamilie ist NVIDIAs offene Modellreihe für autonomes Fahren der Stufe 4, also für Robotaxis, die ohne menschlichen Fahrer in einem definierten Bereich operieren können. Diese Modelle verarbeiten Kamerabilder, leiten daraus Fahrentscheidungen ab und generieren konkrete Trajektorien. Frühere Versionen umfassten Alpamayo 1 Nano und 1.5 Nano mit jeweils zehn Milliarden Parametern.

Alpamayo 2 Super löst diese Generation mit 32 Milliarden Parametern ab. Dieser Sprung soll das räumliche Verständnis und den Umgang mit seltenen Situationen verbessern. Neu ist auch die Ausgabe sogenannter Meta-Aktionen wie "Spurwechsel", "Anhalten" oder "Vorfahrt gewähren", die das Modell neben der Trajektorie an einen nachgeschalteten Planer liefert. Die Wahrnehmung deckt nun das gesamte Fahrzeug ab und nicht mehr nur die Frontkameras. Jede Entscheidung wird von einer "Kausalkette" begleitet, einer textuellen Begründung, die laut NVIDIA für die Sicherheitsdokumentation und behördliche Überprüfung konzipiert ist. Dies wirft die bekannte Frage aus der KI-Alignment-Debatte in die Fahrsicherheitsdiskussion auf: Wie zuverlässig spiegeln diese Begründungsspuren tatsächlich wider, was im Netzwerk geschieht?

NVIDIA positioniert das große Modell als Lehrmodell. Hersteller sollen es nutzen, um kleinere Modelle zu destillieren, die dann auf dem fahrzeugeigenen Drive AGX Thor Chip laufen. NVIDIA veröffentlicht außerdem AlpaGym, ein Open-Source-Framework für Closed-Loop-Reinforcement-Learning in der Simulation, und OmniDreams, ein generatives Modell für seltene Verkehrsszenarien. Externe Vergleichszahlen, beispielsweise zu den Systemen von Waymo oder Tesla, werden von NVIDIA nicht bereitgestellt. Code und Gewichte werden voraussichtlich im Sommer auf GitHub und Hugging Face erscheinen.

Ein offener humanoider Roboter auf Unitree-Basis

Mit dem Isaac GR00T Referenz-Humanoiden Roboter stellt NVIDIA zudem eine Referenzplattform für die akademische Forschung im Bereich der humanoiden Robotik bereit. Der etwa 1,80 Meter große Roboter basiert auf dem Unitree H2 Plus Chassis, ist mit taktilen Fünf-Finger-Händen von Sharpa ausgestattet und wird von einem Jetson AGX Thor T5000 mit 2.070 FP4 Teraflops angetrieben. Das System verfügt über insgesamt 75 Freiheitsgrade. Softwareseitig läuft es auf dem Isaac GR00T Stack, der Teleoperation, Simulation in Isaac Sim, Foundation Models und ROS-Middleware umfasst.

NVIDIA verkauft den Roboter selbst nicht direkt, sondern verweist auf Unitree, die planen, die Hardware bis Ende 2026 anzubieten. Zu den Forschungspartnern zählen Ai2, die ETH Zürich, das Stanford Robotics Center und das UC San Diego ARC Lab. NVIDIA verfolgt hier die Strategie, einen Hardware-Software-Standard zu etablieren, der die Abhängigkeit der Robotik-Forschungsgemeinschaft von Jetson-Chips und Isaac-Tools vertieft.

Diese umfassenden Ankündigungen auf der GTC Taipei verdeutlichen NVIDIAs strategische Ausrichtung, die Entwicklung der physischen KI durch leistungsstarke Modelle und offene Plattformen maßgeblich voranzutreiben und die Innovationsgeschwindigkeit in diesem Bereich zu beschleunigen.

Bibliographie

• Schreiner, M. (2026, 1. Juni). Nvidia bets big on physical AI at GTC Taipei with a new world model, driving brain, and open humanoid robot. The Decoder.
• NVIDIA Newsroom. (2026, 31. Mai). NVIDIA Launches Cosmos 3, the Open Frontier Foundation Model for Physical AI.
• Liu, M.-Y. (2026, 1. Juni). How Cosmos 3 Helps Physical AI Think Before It Acts. NVIDIA Blog.
• NVIDIA Newsroom. (2026, 31. Mai). NVIDIA Announces NVIDIA Isaac GR00T Reference Humanoid Robot for Academic Research.
• Rubio-Licht, N. (2026, 1. Juni). Nvidia's new world model will spur robotics leap. The Deep View.
• NVIDIA Newsroom. (2026, 31. Mai). NVIDIA Launches Alpamayo 2 Super Open Reasoning Model for Robotaxis.
• NVIDIA. (2026, 1. Juni). NVIDIA GTC Taipei 2026 Keynote | Full Replay [Video]. YouTube.
• NVIDIA Writers. (2026, 21. Mai). NVIDIA GTC Taipei at COMPUTEX: Live Updates on What’s Next in AI. NVIDIA Blog.
• Fierce Sensors. (2026, 1. Juni). Humanoids are insanely hard to build, but Nvidia has a plan.
• NDTV Profit. (2026, 1. Juni). Jensen Huang LIVE | NVIDIA's Future of AI, Robotics & Computing Revealed | NVIDIA GTC Taipei 2026 [Video]. YouTube.