Welt-Foundation-Modelle und ihre Rolle in der Physical AI

Welt-Simulation mit Video Foundation Modellen für Physical AI

Die Entwicklung künstlicher Intelligenz (KI) hat in den letzten Jahren signifikante Fortschritte gemacht, insbesondere im Bereich der sogenannten "Physical AI". Dieser Ansatz zielt darauf ab, Maschinen die Fähigkeit zu verleihen, die physische Welt wahrzunehmen und mit ihr zu interagieren. Ein zentraler Bestandteil dieser Entwicklung sind Welt-Foundation-Modelle (WFMs), die darauf ausgelegt sind, reale Umgebungen und deren Dynamik zu simulieren und vorherzusagen.

Grundlagen der Welt-Foundation-Modelle

Welt-Foundation-Modelle sind fortschrittliche KI-Systeme, die darauf trainiert werden, die Komplexität der physischen Welt in einer simulierten Umgebung abzubilden. Sie verarbeiten eine Vielzahl von Dateneingaben, darunter Texte, Bilder, Videos und Sensordaten, um realistische und immersive Simulationen zu erstellen. Die Kernkompetenz dieser Modelle liegt in ihrem Verständnis grundlegender physikalischer Prinzipien wie Bewegung, Kraft, Kausalität und räumlicher Beziehungen. Dies ermöglicht es ihnen, zu simulieren, wie Objekte und Entitäten innerhalb einer bestimmten Umgebung interagieren, sei es die Bewegung eines Fahrzeugs, die Dynamik eines Roboterarms oder das Zusammenspiel von Objekten in einer virtuellen Welt.

Ein primäres Anwendungsgebiet dieser Modelle ist die Entwicklung und Verfeinerung von Physical AI-Systemen, wie Robotern und autonomen Fahrzeugen. Durch die Bereitstellung einer sicheren und kontrollierten Umgebung für Training und Tests können diese Modelle den Bedarf an realen Experimenten reduzieren, die kostspielig, zeitaufwändig und potenziell gefährlich sein können. Darüber hinaus können Welt-Foundation-Modelle hochwertige, realistische Videoinhalte generieren, die für verschiedene Zwecke genutzt werden können, darunter Unterhaltung, Bildung und Forschung. Ihre Fähigkeit, präzise und detaillierte Umgebungen zu simulieren, macht sie zu essenziellen Werkzeugen für Entwickler, da sie eine effizientere und präzisere Verbesserung der KI-Leistung ermöglichen.

Physical AI-Systeme: Definition und Bedeutung

Physical AI-Anwendungen beziehen sich auf KI-Systeme, die mit Sensoren zur Wahrnehmung der physischen Welt und Aktuatoren zur Interaktion und Modifikation ausgestattet sind. Sie befähigen autonome Maschinen, wie Roboter, selbstfahrende Autos und andere Geräte, komplexe Aktionen in realen Umgebungen auszuführen. Oft als "generative Physical AI" beschrieben, erweitern sie generative KI-Modelle um ein Verständnis für räumliche Beziehungen und die physikalischen Regeln der 3D-Welt.

Wie funktioniert Physical AI?

Generative Physical AI kombiniert generative KI mit realen Daten für eine verbesserte Funktionalität. Während des Trainings werden KI-Systeme Simulationen ausgesetzt, die reale Szenarien nachahmen. Diese Simulationen basieren auf digitalen Zwillingen, hochpräzisen virtuellen Repliken physischer Räume, in denen autonome Maschinen und Sensoren eingeführt werden. Die virtuelle Umgebung generiert 3D-Trainingsdaten, die Interaktionen wie Objektbewegungen, Kollisionen und Lichtdynamik erfassen.

Reinforcement Learning ist in diesem Prozess entscheidend. Es ermöglicht Maschinen, Fähigkeiten durch Versuch und Irrtum in diesen simulierten Umgebungen zu erlernen. Belohnungen werden für das Ausführen gewünschter Aktionen vergeben, wodurch die KI sich anpassen, verbessern und schließlich Aufgaben mit Präzision meistern kann. Dieser Prozess stattet Maschinen mit den komplexen motorischen Fähigkeiten aus, die für reale Anwendungen notwendig sind.

Warum sind Physical AI-Systeme wichtig?

Zuvor hatten autonome Maschinen Schwierigkeiten, ihre Umgebung effektiv wahrzunehmen und mit ihr zu interagieren. Physical AI überwindet diese Einschränkung, indem sie Robotern und anderen Geräten ermöglicht, ihre Umgebung wahrzunehmen, sich anzupassen und mit ihr zu interagieren.

Physical AI-Systeme tragen dazu bei, Effizienz, Sicherheit und Zugänglichkeit in verschiedenen Branchen zu verbessern, indem sie Maschinen schaffen, die komplexe Aufgaben ausführen können, von chirurgischen Eingriffen bis zur Navigation in Lagerhallen.

Physical AI stützt sich auf fortschrittliche physikbasierte Simulationen, um Maschinen in sicheren, kontrollierten Umgebungen zu trainieren. Diese Simulationen beschleunigen die Entwicklung, verhindern Schäden in frühen Lernphasen und gewährleisten die Bereitschaft für den Einsatz in der realen Welt.

NVIDIA Cosmos: Eine Plattform für Physical AI

NVIDIA hat mit der Cosmos-Plattform einen bedeutenden Schritt in der Entwicklung der Physical AI vollzogen. Cosmos ist eine speziell entwickelte Plattform für Physical AI, die modernste generative Welt-Foundation-Modelle (WFMs), robuste Sicherheitsmechanismen (Guardrails) und eine beschleunigte Datenverarbeitungs- und Kurationspipeline umfasst. Die Plattform wurde entwickelt, um die Entwicklung von Physical AI für autonome Fahrzeuge (AVs), Roboter und KI-Agenten für Videoanalyse zu beschleunigen.

Schlüsselkomponenten der Cosmos-Plattform

• Cosmos Predict: Ein State-of-the-Art-Modell zur Vorhersage des Weltzustands, das bis zu 30 Sekunden kontinuierliches Video aus multimodalen Eingaben mit überlegener Geschwindigkeit, Wiedergabetreue und Prompt-Konformität generieren kann. Es ermöglicht fortschrittliche Prognosen und Szenarioplanung für Robotik und KI-Agenten, indem es zukünftige Zustände dynamischer Umgebungen vorhersagt.
• Cosmos Transfer: Ein Multicontrol-Modell, das eine einzelne Simulation oder ein räumliches Video schnell über verschiedene Umgebungen und Lichtverhältnisse hinweg skaliert. Es beschleunigt 3D-Eingaben aus Physical AI-Simulationsframeworks, wie CARLA oder NVIDIA Isaac Sim, um vollständig steuerbare Datenaugmentations- und synthetische Datenpipelines zu ermöglichen.
• Cosmos Reason: Ein offenes, anpassbares Reasoning Vision Language Model (VLM) für Physical AI, das es Robotern und Vision AI-Agenten ermöglicht, wie Menschen zu denken. Es kann vorhandenes Wissen, physikalisches Verständnis und gesunden Menschenverstand nutzen, um die reale Welt zu verstehen und mit ihr zu interagieren.

Fortschritte mit Cosmos-Predict2.5 und Cosmos-Transfer2.5

Die neuesten Generationen, Cosmos-Predict2.5 und Cosmos-Transfer2.5, stellen erhebliche Verbesserungen dar. Cosmos-Predict2.5, das auf einer Flow-basierten Architektur aufbaut, vereinheitlicht Text2World-, Image2World- und Video2World-Generierung in einem einzigen Modell. Es nutzt Cosmos-Reason1 als Vision-Language-Modell (VLM) für Physical AI, um eine reichere Textverankerung und feinere Kontrolle der Weltsimulation zu ermöglichen. Trainiert auf 200 Millionen kuratierten Videoclips und verfeinert durch Reinforcement Learning-basiertes Post-Training, erreicht Cosmos-Predict2.5 wesentliche Verbesserungen in der Videoqualität und der Instruktionsausrichtung.

Cosmos-Transfer2.5, obwohl 3,5-mal kleiner als sein Vorgänger, liefert eine höhere Wiedergabetreue und robuste Langzeit-Videoerzeugung. Diese Modelle sind als vielseitige Werkzeuge zur Skalierung von "Embodied Intelligence" konzipiert. Um Forschung und Entwicklung in Physical AI zu beschleunigen, werden Quellcode, vortrainierte Checkpoints und kuratierte Benchmarks unter der NVIDIA Open Model License veröffentlicht.

Anwendungsfälle und Vorteile

Die Anwendungsmöglichkeiten von Welt-Foundation-Modellen sind vielfältig und reichen von der Robotik bis hin zu autonomen Fahrzeugen und Videoanalyse-Agenten.

Robotik

In der Robotik spielen WFMs eine entscheidende Rolle, indem sie Robotern ermöglichen, effektiv in dynamischen, realen Umgebungen zu agieren:

• Aufbau räumlicher Intelligenz: Roboter erlangen durch simulierte Trainingsumgebungen ein Verständnis ihrer Umgebung, was ihnen präzise Navigation und Objektmanipulation ermöglicht.
• Verbesserte Lerneffizienz: Simulierte Umgebungen beschleunigen das Training, indem sie kontrollierte Szenarien bieten, in denen Roboter experimentieren und aus Fehlern lernen können, ohne physische Konsequenzen.
• Aufgabenverallgemeinerung: Durch die Integration von Eingaben aus verschiedenen Modalitäten wie visuellen, auditiven und taktilen Sensoren unterstützen WFMs das Transferlernen, wodurch Roboter sich mit minimalem Umschulungsaufwand an neue Umgebungen und Aufgaben anpassen können.
• Komplexe Aufgabenplanung: Diese Modelle ermöglichen Robotern eine Langzeitplanung, wie das Zusammenbauen von Objekten, das Vorhersagen menschlicher Handlungen oder die Koordination mit anderen Robotern in industriellen oder kollaborativen Umgebungen.

Autonome Fahrzeuge

WFMs können die Entwicklungspipeline autonomer Fahrzeuge (AVs) erheblich verbessern:

• Training mit vorab gelabelten Daten: Sie stellen vorab gelabelte und kodierte Videodatensätze bereit, die es AV-Systemen ermöglichen, umliegende Fahrzeuge, Fußgänger und Objekte unter verschiedenen Bedingungen genau zu identifizieren und zu interpretieren.
• Szenariogenerierung: Diese Modelle können simulierte Szenarien wie verschiedene Verkehrsmuster, Wetterbedingungen und Fußgängerverhalten erstellen, die Lücken in realen Trainingsdaten schließen.
• Skalierbarkeit und Lokalisierung: Entwickler können virtuelle Umgebungen nutzen, um Bedingungen an neuen geografischen Standorten zu replizieren, wodurch AVs sich an unterschiedliche Verkehrsregeln, kulturelle Fahrweisen und Infrastrukturdesigns anpassen können, ohne umfangreiche Tests auf der Straße durchführen zu müssen.
• Sensorfusion und Kalibrierung: WFMs können Multisensor-Eingaben wie Kamera, LiDAR, Radar und GPS in derselben Umgebung simulieren. Dies hilft AV-Systemen, die genaue Sensorfusion und Kalibrierung zu trainieren, die für das Verständnis von Tiefe, Geschwindigkeit und Bewegung in komplexen Fahrsituationen unerlässlich sind.
• Sicherheit und Kosteneffizienz: AV-Systeme können in einer risikofreien Umgebung iterieren und optimieren, indem sie in virtuellen Umgebungen testen, was Kosten und potenzielle Unfälle während realer Tests reduziert.

Multimodale Integration

Die Integration von WFMs mit großen Sprachmodellen (LLMs) und anderen Rechenressourcen, wie High-Performance Computing (HPC), verbessert Physical AI-Systeme durch das Hinzufügen von semantischem Verständnis. Diese Kombination unterstützt visuelle Sprachmodelle und multimodale Fähigkeiten, die eine anspruchsvollere Interaktion mit Bild- und Videodaten ermöglichen.

Beispiele hierfür sind Google DeepMinds Genie 3, das interaktive virtuelle Umgebungen aus Textbeschreibungen generiert, und NVIDIAs Earth-2, das KI und HPC zur Simulation von Klima- und Wettersystemen nutzt.

Kerntechnologien hinter Welt-Foundation-Modellen

Der Aufbau von Welt-Foundation-Modellen umfasst mehrere komplexe Prozesse und Technologien, darunter Datenkuration, Tokenisierung, neuronale Netze, interne Repräsentation sowie Feinabstimmung und Spezialisierung.

Datenkuration

Datenkuration ist der erste Schritt bei der Entwicklung von Weltmodellen. Sie umfasst das systematische Organisieren, Bereinigen und Aufbereiten umfangreicher realer Datensätze, um sicherzustellen, dass das Modell mit hochwertigen Informationen trainiert wird.

• Filterung: Identifiziert und behält hochwertige Daten.
• Annotation: Beschriftet Schlüsselobjekte, Aktionen und Ereignisse mithilfe von Vision-Language-Modellen.
• Klassifizierung: Kategorisiert Daten für spezifische Trainingsziele.
• Deduplizierung: Verwendet Video-Embeddings, um redundante Daten zur Effizienz zu identifizieren und zu entfernen.

Tokenisierung

Tokenisierung wandelt rohe, hochdimensionale visuelle Daten in kleinere, besser verwaltbare Einheiten, sogenannte Token, um, wodurch maschinelle Lernprozesse vereinfacht werden. Ziel ist es, Pixelredundanzen zu reduzieren und sie in kompakte, semantisch bedeutungsvolle Token umzuwandeln, was ein schnelleres und effizienteres Modelltraining und eine schnellere Inferenz ermöglicht.

Neuronale Netze und Interne Repräsentation

Im Kern von Welt-Foundation-Modellen stehen neuronale Netze mit Milliarden von Parametern. Diese Netze analysieren Daten, um einen verborgenen Zustand oder eine interne Repräsentation der Umgebung zu erstellen und zu aktualisieren.

• Wahrnehmung: Extrahiert Bewegung, Tiefe und andere 3D-dynamische Verhaltensweisen aus Videos und Bildern.
• Vorhersage: Antizipiert verborgene Objekte, Bewegungsmuster und potenzielle Ereignisse basierend auf gelernten Repräsentationen.
• Anpassung: Verfeinert kontinuierlich den verborgenen Zustand durch Deep Learning, um die Reaktionsfähigkeit auf neue Szenarien und Umgebungen zu gewährleisten.

Modellarchitekturen

Welt-Foundation-Modelle verwenden spezialisierte neuronale Netzwerkarchitekturen, um physikalische Phänomene effektiv zu simulieren und vorherzusagen.

• Diffusionsmodelle: Funktionieren durch die Verfeinerung von zufälligem Rauschen, um hochwertige Videos zu generieren. Ideal für Aufgaben wie Videoerzeugung und Stiltransfer.
• Autoregressive Modelle: Generieren Videobilder Frame für Frame, wobei jedes nachfolgende Bild basierend auf vorherigen vorhergesagt wird. Geeignet für Videovervollständigung und Vorhersage zukünftiger Frames.

Feinabstimmung und Spezialisierung

Ursprünglich für allgemeine Aufgaben trainiert, können Welt-Foundation-Modelle für spezifische Anwendungen feinabgestimmt werden. Feinabstimmungs-Frameworks integrieren Bibliotheken, SDKs und Tools, um die Datenaufbereitung, das Modelltraining, die Leistungsoptimierung und die Lösungsbereitstellung zu vereinfachen und gleichzeitig die Anpassung an spezialisierte Aufgaben in Robotik, autonomen Systemen und anderen Anwendungen zu ermöglichen.

Vorteile von Welt-Foundation-Modellen

Durch den Einsatz von Welt-Foundation-Modellen können Forscher und Ingenieure Entwicklungszyklen beschleunigen, Kosten senken und Risiken minimieren, während sie robustere und anpassungsfähigere Physical AI-Systeme aufbauen. Dieser Ansatz kann dazu beitragen, fortschrittliche KI-Anwendungen zu schaffen und einen sichereren und effizienteren Einsatz in realen Szenarien zu gewährleisten.

Verbesserte Entscheidungsfindung und Planung

Welt-Foundation-Modelle verbessern Physical AI-Systeme, indem sie potenzielle zukünftige Szenarien basierend auf verschiedenen Aktionssequenzen simulieren. Mithilfe integrierter Kosten- oder Belohnungsmodule bewerten diese Modelle Ergebnisse, um optimale Strategien zu identifizieren. Diese Voraussicht ermöglicht es Entwicklern von Physical AI, komplexe Herausforderungen zu lösen und Effizienz, Anpassungsfähigkeit und Sicherheit in dynamischen Umgebungen zu gewährleisten.

Realistische und physikalisch genaue Simulationen

Welt-Foundation-Modelle, einschließlich NVIDIAs Diffusionsmodelle, generieren hochpräzise 3D-Simulationen, indem sie verstehen, wie sich Objekte bewegen und interagieren. Diese Simulationen sind entscheidend für das Training von Wahrnehmungs-KI und das Testen autonomer Fahrzeuge oder Robotersysteme in vielfältigen Umgebungen. Zum Beispiel können selbstfahrende Autos unter verschiedenen Wetter- und Verkehrsbedingungen evaluiert werden, während Roboter auf Objektmanipulation und Aufgabenleistung vor dem Einsatz in der realen Welt getestet werden können.

Prädiktive Intelligenz

Welt-Foundation-Modelle bieten prädiktive Intelligenz, die es Physical AI-Systemen ermöglicht, Szenarien zu antizipieren und fundierte Entscheidungen auf der Grundlage von Video-Training und historischen Daten zu treffen. Durch die Nutzung der Video-to-World-Generierung und die Erzeugung physikbewusster Videos helfen diese Modelle, Strategien zu optimieren, die Sicherheit zu verbessern und die Anpassungsfähigkeit in Physical AI-Einrichtungen zu erhöhen.

Verbesserte Richtlinienentwicklung mit Welt-Foundation-Modellen

• Richtlinienbewertung: Welt-Foundation-Modelle, wie die NVIDIA Cosmos-Modelle, ermöglichen es Entwicklern von Physical AI-Systemen, Richtlinienmodelle in virtuellen Umgebungen statt in der physischen Welt zu testen und zu verfeinern. Diese Methode nutzt digitale Zwillinge und ist kostengünstig und zeiteffizient. Sie ermöglicht vielfältige Tests unter unbekannten Bedingungen, und Entwickler können Physical AI-Aufgaben und Ressourcen auf vielversprechende Richtlinien konzentrieren, indem sie ineffektive schnell verwerfen.
• Richtlinieninitialisierung: Welt-Foundation-Modelle bieten eine starke Grundlage für die Initialisierung von Richtlinienmodellen, indem sie reale Physik und Dynamik modellieren. Dieser Ansatz begegnet Herausforderungen der Datenknappheit und beschleunigt die Entwicklung von Physical AI-Modellen.
• Richtlinientraining: In Verbindung mit Belohnungsmodellen fungieren Welt-Foundation-Modelle als Stellvertreter für die physische Welt in Reinforcement Learning-Setups. Diese Modelle liefern Feedback, das die Feinabstimmung von Richtlinienmodellen durch simulierte Interaktionen unterstützt und deren Fähigkeiten verbessert.

Zukunftsaussichten von Welt-Foundation-Modell-Plattformen

Die Anwendungen von Welt-Foundation-Modellen werden voraussichtlich weit über autonome Fahrzeuge und Robotik hinausgehen. Einige der möglichen zukünftigen Anwendungen umfassen:

• Gesundheitswesen: Diese Modelle können simulierte Trainings für chirurgische Roboter und medizinische Geräte ermöglichen, um Präzision und Sicherheit bei komplexen Eingriffen zu gewährleisten und letztendlich die Patientenergebnisse zu verbessern.
• Bildung und Training: Virtuelle Umgebungen können immersive Simulationen für Bildung und Training bieten, insbesondere für Bediener schwerer Maschinen, Piloten und Rettungskräfte, indem sie Hochrisikoszenarien ohne reale Gefahren replizieren.
• Gaming und Unterhaltung: Durch die Schaffung interaktiverer und anpassungsfähigerer KI-Charaktere können diese Modelle virtuelle und Augmented-Reality-Erlebnisse transformieren und sie ansprechender und lebensechter gestalten.
• Stadtplanung: Stadtplaner können diese Modelle nutzen, um Verkehrsmuster, Fußgängerdynamik und Infrastrukturänderungen zu simulieren und Designs vor der physischen Umsetzung zu optimieren.
• Sicherheit und Verteidigung: Weltmodelle werden voraussichtlich essenziell sein für das Training von Drohnen und autonomen Agenten für Überwachung, Such- und Rettungsmissionen sowie Katastrophenhilfe, alles innerhalb sicherer und kontrollierter virtueller Szenarien.

Bibliography

- NVIDIA Research. (2025, September 29). *World Simulation With Video Foundation Models for Physical AI*. Retrieved from https://research.nvidia.com/publication/2025-09_world-simulation-video-foundation-models-physical-ai - NVIDIA. (n.d.). *NVIDIA Cosmos - Physical AI with World Foundation Models*. Retrieved from https://www.nvidia.com/en-us/ai/cosmos/ - NVIDIA-Cosmos. (n.d.). *nvidia-cosmos/cosmos-predict2.5 - GitHub*. Retrieved from https://github.com/nvidia-cosmos/cosmos-predict2.5 - NVIDIA. (2025, February 15). *World Simulation with Video Foundation Models for Physical AI*. Retrieved from https://arxiv.org/abs/2511.00062 - NVIDIA. (2025, October 28). *World Simulation with Video Foundation Models for Physical AI*. Retrieved from https://huggingface.co/papers/2511.00062 - NVIDIA. (2025, January 1). *Cosmos World Foundation Model Platform for Physical AI*. Retrieved from https://arxiv.org/abs/2501.03575 - Chan, B. (2025, October 8). *World Simulation with Video Foundation Models for Physical AI*. LinkedIn. Retrieved from https://www.linkedin.com/posts/benjamin-chan_world-simulation-with-video-foundation-models-activity-7381517151532355584-NVN6 - Dilmegani, C., & Ermut, S. (2025, August 27). *World Foundation Models: 10 Use Cases & Examples*. AI Multiple. Retrieved from https://research.aimultiple.com/world-foundation-model/