Nvidia Cosmos: Fortschritte in der physikalisch basierten KI-Entwicklung

Nvidia Cosmos: Ein neuer Ansatz für physikalisch basierte KI Die Entwicklung von KI-Systemen, die die physikalische Welt verstehen und in ihr agieren können, stellt eine erhebliche Herausforderung dar. Nvidia hat mit Cosmos eine Plattform vorgestellt, die darauf abzielt, diese Entwicklung zu beschleunigen. Cosmos bietet eine Reihe von "World Foundation Models" (WFMs), die auf riesigen Videodatensätzen trainiert wurden und physikalisch basierte Simulationen und synthetische Daten generieren können. Diese Technologie könnte die Entwicklung von Robotern und autonomen Fahrzeugen revolutionieren, indem sie den Bedarf an teuren Tests in der realen Welt reduziert. Herzstück von Cosmos sind die WFMs, die aus autoregressiven und diffusen Modellen bestehen. Diese Modelle wurden mit 9.000 Trillionen Tokens aus 20 Millionen Stunden Videomaterial trainiert, das menschliche Interaktionen, industrielle Prozesse sowie Daten aus Robotik und dem autonomen Fahren umfasst. Die WFMs können physikalisch basierte Videos aus verschiedenen Eingaben generieren, darunter Text, Bilder, Videos und Daten von Robotern oder Bewegungssensoren. Nvidia betont, dass die Modelle speziell für physikalische Interaktionen optimiert wurden, um die Objektkonsistenz zu wahren und realistische Simulationsumgebungen zu schaffen. Nvidia bietet die Cosmos-Modelle in drei Hauptvarianten an: "Nano", "Super" und "Ultra". Die "Nano"-Version mit 4 Milliarden Parametern ist eine ressourcenschonende Option für Echtzeitanwendungen direkt auf Geräten. Die "Super"-Variante dient als allgemeines Basismodell für ein breites Anwendungsspektrum. Die "Ultra"-Version mit 14 Milliarden Parametern bietet die höchste Detailgenauigkeit und ist primär für das Training spezialisierter Modelle, die sogenannte Destillation, vorgesehen. Ergänzend zu diesen drei Hauptvarianten bietet Nvidia zwei spezialisierte Modelle: ein Upsampling-Modell mit 12 Milliarden Parametern zur Verfeinerung von Texteingaben und einen Videodecoder mit 7 Milliarden Parametern, der speziell für AR-Anwendungen optimiert ist. Die Cosmos-Modelle sind als Preview im NVIDIA API-Katalog verfügbar. Die gesamte Modellfamilie ist über den NGC-Katalog und Hugging Face zugänglich. Nvidia hat alle Modelle unter der Open Model License veröffentlicht, die die kommerzielle Nutzung der Technologie erlaubt. Entwickler können die Modelle über Nvidias DGX Cloud-Service bereitstellen, während Unternehmenskunden über die Softwareplattform Nvidia AI Enterprise darauf zugreifen können. Nvidia hat außerdem angekündigt, dass die Modelle in Kürze als optimierte Nvidia NIM-Microservices verfügbar sein werden. Die zugrundeliegende Technologie von Cosmos ermöglicht eine deutlich schnellere Verarbeitung von Videodaten im Vergleich zu herkömmlichen Methoden. Die von Nvidia entwickelte Blackwell-Plattform kann 20 Millionen Stunden Videomaterial in zwei Wochen verarbeiten, während dies mit Hopper-GPUs 40 Tage und mit CPUs drei Jahre dauern würde. Der Cosmos Tokenizer komprimiert Bild- und Videodaten achtmal effizienter und arbeitet zwölfmal schneller als bisherige Lösungen. Die Cosmos-Plattform wird bereits von einer Reihe von Unternehmen getestet. Uber erforscht die Technologie für die Entwicklung autonomer Fahrzeuge. Robotikunternehmen wie 1X, Agile Robots und Figure AI sowie die Entwickler von Software für autonome Fahrzeuge, Waabi und Wayve, planen, die Plattform für Training, Sicherheitstests, die Suche nach Grenzfällen in Fahrszenarien und vieles mehr zu nutzen. Trotz des Potenzials von Cosmos und der Begeisterung in der Branche gibt es auch kritische Stimmen. Eine Studie von Bytedance Research und der Tsinghua University legt nahe, dass aktuelle Video-KI-Modelle, einschließlich OpenAIs Sora, grundlegende physikalische Gesetze nicht erfassen. Stattdessen reagieren diese Modelle lediglich auf oberflächliche Merkmale der Trainingsdaten, wie z. B. Farbmuster. Yann LeCun, der Chef-KI-Forscher von Meta, kritisiert den Ansatz, die Welt durch Pixelgenerierung vorherzusagen, als "verschfrissisch und zum Scheitern verurteilt". Die weitere Entwicklung von Cosmos und ähnlichen Technologien wird zeigen, ob video-basierte Weltmodelle das Verständnis der Physik tatsächlich revolutionieren können. Die Plattform bietet jedoch ein vielversprechendes Werkzeug für die Entwicklung von KI-Systemen, die in der Lage sind, komplexe Aufgaben in der realen Welt zu bewältigen. Quellen: - https://the-decoder.com/nvidias-new-cosmos-world-models-aim-to-understand-physics-through-video/ - https://nvidianews.nvidia.com/news/nvidia-launches-cosmos-world-foundation-model-platform-to-accelerate-physical-ai-development - https://www.nvidia.com/en-us/ai/cosmos/ - https://huggingface.co/blog/mingyuliutw/nvidia-cosmos - https://techcrunch.com/2025/01/06/nvidia-releases-its-own-brand-of-world-models/ - https://www.constellationr.com/blog-news/insights/nvidia-launches-cosmos-models-aims-expand-physical-ai-industrial-reach - https://www.cio.com/article/3632479/nvidia-unveils-generative-physical-ai-platform-agentic-ai-advances-at-ces.html - https://analyticsindiamag.com/ai-news-updates/nvidia-launches-cosmos-a-platform-to-develop-world-foundation-models/ - https://www.reddit.com/r/OpenAI/comments/1hvmbcg/nvidia_just_unleashed_cosmos_a_massive_opensource/ - https://www.dailysabah.com/business/tech/nvidia-unveils-cosmos-models-new-chips-toyota-deal-at-ces-2025