Neue Ansätze zur physikalischen Weltrepräsentation durch ausführbaren Code

Revolutionäre Ansätze: Physikalische Weltrepräsentationen durch Code

Die Fähigkeit, die physische Welt zu verstehen und logische Schlussfolgerungen über ihre Dynamik zu ziehen, ist eine Kernkompetenz menschlicher Intelligenz. In der künstlichen Intelligenz (KI) stellt dies seit langem eine fundamentale Herausforderung dar. Obwohl moderne Vision-Language-Modelle (VLM) beeindruckende Fortschritte bei der Erkennung und Erklärung visueller Ereignisse gemacht haben, mangelt es ihnen oft an einem expliziten Verständnis der zugrunde liegenden physikalischen Mechanismen. Hier setzt das innovative Forschungsprojekt "Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning" an, das einen Paradigmenwechsel in der Art und Weise vorschlägt, wie KI-Systeme die physische Realität interpretieren und mit ihr interagieren könnten.

Die Lücke im physikalischen Verständnis aktueller KI-Modelle

Aktuelle VLM sind exzellent darin, Muster in visuellen Daten zu erkennen und diese mit sprachlichen Beschreibungen zu verknüpfen. Sie können Objekte identifizieren, Aktionen beschreiben und sogar zukünftige Szenarien plausible vorhersagen. Doch diese Fähigkeiten basieren oft auf korrelativen Mustern in großen Datensätzen und nicht auf einem intrinsischen Verständnis von Ursache und Wirkung, von Masse, Reibung oder Schwerkraft. Ein VLM mag vorhersagen können, dass ein fallender Ball den Boden berührt, aber es "weiß" nicht im physikalischen Sinne, warum er fällt oder wie sich seine Flugbahn bei unterschiedlicher Anfangsgeschwindigkeit ändern würde. Diese "Black-Box"-Natur erschwert ein zuverlässiges Reasoning und eine adaptive Reaktion auf Interventionen in der realen Welt.

"Code as Worlds": Eine neue Ontologie der Realität

Die zentrale These von "Code as Worlds" ist, dass Pixel lediglich Evidenz der physischen Welt sind, nicht aber ihre Ontologie. Die wahre Natur der physischen Welt wird durch ihre zugrunde liegenden Mechanismen, Regeln und Interaktionen definiert. Das Projekt schlägt vor, diese Mechanismen nicht als implizite Muster in Pixeldaten zu lernen, sondern sie explizit als ausführbaren Code zu repräsentieren. Dieser Code beschreibt die Welt in einer strukturierten, quantifizierbaren und kontrollierbaren Weise. Dadurch soll ein kompakter, begründeter und steuerbarer Abstraktionsgrad der physikalischen Welt geschaffen werden, der es KI-Systemen ermöglicht, über physische Ereignisse zu "räsonieren", anstatt sie nur zu "erkennen".

Kernkomponenten einer ausführbaren Weltrepräsentation (EWR)

Eine ausführbare Weltrepräsentation (Executable World Representation, EWR) nach dem "Code as Worlds"-Ansatz besteht aus drei Hauptkomponenten:

• Komposition: Diese Komponente beschreibt die statischen Aspekte der Welt, wie Objekte, deren Geometrie, metrische Dimensionen, Masse, Reibung und Schwerkraft. Auch statische physikalische Entitäten wie Böden und Wände, die Kollisionen ermöglichen und Objekte tragen, sind hierin enthalten.
• Evolution: Hier werden die dynamischen Aspekte erfasst, darunter Anfangszustände, Kräfte, Kontakte, Kollisionen, Abbruchbedingungen und die Dauer von Ereignissen. Die Ausführung dieser Komponente ermöglicht die Simulation der vollständigen Zustandsentwicklung der Szene.
• Erscheinungsbild: Diese Komponente definiert, wie die Welt visuell wahrgenommen wird. Dazu gehören Kameraeinstellungen, Beleuchtung, Materialien, Hintergründe und Bildraten. Es ist entscheidend, dass Änderungen am Erscheinungsbild die zugrunde liegende Physik nicht beeinflussen.

In der aktuellen Implementierung wird dieses Triplett in eine scene.json-Datei kompiliert, die von einer Physik-Engine wie MuJoCo ausgeführt werden kann. Dies ermöglicht sowohl Animationssimulationen (kinematische Posen) als auch physikalische Simulationen (Kräfte und Kontakte).

Agentische Entdeckung: Von Video zu Code

Die Umwandlung von multimodalem Input, wie beispielsweise realen Videos, in eine solche ausführbare Weltrepräsentation ist eine komplexe inverse Problemstellung. "Code as Worlds" löst dies durch einen agentischen Entdeckungsansatz, der als abduktive Suche konzipiert ist. Ein iterativer Prozess durchläuft dabei mehrere Runden (bis zu K=5), die die folgenden Schritte umfassen:

• Vorschlagen (Propose): Ein Agent generiert eine Hypothese für eine EWR basierend auf dem Input-Video.
• Instanziieren (Instantiate): Die Hypothese wird in eine konkrete, ausführbare Form gebracht.
• Ausführen (Execute): Die EWR wird in einer Physik-Engine simuliert.
• Rendern (Render): Die Simulation wird visuell dargestellt, um ein synthetisches Video zu erzeugen.
• Verifizieren (Verify): Das synthetische Video wird mit dem ursprünglichen Input-Video verglichen. Dabei werden Diskrepanzen auf verschiedenen Ebenen (RGB, Tiefe, Masken, Trajektorien) analysiert, um strukturiertes Feedback zu generieren, das die nächste Revisionsrunde leitet.

Für die Analyse des Video-Inputs werden spezialisierte Modelle eingesetzt, wie beispielsweise SAM 3 für Instanzmasken und Bildspurelemente, VGGT-Omega zur Schätzung von Tiefe und Kamerageometrie sowie SAM 3D zur Generierung von Objekt-Meshes.

Verifizierte Welten als Trainingsgrundlage

Ein wesentlicher Vorteil dieses agentischen Entdeckungsansatzes ist die Generierung von verifizierten Welten. Diese synthetischen Welten liefern präzise physikalische Labels, die in realen Videos nicht direkt verfügbar sind. Sie umfassen exakte Informationen über Objektzustände, physikalische Parameter und dynamische Verläufe. Diese Daten können dann als hochwertige Trainingsgrundlage für spezialisierte VLM verwendet werden, um deren physikalisches Reasoning zu verbessern.

Die Forscher haben in ihren Experimenten zwei Trainingsphasen implementiert: Zunächst ein überwachtes Fine-Tuning auf Bild-Raum-QA-Paaren, gefolgt von der Anwendung von GRPO (Generative Reinforcement Learning with Policy Optimization) auf Welt-Raum-VQA, die aus den ausführbaren Welten abgeleitet werden. Belohnt wird hierbei die maßstabsnormierte numerische Genauigkeit sowie die korrekte Verwendung von Einheiten und Formaten.

Messbare Fortschritte und Zukunftsperspektiven

Die ersten Ergebnisse des "Code as Worlds"-Projekts sind vielversprechend. Auf dem QuantiPhy-Validierungsdatensatz, der physikalisches Reasoning misst, übertraf ein mit dieser Methode trainiertes 9B-Modell (Code-as-World-VL-9B) mit 55.4 MRA sogar Gemini-3.1 Flash (54.8 MRA) und lag deutlich über den stärksten Open-Source-Baselines. Dies deutet darauf hin, dass die explizite Repräsentation physikalischer Mechanismen in Code eine effektive Strategie zur Verbesserung des physikalischen Verständnisses von KI-Systemen darstellt.

Es ist jedoch wichtig zu beachten, dass die aktuelle Implementierung auf starre Körper beschränkt ist und das Modell den Entdeckungszyklus selbst nicht lernt. Dennoch ebnet "Code as Worlds" den Weg für KI-Systeme, die nicht nur die Welt wahrnehmen, sondern sie auch auf einer tieferen, mechanistischen Ebene verstehen und mit ihr interagieren können. Diese Entwicklung könnte weitreichende Auswirkungen auf Bereiche wie Robotik, autonome Systeme und wissenschaftliche Entdeckungen haben, wo präzises physikalisches Reasoning unerlässlich ist.

Implikationen für B2B-Anwendungen

Für unsere B2B-Zielgruppe, insbesondere im Kontext von Mindverse als einem KI-Partner für Content-Erstellung und Forschung, sind die Implikationen dieses Ansatzes von hoher Relevanz. Die Fähigkeit von KI-Modellen, die physische Welt durch ausführbaren Code zu repräsentieren, könnte in Zukunft zu Systemen führen, die:

• Komplexere Simulationen durchführen: Von der Produktentwicklung über Logistikplanung bis hin zu Architekturvisualisierung könnten KI-Systeme präzisere und physikalisch fundiertere Simulationen erstellen.
• Intelligentere Robotik ermöglichen: Roboter könnten nicht nur ihre Umgebung wahrnehmen, sondern auch physikalische Interaktionen antizipieren und planen, was zu robusteren und anpassungsfähigeren autonomen Systemen führt.
• Wissenschaftliche Forschung unterstützen: In Bereichen wie Materialwissenschaften oder Biophysik könnten KI-Systeme Hypothesen über physikalische Phänomene generieren und durch Simulationen überprüfen.
• Verbessertes Content- und Design-Generierung: Für die Erstellung von Inhalten, die physikalische Interaktionen darstellen – etwa in Spielen, Filmen oder Ingenieursvisualisierungen – könnte KI physikalisch plausible Szenarien direkt als Code generieren.

Die Entwicklung hin zu ausführbaren Weltrepräsentationen markiert einen Schritt von der reinen Mustererkennung zur Modellierung der Realität. Dies verspricht eine neue Generation von KI-Anwendungen, die nicht nur oberflächlich, sondern mit tiefem Verständnis agieren können.

Bibliographie

• Wang, H., Cai, Y., Chen, W., Chi, J., Sun, H., Dai, Q., ... & Yao, R. (2026). Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning. arXiv preprint arXiv:2608.27549.
• MirroS-Lab. (o. J.). Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning. Abrufbar unter: https://mirros-lab.github.io/code-as-world/
• MirroS-Lab. (o. J.). MirroS-Lab/Code-as-World. GitHub Repository. Abrufbar unter: https://github.com/MirroS-Lab/Code-as-World
• Sutter, M. (2026, August 29). Meet 'Code-as-World': An Agentic Loop That Rewrites Real Videos Into Executable MuJoCo Physics Programs. MarkTechPost. Abrufbar unter: https://www.marktechpost.com/2026/08/29/mirros-code-as-world-executable-world-representations/