Neues Paradigma der physischen Weltrepräsentation durch ausführbaren Code

Die Fähigkeit, die physische Welt zu verstehen und logisch zu durchdringen, ist eine fundamentale Herausforderung in der künstlichen Intelligenz. Während moderne Vision-Language-Modelle (VLM) beeindruckende Fortschritte bei der Erkennung und Erklärung komplexer physischer Ereignisse erzielt haben, stoßen sie oft an ihre Grenzen, wenn es darum geht, die zugrunde liegenden Mechanismen – wie Objektzustände, physikalische Parameter und dynamische Gesetzmäßigkeiten – explizit darzustellen. Diese explizite Repräsentation ist jedoch entscheidend, um zuverlässig vorherzusagen, wie sich die Welt entwickelt und auf Interventionen reagiert.

Die Herausforderung der physischen Repräsentation

Die traditionelle Herangehensweise, physische Szenen als Pixeldaten, Latenzräume oder Textbeschreibungen zu betrachten, hat inhärente Beschränkungen. Pixel sind lediglich Beweise für die physische Welt, nicht ihre Ontologie. Eine pixelbasierte Beobachtung erfasst, wie die Welt zu einem bestimmten Zeitpunkt und aus einer bestimmten Perspektive erscheint, spezifiziert jedoch nicht direkt, was darin existiert, wie es strukturiert ist oder welche Regeln seine Entwicklung steuern. Dies führt dazu, dass Modelle zwar plausible Frames vorhersagen können, ohne jemals Konzepte wie Masse, Kontakt oder Gravitation explizit zu repräsentieren.

Code-as-World: Ein neues Paradigma

In diesem Kontext wurde das Paradigma "Code-as-World" (CaW) eingeführt. Es schlägt vor, physische Welten durch ausführbare Weltrepräsentationen (Executable World Representations, EWRs) darzustellen. Im Kern bedeutet dies, dass eine physische Szene nicht als eine Ansammlung von Pixeln, sondern als ausführbarer Code beschrieben wird. Dieser Code kann von einer Physik-Engine wie MuJoCo ausgeführt werden, was eine quantitative und überprüfbare Abstraktion der physischen Realität ermöglicht.

Die drei Säulen der Code-as-World-Repräsentation

Das CaW-Paradigma basiert auf drei Schlüsselprinzipien, um die physische Welt durch Code zu repräsentieren:

• Abstraktion: Code erfasst Entitäten, Zustände, Ereignisse und Beziehungen durch abstrakte Konzepte, anstatt sich auf rohe Beobachtungen zu verlassen. Dies ermöglicht es, aufgabenrelevante Strukturen von zufälligen Pixeldetails zu trennen und gemeinsame Repräsentationen über verschiedene Beobachtungen hinweg zu nutzen, während physikalische Zustände von wahrgenommenen Erscheinungen unterschieden werden.
• Kompositionalität: Code organisiert Objekte, Umgebungen, Beziehungen, Anfangszustände, Dynamiken, Kameras und Rendering-Einstellungen in explizite Strukturen. Diese können konstruiert, zerlegt und wieder kombiniert werden. Dies unterstützt ein gezieltes Denken über eine Komponente, während der Rest der Weltrepräsentation erhalten bleibt.
• Ausführbarkeit: Code drückt Regeln, Zwänge und Dynamiken in einer Form aus, die direkt von einer Physik-Engine ausgeführt werden kann. Dies ermöglicht nicht nur Simulationen, sondern auch die quantitative Überprüfung von Hypothesen über die physikalische Welt.

Der agentische Entdeckungszyklus

Die Erstellung dieser ausführbaren Weltrepräsentationen aus multimodalen Beobachtungen, wie beispielsweise natürlichen Sprachbeschreibungen oder realen Videos, ist eine komplexe Aufgabe. Um dies zu bewerkstelligen, wurde ein agentischer Entdeckungszyklus entwickelt, der vom abduktiven Denken inspiriert ist. Dieser Zyklus umfasst mehrere iterative Schritte:

1. Vorschlagen (Propose): Ein Agent schlägt eine Hypothese für eine ausführbare Weltrepräsentation vor.
2. Instanziieren (Instantiate): Die vorgeschlagene Repräsentation wird in ein ausführbares Format übersetzt, beispielsweise eine scene.json-Datei für MuJoCo.
3. Ausführen (Execute): Die ausführbare Repräsentation wird in einer Simulationsumgebung ausgeführt, um eine physikalische Entwicklung zu generieren.
4. Rendern (Render): Die Ergebnisse der Simulation werden in visuelle Daten (z.B. Videos) umgewandelt.
5. Verifizieren (Verify): Die gerenderten Simulationen werden mit den ursprünglichen Beobachtungen verglichen. Bei Diskrepanzen wird strukturiertes Feedback generiert, das die nächste Überarbeitung der Hypothese leitet.

Dieser Zyklus wird iterativ durchlaufen, typischerweise über bis zu fünf Runden, um die ausführbare Welthypothese zu verfeinern, bis eine akzeptable Übereinstimmung erreicht ist oder das Budget erschöpft ist.

Technologische Komponenten des Zyklus

Für die Umsetzung des agentischen Entdeckungszyklus werden verschiedene fortschrittliche Technologien eingesetzt:

• Instance Segmentation: SAM 3 (Segment Anything Model) wird verwendet, um Instanzmasken und Bildspurenpfade in Videos zu erstellen.
• Tiefen- und Kamerageometrie-Schätzung: VGGT-Omega schätzt die Tiefe und Kamerageometrie der Szene.
• Objekt-Meshes: SAM 3D generiert 3D-Meshes pro Objekt.
• Vergleich und Feedback: Kandidaten-Rollouts aus der Simulation werden mit den Eingabevideos auf RGB, Tiefe, Masken und Trajektorien verglichen. Frame-Level-Diskrepanzen werden aggregiert, um Delta-Feedback für die nächste Revision zu liefern.

Skalierbare physikalische Überwachung und Modelltraining

Einer der wesentlichen Vorteile von "Code-as-World" liegt in der Generierung verifizierter ausführbarer Welten. Diese Welten liefern exakte physikalische Labels, die in realen Videos nicht vorhanden sind. Diese präzisen Daten können als skalierbare physikalische Überwachung genutzt werden, um Vision-Language-Modelle für quantitatives physikalisches Denken zu trainieren.

Phasen des Modelltrainings

Das Training von Modellen mit CaW-Daten erfolgt in der Regel in zwei Phasen:

1. Überwachtes Fine-Tuning (Phase 1): Modelle werden auf einer großen Menge von Bildraum-QA-Paaren trainiert, die aus Datensätzen wie RefCOCO/+/g, RefCLEF und GOT-10K generiert wurden. Diese Paare decken Aspekte wie Ausdehnung, Position, Verschiebung, Geschwindigkeit und Beschleunigung in Rohpixeln ab.
2. Weltraum-VQA und Reinforcement Learning (Phase 2): Anschließend wird Generative Reinforcement Learning (GRPO) auf Weltraum-VQA-Aufgaben angewendet. Hierbei werden textgesteuerte und videogestützte ausführbare Welten genutzt, wobei die Belohnung auf skalennormierter numerischer Genauigkeit sowie Einheiten- und Formatbedingungen basiert.

Leistung und Implikationen

Die experimentellen Ergebnisse zeigen, dass "Code-as-World"-VL-Modelle auf Benchmarks wie QuantiPhy eine herausragende Leistung erzielen und führende proprietäre Modelle übertreffen. Beispielsweise erreichte ein 9B-Modell einen MRA-Wert von 55,4 auf QuantiPhy, was über dem Gemini-3.1 Flash (54,8) liegt. Dies unterstreicht das Potenzial ausführbarer Weltrepräsentationen als skalierbare Grundlage für physikalische Intelligenz.

Wichtige Erkenntnisse

• "Code-as-World" transformiert ein Video in eine editierbare scene.json, die von MuJoCo ausgeführt und verifiziert werden kann.
• Der fünfründige Propose-Verify-Suchansatz übertrifft Best-of-5-Sampling bei gleichem Rechenbudget.
• Verifizierte Welten liefern exakte physikalische Labels, die in realen Videos nicht vorhanden sind.
• Das 9B-Modell erreicht 55,4 MRA auf QuantiPhy und übertrifft Gemini-3.1 Flash (54,8).
• Die Modelle Code-as-World-VL-4B und Code-as-World-VL-9B sind unter Apache 2.0 Lizenz verfügbar.

Zukünftige Perspektiven

Obwohl das aktuelle "Code-as-World"-Modell hauptsächlich starre Körper behandelt und der Entdeckungszyklus selbst nicht vom Modell gelernt wird, stellt dieser Ansatz einen bedeutenden Schritt in Richtung einer tieferen physikalischen Intelligenz in KI-Systemen dar. Die Fähigkeit, die Welt nicht nur zu sehen, sondern auch ihre zugrunde liegenden Mechanismen zu verstehen und in ausführbarem Code zu repräsentieren, eröffnet neue Wege für Anwendungen in Robotik, Simulation und fortgeschrittenem physikalischem Denken.

Bibliography

- Wang, H., Cai, Y., Chen, W., Chi, J., Sun, H., Dai, Q., ... & Wu, J. (2026). Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning. arXiv preprint arXiv:2608.27549. - MirroS-Lab. (n.d.). Code-as-World. GitHub repository. Verfügbar unter: https://github.com/mirros-lab/code-as-world - MirroS-Lab. (n.d.). Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning. Project Page. Verfügbar unter: https://mirros-lab.github.io/code-as-world/ - Sutter, M. (2026, August 29). Meet 'Code-as-World': An Agentic Loop That Rewrites Real Videos Into Executable MuJoCo Physics Programs. MarkTechPost. Verfügbar unter: https://www.marktechpost.com/2026/08/29/mirros-code-as-world-executable-world-representations/