Neues Paradigma der physischen Weltrepräsentation durch ausführbaren Code

Der agentische Entdeckungszyklus

Die Erstellung dieser ausführbaren Weltrepräsentationen aus multimodalen Beobachtungen, wie beispielsweise natürlichen Sprachbeschreibungen oder realen Videos, ist eine komplexe Aufgabe. Um dies zu bewerkstelligen, wurde ein agentischer Entdeckungszyklus entwickelt, der vom abduktiven Denken inspiriert ist. Dieser Zyklus umfasst mehrere iterative Schritte:

1. Vorschlagen (Propose): Ein Agent schlägt eine Hypothese für eine ausführbare Weltrepräsentation vor.
2. Instanziieren (Instantiate): Die vorgeschlagene Repräsentation wird in ein ausführbares Format übersetzt, beispielsweise eine scene.json-Datei für MuJoCo.
3. Ausführen (Execute): Die ausführbare Repräsentation wird in einer Simulationsumgebung ausgeführt, um eine physikalische Entwicklung zu generieren.
4. Rendern (Render): Die Ergebnisse der Simulation werden in visuelle Daten (z.B. Videos) umgewandelt.
5. Verifizieren (Verify): Die gerenderten Simulationen werden mit den ursprünglichen Beobachtungen verglichen. Bei Diskrepanzen wird strukturiertes Feedback generiert, das die nächste Überarbeitung der Hypothese leitet.

Dieser Zyklus wird iterativ durchlaufen, typischerweise über bis zu fünf Runden, um die ausführbare Welthypothese zu verfeinern, bis eine akzeptable Übereinstimmung erreicht ist oder das Budget erschöpft ist.

Technologische Komponenten des Zyklus

Für die Umsetzung des agentischen Entdeckungszyklus werden verschiedene fortschrittliche Technologien eingesetzt:

• Instance Segmentation: SAM 3 (Segment Anything Model) wird verwendet, um Instanzmasken und Bildspurenpfade in Videos zu erstellen.
• Tiefen- und Kamerageometrie-Schätzung: VGGT-Omega schätzt die Tiefe und Kamerageometrie der Szene.
• Objekt-Meshes: SAM 3D generiert 3D-Meshes pro Objekt.
• Vergleich und Feedback: Kandidaten-Rollouts aus der Simulation werden mit den Eingabevideos auf RGB, Tiefe, Masken und Trajektorien verglichen. Frame-Level-Diskrepanzen werden aggregiert, um Delta-Feedback für die nächste Revision zu liefern.

Skalierbare physikalische Überwachung und Modelltraining

Einer der wesentlichen Vorteile von "Code-as-World" liegt in der Generierung verifizierter ausführbarer Welten. Diese Welten liefern exakte physikalische Labels, die in realen Videos nicht vorhanden sind. Diese präzisen Daten können als skalierbare physikalische Überwachung genutzt werden, um Vision-Language-Modelle für quantitatives physikalisches Denken zu trainieren.

Phasen des Modelltrainings

Das Training von Modellen mit CaW-Daten erfolgt in der Regel in zwei Phasen:

1. Überwachtes Fine-Tuning (Phase 1): Modelle werden auf einer großen Menge von Bildraum-QA-Paaren trainiert, die aus Datensätzen wie RefCOCO/+/g, RefCLEF und GOT-10K generiert wurden. Diese Paare decken Aspekte wie Ausdehnung, Position, Verschiebung, Geschwindigkeit und Beschleunigung in Rohpixeln ab.
2. Weltraum-VQA und Reinforcement Learning (Phase 2): Anschließend wird Generative Reinforcement Learning (GRPO) auf Weltraum-VQA-Aufgaben angewendet. Hierbei werden textgesteuerte und videogestützte ausführbare Welten genutzt, wobei die Belohnung auf skalennormierter numerischer Genauigkeit sowie Einheiten- und Formatbedingungen basiert.

Leistung und Implikationen

Die experimentellen Ergebnisse zeigen, dass "Code-as-World"-VL-Modelle auf Benchmarks wie QuantiPhy eine herausragende Leistung erzielen und führende proprietäre Modelle übertreffen. Beispielsweise erreichte ein 9B-Modell einen MRA-Wert von 55,4 auf QuantiPhy, was über dem Gemini-3.1 Flash (54,8) liegt. Dies unterstreicht das Potenzial ausführbarer Weltrepräsentationen als skalierbare Grundlage für physikalische Intelligenz.

Wichtige Erkenntnisse

• "Code-as-World" transformiert ein Video in eine editierbare scene.json, die von MuJoCo ausgeführt und verifiziert werden kann.
• Der fünfründige Propose-Verify-Suchansatz übertrifft Best-of-5-Sampling bei gleichem Rechenbudget.
• Verifizierte Welten liefern exakte physikalische Labels, die in realen Videos nicht vorhanden sind.
• Das 9B-Modell erreicht 55,4 MRA auf QuantiPhy und übertrifft Gemini-3.1 Flash (54,8).
• Die Modelle Code-as-World-VL-4B und Code-as-World-VL-9B sind unter Apache 2.0 Lizenz verfügbar.

Zukünftige Perspektiven

Obwohl das aktuelle "Code-as-World"-Modell hauptsächlich starre Körper behandelt und der Entdeckungszyklus selbst nicht vom Modell gelernt wird, stellt dieser Ansatz einen bedeutenden Schritt in Richtung einer tieferen physikalischen Intelligenz in KI-Systemen dar. Die Fähigkeit, die Welt nicht nur zu sehen, sondern auch ihre zugrunde liegenden Mechanismen zu verstehen und in ausführbarem Code zu repräsentieren, eröffnet neue Wege für Anwendungen in Robotik, Simulation und fortgeschrittenem physikalischem Denken.

Bibliography

1. Wang, H., Cai, Y., Chen, W., Chi, J., Sun, H., Dai, Q., ... & Wu, J. (2026). Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning. arXiv preprint arXiv:2608.27549.
2. MirroS-Lab. (n.d.). Code-as-World. GitHub repository. Verfügbar unter: https://github.com/mirros-lab/code-as-world
3. MirroS-Lab. (n.d.). Code as Worlds: Agentic Discovery of Executable World Representations for Physical Reasoning. Project Page. Verfügbar unter: https://mirros-lab.github.io/code-as-world/
4. Sutter, M. (2026, August 29). Meet 'Code-as-World': An Agentic Loop That Rewrites Real Videos Into Executable MuJoCo Physics Programs. MarkTechPost. Verfügbar unter: https://www.marktechpost.com/2026/08/29/mirros-code-as-world-executable-world-representations/