Chinas Orca-Weltmodell als Fortschritt in der KI-Entwicklung für Robotik und darüber hinaus

Chinas Orca-Weltmodell: Ein Paradigmenwechsel in der KI-Entwicklung für Robotik und darüber hinaus

Die Beijing Academy of Artificial Intelligence (BAAI) hat mit der Vorstellung ihres "Orca"-Weltmodells eine bemerkenswerte Entwicklung in der Künstlichen Intelligenz (KI) eingeleitet. Dieses Modell, das sich grundlegend von traditionellen Ansätzen unterscheidet, erreicht die Leistungsfähigkeit spezialisierter Robotiksysteme in verschiedenen Aufgaben, ohne jemals mit expliziten Aktions-Labels trainiert worden zu sein. Diese Innovation könnte weitreichende Implikationen für die Robotik und die allgemeine KI-Forschung haben, insbesondere im Hinblick auf den chronischen Datenmangel in der Robotik.

Ein neuer Fokus: Die Vorhersage des Weltzustands

Im Gegensatz zu vielen bestehenden KI-Modellen, die sich auf die Vorhersage des nächsten Tokens (Sprachmodelle), des nächsten Frames (Videogeneratoren) oder der nächsten Aktion (Robotersteuerungen) konzentrieren, verfolgt Orca einen anderen Ansatz. Es modelliert den "nächsten Zustand der Welt" in einer abstrakten internen Repräsentation. Die Forscher argumentieren, dass Intelligenz nicht durch spezialisierte Vorhersagemodelle definiert werden sollte, sondern durch die Fähigkeit, ein allgemeines Verständnis dafür zu entwickeln, wie sich die Welt verändert, und dieses Verständnis als Grundlage für eine Vielzahl von Aufgaben zu nutzen.

Komplementäre Lernparadigmen: Unbewusstes und Bewusstes Lernen

Orca kombiniert zwei unterschiedliche Lernmodi, um dieses umfassende Weltverständnis zu entwickeln:

• Unbewusstes Lernen: Dieser Ansatz nutzt unbeschriftete Videos. Das Modell wird trainiert, um aus einem gegebenen Bild den nächsten Zustand vorherzusagen. Dabei geht es nicht um die pixelgenaue Reproduktion, sondern um das Erlernen abstrakter Bewegungsmuster, Verdeckungen und typischer Szenendynamiken.
• Bewusstes Lernen: Hier werden verbale Anweisungen in den Lernprozess integriert. Videos werden in Segmente unterteilt, die jeweils mit einer Beschreibung der Zustandsänderung versehen sind. Dadurch lernt das Modell, wie sich ein Zustand unter dem Einfluss einer bestimmten Aktion verschiebt. Zusätzlich wird es auf klassischen Video-Frage-Antwort-Aufgaben trainiert, um auf natürliche Sprachabfragen reagieren zu können.

Modulare Architektur: Ein gefrorener Kern mit austauschbaren Schnittstellen

Die Architektur von Orca basiert auf einem vortrainierten Sprach-Bild-Modell, dem Qwen3.5. Dieser Kern bleibt nach dem Training "eingefroren". Für jede Art von Ausgabe – sei es Text, Bild oder Roboteraktion – wird ein separates, kleineres Modul angekoppelt, das den internen Zustand in die gewünschte Form umwandelt:

• Text: Hierfür wird der bestehende Sprach-Head von Qwen3.5 genutzt.
• Bilder: Das Bildgenerierungssystem Stable Diffusion 3.5 bleibt ebenfalls unverändert. Lediglich kleine, vorgelagerte Adapter werden trainiert, um Orcas internen Zustand an den Bildgenerator weiterzuleiten.
• Roboteraktionen: Für die Robotersteuerung kommt ein von Grund auf neu trainiertes Kontrollmodul namens "Action Expert" zum Einsatz.

Diese bewusste Trennung unterstreicht die Philosophie des Orca-Teams: Es geht nicht darum, in einzelnen Benchmarks Spitzenwerte zu erzielen, sondern zu demonstrieren, dass ein gut trainierter interner Weltzustand als gemeinsame Basis für sehr unterschiedliche Aufgaben dienen kann.

Umfangreiche Trainingsdaten

Für das Training von Orca wurde ein umfangreicher Datensatz zusammengestellt, der 125.000 Stunden Videomaterial, 160 Millionen Ereignisbeschreibungen und 11,5 Millionen Frage-Antwort-Paare umfasst. Die Videos decken vier Perspektiven ab: Ego-Perspektiven alltäglicher Interaktionen, Dritte-Person-Aufnahmen von Objekthandhabung, Roboteraufzeichnungen ohne Aktionsdaten und natürlich vorkommende Szenen. Es ist wichtig zu beachten, dass für die aktuelle Version nur ein Zehntel der gesamten Videodaten verwendet wurde.

Skalierungsverhalten und Benchmark-Ergebnisse

Orca wurde in zwei Größen trainiert: mit 0,8 und 4 Milliarden Parametern. Die Trainingsverluste nehmen mit zunehmender Datenmenge und Modellgröße stetig ab. Erste Tests zeigen, dass ein besserer interner Weltzustand während des Pre-Trainings zu besseren Ergebnissen in allen drei Ausgabemodi führt.

Leistung in Text-Benchmarks

Orca-4B erzielt einen Gesamtdurchschnitt von 51,8 Prozent über MVBench, TemporalBench, 3DSRBench und SWITCH hinweg. Damit übertrifft es mehrere VLM-Baselines wie Qwen3.5-4B, Gemma 4-4B und DeepSeek-VL2-3B im Durchschnitt, auch wenn es nicht jeden einzelnen Test gewinnt (z.B. führt Qwen3.5-4B bei MVBench). Bemerkenswert ist, dass Orca-4B auch die deutlich größeren Weltmodelle Emu3 (8B) und Emu3.5 (34B) im Durchschnitt übertrifft.

Leistung in der Bildvorhersage

Für die Bildvorhersage haben die Forscher einen eigenen Benchmark namens PRICE-V0.1 entwickelt. Dieser verwendet reale Roboter- und Ego-Szenen und fordert das Modell auf, ein Bild zu generieren, das das Ergebnis eines Befehls wie "die Mikrowelle schließen" zeigt. Orca-4B erreicht hier durchschnittlich 59,8 Prozent und übertrifft damit spezialisierte Bildgeneratoren wie FLUX.2 small (56,1 Prozent), FLUX.1-context (40,9 Prozent) und OmniGen2 (39,6 Prozent). Orca bewahrt die Form des Roboters, seine Kontaktpunkte mit Objekten und seine Relevanz für die Anweisung besser als reine Bildmodelle, die oft irrelevante Objekte oder halluzinierte Hände hinzufügen.

Robotersteuerung ohne Aktionsdaten im Pre-Training

In fünf Manipulationsaufgaben mit einem zweiarmigen humanoiden Roboter auf Rädern, darunter das Einräumen von Büchern, das Stapeln von Schalen und das Schöpfen von Zucker, erreicht Orca die Leistung von π0.5, einem System, das speziell auf Roboterdaten basiert. Es ist hervorzuheben, dass Orcas Basismodell während des Pre-Trainings nie gesehen hat, welche Bewegung zu welchem Bild gehört. Für die eigentliche Robotersteuerung wurde nachträglich ein separates Modul auf 200 realen Aufzeichnungen pro Aufgabe trainiert, das Kamerabilder mit den ausgeführten Bewegungen koppelt.

Vergleichsmodelle wie V-JEPA 2.1 und Qwen3.5, die mit demselben Kontrollmodul gekoppelt sind, bleiben deutlich zurück. Orca zeigt zudem einen Vorteil bei der Fehlerbehebung: Es versucht nach einem fehlgeschlagenen Griff erneut, während π0.5 in den Beispielen des Papers in wiederholten Fehlversuchen stecken bleibt. Die Autoren sehen darin einen potenziellen Weg, den chronischen Mangel an gelabelten Aktionsdaten in der Robotik zu mildern.

Offene Fragen und zukünftige Entwicklungen

Das Orca-Team nutzt für das Training die hauseigene FlagScale-Bibliothek, die durch verschiedene Speicher- und Kommunikationsoptimierungen eine hohe Effizienz erreicht. Auf H100-Karten werden 2,91 Trainingssamples pro Sekunde pro GPU verarbeitet, was etwa 4,4-mal schneller ist als bei StarVLA, einer in der Robotik weit verbreiteten Codebasis.

Dennoch gibt es noch Bereiche, in denen Orca weiterentwickelt werden kann. Das Modell lernt derzeit nur aus Bildern und Text; Geräusch, Kraft und Berührung fehlen noch vollständig. Die visuelle Vorhersage erfolgt im Raum eines vortrainierten Bild-Encoders, anstatt einen eigenen Weltraum von Grund auf neu zu lernen. Mit 0,8 und 4 Milliarden Parametern sind die Modelle zudem noch zu klein für eine vollständige Weltmodellierung. Die Ereignisbeschreibungen decken nur kurze Zeitfenster von wenigen Minuten ab. BAAI betont, dass ein natives Weltmodell, das von Grund auf mit vielen Signalarten trainiert wird, das Endziel bleibt.

Die Definition von Weltmodellen ist in der KI-Forschung weiterhin Gegenstand von Debatten. Ein Team der Peking-Universität schlug mit OpenWorldLib eine einheitliche Definition vor, die reine Text-zu-Video-Modelle wie Sora ausschließt. Ein Benchmark der Tsinghua-Universität zeigte, dass selbst Sora 2 und Veo 3.1 Schwierigkeiten mit einem physikalisch plausiblen Szenenverlauf haben. In der Robotik kombinieren World Action Models die Vorhersage von Zustandsübergängen mit der Aktionsgenerierung, was es ermöglicht, aus gewöhnlichen Alltagsvideos zu lernen, die keinerlei Aktionsdaten enthalten.

Fazit

Orca stellt einen vielversprechenden Schritt in Richtung allgemeinerer und effizienterer KI-Systeme dar. Die Fähigkeit, komplexe Robotikaufgaben ohne explizite Aktions-Labels zu meistern und dabei die zugrunde liegende Welt dynamisch zu modellieren, könnte nicht nur den Datenmangel in der Robotik mildern, sondern auch neue Wege für die Entwicklung von KI-Systemen eröffnen, die ein echteres Verständnis ihrer Umgebung entwickeln können. Die weitere Forschung und Entwicklung in diesem Bereich wird zeigen, wie sich dieses Paradigma in der praktischen Anwendung bewähren und welche neuen Möglichkeiten es für die KI-gestützte Automation und Interaktion eröffnen wird.

Bibliographie

• Jonathan Kemper. "China's Orca world model matches specialized robotics systems without ever seeing a single action label". The Decoder, 2026-07-11.
• Orca Team Beijing Academy of Artificial Intelligence. "Orca: The World is in Your Mind". arXiv, 2026-06-30.
• Orca Team. "Orca: The World is in Your Mind". Offizielle Projektseite, https://orca-wm.github.io/.
• Deveshi Dabbawala. "Orca world model explained a new approach to AI learning". goml.io, 2026-07-06.
• AA Ala SMITH & AI Research Desk. "BAAI Orca World Model Matches π0.5 With No…". gentic.news, 2026-07-11.
• Pengwei Wang. "Orca: The World is in Your Mind". alphaXiv, 2026-06-30.
• AI Weekly. "BAAI's Orca-4B world model edges Qwen3.5-4B on video tests". aiweekly.co, 2026-06-29.
• Wedoany. "China's BAAI Releases Orca Model, Pre-trained on 125,000 Hours of Video". en.wedoany.com, 2026-07-09.
• shipfeed. "China's Orca world model matches robotics systems without action". shipfeed.fyi, 2026-07-11.
• AISurfing. "China's Orca world model matches specialized robotics systems without ever seeing a single action label". aisurfing.org, 2026-07-11.