Innovationen in der verkörperten Kognition: Das RxBrain-Modell

Einblicke in RxBrain: Ein Fundament für verkörperte Kognition

Die Forschung im Bereich der künstlichen Intelligenz erfährt kontinuierliche Fortschritte, insbesondere bei Modellen, die darauf abzielen, menschliche Kognition nachzubilden. Ein aktueller Beitrag, das sogenannte RxBrain-Modell, positioniert sich als ein wegweisendes Grundlagenmodell für verkörperte Kognition. Dieses Modell integriert Sprache und visuelle Vorstellungskraft, um eine tiefere Interaktion mit der physischen Welt zu ermöglichen. Die Entwicklung wurde unter anderem von Tencent Robotics X, dem Futian Laboratory und dem Tencent Hy Team vorangetrieben.

Die Herausforderung der verkörperten Kognition

Verkörperte Kognition erfordert von intelligenten Agenten die Fähigkeit, hochrangige Aufgabenplanung mit den physischen Zuständen zu verknüpfen, die erreicht werden sollen. Dies geht über das reine Verstehen von Szenen oder die Vorhersage zukünftiger visueller Zustände hinaus. Herkömmliche Vision-Language-Modelle konzentrieren sich oft auf das Szenenverständnis und textbasierte Entscheidungen, während generative Weltmodelle hauptsächlich zukünftige visuelle Zustände prognostizieren. RxBrain verfolgt hier einen anderen Ansatz, indem es verkörperte Pläne in einer einzigen Planungssequenz darstellt, in der Sprache und visuelle Vorstellungskraft sich ergänzen.

Die Architektur von RxBrain: Sprache und Vision Hand in Hand

Im Kern von RxBrain steht eine multimodale Mixture-of-Transformers-Architektur. Diese Architektur ist darauf ausgelegt, das Verstehen und Generieren von Sprache, Bildern und Videos innerhalb eines einzigen Modells zu unterstützen. Dies ist entscheidend, da das Modell die abstrakte Struktur eines Plans (Sprache) mit der konkreten Verankerung in der Welt (visuelle Imagination) verbinden muss.

Die Rolle der Sprache in RxBrain ist es, die abstrakte Struktur eines Plans zu definieren. Dazu gehören:

• Aufgabenzerlegung: Das Aufteilen komplexer Aufgaben in kleinere, handhabbare Schritte.
• Planungsprimitive: Grundlegende Aktionen oder Operationen, aus denen ein Plan aufgebaut ist.
• Einschränkungen: Bedingungen, die während der Ausführung eines Plans eingehalten werden müssen.
• Zeitliche Reihenfolge: Die korrekte Abfolge von Aktionen.
• Entscheidungslogik: Regeln und Bedingungen, die die Auswahl von Aktionen steuern.

Gleichzeitig erdet die visuelle Vorstellungskraft diese abstrakte Struktur. Sie tut dies durch:

• Vorhersage von Weltzuständen: Das Antizipieren, wie sich die physische Umgebung nach einer Aktion verändern wird.
• Gemeinsame Unterzielplanung: Das Verknüpfen jedes Planungsschritts mit den zugehörigen Zwischen- und Endzuständen in der physischen Welt, oft in Form von Zielbildern.

Drei Kernfähigkeiten von RxBrain

Das Hy-Embodied-RxBrain-1.0-Modell, so der offizielle Name, vereint diese Komplementarität von Sprache und Vision in drei Kernfähigkeiten:

1. Verkörpertes Verstehen und Schlussfolgern (Embodied Understanding & Reasoning): Das Modell kann Fragen zu Bildern und mehrteiligen Videos beantworten und dabei eine „Chain-of-Thought“-Logik anwenden, um seine Schlussfolgerungen nachvollziehbar zu machen. 2. Vorhersage von Weltzuständen (World State Prediction): Es ist in der Lage, zukünftige Frames vorherzusagen, die eine bestimmte Aktion in der physischen Welt erzeugen würde. Dies ermöglicht eine Art „visueller Imagination“. 3. Gemeinsame Unterzielplanung (Joint Subgoal Planning): RxBrain kann eine Aufgabe in Schritte zerlegen und für jeden Schritt sowohl die nächste Aktion (sprachlich) als auch das Zielbild (visuell) ausgeben, das erreicht werden soll.

Diese Fähigkeiten sind durch eine gemeinsame, verschachtelte Darstellung in einer einheitlichen Planungssequenz miteinander verbunden.

Trainingsansatz und Evaluierung

Um diese Fähigkeiten zu trainieren, wurde eine automatische Pipeline entwickelt. Diese Pipeline wandelt verkörperte Videos in eine gemeinsame text-visuelle Planungs-Supervision um. Dabei werden die Videos in Planungsschritte zerlegt und mit den visuellen Zustandsübergängen abgeglichen.

Zur Bewertung der Leistungsfähigkeit von RxBrain wurde die Benchmark „RxBrain-Bench“ eingeführt. Diese Evaluierung zielt darauf ab, zu beurteilen, ob Modelle verkörperte Pläne durch gemeinsame textuelle und visuelle Komponenten darstellen können, anstatt nur separate Verstehens- oder Generierungsfähigkeiten zu demonstrieren.

Ergebnisse von Experimenten zeigen, dass RxBrain sowohl Fähigkeiten im verkörperten Verstehen als auch im Generieren besitzt. Es ist in der Lage, Pläne zu erstellen, die textuelles Schlussfolgern, Weltzustandsvorhersage und gemeinsame Unterzielplanung miteinander verbinden. Darüber hinaus wurde RxBrain auf die Generierung kontinuierlicher Roboteraktionen ausgeweitet und zeigte vielversprechende Leistungen in realen Roboterszenarien, auch ohne umfangreiches Vortraining mit spezifischen Aktionsdaten.

Ausblick und Bedeutung

Die Einführung von RxBrain stellt einen initialen Schritt in Richtung von Grundlagenmodellen für verkörperte Kognition dar. Die Fähigkeit, Sprache und visuelle Vorstellungskraft in einer kohärenten Planungssequenz zu integrieren, könnte weitreichende Implikationen für die Entwicklung intelligenter Agenten und Robotersysteme haben. Es eröffnet Perspektiven für Systeme, die nicht nur die Welt verstehen, sondern auch aktiv und zielgerichtet in ihr agieren können, indem sie abstrakte Pläne mit konkreten physischen Realitäten verknüpfen.

Bibliography

- Haotian Liang, Mingkang Chen, Yufei Huang, Yuchun Guo, Xiaomeng Zhu, Xiangli Shi, Kaixuan Wang, Yunxuan Mao, Weijie Zhou, Ling Chen, Shirong Zeng, Yueyu Long, Yuchen Si, Yajuan Zhu, Xingyu Zhou, Minghui Wang, Wanjia He, Xin Yang, Lingzhu Xiang, Zhiqing Liu, Bohan Ma, Xiran Huang, et al. (2026). RxBrain: Embodied Cognition Foundation Model with Joint Language-Visual Reasoning and Imagination. arXiv:2607.14187. - Tencent-Hunyuan. (2026). Hy-Embodied-RxBrain-1.0 [Source Code]. GitHub. Verfügbar unter: https://github.com/Tencent-Hunyuan/Hy-Embodied-RxBrain-1.0 - tencent. (n.d.). tencent/Hy-Embodied-RxBrain-1.0. Hugging Face. Verfügbar unter: https://huggingface.co/tencent/Hy-Embodied-RxBrain-1.0