Fortschritte im Bereich multimodaler KI durch das Omni-Modell und das Konzept des Context Unrolling

Die Forschung im Bereich der Künstlichen Intelligenz (KI) schreitet rasant voran, insbesondere bei multimodalen Modellen, die in der Lage sind, Informationen aus verschiedenen Quellen wie Text, Bildern und Videos zu verarbeiten. Eine aktuelle Entwicklung in diesem Feld ist das Konzept des "Context Unrolling", das in einem neuen Paper zu Omni-Modellen vorgestellt wird. Dieses Konzept verspricht, die Fähigkeiten multimodaler KI-Systeme erheblich zu erweitern, indem es eine tiefere und kohärentere Integration unterschiedlicher Datenmodalitäten ermöglicht.

Grundlagen des Context Unrolling in Omni-Modellen

Omni, ein einheitliches multimodales Modell, wurde nativ auf einer Vielzahl von Modalitäten trainiert, darunter Text, Bilder, Videos, 3D-Geometrie und verborgene Repräsentationen. Das zentrale Ergebnis dieser Trainingsmethode ist das sogenannte "Context Unrolling". Hierbei argumentiert das Modell explizit über mehrere modale Repräsentationen hinweg, bevor es Vorhersagen trifft oder Inhalte generiert. Dieser Prozess ermöglicht es dem Modell, komplementäre Informationen aus heterogenen Modalitäten zu aggregieren, was zu einer präziseren Annäherung an das geteilte multimodale Wissensspektrum führt und die nachfolgende Argumentationsgenauigkeit verbessert.

Im Gegensatz zu Modellen, die multimodale Eingaben typischerweise einer einzigen Ausgabemodalität zuordnen, vereint Omni Bild, Video und Text für das Verständnis, die Generierung und die Bearbeitung innerhalb einer einzigen Architektur. Dies führt zu einer starken Leistung bei multimodalen Generierungs- und Verständnis-Benchmarks und demonstriert fortschrittliche multimodale Argumentationsfähigkeiten, einschliesslich der In-Context-Generierung von Text, Bild, Video und 3D-Geometrie.

Architektur und Training des Omni-Modells

Das Omni-Modell basiert auf einer Mixture-of-Experts (MoE)-Architektur und verfügt über 3 Milliarden aktive Parameter. Diese Architektur ermöglicht es, verschiedene Experten für spezifische Aufgaben oder Modalitäten zu nutzen, während das Gesamtmodell ein kohärentes und einheitliches Verständnis beibehält. Das Training umfasst eine breite Palette von Modalitäten, die über einfache Bild-Text-Paare hinausgehen und auch 3D-Geometrie und verborgene visuelle Repräsentationen einschliessen. Dies soll die Erfassung von Weltwissen in verschiedenen Aspekten wie Pixelerscheinung, raumzeitlicher Struktur, Kameratransformationen, Tiefe, physikalischer Dynamik und semantischer Abstraktion ermöglichen.

Ein wesentlicher Bestandteil des Trainings ist die Integration von "reasoning-oriented multimodal content", um eine strukturierte, modalitätsübergreifende Argumentation zu fördern. Dies erlaubt es dem Modell, nicht nur kurze textuelle Argumentationen, sondern auch strukturierte Beschreibungen mit dichten Attributen, räumlicher Verankerung und geometrischen Beschränkungen wie Tiefenkarten und Kameratransformationen zu nutzen. Zusätzlich wurde ein "hidden reasoning space" eingeführt, ein dedizierter latenter Repräsentationsraum, der latente multimodale Argumentation unterstützt.

Funktionsweise des Context Unrolling

Das "Context Unrolling" kann als ein iterativer Prozess der Kontextkonstruktion verstanden werden, gefolgt von einer kontextabhängigen Dekodierung. Hierbei werden atomare Primitive wie "beschreiben", "Pose vorhersagen", "visuelle Token ausrollen" oder "Tiefe schätzen" aufgerufen. Jede dieser Fähigkeiten trägt dazu bei, einen reichhaltigeren und aktionsfähigeren Kontext zu schaffen, der die nachfolgenden Vorhersagen des Modells leitet.

Dieser Mechanismus ermöglicht es dem Modell, dynamisch modalitätsspezifische Informationen zu integrieren und auszuwählen, was zu einer umfassenderen und strukturierteren Inferenz führt. Die emergenten Fähigkeiten des "Context Unrolling" manifestieren sich nicht nur in Verbesserungen bei verschiedenen Benchmarks für das visuelle Verständnis und die visuelle Generierung, sondern auch bei Sondierungsaufgaben wie der Tiefenschätzung und dem räumlichen Denken.

Anwendungsbereiche und Vorteile

Das Konzept des "Context Unrolling" zeigt sich in verschiedenen Anwendungsbereichen als vorteilhaft:

Visuelles Verständnis

Beim visuellen Verständnis erfolgt das "Context Unrolling" hauptsächlich durch textuelle Rollouts im Stil von "Chain-of-Thought" (CoT). Dies bereichert den latenten Arbeitsbereich mit feineren semantischen Zerlegungen, bevor die endgültige Antwort generiert wird. Die Ergebnisse zeigen, dass das visuelle Verständnis durch die Nutzung dieses "Denkkontextes" verbessert werden kann.

Visuelle Generierung (Text-zu-Bild)

Die visuelle Generierung profitiert besonders von einem mehrstufigen Kontext, um die inhärente Mehrdeutigkeit der Abbildung von Sprache auf Bilder zu reduzieren. Vor der Bildsynthese kann Omni optional feinere textuelle Spezifikationen (Attribute, Zählungen, Relationen, räumliche Beschränkungen) über "text-think" ausrollen und/oder visuelle Token, die starke strukturelle Informationen tragen. Die Kombination dieser Kontexte verbessert die Prompt-Befolgung, die Objektzählung und die räumliche/relationale Genauigkeit.

Räumliches Verständnis

Das räumliche Verständnis erfordert die Auflösung geometrischer Mehrdeutigkeiten, die durch rein textuelles Denken allein schwer zu bewältigen sind. Omni integriert 3D-bezogene Fähigkeiten wie Kamera-Pose-Schätzung und neue Ansichtssynthese als atomare Primitive. Die geschätzten Kameraposen dienen als 3D-textueller Kontext, der räumliche Beziehungen über Bilder hinweg disambiguiert. Darüber hinaus kann das Modell neue Ansichten synthetisieren, um den visuellen Kontext zu bereichern und eine umfassendere Szenenrepräsentation zu erstellen.

3D-Geometrie (Monokulare Tiefenschätzung)

Bei der monokularen Tiefenschätzung formuliert Omni die Aufgabe als Tiefenkarte-Generierung, die auf einem RGB-Eingabebild und konstruierten Kontexten basiert. Textuelle Kontexte, die geometrische Informationen zusammenfassen ("depth caption"), sowie visuelle Token, die strukturelle Informationen kodieren, verbessern die Qualität der Tiefenschätzung erheblich. Dies deutet darauf hin, dass multimodales Verständnis und strukturierte visuelle Rollouts als kontextproduzierende Primitive fungieren, die die 3D-Geometrie einschränken und leiten.

Evaluierung und Leistung

Omni erreicht konkurrenzfähige oder überlegene Leistungen im Vergleich zu führenden Open-Source-Vision-Language-Modellen (VLMs) auf einer Vielzahl von Benchmarks, einschliesslich Qwen3-VL und InternVL3.5. Obwohl direkte Vergleiche aufgrund von Unterschieden in den Trainingsdaten, Optimierungsrezepten und Rechenbudgets schwierig sind, positioniert sich Omni als leistungsfähiges Modell in der multimodalen Landschaft.

Insbesondere bei der Bildgenerierung übertrifft Omni starke öffentliche Bildgeneratoren wie Z-Image und Flux bei Benchmarks wie GenEval2 und zeigt eine konsistent stärkere qualitative Leistung bei klassischen Bildbearbeitungsaufgaben. Auch bei der Videogenerierung und -bearbeitung demonstriert Omni starke semantische Anweisungsbefolgungsfähigkeiten und erreicht überlegene qualitative Leistungen im Vergleich zu anderen Modellen. Im Bereich der 3D-Geometrie erzielt Omni vergleichbare Leistungen wie VGGT bei der Kamera-Pose-Schätzung und Depth-Anything 3 bei der Tiefenschätzung.

Die Ergebnisse unterstreichen die starke Generalisierungsfähigkeit des Modells, die es ihm ermöglicht, die Leistung spezialisierter, einzelner Aufgabenmodelle in verschiedenen Domänen ohne aufgabenspezifisches Fine-Tuning zu erreichen oder sogar zu übertreffen.

Ausblick

Das Konzept des "Context Unrolling" in Omni-Modellen deutet darauf hin, dass der primäre Wert eines einheitlichen Modells nicht nur in der Aggregation von Fähigkeiten liegt, sondern in der Fähigkeit, über verschiedene Modalitäten hinweg einen reichhaltigen und aktionsfähigen Kontext zu konstruieren. Dies eröffnet neue Möglichkeiten für die Entwicklung von KI-Systemen, die komplexere Argumentationsprozesse durchführen und präzisere Ergebnisse liefern können.

Zukünftige Arbeiten könnten sich darauf konzentrieren, wie das Modell durch Post-Training (z.B. RL-Optimierung) lernen kann, wann und wie dieser Kontext am besten konstruiert wird, um die Robustheit weiter zu verbessern. Die Verlagerung von rein textuellen Zwischenargumentationen hin zu multimodalen Argumentationspfaden, die Text, visuelle Struktur und geometrisch-bewusste Synthese miteinander verbinden, stellt eine vielversprechende Forschungsrichtung dar.

Die hier vorgestellten Erkenntnisse bieten wertvolle Einblicke für Unternehmen im B2B-Bereich, die an der Entwicklung und Implementierung fortschrittlicher KI-Lösungen interessiert sind. Die Fähigkeit, komplexe, multimodale Daten kohärent zu verarbeiten und zu interpretieren, ist entscheidend für innovative Anwendungen in Bereichen wie der Datenanalyse, der Inhaltserstellung und der Automatisierung.

Bibliography - Cai et al. [2025] Huanqia Cai, Sihan Cao, Ruoyi Du, Peng Gao, Steven Hoi, Zhaohui Hou, Shijie Huang, Dengyang Jiang, Xin Jin, Liangchen Li, et al. Z-image: An efficient image generation foundation model with single-stream diffusion transformer. arXiv preprint arXiv:2511.22699, 2025. - Deng et al. [2025] Chaorui Deng, Deyao Zhu, Kunchang Li, Chenhui Gou, Feng Li, Zeyu Wang, Shu Zhong, Weihao Yu, Xiaonan Nie, Ziang Song, Guang Shi, and Haoqi Fan. Emerging properties in unified multimodal pretraining. arXiv preprint arXiv:2505.14683, 2025. - Lin et al. [2025] Haotong Lin, Sili Chen, Jun Hao Liew, Donny Y. Chen, Zhenyu Li, Guang Shi, Jiashi Feng, and Bingyi Kang. Depth anything 3: Recovering the visual space from any views. arXiv preprint arXiv:2511.10647, 2025. - Omni-Model.com. Omni: Context Unrolling in Omni Models. URL: https://omni-model.com/ - Yang, Ceyuan et al. Context Unrolling in Omni Models. arXiv preprint arXiv:2604.21921, 2026. URL: https://arxiv.org/abs/2604.21921 - Yang, Ceyuan et al. Context Unrolling in Omni Models. HTML (experimental) version. URL: https://arxiv.org/html/2604.21921v1