Neues Paradigma in der KI: Videogenerierung für multimodales Schlussfolgern

Die künstliche Intelligenz hat in den letzten Jahren bedeutende Fortschritte in der Verarbeitung und Interpretation verschiedenster Datenmodalitäten gemacht. Traditionelle Ansätze wie "Thinking with Text" und "Thinking with Images" haben die Schlussfolgerungsfähigkeiten von großen Sprachmodellen (LLMs) und Vision-Language Modellen (VLMs) erheblich verbessert. Diese Paradigmen weisen jedoch systembedingte Einschränkungen auf, insbesondere wenn es um die Darstellung dynamischer Prozesse und die Überbrückung der Kluft zwischen unterschiedlichen Modalitäten geht. Eine neue Forschungsinitiative, vorgestellt in der Arbeit "Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm", schlägt einen innovativen Ansatz vor, der diese Grenzen überwinden soll.

Das Paradigma "Thinking with Video"

Das Konzept "Thinking with Video" zielt darauf ab, die statischen Beschränkungen bildbasierter Schlussfolgerungen und die Trennung von Text- und visuellen Modalitäten in herkömmlichen Methoden zu überwinden. Es nutzt Videogenerierungsmodelle, um visuelles und textuelles Schlussfolgern innerhalb eines einheitlichen zeitlichen Rahmens zu integrieren. Dieser Ansatz ermöglicht ein dynamisches, menschenähnliches Schlussfolgern, das Fähigkeiten wie Zeichnen und Vorstellungskraft umfasst. Durch die Visualisierung dynamischer Prozesse und die Einbettung von Text in Videobilder wird ein vereinheitlichtes multimodales Verständnis und eine entsprechende Generierung angestrebt.

Die Herausforderungen traditioneller Ansätze

• Statische Momentaufnahmen: Bilder erfassen nur einzelne Momente und können dynamische Prozesse oder kontinuierliche Veränderungen nicht adäquat darstellen.
• Modale Trennung: Die traditionelle Trennung von Text und Bild als eigenständige Modalitäten erschwert ein einheitliches multimodales Verständnis und eine kohärente Generierung.

Der Lösungsansatz durch Videogenerierung

Die Forscher schlagen vor, Videogenerierungsmodelle als Brücke zwischen visuellen und textuellen Informationen zu nutzen. Dies ermöglicht es, zeitliche Entwicklungen zu visualisieren und Text direkt in Video-Frames einzubetten. Das Ziel ist es, eine neue Form des multimodalen Schlussfolgerns zu etablieren, die über die statischen Beschränkungen hinausgeht und eine dynamischere Interaktion mit Informationen erlaubt.

Der VideoThinkBench: Ein neuer Benchmark

Zur Unterstützung und Evaluierung dieses neuen Paradigmas wurde der "VideoThinkBench" entwickelt. Dieser umfassende Benchmark ist speziell darauf ausgelegt, die Schlussfolgerungsfähigkeiten von Videogenerierungsmodellen zu bewerten. Er gliedert sich in zwei Hauptkategorien:

• Vision-zentrierte Aufgaben: Diese Kategorie umfasst Aufgaben, die dynamisches visuelles Schlussfolgern erfordern. Beispiele hierfür sind visuelle Schätzungs- und Zeichenaufgaben (Eyeballing Puzzles), Mustererkennung und visuelle Logikprobleme (Visual Puzzles), abstrakte Schlussfolgerungsaufgaben (ARC-AGI-2) und Pfadfindungsherausforderungen (Mazes).
• Text-zentrierte Aufgaben: Hierbei handelt es sich um adaptierte Aufgaben aus etablierten Benchmarks, die textbasierte Schlussfolgerungsfähigkeiten innerhalb generierter Videos testen. Dazu gehören mathematisches Schlussfolgern (MATH, GSM8K), multimodales Verständnis (MMMU, MMBench) und allgemeines Wissen (MMLU).

Der Datensatz für den VideoThinkBench ist öffentlich über Hugging Face verfügbar, was die Reproduzierbarkeit und Weiterentwicklung in der Forschungsgemeinschaft fördert.

Leistungsanalyse und Ergebnisse

Die Evaluierung im "VideoThinkBench" zeigt, dass Modelle wie Sora-2 vielversprechende Schlussfolgerungsfähigkeiten in beiden Kategorien aufweisen. Insbesondere übertrifft Sora-2 bei mehreren vision-zentrierten Aufgaben modernste Vision-Language Modelle. Bei text-zentrierten Aufgaben erzielt Sora-2 ebenfalls eine starke Leistung, beispielsweise 98,9 % Genauigkeit bei GSM8K, 94,0 % bei MATH und 75,5 % bei MMMU, was das Potenzial von "Thinking with Video" als vereinheitlichtes multimodales Schlussfolgerungsparadigma unterstreicht.

Sieben Kernpunkte der Analyse

Die systematische Evaluierung auf dem VideoThinkBench hat sieben zentrale Erkenntnisse hervorgebracht:

1. Überlegenheit bei Eyeballing Puzzles: Sora-2 übertrifft in der Regel aktuelle Vision-Language Modelle bei Eyeballing Puzzles und demonstriert starke geometrische und physikalische Schlussfolgerungsfähigkeiten. Es kann die Ausdehnung und Reflexion von Strahlen simulieren und geometrische Elemente manipulieren, um das räumliche Denken zu unterstützen.
2. Induktives Schlussfolgern bei visuellen Puzzles: Die Leistung von Sora-2 ist vergleichbar mit Claude Sonnet 4.5 bei Shape-Drawing Puzzles, was auf induktive Schlussfolgerungsfähigkeiten hinweist. Sora-2 kann Muster in Farbe, Form und Größe erkennen und anwenden und visuelle Puzzles lösen, die Symmetrie, Gradienten und Komposition beinhalten.
3. Wenige-Shot-Lernfähigkeiten: Sora-2 ist ein Wenige-Shot-Lerner. Bei ARC-AGI-2, das das Finden von Mustern in Eingabe-Ausgabe-Paaren erfordert, kann Sora-2 oft vernünftige Vorhersagen treffen, auch wenn diese nicht streng mit den Datensatz-Annotationen übereinstimmen.
4. Vereinheitlichtes multimodales Schlussfolgern: Bei text-zentrierten Aufgaben zeigt Sora-2 eine überraschende Leistung bei Text- und multimodalen Schlussfolgerungs-Benchmarks. Das Videogenerierungsmodell kann Text in Video-Frames einbetten, was ein vereinheitlichtes multimodales Verständnis und eine entsprechende Generierung ermöglicht. Dies zeigt, dass "Thinking with Video" potenziell ein vereinheitlichtes multimodales Schlussfolgerungsparadigma ist.
5. Verbessertes In-Context Learning: Sora-2 erzielt ein besseres In-Context Learning durch die Bereitstellung von mehr Beispielen. Experimente zeigen, dass Sora-2 besser abschneidet, wenn alle Beispiele anstelle nur eines Beispiels bereitgestellt werden, was eine unzureichend erforschte Richtung zur Analyse und Verbesserung der In-Context Learning-Fähigkeiten von Videogenerierungsmodellen aufzeigt.
6. Testzeit-Skalierung mit Selbstkonsistenz: Selbstkonsistenz kann die Leistung von Sora-2 bei überprüfbaren Videogenerierungs-Schlussfolgerungsaufgaben verbessern. Dies zeigt eine unzureichend erforschte Richtung auf: Testzeit-Skalierung bei Videogenerierungs-Schlussfolgerungsaufgaben.
7. Analyse der Fähigkeitsquelle: Eine systematische Analyse der Fähigkeiten von Sora-2 deutet darauf hin, dass die textzentrierte Schlussfolgerungsfähigkeit des Modells wahrscheinlich von seinem "Prompt Rewriter"-Modell herrührt. Obwohl Sora-2 korrekte Endergebnisse liefern kann, hat es Schwierigkeiten, kohärente Schlussfolgerungsprozesse in Videos zu generieren.

Implikationen und Ausblick

Die Einführung des "Thinking with Video"-Paradigmas und die Ergebnisse des "VideoThinkBench" deuten auf einen vielversprechenden Weg für die Entwicklung fortschrittlicher multimodaler KI-Systeme hin. Die Fähigkeit, dynamische visuelle Informationen mit textuellen Schlussfolgerungen zu verknüpfen, könnte neue Anwendungsbereiche erschließen und die Interaktion von KI mit komplexen, realen Szenarien erheblich verbessern. Für Unternehmen, die auf KI-basierte Content-Erstellung und Analyse setzen, wie Mindverse, bedeutet dies potenzielle Fortschritte bei der Verarbeitung und Generierung komplexer, multimedialer Inhalte, die ein tiefgreifenderes Verständnis und menschenähnlichere Interaktionen ermöglichen.

Die kontinuierliche Forschung in diesem Bereich wird entscheidend sein, um die Grenzen der multimodalen KI weiter zu verschieben und die Entwicklung von Systemen voranzutreiben, die ein noch umfassenderes Verständnis und kreativere Problemlösungsfähigkeiten aufweisen.

Bibliography: - Tong, J., Mou, Y., Li, H., Li, M., Yang, Y., Zhang, M., ... & Qiu, X. (2025). Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm. arXiv preprint arXiv:2511.04570. - tongjingqi/Thinking-with-Video. (n.d.). GitHub. - Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm. (n.d.). Project Page. - Hugging Face Papers: Daily Papers - Multimodal Reasoning. (n.d.). Hugging Face.