Videogenerierung als neuer Ansatz für multimodales Denken in der KI-Forschung

Multimodales Denken neu definiert: Videogenerierung als Schlüssel zur erweiterten KI-Argumentation

Die Forschung im Bereich der Künstlichen Intelligenz (KI) hat in den letzten Jahren bedeutende Fortschritte gemacht, insbesondere im multimodalen Lernen, das sich mit der Verarbeitung und dem Verstehen verschiedener Datenmodalitäten wie Text und Bild befasst. Während Ansätze wie "Thinking with Text" (z.B. Chain-of-Thought) und "Thinking with Images" die Argumentationsfähigkeiten von großen Sprachmodellen (LLMs) und Vision-Language Models (VLMs) erheblich verbessert haben, stoßen diese Paradigmen an inhärente Grenzen. Bilder erfassen lediglich einzelne Momente und können dynamische Prozesse oder kontinuierliche Veränderungen nicht adäquat darstellen. Zudem behindert die Trennung von Text und Bild als eigenständige Modalitäten ein wirklich einheitliches multimodales Verständnis und eine entsprechende Generierung.

Ein neuer Forschungsansatz, bekannt als "Thinking with Video", schlägt die Nutzung von Videogenerierungsmodellen vor, um visuelle und textuelle Argumentation in einem vereinheitlichten, zeitlichen Rahmen zu verbinden. Dieses Paradigma ermöglicht dynamische, menschenähnliche Denkprozesse, die über die statischen Beschränkungen bildbasierter Argumentation hinausgehen und die getrennte Verarbeitung von Modalitäten überwinden. Es eröffnet neue Möglichkeiten für die KI, komplexe Szenarien zu verstehen und kreative Lösungen zu entwickeln, ähnlich wie menschliche Vorstellungskraft und visuelles Denken funktionieren.

VideoThinkBench: Ein neuer Standard für die Bewertung von Videogenerierungsmodellen

Zur Unterstützung und Validierung dieses innovativen Ansatzes wurde der "VideoThinkBench" entwickelt. Dieser umfassende Benchmark ist speziell darauf ausgelegt, die Argumentationsfähigkeiten von Videogenerierungsmodellen zu evaluieren. Er gliedert sich in zwei Hauptkategorien von Aufgaben:

Vision-zentrierte Aufgaben

Diese Kategorie bewertet die Fähigkeit von Modellen, visuelle Informationen dynamisch zu verarbeiten und zu interpretieren. Beispiele hierfür sind:

• Eyeballing Puzzles: Aufgaben, die räumliches Denken, visuelle Einschätzung und das Zeichnen erfordern.
• Visuelle Puzzles: Probleme der Mustererkennung und visuellen Logik.
• ARC-AGI-2: Aufgaben zum abstrakten Denken, die Few-Shot Learning erfordern.
• Labyrinthe: Herausforderungen zur Pfadfindung und Navigation.

Text-zentrierte Aufgaben

Diese Aufgaben testen die Fähigkeit von Modellen, textbasierte Argumentation innerhalb generierter Videos zu demonstrieren. Sie sind an etablierte Benchmarks angepasst und umfassen:

• Mathematische Argumentation: Aufgaben aus MATH, GSM8K, AIME, MathVista und MathVision.
• Multimodales Verständnis: Aufgaben aus MMMU und MMBench.
• Allgemeinwissen: Aufgaben aus MMLU und MMLU-Pro.
• Wissenschaftliche Argumentation: Aufgaben aus GPQA-diamond und SuperGPQA.

Die Entwicklung von "VideoThinkBench" stellt einen entscheidenden Schritt dar, um die Leistungsfähigkeit und die Grenzen von Videogenerierungsmodellen systematisch zu erfassen und zu vergleichen.

Vielversprechende Ergebnisse mit Sora-2

Erste Evaluierungen auf dem VideoThinkBench zeigen, dass Modelle wie Sora-2 im Rahmen des "Thinking with Video"-Paradigmas bemerkenswerte Argumentationsfähigkeiten aufweisen. Insbesondere übertrifft Sora-2 in mehreren vision-zentrierten Aufgaben, wie den "Eyeballing Puzzles", den aktuellen Stand der Technik bei Vision-Language Models (VLMs). Dies unterstreicht die einzigartigen Vorteile des dynamischen visuellen Denkens, das durch Videogenerierungsmodelle ermöglicht wird.

Auch in text-zentrierten Aufgaben erzielt Sora-2 beeindruckende Ergebnisse, darunter eine Genauigkeit von 98,9% bei GSM8K, 94,0% bei MATH und 75,5% bei MMMU. Diese Leistungen deuten darauf hin, dass die Videogenerierung das Potenzial hat, als einheitliches multimodales Argumentationsparadigma zu fungieren, das sowohl visuelles als auch textuelles Verständnis und Generierung integriert.

Wichtige Erkenntnisse und Implikationen

Die systematische Evaluierung auf VideoThinkBench führte zu mehreren zentralen Erkenntnissen:

• Überlegenheit bei Eyeballing Puzzles: Sora-2 übertrifft VLMs bei Eyeballing Puzzles und demonstriert starke geometrische und physikalische Argumentationsfähigkeiten, indem es die Ausdehnung und Reflexion von Strahlen simulieren und geometrische Elemente manipulieren kann.
• Induktives Denken bei visuellen Puzzles: Sora-2 zeigt induktives Denken durch das Erkennen und Anwenden von Farb-, Form- und Größenmustern, was die Lösung visueller Puzzles mit Symmetrie, Gradienten und Kompositionen ermöglicht.
• Few-Shot Learning Fähigkeiten: Sora-2 ist in der Lage, mit wenigen Beispielen zu lernen, selbst bei komplexen Aufgaben wie ARC-AGI-2, wo es oft plausible Vorhersagen trifft.
• Vereinheitlichtes multimodales Denken: Die Fähigkeit von Videogenerierungsmodellen, Text in Videoframes einzubetten, ermöglicht ein einheitliches multimodales Verständnis und Generieren.
• Verbessertes In-Context Learning: Mehr Beispiele verbessern die In-Context-Lernfähigkeiten von Sora-2, was auf ein bisher unerforschtes Potenzial zur Analyse und Verbesserung dieser Modelle hinweist.
• Test-Time Scaling mit Selbstkonsistenz: Die Anwendung von Selbstkonsistenz kann die Leistung von Sora-2 bei überprüfbaren Videogenerierungs-Argumentationsaufgaben verbessern.
• Analyse der Fähigkeiten: Die textzentrierten Argumentationsfähigkeiten von Sora-2 stammen wahrscheinlich von seinem Prompt-Rewriter-Modell.

Herausforderungen und zukünftige Richtungen

Trotz der vielversprechenden Fortschritte stehen Vision-Language Models (VLMs) und das "Thinking with Video"-Paradigma noch vor Herausforderungen. Dazu gehören die Komplexität der Modelle, die Notwendigkeit umfangreicher Rechenressourcen, potenzielle Verzerrungen in den Trainingsdatensätzen und die Schwierigkeit, präzise und umfassende Bewertungsmethoden zu entwickeln. Die Forschung widmet sich diesen Aspekten intensiv, um robustere und zuverlässigere KI-Systeme zu schaffen.

Zukünftige Forschungsrichtungen umfassen die Entwicklung besserer Datensätze für ein tiefgreifenderes kompositorisches Verständnis, verbesserte Bewertungsmethoden zur Erfassung individueller Fähigkeiten von VLMs (z.B. Attributerkennung, relationales Denken) und die Anwendung dieser Modelle in Bereichen wie Robotik, medizinische Diagnosen und die Schaffung interaktiver KI-Systeme, die menschliche Gesten und Emotionen verstehen können.

Das "Thinking with Video"-Paradigma stellt einen bedeutenden Schritt in der Entwicklung multimodaler KI dar, indem es die Grenzen traditioneller Ansätze überwindet und das Potenzial für eine umfassendere, dynamischere und menschenähnlichere Argumentation in intelligenten Systemen eröffnet.

***

Bibliography

- Tong, J., Mou, Y., Li, H., Li, M., Yang, Y., Zhang, M., Chen, Q., Liang, T., Hu, X., Zheng, Y., Chen, X., Zhao, J., Huang, X., & Qiu, X. (2025). Thinking with Video: Video Generation as a Promising Multimodal Reasoning Paradigm. arXiv preprint arXiv:2511.04570. - Buhl, N. (2025). Guide to Vision-Language Models (VLMs). Encord Blog. - Soleimani, E., & Khodabandelou, G. (2024). A Survey of Emerging Approaches and Advances in Video Generation. PREPRINT, NOVEMBER 2024. - Hugging Face. (2025). Daily Papers - Hugging Face. - Zhou, P., Wang, L., Liu, Z., Hao, Y., Hui, P., Tarkoma, S., & Kangasharju, J. (2024). A Survey on Generative AI and LLM for Video Generation, Understanding, and Streaming. CoRRabs/2404.16038.