Neues Paradigma für die Videoereignisvorhersage von Alibaba-Forschern

Revolutionäre KI-Entwicklung: Alibaba-Forscher präsentieren "Chain of Events" für präzisere Video-Ereignisvorhersage

Die Vorhersage zukünftiger Ereignisse in Videos stellt eine komplexe Herausforderung für künstliche Intelligenz dar. Während multimodale große Sprachmodelle (MLLMs) in verschiedenen Videoverständnisaufgaben beachtliche Fortschritte erzielt haben, bleibt die Vorhersage von Videoereignissen (VEP) ein Bereich mit erheblichem Verbesserungspotenzial. Forschende des Alibaba-Konzerns haben nun ein innovatives Paradigma namens "Chain of Events" (CoE) vorgestellt, das darauf abzielt, die Fähigkeit von MLLMs zur logischen Schlussfolgerung und zur präzisen Vorhersage zukünftiger Videoereignisse signifikant zu verbessern.

Die Herausforderung der Video-Ereignisvorhersage für MLLMs

Die Vorhersage von Videoereignissen erfordert von Modellen ein feingranulares temporales Verständnis von Videos sowie die Fähigkeit, logische Beziehungen zwischen den beobachteten Videoinhalten und potenziellen zukünftigen Ereignissen herzustellen. Bisherige Analysen führender MLLMs haben gezeigt, dass diese Modelle in VEP-Aufgaben oft unzureichende Leistungen erbringen. Die primären Gründe hierfür sind:

• Mangelnde logische Schlussfolgerungsfähigkeit: MLLMs neigen dazu, sich auf textuelle Hinweise in Antwortoptionen zu verlassen, anstatt eine tiefgreifende logische Verbindung zwischen visuellen Beweisen und zukünftigen Ereignissen herzustellen. Dies führt zu oberflächlichen Vorhersagen ohne kausal-temporales Verständnis.
• Ungenügende Nutzung visueller Informationen: Eine Analyse der Aufmerksamkeitsverteilung in MLLMs offenbart, dass deutlich weniger Aufmerksamkeit auf visuelle Token als auf textuelle Informationen gelegt wird. Dies beeinträchtigt die Fähigkeit der Modelle, feingranulare temporale Muster zu erkennen, die für genaue Vorhersagen unerlässlich sind.

Diese Limitationen machen VEP zu einer anspruchsvollen Aufgabe, insbesondere in realen Szenarien wie der Frühwarnung vor Krisen, wo die Vorhersage ungesehener zukünftiger Ereignisse entscheidend ist.

Das "Chain of Events" (CoE) Paradigma: Ein neuer Ansatz

Das von den Alibaba-Forschenden entwickelte CoE-Paradigma bietet eine strukturierte Lösung für die genannten Probleme. Es basiert auf der Idee, Videos in eine Abfolge von zeitlich geordneten Ereignissen zu zerlegen – eine "Ereigniskette" – und diese als Grundlage für logische Schlussfolgerungen zu nutzen. Ein Ereignis wird dabei als Paar aus Zeitstempeln (Start und Ende) und einer textuellen Beschreibung definiert. Das CoE-Paradigma gliedert sich in zwei Hauptmechanismen:

1. Feingranulare temporale Modellierung: Das Modell konstruiert eine explizite Ereigniskette, indem es das Eingabevideo in eine Sequenz historischer Ereignisse segmentiert. Dies fördert eine stärkere visuelle Verankerung und reduziert die übliche visuell-textuelle Verzerrung in MLLMs.
2. Logisches Schlussfolgern über Ereignisketten: Anstatt sich auf oberflächliche Hinweise zu verlassen, nutzt das Modell die konstruierte Ereigniskette und den beobachteten Videoinhalt, um plausible zukünftige Ereignisse vorherzusagen. Dies ermöglicht ein kausal-temporales Denken und verbessert die prädiktive Leistung.

Zweistufiger Trainingsansatz: CoE-SFT und CoE-GRPO

Um das CoE-Paradigma in MLLMs zu implementieren, wurde ein zweistufiger Trainingsansatz entwickelt: CoE-SFT (Supervised Fine-Tuning) und CoE-GRPO (Group Relative Policy Optimization).

CoE-SFT: Aufbau logischer Verbindungen

In der ersten Phase wird das Modell mittels Supervised Fine-Tuning trainiert. Hierbei wird einem leistungsstarken MLLM (z.B. Qwen2.5-VL-72B) das Video, die Frage und das korrekte zukünftige Ereignis präsentiert. Das Modell wird angewiesen, den logischen Denkprozess zu generieren, der vom Videoinhalt zum zukünftigen Ereignis führt, ohne sich auf die Analyse von Optionen zu stützen. Dieser Ansatz zielt darauf ab, die logische Schlussfolgerungsfähigkeit des Modells zu entwickeln und eine direkte Verbindung zwischen visuellen Inhalten und zukünftigen Ereignissen herzustellen.

CoE-GRPO: Stärkung der temporalen Modellierung

Die zweite Phase, CoE-GRPO, ist ein verbessertes Reinforcement Learning (RL)-Framework. Es zielt darauf ab, die Fähigkeit des Modells zur temporalen Lokalisierung und zum Videoverständnis zu verbessern, um präzise Ereignisketten zu konstruieren. Dies geschieht durch die Einführung spezieller Ereignis-Tags, die Start- und Endzeitstempel sowie feingranulare Beschreibungen von Ereignissen enthalten. Ein dichtes CoE-Belohnungssystem (CoE reward \(r_e\)) steuert den Konstruktionsprozess der Ereigniskette, während ein kontinuierlicher Ähnlichkeits-Reward (\(r_s\)) die Konsistenz zwischen Ereignisbeschreibungen und Videoinhalten sicherstellt. Dieser Ansatz ermöglicht es dem Modell, die Evolution historischer Ereignisse detailliert zu modellieren und die Nutzung visueller Informationen zu optimieren.

Experimentelle Ergebnisse und Leistungsbewertung

Die Wirksamkeit der CoE-Methode wurde auf etablierten VEP-Benchmarks wie FutureBench und AVEP unter Verwendung von Qwen2.5-VL als Basismodell evaluiert. Die Ergebnisse zeigen, dass CoE-GRPO konsistent alle verglichenen Baseline-MLLMs übertrifft und in beiden Benchmarks die beste Gesamtleistung erzielt. Dies unterstreicht die Effektivität des Ansatzes.

• Verbesserte Vorhersagegenauigkeit: CoE-SFT zeigte bereits eine überlegene Leistung im Vergleich zu herkömmlichem SFT, was auf die Vorteile der Etablierung logischer Verbindungen hindeutet. CoE-GRPO übertraf auch herkömmliches GRPO signifikant, was die Bedeutung der Modellierung historischer Ereignisketten für die Ereignisvorhersage bestätigt.
• Erhöhte visuelle Aufmerksamkeitsverteilung: Die Methode führt zu einer substanziellen Erhöhung der Aufmerksamkeit auf visuelle Token, während herkömmliche SFT-Ansätze diese Aufmerksamkeit sogar reduzieren können. Dies ist ein entscheidender Faktor für eine bessere Nutzung visueller Informationen.
• Robuste Leistung in Open-Set-Szenarien: Eine Bewertung mit einem Richtermodell in Open-Set-Vorhersageszenarien bestätigte die Überlegenheit des CoE-Ansatzes, indem es die logische Konsistenz und Korrektheit der Vorhersagen bewertete.
• Ablationsstudien: Ablationsstudien zeigten, dass eine zu kurze oder zu lange Ereigniskette die Leistung beeinträchtigen kann, da kurze Ketten nicht genügend visuelle Details erfassen und lange Ketten Redundanz einführen. Die Wahl des Ähnlichkeitsmodells hatte einen geringeren Einfluss auf die Robustheit der Methode, wobei VideoCLIP-XL die besten Ergebnisse lieferte.

Ausblick und zukünftige Forschungsrichtungen

Die Einführung des CoE-Paradigmas und die damit erzielten Ergebnisse legen eine solide Grundlage für zukünftige Forschungsarbeiten im Bereich der Video-Ereignisvorhersage mit MLLMs. Zukünftige Arbeiten könnten sich auf folgende Bereiche konzentrieren:

• Anwendbarkeit auf andere MLLMs und Aufgaben: Die Übertragbarkeit des CoE-Paradigmas auf weitere MLLMs und andere videobezogene Aufgaben, die ähnliche Herausforderungen im Bereich des temporalen Verständnisses aufweisen, wäre ein interessantes Forschungsfeld.
• Komplexere Ereignisstrukturen: Die Erforschung komplexerer Modelle für historische Ereignisstrukturen, wie etwa beziehungsbewusste Ereignisketten oder Ereignisgraphen, könnte zu weiteren Leistungssteigerungen führen.
• Verbesserung der temporalen Lokalisierungsfähigkeit: Eine weitere Verfeinerung der temporalen Lokalisierungsfähigkeiten von MLLMs könnte zusätzliche Leistungsverbesserungen für die CoE-Methode ermöglichen.

Die "Chain of Events"-Methode stellt einen bedeutenden Fortschritt in der Fähigkeit von KI dar, Videos zu verstehen und zukünftige Ereignisse zu antizipieren. Dies hat weitreichende Implikationen für diverse Branchen, von der Sicherheit bis zur Unterhaltung, und festigt die Rolle von MLLMs als leistungsstarke Werkzeuge für komplexe visuelle Aufgaben.

Bibliography

- Su, Q., Tang, J., Chen, R., Sun, L., & Chu, X. (2026). Video-CoE: Reinforcing Video Event Prediction via Chain of Events. arXiv preprint arXiv:2603.14935. - "Daily Papers' Post - LinkedIn". (2026, March 19). LinkedIn. - "Fostering Video Reasoning via Next-Event Prediction - ChatPaper". (2026, March 1). ChatPaper. - "VFE: A large-scale video future event description dataset for ...". (2025, May 2). ResearchGate. - Huang, Z. (2025, October 4). "VChain: Chain-of-Visual-Thought for Reasoning in Video Generation". YouTube. - "[AINews] LLaDA: Large Language Diffusion Models - Buttondown". (2025, February 18). Buttondown. - "Chain of World: World Model Thinking in Latent Motion". (2026, March 3). arXiv. - "GraphThinker: Reinforcing Video Reasoning with Event Graph Thinking". (2026, February 19). arXiv.