OmniCompass soll Video-KI über Zeit, Raum und Audio systematisch prüfen

Umfang und Aufbau des Datensatzes

OmniCompass-VL umfasst laut Paper 820 Videos und 2.460 Instanzen. Die Aufnahmen decken kurze, mittlere und lange Laufzeiten ab; als Grenzen nennt die Arbeit weniger als 90 Sekunden, 90 bis unter 300 Sekunden und mindestens 300 Sekunden. Für die gesamte Sammlung gibt das Paper 80,6 Stunden Videomaterial an. [4]

OmniCompass-AV ist eine narrative und audioreiche Teilmenge mit 240 Videos und 720 Instanzen. Die Autoren beschreiben sie als Teil der größeren Sammlung. [2][4] Die Aufteilung erlaubt damit einerseits Tests, bei denen visuelle Evidenz genügen soll, und andererseits Tests, bei denen das Modell Bild und Ton gemeinsam auswerten muss.

Die Annotation erfolgte nach Angaben der Autoren manuell und mit mehrstufiger Qualitätsprüfung. Das Paper beziffert den Aufwand für Schulung, Kalibrierung, Annotation, fachliche Prüfung und Überarbeitung auf rund 1.800 Arbeitsstunden. [2][4] Diese Angaben beschreiben das Vorgehen der Studienautoren; sie sind nicht mit einer unabhängigen Prüfung der Annotation gleichzusetzen.

Ergebnisse: Grounding bleibt schwierig

Die Studie berichtet Evaluationen von 50 multimodalen Sprachmodellen. Zu den zentralen Ergebnissen zählt, dass eine starke Leistung bei Frage-Antwort-Aufgaben mit Schwächen bei der zeitlichen oder räumlichen Verortung einhergehen kann. Selbst führende Modelle hätten Schwierigkeiten, Ziele präzise in Zeit und Raum zu lokalisieren; zudem seien ihre Vorhersagen zwischen den beiden Ziel-Spezifikationen nicht durchgehend konsistent. [2][4]

Für OmniCompass-VL nennt die Abbildung im Paper Gemini-3.8-Flash mit 42,8 Prozent als bestplatziertes proprietäres Modell und Kimi-K3 mit 39,6 Prozent als bestplatziertes Open-Source-Modell. [4] Die Autoren berichten außerdem, dass der Abstand zwischen dem jeweils besten proprietären und dem besten Open-Source-Modell beim aggregierten Cross-Specification-Maß auf der VL-Spur 3,2 Prozent und auf der AV-Spur 32,8 Prozent beträgt. [4] Der deutlich größere Abstand auf der audiovisuellen Spur verweist in dieser Evaluation auf eine besondere Herausforderung bei der gemeinsamen Verarbeitung von Bild- und Toninformationen.

Bildhinweise helfen nicht jedem Modell

Die zusätzliche Referenzabbildung führte laut Paper nicht automatisch zu besseren Ergebnissen. Im Durchschnitt über eine einzelne Spezifikation verbesserte die Text-plus-Bild-Eingabe die Leistung nur bei 11 von 36 untersuchten Modellen. [4] Der Befund spricht gegen die Annahme, ein visueller Hinweis mache die Zielidentifikation für jedes Modell und jede Aufgabe gleichermaßen leichter.

Für Unternehmen ist das zunächst eine methodische Beobachtung, keine Produktempfehlung. Wenn ein Einsatzszenario Ziele über Referenzbilder beschreibt, sollte eine Evaluation genau diese Eingabeform abbilden und sie mit der rein textlichen Spezifikation vergleichen. Das ist eine Analyse aus dem Benchmark-Design: Die Studie zeigt, dass der Nutzen einer Referenzbild-Eingabe modellabhängig sein kann; sie belegt nicht, welche Eingabeform für einen konkreten betrieblichen Prozess optimal ist. [4]

Zeitstempel und Audio als Einflussfaktoren

Die Autoren berichten, dass Zeitstempel die Leistung bei den Aufgaben und in beiden Spuren verbesserten. Außerdem hätten sie die Stabilität der Evaluation deutlich erhöht. [4] Das Ergebnis legt nahe, dass zeitliche Orientierung nicht nur für die richtige Antwort, sondern auch für die Verlässlichkeit des Vergleichs zwischen Modellen relevant sein kann. Es bleibt jedoch ein Befund aus der untersuchten Benchmark-Konfiguration und keine allgemeine Garantie für jeden Videodatensatz.

Für die AV-Spur berichtet das Paper, dass Audio die Ergebnisse bei Frage-Antwort-Aufgaben und Temporal Grounding konsistent verbesserte. [4] Das unterstreicht, dass Ton nicht bloß eine zusätzliche Eingabemodalität ist: Bei bestimmten Aufgaben kann er Hinweise liefern, die für die Identifikation eines Ereignisses oder dessen zeitliche Einordnung wichtig sind. Die Studie berichtet daraus keine pauschale Verbesserung für alle Aufgaben oder Modelle.

Bedeutung für die Modellauswahl in Unternehmen

Für Organisationen, die multimodale Modelle für Videoanalyse evaluieren, liegt der praktische Wert von OmniCompass vor allem in der Fehlerdiagnose. Ein einzelner Gesamtwert kann verdecken, ob ein Modell Ereignisse zwar sprachlich zusammenfasst, aber den relevanten Moment nicht findet oder eine Person beziehungsweise ein Objekt im Bild nicht zuverlässig lokalisiert. Die getrennten Aufgaben für Zeit, Raum und Frage-Antwort-Fähigkeit machen solche Unterschiede prüfbar. [4]

Auch die beiden Referenzbedingungen und die getrennten VL- und AV-Spuren sind für eine Beschaffungsevaluation relevant, wenn ein Prozess sowohl unterschiedliche Zielbeschreibungen als auch Ton und Bild umfasst. Das ist eine aus dem Benchmark abgeleitete Analyse, keine im Paper nachgewiesene Wirtschaftlichkeits- oder Einsatzbewertung. [4] Die Resultate sollten daher als Ausgangspunkt für eigene Tests verstanden werden, nicht als direkte Rangliste für Produktionsumgebungen.

Einordnung und offene Grenzen

OmniCompass ist in den verfügbaren Quellen als Preprint ausgewiesen. [4] Die berichteten Ranglisten, Abstände und Leistungsverbesserungen sind Ergebnisse der Autorenevaluation; die bereitgestellten Quellen enthalten keine unabhängige Replikation dieser Resultate. [4] Entsprechend sollten die Zahlen nicht als allgemeingültige Aussage über alle Modelle, Videos oder betrieblichen Anwendungsfälle gelesen werden.

Der Benchmark adressiert eine konkrete Lücke, indem er Aufgaben, Referenzformen und audiovisuelle Anforderungen in einem gemeinsamen Rahmen zusammenführt. [2][4] Für B2B-Entscheidungen bleibt dennoch entscheidend, ob die getesteten Videos, Ziele und Qualitätsmaßstäbe zum eigenen Prozess passen. Diese Einschränkung folgt aus dem Unterschied zwischen einem standardisierten Benchmark und einer organisationsspezifischen Validierung; das Paper selbst liefert keine Ergebnisse für einzelne Unternehmensworkflows.

Quellen

1. [1] OmniCompass A Holistic Benchmark for Omni-Modal Video Grounding and Understanding paper: — https://x.com/_akhaliq/status/2111145194511012301 (abgerufen am 2026-10-16)
2. [2] Paper page - OmniCompass: A Holistic Benchmark for Omni-Modal Video Grounding and Understanding — https://huggingface.co/papers/2610.18829 (abgerufen am 2026-10-16)
3. [4] 1Overall model performance on OmniCompass-VL. Gemini-3.8-Flash and Kimi-K3 achieve the highest scores among proprietary and open-source models, respectively, at 42.8% and 39.6%. — https://arxiv.org/html/2610.18829v1 (abgerufen am 2026-10-16)