LongVideoBench: Ein Maßstab für das Verständnis langer Videos

Einführung

Mit der rasanten Weiterentwicklung von multimodalen großen Modellen (Large Multimodal Models, LMMs) ist die Fähigkeit zur Verarbeitung längerer und reichhaltigerer Eingaben erheblich gestiegen. Bisher fehlte es jedoch an öffentlichen Benchmarks, die diese Entwicklung messen können. Um diese Lücke zu schließen, wurde LongVideoBench eingeführt, ein Benchmark zur Fragebeantwortung, der video-sprachlich ineinander greifende Eingaben von bis zu einer Stunde Länge umfasst. Dieser Artikel beleuchtet die Herausforderungen und die Bedeutung von LongVideoBench als Maßstab für das Verständnis langer Videos.

Hintergrund

Die Verarbeitung von langen Kontexten ist für viele aktuelle Modelle eine Herausforderung. Während Text-LLMs (Large Language Models) wie GPT-4o in der Lage sind, bis zu 128.000 Tokens zu verarbeiten, fehlt es an Benchmarks, die die multimodale Verarbeitung langer Videos bewerten. LongVideoBench zielt darauf ab, diese Lücke zu schließen, indem es die Fähigkeit von LMMs untersucht, detaillierte multimodale Informationen aus langen Eingaben zu extrahieren und darüber zu schlussfolgern.

Der Benchmark

LongVideoBench umfasst 3.763 Videos unterschiedlicher Länge mit ihren Untertiteln, die aus dem Web gesammelt wurden. Diese Videos decken eine Vielzahl von Themen ab, darunter Filme, Nachrichten, Lebensführung und Wissen. Der Benchmark besteht aus 6.678 menschlich annotierten Multiple-Choice-Fragen in 17 feinkörnigen Kategorien.

Aufgabenstellung

Die Kernaufgabe von LongVideoBench ist das "Referring Reasoning". Dabei handelt es sich um eine Frage-Antwort-Aufgabe, bei der die Frage einen Verweis auf einen bestimmten Videokontext enthält, der als "referred context" bezeichnet wird. Das Modell muss in der Lage sein, relevante Videodetails aus diesem Kontext abzurufen und darüber zu schlussfolgern.

Herausforderungen

LongVideoBench stellt selbst für die fortschrittlichsten proprietären Modelle wie GPT-4o erhebliche Herausforderungen dar. Die Fähigkeit, mehr Frames zu verarbeiten, ist entscheidend für die Verbesserung der Leistung auf diesem Benchmark. Open-Source-Modelle zeigen hierbei eine noch größere Leistungslücke.

Methodik

Um die Fähigkeiten zur Verarbeitung langer multimodaler Kontexte zu bewerten, wurden zwei wesentliche Fähigkeiten identifiziert:

- Die Wahrnehmung spezifischer multimodaler Details als Reaktion auf Benutzeranfragen. - Die Fähigkeit, diese Details kohärent und kontextuell zu verknüpfen und darüber zu schlussfolgern.

Entwicklung von LongVideoBench

Der Benchmark wurde entwickelt, um die oben genannten Fähigkeiten zu testen. Dies geschieht durch die Einführung einer verweisenden Abfrage, die auf bestimmte Videokontexte verweist. Das Modell wird dann mit einer Frage konfrontiert, die sich auf diesen Kontext bezieht, und muss seine multimodalen Verständnisfähigkeiten unter Beweis stellen.

Kategorien und Fragen

Die Fragen in LongVideoBench sind in zwei Hauptkategorien unterteilt: Wahrnehmungsfragen und Relationsfragen. Wahrnehmungsfragen erfordern, dass das Modell visuelle Details in einer einzelnen Videosequenz erkennt, wie z.B. Objekte, Attribute und Ereignisse. Relationsfragen erfordern, dass das Modell mehrere Szenen miteinander verknüpft und Fragen zu deren zeitlicher Reihenfolge, Attributänderungen oder zur Verfolgung von Objekten beantwortet.

Bewertung und Ergebnisse

Die Bewertungsergebnisse zeigen, dass LongVideoBench erhebliche Herausforderungen für bestehende Modelle darstellt. Proprietäre Modelle wie GPT-4o zeigen bessere Leistungen, wenn sie in der Lage sind, mehr Frames zu verarbeiten, während Open-Source-Modelle hier nicht richtig skalieren können.

Fazit

LongVideoBench bietet wertvolle Einblicke in die Fähigkeiten und Defizite bestehender Modelle und stellt damit eine wichtige Ressource für die zukünftige Forschung zur multimodalen Langkontextverarbeitung dar. Es ist ein umfassender Benchmark, der die Entwicklung und Bewertung zukünftiger Generationen von LMMs unterstützt.

Zusammenfassung

- Einführung von LongVideoBench als Benchmark für das Verständnis langer Videos - Fokus auf die Aufgabe des "Referring Reasoning" - Umfassende Bewertung von proprietären und Open-Source-Modellen - Hervorhebung der Herausforderungen und Defizite bestehender Modelle - Einblicke und Richtungen für zukünftige Forschung

Bibliographie

- https://arxiv.org/html/2407.15754v1 - https://openai.com/index/gpt-4o-mini-advancing-cost-efficient-intelligence/ - https://www.youtube.com/watch?v=Q04_6j5CyRM - https://arxiv.org/html/2306.05424v2 - https://www.analyticsvidhya.com/blog/2024/07/gpt-4o-mini/ - https://www.youtube.com/watch?v=KggbbnGPhtk - https://www.linkedin.com/posts/colin-jarvis-50019658_introduction-to-gpt-4o-openai-cookbook-activity-7196546535512252418-LqxI