Die Übertragung von zeitlichem Denken von Text auf Video

Große Sprachmodelle für Videos (Video-LLMs) haben vielversprechende Fähigkeiten im Bereich des Videoverständnisses gezeigt. Allerdings haben sie Schwierigkeiten, zeitliche Veränderungen zu verfolgen und über zeitliche Beziehungen zu schlussfolgern. Bisher wurde diese Einschränkung auf die ineffektive zeitliche Kodierung visueller Eingaben zurückgeführt. Neue Studien zeigen jedoch, dass Videorepräsentationen genügend Informationen enthalten, sodass selbst kleine, untersuchende Klassifikatoren eine perfekte Genauigkeit erreichen können.

Der Engpass liegt im zugrunde liegenden LLM

Überraschenderweise liegt der eigentliche Engpass in der Fähigkeit der Video-LLMs zum zeitlichen Denken im zugrunde liegenden LLM selbst begründet. Dieser hat Schwierigkeiten mit zeitlichen Konzepten, was sich in der schwachen Leistung bei Aufgaben zur Beantwortung textlicher zeitlicher Fragen zeigt.

Diese Erkenntnis führte zur Entwicklung des "Textual Temporal Reasoning Transfer" (T3). T3 synthetisiert verschiedene zeitliche Denkaufgaben im reinen Textformat aus bestehenden Bild-Text-Datensätzen. Dieser Ansatz umgeht die Knappheit von Videoproben mit komplexen zeitlichen Szenarien.

T3 verbessert das zeitliche Verständnis von Video-LLMs

Bemerkenswerterweise verbessert T3 das zeitliche Verständnis von LongVA-7B, ohne dass Videodaten verwendet werden. Dies führt zu einer Verbesserung der absoluten Genauigkeit um 5,3 Punkte im anspruchsvollen TempCompass-Benchmark. Damit übertrifft das Modell sogar ShareGPT4Video-8B, das mit 28.000 Videoproben trainiert wurde.

Darüber hinaus erzielt das verbesserte LongVA-7B-Modell eine konkurrenzfähige Leistung bei umfassenden Video-Benchmarks. Beispielsweise erreicht es eine Genauigkeit von 49,7 % bei der Aufgabe "Temporal Reasoning" von Video-MME und übertrifft damit leistungsstarke, große Modelle wie InternVL-Chat-V1.5-20B und VILA1.5-40B.

Starke Korrelation zwischen Text- und Videoaufgaben

Weitere Analysen zeigen eine starke Korrelation zwischen der Leistung bei textlichen und videobasierten zeitlichen Aufgaben. Dies bestätigt die Wirksamkeit der Übertragung von Fähigkeiten zum zeitlichen Denken von Text- auf Videobereiche. Die Ergebnisse unterstreichen das Potenzial textbasierter Trainingsdaten für die Verbesserung der zeitlichen Argumentationsfähigkeit von Video-LLMs.

Die zukünftige Forschung könnte sich auf die Entwicklung noch komplexerer textbasierter Aufgaben konzentrieren, die ein breiteres Spektrum an zeitlichen Beziehungen abdecken. Darüber hinaus könnten Methoden zur Anpassung von T3 an spezifischere Video-Domänen untersucht werden, um die Leistung in diesen Bereichen weiter zu verbessern.

Schlussfolgerung

Die Übertragung von zeitlichem Denken von Text auf Video stellt einen vielversprechenden Ansatz dar, um die Fähigkeiten von Video-LLMs zu verbessern. Durch die Nutzung der Leistungsfähigkeit großer Sprachmodelle im Textbereich können wir die Grenzen des Videoverständnisses erweitern und neue Möglichkeiten für Anwendungen schaffen, die ein tiefes Verständnis zeitlicher Zusammenhänge erfordern.

Bibliographie

https://huggingface.co/papers/2410.06166 https://huggingface.co/papers https://arxiv.org/abs/2402.11435 https://openaccess.thecvf.com/content/CVPR2024/papers/Kahatapitiya_VicTR_Video-conditioned_Text_Representations_for_Activity_Recognition_CVPR_2024_paper.pdf https://openaccess.thecvf.com/content/CVPR2024/papers/Menapace_Snap_Video_Scaled_Spatiotemporal_Transformers_for_Text-to-Video_Synthesis_CVPR_2024_paper.pdf https://arxiv.org/html/2304.02560v2 https://www.researchgate.net/publication/261714373_A_Novel_Approach_for_Video_Temporal_Annotation https://web.pkusz.edu.cn/adsp/files/2023/04/%E9%82%B9%E6%9C%88%E5%A8%B4%E8%AE%BA%E6%96%8714-%E6%9B%B9%E8%92%99ECCV2022%EF%BC%88%E6%9B%B4%E6%96%B0%E8%87%B3%E7%BD%91%E7%AB%99%EF%BC%89.pdf https://www.researchgate.net/publication/366107214_Transferring_Image-CLIP_to_Video-Text_Retrieval_via_Temporal_Relations https://paperswithcode.com/task/temporal-relation-extraction?page=3&q=