Neuer Ansatz zur Videokomprimierung durch KI für effizientes Videoverständnis

Effizientes Videoverständnis durch KI: Ein neuer Ansatz zur Videokomprimierung

Die Verarbeitung von Videos durch Künstliche Intelligenz (KI) stellt aufgrund der enormen Datenmengen eine Herausforderung dar. Gerade große multimodale Modelle (LMMs), die sowohl Text als auch visuelle Informationen verarbeiten, benötigen immense Rechenleistung. Ein neuer Ansatz, der unter dem Namen "Quicksviewer" entwickelt wurde, verspricht hier Abhilfe durch eine innovative Methode der Videokomprimierung.

Dynamische Komprimierung durch "Video Cubes"

Herkömmliche LMMs analysieren jeden Videoframe mit der gleichen Intensität, unabhängig vom Informationsgehalt. Quicksviewer hingegen teilt Videos dynamisch in sogenannte "Video Cubes" ein. Diese Cubes variieren in ihrer Länge und repräsentieren Abschnitte mit unterschiedlicher Informationsdichte. Die Grundlage für diese Segmentierung bildet der Gumbel-Softmax-Algorithmus, der eine probabilistische Zuordnung der Frames zu den Cubes ermöglicht.

Jeder Cube wird anschließend einheitlich neu abgetastet, was zu einer signifikanten Reduktion der räumlichen und zeitlichen Redundanz führt. Die Entwickler sprechen von einer durchschnittlichen Komprimierungsrate von 45x. Dieser Ansatz ermöglicht nicht nur eine effizientere Verarbeitung, sondern auch ein Training mit einem größeren rezeptiven Feld, was das Verständnis von längeren Videosequenzen verbessert.

Dreistufiges Training für verbesserte Leistung

Das Training von Quicksviewer erfolgt in drei progressiven Stufen, ausgehend von einem Sprachmodell. In jeder Stufe werden längere Videos mit einer durchschnittlichen Länge von 420 Sekunden (bei 1 Frame pro Sekunde) verwendet. Die effiziente Verarbeitung durch die dynamische Komprimierung ermöglicht die Nutzung solch umfangreicher Videodaten. Bemerkenswert ist, dass das Modell mit lediglich 0,8 Millionen Video-Text-Beispielen trainiert wurde.

Überzeugende Ergebnisse im Vergleich zu herkömmlichen Methoden

Im Vergleich zu einem Baseline-Modell mit fester Partitionierung erzielt Quicksviewer eine signifikante Verbesserung der Genauigkeit von bis zu 8,72 Prozentpunkten. Auch auf dem Benchmark-Datensatz Video-MME erreicht Quicksviewer State-of-the-Art-Ergebnisse bei moderaten Sequenzlängen, wobei nur bis zu 5% der Tokens pro Frame benötigt werden, die von Baseline-Modellen verwendet werden. Die Skalierung der Anzahl der Eingangsframes zeigt ein klares Potenzgesetz der Modellfähigkeiten.

Darüber hinaus haben empirische Tests gezeigt, dass die durch das Cubing-Netzwerk generierten Segmente die Analyse von kontinuierlichen Ereignissen in Videos unterstützen. Dies eröffnet neue Möglichkeiten für die Anwendung von KI in Bereichen wie Videoanalyse, Videoüberwachung und Inhaltserstellung.

Ausblick

Quicksviewer stellt einen vielversprechenden Ansatz für effizientes Videoverständnis dar. Die dynamische Komprimierung durch Video Cubes ermöglicht eine deutlich reduzierte Rechenlast und gleichzeitig eine verbesserte Leistung. Zukünftige Forschung könnte sich auf die Optimierung des Cubing-Algorithmus und die Anwendung des Modells auf weitere Videoaufgaben konzentrieren.

Bibliographie: https://arxiv.org/abs/2504.15270 https://arxiv.org/html/2504.15270v1 https://chatpaper.com/chatpaper/?id=4&date=1745251200&page=1 https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models https://deeplearn.org/ https://openaccess.thecvf.com/content/ACCV2022/papers/Wiles_Compressed_Vision_for_Efficient_Video_Understanding_ACCV_2022_paper.pdf https://eccv.ecva.net/virtual/2024/events/oral https://proceedings.neurips.cc/paper_files/paper/2024 https://cvpr.thecvf.com/Conferences/2025/AcceptedPapers https://neurips.cc/virtual/2024/events/datasets-benchmarks-2024