MMLongBench: Neuer Benchmark für die Bewertung von Vision-Sprachmodellen mit langem Kontext

MMLongBench: Ein neuer Benchmark für Vision-Sprachmodelle mit langem Kontext

Die rasante Entwicklung im Bereich der Künstlichen Intelligenz (KI) führt zu immer leistungsfähigeren Vision-Sprachmodellen (VLMs). Besonders bemerkenswert ist die Erweiterung der Kontextfenster, die es sogenannten Long-Context Vision-Language Models (LCVLMs) ermöglicht, Hunderte von Bildern zusammen mit Text in einem einzigen Durchlauf zu verarbeiten. Um diese Fortschritte effektiv zu bewerten, wurde MMLongBench entwickelt, ein neuer Benchmark, der speziell auf die Herausforderungen von LCVLMs zugeschnitten ist.

Umfangreiche Evaluierung von LCVLMs

MMLongBench umfasst 13.331 Beispiele, die fünf verschiedene Kategorien von Aufgaben abdecken, darunter Visual Retrieval Augmented Generation (Visual RAG), Natural Instructions on Actions with Videos and Images (NIAH), Many-Shot In-Context Learning (ICL), Zusammenfassungen von PDF-Dokumenten und Long-Document Visual Question Answering (VQA). Die Vielfalt der Bildtypen, von natürlichen bis hin zu synthetischen Bildern, stellt sicher, dass die Modelle in unterschiedlichen Szenarien getestet werden.

Ein besonderes Merkmal von MMLongBench ist die standardisierte Längenkontrolle. Alle Beispiele werden in fünf festgelegten Eingabegrößen (8K, 16K, 32K, 64K und 128K Tokens) bereitgestellt. Dies wird durch ein cross-modales Tokenisierungsschema erreicht, das Bild-Patches und Text-Tokens kombiniert. Dadurch können die Auswirkungen der Kontextlänge auf die Modellleistung präzise untersucht werden.

Benchmarking von 46 Modellen liefert Einblicke

Im Rahmen des Projekts wurden 46 verschiedene LCVLMs, sowohl Closed-Source als auch Open-Source, mit MMLongBench evaluiert. Die Ergebnisse dieser umfassenden Analyse liefern wertvolle Einblicke in die aktuellen Fähigkeiten und Grenzen von LCVLMs im Umgang mit langen Kontexten.

Die Benchmarking-Ergebnisse zeigen unter anderem, dass die Leistung bei einer einzelnen Aufgabe kein zuverlässiger Indikator für die allgemeine Long-Context-Fähigkeit eines Modells ist. Sowohl Closed-Source- als auch Open-Source-Modelle stehen vor Herausforderungen bei Long-Context-Vision-Sprachaufgaben, was auf erhebliches Verbesserungspotenzial hinweist. Interessanterweise zeigen Modelle mit stärkerer Argumentationsfähigkeit tendenziell eine bessere Leistung im Long-Context-Bereich.

MMLongBench als Grundlage für zukünftige Entwicklungen

MMLongBench bietet durch die breite Aufgabenabdeckung, die Vielfalt der Bildtypen und die strenge Längenkontrolle eine solide Grundlage für die Diagnose und Weiterentwicklung der nächsten Generation von LCVLMs. Der Benchmark ermöglicht es Forschern und Entwicklern, die Stärken und Schwächen ihrer Modelle im Long-Context-Bereich zu identifizieren und gezielt Verbesserungen vorzunehmen.

Die Verfügbarkeit von MMLongBench als Open-Source-Projekt trägt dazu bei, die Forschung im Bereich der LCVLMs zu beschleunigen und die Entwicklung robusterer und leistungsfähigerer KI-Modelle zu fördern. Die gewonnenen Erkenntnisse aus dem Benchmarking können dazu beitragen, die Grenzen des Machbaren im Bereich der Vision-Sprachverarbeitung zu erweitern und neue Anwendungsmöglichkeiten für LCVLMs zu erschließen.

Bibliographie: - https://arxiv.org/abs/2505.10610 - https://huggingface.co/papers/2505.10610 - https://zhaowei-wang-nlp.github.io/MMLongBench-page/ - https://openreview.net/forum?id=loJM1acwzf&referrer=%5Bthe%20profile%20of%20Aixin%20Sun%5D(%2Fprofile%3Fid%3D~Aixin_Sun1) - https://arxiv.org/abs/2407.01523 - https://www.researchgate.net/publication/381910893_MMLongBench-Doc_Benchmarking_Long-context_Document_Understanding_with_Visualizations - https://proceedings.neurips.cc/paper_files/paper/2024/file/ae0e43289bffea0c1fa34633fc608e92-Paper-Datasets_and_Benchmarks_Track.pdf - https://huggingface.co/papers - https://nips.cc/media/neurips-2024/Slides/97524.pdf - https://github.com/Xnhyacinth/Awesome-LLM-Long-Context-Modeling