Einführung in das MME-RealWorld-Projekt

Die umfassende Bewertung von Multimodalen Großen Sprachmodellen (MLLMs) hat in der Forschungsgemeinschaft zuletzt viel Aufmerksamkeit erregt. Die bestehenden Benchmarks weisen jedoch mehrere gemeinsame Barrieren auf, die es erschweren, die signifikanten Herausforderungen zu messen, denen Modelle in der realen Welt gegenüberstehen. Zu diesen Barrieren gehören:

• Geringe Datenmengen führen zu großen Leistungsunterschieden.
• Die Abhängigkeit von modellbasierten Anmerkungen führt zu eingeschränkter Datenqualität.
• Unzureichende Aufgabenkomplexität, insbesondere durch begrenzte Bildauflösung.

Das MME-RealWorld-Projekt

Um diese Herausforderungen zu bewältigen, wurde MME-RealWorld ins Leben gerufen. Im Rahmen dieses Projekts wurden mehr als 300.000 Bilder aus öffentlichen Datensätzen und dem Internet gesammelt, von denen 13.366 qualitativ hochwertige Bilder für die Annotation ausgewählt wurden. Diese Aufgabe wurde von 25 professionellen Annotatoren und 7 Experten für MLLMs durchgeführt, was zu 29.429 Frage-Antwort-Paaren führte, die 43 Unteraufgaben in fünf realen Szenarien abdecken, die selbst für Menschen extrem herausfordernd sind.

Merkmale von MME-RealWorld

MME-RealWorld unterscheidet sich von bestehenden Benchmarks durch fünf Hauptmerkmale:

• Skalierung, Vielfalt und realer Nutzen: Die Bildthemen decken sechs Schlüsselbereiche und 14 Unterklassen ab, was eine hoch diverse Menge an Bildern bietet. Die 43 Unteraufgaben sind eng mit realen spezifischen Aufgaben verbunden und bieten einen hohen praktischen Wert. Dies macht MME-RealWorld zum größten vollständig manuell annotierten MLLM-Benchmark.
• Qualität: (1) Bildauflösung – Viele Bilddetails enthalten wichtige Informationen, wie z.B. eine Anzeigetafel bei einem Sportereignis. Nur mit hochauflösenden Bildern können solche kritischen Details verstanden werden. (2) Annotation – Alle Annotationen wurden manuell durchgeführt, wobei die Ergebnisse von 7 Experten gegengeprüft wurden, um die Datenqualität sicherzustellen.
• Sicherheit: Unsere Daten überschneiden sich nicht mit bestehenden MLLM-Benchmarks, was das Risiko von Datenlecks minimiert. Darüber hinaus basieren unsere Annotationen nicht auf Modellen, wodurch Modellverzerrungen vermieden werden. Mit über 30 Annotatoren, darunter mehrere mit fachlichem Wissen, stellen wir sicher, dass unser Datensatz keine signifikanten persönlichen Verzerrungen aufweist.
• Schwierigkeit und Unterscheidbarkeit: Die Herausforderungen des Datensatzes liegen hauptsächlich in den Bereichen Leistung, Unterscheidbarkeit und Berechnung. Die hochauflösenden Bilder stellen auch eine Herausforderung für die Berechnungseffizienz dar.
• MME-RealWorld-CN: Wir haben zusätzliche Bilder gesammelt und sichergestellt, dass alle Bilder sich auf chinesische Szenarien konzentrieren, wobei chinesische Arbeitskräfte für die Annotation eingesetzt wurden. Dies führte zu 5.917 QA-Paaren.

Evaluation und Ergebnisse

Wir führten eine umfassende Evaluation mit 28 prominenten MLLMs durch, darunter GPT-4o, Gemini 1.5 Pro und Claude 3.5 Sonnet. Unsere Ergebnisse zeigen, dass selbst die fortschrittlichsten Modelle Schwierigkeiten mit unseren Benchmarks haben, wobei keines von ihnen eine Genauigkeit von 60% erreicht. Die Herausforderungen bei der Wahrnehmung hochauflösender Bilder und dem Verständnis komplexer realer Szenarien bleiben dringende Probleme, die angegangen werden müssen.

Experimentelle Ergebnisse

Die Evaluierungsergebnisse verschiedener MLLMs auf den Wahrnehmungsaufgaben und den Aufgaben des logischen Denkens zeigen deutliche Unterschiede zwischen den Modellen. Frühe Arbeiten wie LLaVA zeigen eine klare Lücke zu fortschrittlicheren Modellen.

Schlussfolgerung und Zukunftsaussichten

MME-RealWorld ist der größte manuell annotierte Benchmark, der sich auf reale Anwendungen konzentriert und die höchste Auflösung bietet. Wir hoffen, dass MME-RealWorld die Forschungsgemeinschaft dazu inspiriert, dieses Feld weiter zu verbessern und weiterzuentwickeln. Die Daten und der Evaluierungscode sind unter https://mme-realworld.github.io/ verfügbar.

Bibliographie

- https://github.com/BradyFU/Awesome-Multimodal-Large-Language-Models - https://www.pudn.com/Download/item/id/1724054326648960.html - https://lamarr-institute.org/blog/multimodality-llms/ - https://arxiv.org/html/2306.13549v2 - https://huyenchip.com/2023/10/10/multimodal.html - https://arxiv.org/html/2405.10739v1 - https://cvpr.thecvf.com/virtual/2024/tutorial/23717 - https://github.com/Yangyi-Chen/Multimodal-AND-Large-Language-Models - https://www.youtube.com/watch?v=7wUOESMtaVA