Können Multimodale Große Sprachmodelle die tiefere Bedeutung hinter chinesischen Bildern verstehen?

Mit der rasanten Weiterentwicklung der künstlichen Intelligenz haben Multimodale Große Sprachmodelle (MLLMs) außergewöhnliche Leistungen in verschiedenen Bereichen erbracht, darunter Computer Vision und Verarbeitung natürlicher Sprache. Diese Modelle können nicht nur Text verarbeiten und generieren, sondern zeichnen sich auch durch die Integration und Interpretation von Informationen aus mehreren Modalitäten wie Bildern, Ton und Video aus.

Trotz des bedeutenden Fortschritts bei Aufgaben wie der Bilderkennung und -generierung stellt sich jedoch eine entscheidende Forschungsfrage: Können diese Modelle Bilder, die tiefgreifende Bedeutungen haben, wirklich verstehen und interpretieren? Während englische Bilder oft eine direkte Symbolik verwenden, zeichnen sich chinesische Bilder durch komplexere Szenen und tiefere Bedeutungen aus, insbesondere solche, die mit der traditionellen chinesischen Kultur verbunden sind.

Die Herausforderung der Interpretation chinesischer Bilder

Chinesische Bilder, insbesondere traditionelle Malerei und Kunstwerke, verkörpern oft tiefgründige philosophische Konzepte und kulturelle Nuancen, die über die reine Darstellung hinausgehen. Sie betonen die Schaffung von Atmosphäre und subtilen Ausdruck und erfordern vom Betrachter ein gewisses kulturelles Verständnis, um ihre Bedeutung vollständig zu erfassen.

Beispielsweise vermitteln traditionelle chinesische Landschaftsbilder nicht nur natürliche Szenerien, sondern auch tiefgehende philosophische Konzepte wie die Harmonie zwischen Mensch und Natur. Sie verwenden künstlerische Techniken, die ein tiefes Verständnis der chinesischen Kultur erfordern, um ihre Bedeutung zu entschlüsseln.

CII-Bench: Ein Benchmark für das Verständnis chinesischer Bilder

Um diese Lücke zu schließen, wurde CII-Bench entwickelt, ein Benchmark, der entwickelt wurde, um die Fähigkeiten von Modellen zur Wahrnehmung, Argumentation und zum Verständnis höherer Ordnung im chinesischen Kontext umfassend zu testen.

CII-Bench besteht aus einer Sammlung chinesischer Bilder und Multiple-Choice-Fragen, die verschiedene Bereiche abdecken, darunter Leben, Kunst, Gesellschaft, Politik, Umwelt und traditionelle chinesische Kultur. Der Benchmark umfasst verschiedene Bildtypen wie Illustrationen, Memes, Poster, Comics und Gemälde, um eine robuste Bewertung der Verständnis- und Argumentationsfähigkeiten von Modellen zu ermöglichen.

Wichtige Erkenntnisse aus Experimenten mit CII-Bench

Umfassende Experimente mit CII-Bench unter Verwendung verschiedener MLLMs haben wichtige Erkenntnisse darüber geliefert, wie gut Modelle die Bedeutung hinter chinesischen Bildern verstehen können. Zu den wichtigsten Ergebnissen gehören:

• Es besteht eine deutliche Leistungslücke zwischen MLLMs und Menschen. Während Modelle eine maximale Genauigkeit von 64,4 % erreichen, liegt die durchschnittliche Genauigkeit beim Menschen bei 78,2 % und erreicht in einigen Fällen sogar 81,0 %.
• Modelle schneiden bei Bildern der traditionellen chinesischen Kultur deutlich schlechter ab als in anderen Bereichen, was darauf hindeutet, dass es ihnen derzeit an einem tiefen Verständnis der chinesischen Kultur mangelt.
• Die Einbeziehung von Hinweisen auf die Bildstimmung in die Eingabeaufforderungen verbessert die Modellbewertungen im Allgemeinen, was darauf hindeutet, dass Modelle Schwierigkeiten haben, Emotionen zu verstehen, was zu einer falschen Interpretation der impliziten Bedeutungen in den Bildern führt.

Die Zukunft des Verständnisses chinesischer Bilder durch KI

CII-Bench ist ein wichtiger Schritt, um die Grenzen des Verständnisses komplexer Bilder durch KI zu erweitern. Es unterstreicht die Herausforderungen, die sich aus kulturellen Nuancen und der Notwendigkeit eines tiefen Verständnisses ergeben, um die tiefere Bedeutung hinter Bildern zu erfassen.

Die kontinuierliche Forschung und Entwicklung in diesem Bereich wird sich darauf konzentrieren, die Fähigkeit von MLLMs zu verbessern, die subtilen Bedeutungen zu verstehen, die in Bildern aus verschiedenen Kulturen eingebettet sind. Dies wird den Weg für KI-Systeme ebnen, die in der Lage sind, Bilder auf eine Weise zu interpretieren und mit ihnen zu interagieren, die dem menschlichen Verständnis näher kommt.

Bibliographie

* Zhang, C., Feng, X., Bai, Y., et al. (2024). Can MLLMs Understand the Deep Implication Behind Chinese Images? arXiv preprint arXiv:2410.13854. * Liu, W., Zhou, P., Zhao, Z., et al. (2023). Pre-training multimodal large language models. arXiv preprint arXiv:2302.00923. * Li, J., Selvaraju, R., Gotmare, A., et al. (2023). AlignMMBench: Evaluating Chinese Multimodal Alignment in Large Vision-Language Models. arXiv preprint arXiv:2305.01628. * Zhai, B. (2024). Key Insights into the Law of Vision Representations in MLLMs. Hugging Face Blog. https://huggingface.co/blog/Borise/law-vision-representation-in-mllms