Schwächen multimodaler KI-Modelle in der visuellen Wahrnehmung: Ergebnisse der PerceptionBench-Studie

Die Leistungsfähigkeit künstlicher Intelligenz (KI) hat in den letzten Jahren beeindruckende Fortschritte gemacht, insbesondere im Bereich der Sprachmodelle. Doch wie verhält es sich mit der visuellen Wahrnehmung, einer Kernkompetenz, die für viele reale Anwendungen entscheidend ist? Eine aktuelle Studie, initiiert von Moonshot AI, wirft ein differenziertes Licht auf diese Frage und zeigt, dass selbst die fortschrittlichsten multimodalen KI-Modelle (Multimodal Large Language Models, MLLMs) bei grundlegenden visuellen Aufgaben noch erhebliche Defizite aufweisen.

PerceptionBench: Eine neue Messlatte für visuelle KI-Wahrnehmung

Das Forschungsteam hinter dem chinesischen KI-Assistenten Kimi hat eine neue Benchmark namens PerceptionBench eingeführt. Ziel dieser Benchmark ist es, die visuelle Wahrnehmung von MLLMs isoliert zu bewerten, das heisst, unabhängig von logischem Denken oder der Anwendung externen Wissens. Herkömmliche Testmethoden vermischen oft Wahrnehmung, Wissen und Schlussfolgerung, was eine präzise Analyse der visuellen Fähigkeiten erschwert.

PerceptionBench zerlegt die visuelle Wahrnehmung in zehn atomare Unterfähigkeiten. Jede der 3.000 verifizierten Aufgaben kann allein durch das Betrachten eines Bildes beantwortet werden, ohne dass logische Überlegungen oder externes Wissen erforderlich sind. Dies ermöglicht eine genaue Identifizierung, wo genau die visuellen Fähigkeiten der Modelle an ihre Grenzen stossen.

Entwicklung der Testkategorien basierend auf realen Fehlern

Der Ansatz zur Definition der Testkategorien ist bemerkenswert: Anstatt theoretische Kategorien vorab festzulegen, analysierten die Forscher bestehende Fehler von MLLMs in 42 Open-Source-Benchmarks. Sie verfolgten jeden Fehler bis zu seinem frühesten Scheitern zurück, um eine Taxonomie von zehn «Fähigkeitsdomänen» zu erstellen. Diese umfassen unter anderem:

• Visuelle Beziehungen (Visual Relation)
• Zählen (Counting)
• Attribute
• Tiefen- und 3D-Wahrnehmung (Depth & 3D)
• Lokalisierung (Localization)
• Vergleich (Comparison)
• Feingranulare Erkennung (Fine-grained Recognition)
• Kontextintegration (Context Integration)
• Optische Zeichenerkennung (OCR)
• Halluzination (Hallucination)

Von einem internen Pool von über 17.000 Fragen wurden 3.000 Aufgaben für die Veröffentlichung ausgewählt. 60 Prozent davon basierten auf identifizierten Modellfehlern, während die restlichen 40 Prozent durch die Verwendung augmentierter Bilder neu formuliert wurden. Die Aufgaben erscheinen auf den ersten Blick trivial, beispielsweise das Zählen von Blumen in einem roten Kasten oder das Erkennen der Position eines Symbols auf einem Zifferblatt.

Ergebnisse: Kein Modell erreicht 60 Prozent Genauigkeit

Die Ergebnisse der PerceptionBench-Tests sind aufschlussreich: Keines der 16 getesteten Frontier-Modelle erreichte eine Gesamtgenauigkeit von 60 Prozent. Das führende Modell, GPT-5.6 Sol, erzielte 59,7 Prozent, gefolgt von Kimi K3 mit 58,5 Prozent und Claude Fable 5 mit 57,2 Prozent. Auch Gemini 3.1 Pro (56,2 Prozent) und GPT-5.5 (55,8 Prozent) lagen unter dieser Marke. Open-Source-Modelle wie Qwen3.5-397B-A17B (47,5 Prozent) und GLM-4.6V (32,5 Prozent) zeigten deutlich schwächere Leistungen.

Besonders interessant sind die Ergebnisse auf Kategorieebene. Obwohl Modelle ähnliche Gesamtwerte aufweisen können, divergieren ihre Leistungen in einzelnen Kategorien erheblich. Die Fähigkeit zur «Halluzination» – das Erfinden von Objekten, die nicht existieren – erwies sich im Durchschnitt als die grösste Schwäche. GPT-5.6 Sol erreichte hier lediglich 26,9 Prozent, während das schwächere Gemini 3.5 Flash mit 50,6 Prozent zu den besseren Modellen zählte.

Wahrnehmungsfehler als Ursache für Denkfehler

Die Autoren von PerceptionBench argumentieren, dass viele Fehler in multimodalen Modellen, die typischerweise als «Denkfehler» klassifiziert werden, tatsächlich auf der Wahrnehmungsebene ihren Ursprung haben. Wenn ein Modell eine mehrstufige Aufgabe nicht korrekt löst, ist oft bereits der erste Schritt – die korrekte Interpretation des Bildes – fehlgeschlagen.

Durch die Aufteilung komplexer Aufgaben in rein wahrnehmungsbezogene Unterfragen ermöglicht PerceptionBench die präzise Lokalisierung spezifischer visueller Fähigkeiten, die versagen. Der Datensatz und der Evaluierungscode sind auf GitHub unter MoonshotAI/PerceptionBench öffentlich zugänglich.

Ein bekanntes Problem mit begrenztem Fortschritt

Die Ergebnisse von PerceptionBench bestätigen frühere Studien, die ebenfalls auf die Schwächen von KI-Modellen in der visuellen Wahrnehmung hingewiesen haben. Moonshot AI selbst hat mit der Veröffentlichung von Kimi K3 gezeigt, dass die Lücke zu westlichen Rivalen in allgemeinen Benchmarks geschlossen werden kann. Jedoch bleibt K3 in spezialisierten Bereichen wie Cybersicherheit und komplexer Mathematik zurück. Im Bereich der visuellen Wahrnehmung liegt K3 nun auf Augenhöhe mit seinen westlichen Konkurrenten.

Ein früheres Forschungsteam hatte bereits WorldVQA veröffentlicht, eine Benchmark, die Objekterkennung von Schlussfolgerung trennt. Dort erreichte das beste Modell, Gemini 3 Pro, nur 47,4 Prozent, und alle Modelle überschätzten systematisch ihr eigenes Vertrauen. Eine weitere Studie unter Beteiligung von Moonshot AI, die den BabyVision-Benchmark nutzte, zeigte, dass Frontier-Modelle bei grundlegenden visuellen Aufgaben, die der frühkindlichen Entwicklung entsprechen – wie dem Nachzeichnen von Linien oder dem Zählen versteckter Blöcke – versagen. Hier erreichte Gemini 3 Pro 49,7 Prozent, während Menschen eine Genauigkeit von 94,1 Prozent erzielten. Die Forscher führen diese Diskrepanz auf einen «Verbalisierungsengpass» zurück, bei dem visuelle Informationen in Sprache übersetzt werden und dabei an Detailtreue verlieren.

Die Erkenntnisse aus PerceptionBench und ähnlichen Studien sind von grosser Bedeutung für die Weiterentwicklung multimodaler KI. Sie zeigen, dass trotz beeindruckender Fortschritte in anderen Bereichen die grundlegende visuelle Wahrnehmung weiterhin eine grosse Herausforderung darstellt. Für Unternehmen, die auf KI-Lösungen setzen, bedeutet dies, die aktuellen Grenzen der Technologie zu verstehen und bei der Implementierung multimodalere Systeme die visuellen Fähigkeiten kritisch zu hinterfragen.

Bibliographie:

- Jonathan Kemper. (2026). New benchmark confirms AI models still perform poorly at visual perception. The Decoder. - Moonshot AI. (2026). PerceptionBench: Evaluating Atomic Visual Perception in Multimodal Large Language Models. arXiv. - Moonshot AI. (2026). PerceptionBench: Evaluating Atomic Visual Perception in MLLMs. Kimi Blog. - MoonshotAI/PerceptionBench. (2026). GitHub Repository. - Aditya Sanjiv Kanade, Tanuja Ganu. (2026). Do You See Me : A Multidimensional Benchmark for Evaluating Visual Perception in Multimodal LLMs. ACL Anthology. - Ground Truth. (2026). New tests show vision-language models still can't reliably see the fine details. - Jiarui Zhang et al. (2026). An Exam for Active Observers. arXiv. - Tengjin Weng et al. (2026). OddGridBench: Exposing the Lack of Fine-Grained Visual Discrepancy Sensitivity in Multimodal Large Language Models. arXiv. - Jonathan Kemper. (2026). Best multimodal models still can't crack 50 percent on basic visual entity recognition. The Decoder.