Untersuchung zeigt wesentliche Schwächen von KI-Modellen beim Verständnis von Diagrammen und abstrakten visuellen Darstellungen

Die jüngsten Fortschritte in der Künstlichen Intelligenz (KI) haben dazu geführt, dass Modelle zunehmend multimodal werden und in der Lage sind, Text, Bilder, Sprache und Video zusammen zu verarbeiten. Während diese Modelle bei natürlichen Fotos und Porträts gut abschneiden, zeigen sie signifikante Schwächen beim Verständnis abstrakter visueller Darstellungen wie Diagrammen und Grafiken. Dies ergab eine Studie der Zhejiang University in China.

Entwicklung und Methodik der Studie

Die Forscher der Zhejiang University entwickelten eine Methode namens „multimodale Selbstanweisung“, um einen vielfältigen Datensatz mit 11.193 abstrakten Bildern und zugehörigen Fragen zu erstellen. Diese Bilder deckten acht gängige Szenarien ab: Dashboards, Straßenkarten, Diagramme, Tabellen, Flussdiagramme, Beziehungsgrafiken, visuelle Rätsel und 2D-Grundrisse. Mithilfe von Python-Bibliotheken wie Matplotlib wurden die Fragen eng an die Grafiken angepasst.

Testergebnisse und Leistungsfähigkeit der Modelle

Als die Modelle auf diesem Datensatz getestet wurden, erzielten selbst fortschrittliche Modelle wie GPT-4o und Claude 3.5 Sonnet nur durchschnittliche Genauigkeiten von 64,7% bzw. 59,9% über alle Aufgaben hinweg. Dies liegt deutlich unter der menschlichen Leistung, die mindestens 82,1% betrug.

„Unser Benchmark zeigt, dass aktuelle multimodale Sprachmodelle weit von einer menschlichen Leistungsfähigkeit entfernt sind. Sie scheitern sogar an einfachen alltäglichen Aufgaben, z. B. das Ablesen der Uhrzeit auf einer Uhr oder das Planen einer Route mithilfe einer Karte“, schlussfolgern die Forscher.

Schwächen bei spezifischen Aufgaben

Ein Beispiel: GPT-4o erzielte nur eine Genauigkeit von 54,8% bei Dashboard-Aufgaben, die das Ablesen von Uhren und Zählern beinhalteten. Die Modelle hatten auch Schwierigkeiten mit räumlichen Beziehungen in Grundrissen und machten Fehler bei abstrakten Konzepten in Diagrammen und Grafiken.

Offene Modelle schnitten noch schlechter ab, insbesondere bei Aufgaben des visuellen Denkens. Während geschlossene Modelle wie Claude 3.5 Sonnet bis zu 62% Genauigkeit bei der Navigation von Straßenkarten und visuellen Rätseln erreichten, lagen die kleineren offenen Modelle unter 20%.

Verbesserung durch synthetische Daten

Um zu testen, ob synthetische Daten die Leistung verbessern könnten, passten die Forscher das offene Llava-1.5-7B-Modell mit 62.476 Anweisungen für Grafiken, Tabellen und Straßenkarten an. Dies steigerte die Genauigkeit bei Straßenkartenaufgaben auf 67,7%, was GPT-4V um 23,3% übertraf.

Der Ansatz beruht auf geschlossenen Modellen wie GPT-4o zur Erstellung hochwertiger Referenzdaten, was kostspielig ist. Zukünftige Arbeiten zielen darauf ab, offene Modelle wie LLaMA 3 oder DeepSeek-V2 zu verwenden.

Ausblick und zukünftige Entwicklungen

Die Forscher planen, über die aktuellen acht Szenarien hinaus zu erweitern und die Auflösung des visuellen Encoders zu erhöhen, den sie als eine wesentliche Einschränkung der aktuellen multimodalen Sprachmodelle ansehen.

Diese Studie trägt zu den wachsenden Beweisen bei, dass die Bildverarbeitung in großen Sprachmodellen je nach Nutzungsszenario noch nicht ausgereift ist. Eine kürzlich durchgeführte Studie zeigte, dass LMMs Probleme haben, spezifische visuelle Objekte in großen Bildsätzen zu finden.

Fazit

Die aktuellen Schwächen von KI-Modellen beim Verständnis abstrakter visueller Darstellungen stellen eine bedeutende Herausforderung dar, insbesondere in professionellen Bereichen, die stark auf solche Informationen angewiesen sind. Die Verbesserung dieser Fähigkeiten könnte die Anwendbarkeit von KI in zahlreichen Branchen erheblich erweitern und ihre Effizienz und Zuverlässigkeit erhöhen.

Bibliografie

- https://www.sciencedirect.com/science/article/pii/S2666990024000132 - https://www.europarl.europa.eu/RegData/etudes/STUD/2020/634452/EPRS_STU(2020)634452_EN.pdf - https://www.researchgate.net/publication/354639860_Is_AI_Ground_Truth_Really_True_The_Dangers_of_Training_and_Evaluating_AI_Tools_Based_on_Experts'_Know-What - https://www.sciencedirect.com/science/article/pii/S0268401223000233 - https://www.europarl.europa.eu/RegData/etudes/STUD/2020/641547/EPRS_STU(2020)641547_EN.pdf - https://www.researchgate.net/publication/342714900_Self-explaining_AI_as_an_Alternative_to_Interpretable_AI - https://langchain-ai.github.io/langgraph/tutorials/reflexion/reflexion/ - https://www.academia.edu/84865458/The_Impacts_of_Artificial_Intelligence_on_Management_Accounting_Students_a_Case_Study_at_Oulu_Business_School_University_of_Oulu?uc-sb-sw=15781961 - https://he02.tci-thaijo.org/index.php/sirirajmedj/article/download/260240/177493/991602 - https://core.ac.uk/download/pdf/195632977.pdf