Neuer Datensatz CoVA-SFT verbessert multimodales Denken in Sprachmodellen

Die Forschung im Bereich der Künstlichen Intelligenz schreitet in rasantem Tempo voran, insbesondere bei großen Sprachmodellen (Large Language Models, LLMs) und multimodalen Modellen. Ein zentraler Fortschritt in der Fähigkeit von LLMs, komplexe Probleme zu lösen, war die Einführung des Chain-of-Thought (CoT) Reasoning. Dieses Konzept ermöglicht es Modellen, Probleme in Zwischenschritte zu zerlegen und somit detailliertere und kohärentere Lösungen zu erarbeiten. Während CoT sich für rein sprachliche Aufgaben als äußerst effektiv erwiesen hat, stellt die Übertragung dieser Methode auf visuelle Probleme eine Herausforderung dar. Hier setzt die Entwicklung des CoVA-SFT-Datensatzes an, der darauf abzielt, multimodale Sprachmodelle (Multimodal Language Models, MLLMs) zu befähigen, visuelle und textuelle Informationen nahtlos in ihren Denkprozess zu integrieren.

Die Herausforderung visuellen Denkens in LLMs

Traditionelle CoT-Ansätze sind primär auf Text ausgelegt. Wenn diese Ansätze auf visuelle Probleme angewendet werden, müssen Modelle visuelle Informationen in eine textuelle Form serialisieren. Dies kann zu einer umständlichen und potenziell ungenauen Darstellung komplexer visueller Sachverhalte führen. Die menschliche Kognition hingegen verknüpft visuelle und sprachliche Informationen intuitiv und dynamisch. Um diese Fähigkeit in KI-Modellen zu replizieren, bedarf es neuer Ansätze, die über reine Textverarbeitung hinausgehen.

Obwohl architektonische Lösungen für die Verarbeitung visueller Eingaben existieren, fehlte der Forschungsgemeinschaft bisher ein umfangreicher, mehrschrittiger und selbstkorrigierender Datensatz. Ein solcher Datensatz ist entscheidend, um Modellen beizubringen, wie sie interne visuelle Arbeitsbereiche aufbauen und pflegen können, selbst wenn sie primär textuelle Denkaufgaben lösen. Diese Lücke soll durch CoVA-SFT geschlossen werden.

CoVA-SFT: Ein neuer Ansatz für multimodales Reasoning

CoVA-SFT (Chain of Visual Abstractions - Supervised Fine-Tuning) ist ein großskaliger Datensatz, der speziell dafür entwickelt wurde, MLLMs das Verknüpfen von Text- und visuellen Abstraktionen durch strukturierte Denkschritte zu lehren. Der Datensatz besteht aus 51.900 hochstrukturierten Beispielen, die über 222.000 multimodale Denkschritte umfassen. Diese sind auf 5 verschiedene Layout-Familien und 17 komplexe Aufgaben verteilt. Die Struktur des Datensatzes ist darauf ausgelegt, Modelle in die Lage zu versetzen, explizite Begründungsformulierungen, agentische Renderings und Verifikationsschleifen zu nutzen.

Schlüsselkomponenten von CoVA-SFT

• Umfangreiche Datengrundlage: Mit 51.900 Proben und über 222.000 Denkschritten bietet CoVA-SFT eine breite Basis für das Training komplexer Denkfähigkeiten.
• Multimodale Integration: Der Datensatz ist darauf ausgelegt, die Interaktion zwischen Text und visuellen Abstraktionen zu fördern. Dies ermöglicht es Modellen, bei der Problemlösung sowohl sprachliche als auch bildliche Informationen zu berücksichtigen.
• Strukturierte Denkschritte: Im Gegensatz zu unstrukturierten Daten bietet CoVA-SFT detaillierte, schrittweise Anleitungen, wie Probleme gelöst werden können, indem visuelle und textuelle Elemente miteinander verknüpft werden.
• Vielfältige Aufgabenstellungen: Die 17 verschiedenen Aufgaben und 5 Layout-Familien decken ein breites Spektrum an visuellen Reasoning-Problemen ab, von der Objekterkennung bis hin zu komplexen räumlichen Beziehungen.
• Agentische Renderings und Verifikationsschleifen: Diese Elemente sind entscheidend, um den Modellen beizubringen, visuelle Darstellungen aktiv zu generieren und ihre eigenen Lösungen zu überprüfen und zu korrigieren.

CoVA-Bench: Der Begleit-Benchmark

Zur objektiven Evaluierung der mit CoVA-SFT trainierten Modelle wurde CoVA-Bench entwickelt. Dieser Benchmark umfasst 1.700 zurückgehaltene Testbeispiele, die dieselben Aufgabenstellungen wie der Trainingsdatensatz abdecken. CoVA-Bench ermöglicht eine reproduzierbare Bewertung der Leistung von MLLMs und bietet eine Grundlage für den Vergleich verschiedener Modelle und Trainingsansätze.

Ergebnisse und Implikationen

Die Validierung des CoVA-SFT-Datensatzes hat gezeigt, dass Modelle, die auf CoVA-SFT feinabgestimmt wurden, alle bestehenden CoT-Baselines, die visuelle Informationen interleaven, um mehr als das Doppelte übertreffen. Dies unterstreicht das Potenzial von CoVA-SFT, die Fähigkeiten von MLLMs im visuellen Reasoning erheblich zu verbessern. Es ist jedoch festzuhalten, dass diese Modelle immer noch hinter starken rein textbasierten CoT-Baselines zurückbleiben. Dies deutet auf weiterhin bestehende Herausforderungen und offene Forschungsfragen hin, insbesondere im Hinblick auf die Tiefe und Komplexität, mit der visuelle Informationen in den Denkprozess integriert werden können.

Die Arbeit mit CoVA-SFT und CoVA-Bench bietet somit eine wertvolle Grundlage für zukünftige Entwicklungen im Bereich des multimodalen Denkens. Sie hilft dabei, die Lücke zwischen sprachlichem und visuellem Verständnis in KI-Modellen zu schließen und ebnet den Weg für leistungsfähigere und intelligentere Systeme, die komplexe Probleme in einer Weise lösen können, die der menschlichen Kognition näherkommt.

Zukünftige Perspektiven

Die Einführung von CoVA-SFT markiert einen wichtigen Schritt in der Entwicklung von KI-Systemen, die in der Lage sind, visuelle und textuelle Informationen auf eine kohärente und strukturierte Weise zu verarbeiten. Die Ergebnisse legen nahe, dass die explizite Schulung von Modellen in der Verknüpfung visueller Abstraktionen und textueller Begründungen zu signifikanten Leistungsverbesserungen führt. Die noch bestehende Lücke zu rein textbasierten CoT-Baselines weist jedoch auf die Notwendigkeit weiterer Forschung hin. Zukünftige Arbeiten könnten sich auf die Verfeinerung der Mechanismen zur visuellen Abstraktion, die Verbesserung der Selbstkorrekturfähigkeiten und die Integration noch komplexerer visueller Informationen konzentrieren, um die Grenzen des multimodalen Denkens weiter zu verschieben.

Die Bereitstellung solcher umfassenden Datensätze und Benchmarks ist essenziell für den Fortschritt in der KI-Forschung und Entwicklung. Sie ermöglicht es Forschern weltweit, auf einer gemeinsamen Basis aufzubauen, Ergebnisse zu vergleichen und die Entwicklung von KI-Technologien voranzutreiben, die in der Lage sind, die Komplexität der realen Welt besser zu verstehen und zu interpretieren.

Bibliography

- Wu, T.-H., Lee, H., Ji, A., Chen, H., Darrell, T., Gonzalez, J. E., & Chan, D. M. (2026). CoVA-SFT: A Large-Scale Dataset for Chain of Visual Abstractions. arXiv preprint arXiv:2608.28958. - Hugging Face Papers. (2026, August 29). CoVA-SFT: A Large-Scale Dataset for Chain of Visual Abstractions. Retrieved from https://huggingface.co/papers/2608.28958 - ChatPaper. (2026, August 29). CoVA-SFT: A Large-Scale Dataset for Chain of Visual Abstractions - Paper Details. Retrieved from https://www.chatpaper.ai/dashboard/paper/2734725b-e0ba-4837-b209-b43d07d82ed0 - Li, L., Wang, Y., Gao, X., Tang, C., Yue, X., & You, C. (2025). VisReason: A Large-Scale Dataset for Visual Chain-of-Thought Reasoning. arXiv preprint arXiv:2511.17731. - Qin, Y., Wei, B., Ge, J., Kallidromitis, K., Fu, S., Darrell, T., & Wang, X. (2025). Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens. arXiv preprint arXiv:2511.19418. - Wakals Project Page. (n.d.). CoVT — Project Page. Retrieved from https://wakalsprojectpage.github.io/covt-website/ - EmergentMind. (2026, March 7). Monet-SFT-125K: Visual Latent Reasoning Dataset. Retrieved from https://www.emergentmind.com/topics/monet-sft-125k