Forschungsstand und Herausforderungen der KI-gestützten wissenschaftlichen Bildgenerierung

Revolution in der Wissenschaftskommunikation: KI-gestützte Bildsynthese für präzise Illustrationen

Die Fähigkeit, komplexe wissenschaftliche Konzepte visuell darzustellen, ist ein Eckpfeiler der Forschung und Lehre. Mit dem rasanten Fortschritt im Bereich der künstlichen Intelligenz, insbesondere bei generativen Modellen, eröffnet sich ein neues Feld: die wissenschaftliche Bildsynthese. Diese Technologie verspricht, Forschende und Lehrende dabei zu unterstützen, präzise, logische und ästhetisch ansprechende Illustrationen zu erstellen. Doch die Anforderungen an wissenschaftliche Bilder gehen weit über die Ästhetik hinaus; sie erfordern eine hohe Informationsdichte, wissenschaftliche Genauigkeit und die Fähigkeit, komplexe Zusammenhänge klar zu kommunizieren. Aktuelle Entwicklungen in der Forschung untersuchen, wie KI-Modelle diese anspruchsvollen Kriterien erfüllen können.

Die Herausforderung der wissenschaftlichen Bildgenerierung

Im Gegensatz zur Generierung allgemeiner Bilder, bei der die visuelle Plausibilität im Vordergrund steht, müssen wissenschaftliche Illustrationen spezifische Anforderungen erfüllen. Sie sollen nicht nur gut aussehen, sondern auch korrekte Daten, logische Abläufe und präzise Darstellungen von Objekten oder Systemen liefern. Dies erfordert ein tiefes Verständnis des wissenschaftlichen Kontexts, was für KI-Modelle eine besondere Herausforderung darstellt. Aktuelle multimodale Modelle, die Text- und Bilddaten verarbeiten können, stoßen hier oft an ihre Grenzen, da sie mit der Seltenheit diverser, textreicher wissenschaftlicher Datensätze zu kämpfen haben. Dies führt dazu, dass generierte Bilder zwar visuell ansprechend sein können, aber oft an wissenschaftlicher Korrektheit oder Vollständigkeit mangelt.

Neue Frameworks und Benchmarks zur Bewertung

ImgCoder und SciGenBench

Um die Lücke zwischen allgemeiner und wissenschaftlicher Bildgenerierung zu schließen, wurden innovative Ansätze entwickelt. Ein Beispiel hierfür ist ImgCoder, ein logikgesteuertes Framework, das dem Prinzip „verstehen → planen → kodieren“ folgt. Es zielt darauf ab, wissenschaftlich rigorose Bilder zu generieren, indem es die zugrunde liegende Logik und Struktur vor der visuellen Umsetzung berücksichtigt. Begleitend dazu wurde SciGenBench eingeführt, ein Benchmark mit 1.400 Aufgaben aus fünf wissenschaftlichen Domänen. Dieser Benchmark dient der systematischen Bewertung der Fähigkeit von KI-Modellen, wissenschaftliche Bilder zu erzeugen, und ermöglicht es, den Fortschritt in diesem Bereich messbar zu machen.

SridBench: Ein detaillierter Blick auf wissenschaftliche Illustrationen

Ein weiterer wichtiger Beitrag ist SridBench, der erste Benchmark, der speziell für die Bewertung der Generierung wissenschaftlicher Forschungsillustrationen konzipiert wurde. Dieser Benchmark umfasst 1.120 Instanzen aus 13 natur- und computerwissenschaftlichen Disziplinen, die von menschlichen Experten und multimodalen großen Sprachmodellen (MLLMs) aus wissenschaftlichen Fachartikeln gesammelt wurden. Jede Illustration wird anhand von sechs Dimensionen bewertet, darunter semantische Treue und strukturelle Genauigkeit. Die Ergebnisse von SridBench zeigen, dass selbst fortschrittliche Modelle wie GPT-4o-image noch weit von einer menschenähnlichen Leistung entfernt sind, wobei das semantische Verständnis als primärer Engpass identifiziert wird.

CoSyn: Code-gesteuerte synthetische Daten für besseres Verständnis

Ein vielversprechender Ansatz zur Verbesserung des Verständnisses textreicher Bilder ist CoSyn. Dieses Framework nutzt die Kodierungsfähigkeiten von rein textbasierten großen Sprachmodellen (LLMs), um automatisch synthetische, textreiche multimodale Daten zu erstellen. Indem ein LLM aufgefordert wird, Code (z.B. Python, HTML, LaTeX) zur Darstellung synthetischer Bilder zu generieren, können hochwertige Trainingsdaten erzeugt werden. Experimente zeigen, dass Modelle, die mit diesen synthetischen Daten trainiert wurden, in verschiedenen Benchmarks eine verbesserte Leistung erzielen und sogar proprietäre Modelle übertreffen können. CoSyn verdeutlicht das Potenzial synthetischer Daten zur Entwicklung multimodaler Agenten, die in der Lage sind, Informationen in Bildern zu verankern und in realen Umgebungen zu agieren.

ChartGen: Spezifische Herausforderungen bei Diagrammen

Auch im Bereich der Diagramme gibt es spezifische Forschungsansätze. ChartGen ist eine vollintegrierte Pipeline zur code-gesteuerten synthetischen Diagrammgenerierung. Sie ermöglicht es, Diagrammbilder in Python-Skripte zu rekonstruieren und diese iterativ mit einem code-orientierten LLM zu erweitern. Mit ChartGen wurde ein Datensatz von 222,5 Tausend einzigartigen Diagramm-Bild-Code-Paaren erstellt, der 27 Diagrammtypen und 11 Plot-Bibliotheken abdeckt. Dies zeigt, dass selbst für scheinbar einfache visuelle Darstellungen wie Diagramme ein detailliertes Verständnis und eine präzise Generierung durch Code entscheidend sind.

Bewertung und Ergebnisse: Wo stehen aktuelle Modelle?

Die Evaluierung der aktuellen KI-Modelle in der wissenschaftlichen Bildgenerierung liefert differenzierte Ergebnisse. Während Modelle wie GPT-4o-image eine grundlegende Fähigkeit zur Erstellung von Illustrationen mit klar strukturiertem Text und erkennbaren Elementen zeigen, offenbaren sich bei genauerer Betrachtung erhebliche Mängel:

• Fehlende Elemente und Textfehler: Oft fehlen wichtige visuelle oder textliche Informationen, oder es treten Fehler in der Darstellung auf.
• Wissenschaftliche Ungenauigkeiten: In einigen Fällen wurden Modelle dabei beobachtet, physikalisch oder chemisch inkorrekte Darstellungen zu generieren, wie etwa die Darstellung der Sonne, die die Erde umkreist, oder falsche Reaktionsbedingungen in chemischen Strukturformeln.
• Halluzinationen: Ähnlich wie bei der Textgenerierung können KI-Modelle auch bei Bildern "Halluzinationen" aufweisen, d.h. inhaltlich falsche oder irreführende Elemente hinzufügen.
• Unterschiede zwischen Disziplinen: Die Leistung variiert je nach wissenschaftlicher Disziplin. Computerwissenschaftliche Schemata, die oft aus Text, Rändern und Pfeilen bestehen, können von GPT-4o-image besser dargestellt werden als komplexe naturwissenschaftliche Diagramme, die spezialisierte grafische Elemente wie Zellstrukturen oder Moleküle erfordern.

Diese Erkenntnisse verdeutlichen, dass immense Anstrengungen erforderlich sind, um die Qualität und Zuverlässigkeit von KI-generierten wissenschaftlichen Bildern auf ein Niveau zu heben, das den Anforderungen der Forschung gerecht wird. Die Entwicklung von robusten Bewertungsmetriken und die Einbeziehung von Expertenwissen in den Trainings- und Validierungsprozess sind dabei von entscheidender Bedeutung.

Ausblick: Die Zukunft der wissenschaftlichen Bildsynthese

Die Forschung im Bereich der wissenschaftlichen Bildsynthese steht noch am Anfang, aber die Fortschritte sind vielversprechend. Die Entwicklung von logikgesteuerten Frameworks, umfassenden Benchmarks und die Nutzung von code-gesteuerten synthetischen Daten legen den Grundstein für zukünftige Generationen von KI-Modellen. Diese Modelle könnten nicht nur die Effizienz bei der Erstellung wissenschaftlicher Illustrationen steigern, sondern auch neue Möglichkeiten für die Visualisierung komplexer Daten und Konzepte eröffnen. Die enge Zusammenarbeit zwischen KI-Forschenden und Wissenschaftlern verschiedener Disziplinen wird dabei entscheidend sein, um die spezifischen Bedürfnisse und Qualitätsansprüche der Wissenschaft zu erfüllen und die Potenziale der KI in diesem Bereich voll auszuschöpfen.

Bibliographie

1. Yang, Y., Patel, A., Deitke, M., Gupta, T., Weihs, L., Head, A., Yatskar, M., Callison-Burch, C., Krishna, R., Kembhavi, A., & Clark, C. (2025). Scaling Text-Rich Image Understanding via Code-Guided Synthetic Multimodal Data Generation. arXiv preprint arXiv:2502.14846.
2. Tian, M., Gao, L., Zhang, S. D., Chen, X., Fan, C., Guo, X., Haas, R., Ji, P., Krongchon, K., Li, Y., Liu, S., Luo, D., Ma, Y., Tong, H., Trinh, K., Tian, C., Wang, Z., Wu, B., Xiong, Y., Yin, S., Zhu, M., Lieret, K., Lu, Y., Liu, G., Du, Y., Tao, T., Press, O., Callan, J., Huerta, E., & Peng, H. (2024). SciCode: A Research Coding Benchmark Curated by Scientists. arXiv preprint arXiv:2407.13168.
3. Kondic, J., Li, P., Joshi, D., He, Z., Abedin, S., Sun, J., Wiesel, B., Schwartz, E., Nassar, A., Wu, B., Arbelle, A., Oliva, A., Gutfreund, D., Karlinsky, L., & Feris, R. (2025). ChartGen: Scaling Chart Understanding Via Code-Guided Synthetic Chart Generation. arXiv preprint arXiv:2507.19492.
4. Zhang, L., Eger, S., Cheng, Y., Zhai, W., Belouadi, J., Moafian, F., & Zhao, Z. (2024). ScImage: How good are multimodal large language models at scientific text-to-image generation?. arXiv preprint arXiv:2412.02368.
5. Chang, Y., Feng, Y., Sun, J., Ai, J., Li, C., Zhou, S. K., & Zhang, K. (2024). SridBench: Benchmark of Scientific Research Illustration Drawing of Image Generation Model. arXiv preprint arXiv:2505.22126.
6. Ni, M., Yang, Z., Zhang, Y., Li, L., Lin, C.-C., Lin, K., Wang, Z., Wang, X., Liu, S., Zhang, L., Zuo, W., & Wang, L. (2025). ProImage-Bench: Rubric-Based Evaluation for Professional Image Generation. arXiv preprint arXiv:2512.12220.