Fortschritte in der multimodalen Instruktionsverfolgung durch MM-IFEngine

Multimodale Instruktionsverfolgung: MM-IFEngine ebnet den Weg für komplexere KI-Interaktionen

Die Interaktion mit Künstlicher Intelligenz (KI) entwickelt sich rasant weiter. Weg von einfachen Textbefehlen hin zu komplexeren, multimodalen Anweisungen, die Bild und Text kombinieren. Ein entscheidender Faktor für den Erfolg dieser Entwicklung ist die Fähigkeit von KI-Modellen, diese multimodalen Instruktionen präzise zu verstehen und auszuführen – die sogenannte "Instruction Following" (IF) Fähigkeit. Ein Forschungsteam hat nun mit MM-IFEngine eine neue Methode vorgestellt, die erhebliche Fortschritte in diesem Bereich verspricht.

Bisherige Ansätze zur multimodalen Instruktionsverfolgung litten unter verschiedenen Einschränkungen. Trainingsdaten waren knapp, Benchmarks zu simpel und die Evaluierungsmethoden ungenau, insbesondere bei Aufgaben mit präzisen Ausgabevorgaben. MM-IFEngine adressiert diese Herausforderungen mit einem mehrstufigen Ansatz.

Kernstück von MM-IFEngine ist eine Pipeline zur Generierung von hochwertigen Bild-Instruktionen-Paaren. Diese Pipeline ermöglicht die Erstellung umfangreicher, vielfältiger und qualitativ hochwertiger Trainingsdaten. Das Ergebnis ist der Datensatz MM-IFInstruct-23k, der sich ideal für Supervised Fine-Tuning (SFT) eignet. Darüber hinaus wurde dieser Datensatz zu MM-IFDPO-23k erweitert, um Direct Preference Optimization (DPO) zu ermöglichen.

Um die Leistungsfähigkeit von KI-Modellen im Bereich der multimodalen Instruktionsverfolgung zu bewerten, wurde MM-IFEval entwickelt. Dieser Benchmark zeichnet sich durch seine Komplexität und Vielfältigkeit aus. Er umfasst sowohl Vorgaben auf Kompositionsebene für die Ausgabeantworten als auch Vorgaben auf Wahrnehmungsebene, die an die Eingabebilder gebunden sind. Die Bewertung erfolgt über eine umfassende Pipeline, die sowohl regelbasierte Beurteilungen als auch Bewertungsmodelle integriert.

Durchgeführte SFT- und DPO-Experimente zeigen, dass das Finetuning von Multi-Modal Large Language Models (MLLMs) mit MM-IFInstruct-23k und MM-IFDPO-23k zu signifikanten Verbesserungen auf verschiedenen IF-Benchmarks führt. So konnten beispielsweise auf MM-IFEval Verbesserungen von 10,2%, auf MIA von 7,6% und auf IFEval von 12,3% erzielt werden.

Die Entwicklung von MM-IFEngine und MM-IFEval stellt einen wichtigen Schritt in Richtung einer effektiveren und präziseren multimodalen Instruktionsverfolgung dar. Die Verfügbarkeit umfangreicher und qualitativ hochwertiger Trainingsdaten sowie ein robuster Benchmark ermöglichen es, die Fähigkeiten von MLLMs gezielter zu trainieren und zu evaluieren. Dies eröffnet neue Möglichkeiten für die Entwicklung von KI-Systemen, die komplexe Aufgaben in verschiedenen Anwendungsbereichen bewältigen können.

Die Veröffentlichung der Daten und des Evaluationscodes auf GitHub unterstreicht das Engagement des Forschungsteams für Open Science und ermöglicht es anderen Forschern, auf diesen Ergebnissen aufzubauen und die Entwicklung im Bereich der multimodalen Instruktionsverfolgung weiter voranzutreiben.

Bibliographie: Ding, S., Wu, S., Zhao, X., Zang, Y., Duan, H., Dong, X., Zhang, P., Cao, Y., Lin, D., & Wang, J. (2025). MM-IFEngine: Towards Multimodal Instruction Following. arXiv preprint arXiv:2504.07957. Inoue, N., Takagi, I., & Joty, S. (2023). Towards Flexible Multi-Modal Document Models. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (pp. 11751-11761). Alayrac, J. B., Donahue, J., Epstein, D., Snajder, J., Clark, I., Gururangan, S., ... & Simonyan, K. (2024). MMT-IF: A Challenging Multi-modal Multi-turn Instruction Following Foundation Model Benchmark. Research at Google. Huang, J., Wang, C., Xue, H., Zhu, C., & Zhao, W. (2024). Multimodal Instruction Following with Frozen Vision-Language Models. Advances in Neural Information Processing Systems, 37. Wu, S., Zhang, P., Cao, Y., Zang, Y., Duan, H., Dong, X., ... & Wang, J. (2024). MM-Instruct: Generated Visual Instructions for Large Multimodal Model Alignment. arXiv preprint arXiv:2407.01509. Zhang, P., Wu, S., Zang, Y., Duan, H., Dong, X., Cao, Y., ... & Wang, J. (2024). MM-IF: A Challenging Multi-modal Multi-turn Instruction Following Foundation Model Benchmark. arXiv preprint arXiv:2409.18216. ChatPaper. (n.d.). MM-IF: A Challenging Multi-modal Multi-turn Instruction Following Foundation Model Benchmark. Retrieved from https://chatpaper.com/chatpaper/zh-CN?id=4&date=1744300800&page=1 Russel, S., & Norvig, P. (2010). Artificial Intelligence: A Modern Approach (3rd ed.). Pearson Education Limited. Ricoh. (n.d.). Printing with Various Paper Types. Retrieved from http://support.ricoh.com/bb_v1oi/pub_e/oi_view/0001036/0001036157/view/printer/unv/0021.htm