Verbesserung des kompositionellen Verständnisses durch entkoppelte globale und lokale Ausrichtung

Verbessertes Kompositionelles Verständnis durch Entkoppelte Global-Lokale Ausrichtung

Die Kombination von Bild- und Textmodalitäten durch Contrastive Language-Image Pre-training (CLIP) hat in verschiedenen Anwendungsbereichen beachtliche Erfolge erzielt. Die Methodik des globalen kontrastiven Lernens stößt jedoch an ihre Grenzen, wenn es um das Verständnis komplexer, kompositioneller Konzepte wie Beziehungen und Attribute geht. Bisherige Ansätze, die globale harte negative Beispiele verwenden, um das kompositionelle Verständnis zu verbessern, beeinträchtigen oft die allgemeinen Fähigkeiten des Modells, indem sie Textbeispiele im Einbettungsraum künstlich von Bildern entfernen.

Ein neuer Ansatz namens DeGLA (Decoupled Global-Local Alignment) verspricht, dieses Problem zu lösen. Das Framework zielt darauf ab, das kompositionelle Verständnis zu verbessern, ohne die allgemeinen Fähigkeiten des Modells wesentlich zu beeinträchtigen. Um den Erhalt dieser Fähigkeiten zu gewährleisten, integriert DeGLA einen Selbstdestillationsmechanismus in den globalen Ausrichtungsprozess. Dabei wird der lernfähige Bild-Text-Encoder mit einem eingefrorenen Lehrermodell abgeglichen, das aus einem exponentiellen gleitenden Durchschnitt abgeleitet wird. Diese Selbstdestillation mindert den Verlust von vortrainiertem Wissen während des Finetunings effektiv.

Zur Verbesserung des kompositionellen Verständnisses nutzt DeGLA die In-Context-Learning-Fähigkeit von Large Language Models (LLMs), um etwa zwei Millionen hochwertige negative Beschreibungen in fünf Kategorien zu erstellen. Anschließend werden der Image-Grounded Contrast (IGC) Loss und der Text-Grounded Contrast (TGC) Loss eingesetzt, um die visuell-sprachliche Komposition zu stärken.

Funktionsweise von DeGLA im Detail

DeGLA entkoppelt den Lernprozess in zwei Phasen: globale und lokale Ausrichtung. Die globale Ausrichtung konzentriert sich auf die allgemeine Bild-Text-Übereinstimmung, während die lokale Ausrichtung die Feinheiten kompositioneller Beziehungen innerhalb der Daten hervorhebt. Durch die Trennung dieser beiden Aspekte kann DeGLA die Stärken beider Ansätze nutzen, ohne ihre jeweiligen Schwächen zu verstärken.

Die Verwendung von LLMs zur Generierung negativer Beispiele ist ein weiterer wichtiger Aspekt von DeGLA. Durch die Nutzung des kontextbezogenen Verständnisses von LLMs können qualitativ hochwertigere negative Beispiele generiert werden, die den Lernprozess effektiver gestalten. Dies führt zu einer präziseren Unterscheidung zwischen ähnlichen und unähnlichen Bild-Text-Paaren und verbessert so das kompositionelle Verständnis des Modells.

Experimentelle Ergebnisse und Ausblick

Umfangreiche Tests auf verschiedenen Benchmarks wie VALSE, SugarCrepe und ARO belegen die Effektivität von DeGLA. Im Vergleich zu bisherigen State-of-the-Art-Methoden erzielt DeGLA eine durchschnittliche Verbesserung von 3,5% auf diesen Benchmarks. Gleichzeitig erreicht es eine durchschnittliche Leistungsverbesserung von 13,0% bei Zero-Shot-Klassifizierungsaufgaben über elf Datensätze hinweg.

Die Ergebnisse deuten darauf hin, dass DeGLA einen vielversprechenden Weg zur Verbesserung des kompositionellen Verständnisses in multimodalen Modellen darstellt. Die Kombination aus Selbstdestillation, LLM-generierten negativen Beispielen und entkoppelter global-lokaler Ausrichtung ermöglicht es DeGLA, die Herausforderungen des kompositionellen Lernens effektiv zu bewältigen und gleichzeitig die allgemeinen Fähigkeiten des Modells zu erhalten. Zukünftige Forschung könnte sich auf die Erweiterung von DeGLA auf andere Modalitäten und Anwendungsbereiche konzentrieren.

Bibliographie: Hu, X., Yang, K., Wang, J., Xu, H., Feng, Z., & Wang, Y. (2025). Decoupled Global-Local Alignment for Improving Compositional Understanding. *arXiv preprint arXiv:2504.16801*. Lee, J., Lee, H., & Yoon, S. (2024). GLAD: Global-Local View Alignment and Background Debiasing for Unsupervised Video Object Segmentation. *Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision*, 11453–11462. Wang, X., Wu, Y., Chen, J., Li, L., & Lu, H. (2021). T2VLAD: Global-Local Sequence Alignment for Text-Video Retrieval. *Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition*, 4581–4590. Jeong, J., Jun, S., & Woo, P. (2004). Alignment of protein sequences using a genetic algorithm with a dynamic mutation operator. *BioSystems*, *76*(1-3), 189–197. What is the difference between local and global sequence alignments? (n.d.). Biology Stack Exchange. Retrieved from https://biology.stackexchange.com/questions/11263/what-is-the-difference-between-local-and-global-sequence-alignments CLIP: Connecting Text and Images. (n.d.). YouTube. Retrieved from https://www.youtube.com/watch?v=b6xBvl0yPAY