Vision-Language-Modelle: Wissensvermittlung durch heterogene Agentenzusammenarbeit

Vision-Language-Modelle (VLMs) haben sich in den letzten Jahren zu einem wichtigen Bestandteil der künstlichen Intelligenz entwickelt. Diese Modelle sind darauf trainiert, Bilder und Text gemeinsam zu verstehen, und ermöglichen so Anwendungen wie die Bildbeschreibung, die Beantwortung von Fragen zu Bildern und die Text-zu-Bild-Synthese.

Ein bekanntes Beispiel für ein VLM ist CLIP (Contrastive Language-Image Pretraining) von OpenAI. CLIP wurde auf einem riesigen Datensatz von Bild-Text-Paaren vortrainiert und kann daher Bilder und Texte auf vielfältige Weise verknüpfen.

Herausforderungen beim Transferlernen

Obwohl VLMs wie CLIP beeindruckende Ergebnisse beim Transferlernen erzielt haben, stehen sie vor Herausforderungen, wenn die Daten der Ziel-Domäne stark von denen der Vortrainingsphase abweichen. Dies liegt daran, dass das Modell während des Vortrainings möglicherweise nicht alle notwendigen Informationen über die spezifischen Merkmale und Nuancen der Ziel-Domäne erlernt hat.

Um diese Herausforderung zu bewältigen, gibt es eine Vielzahl von spezialisierten Modellen, die auf unterschiedlichen Modalitäten, Aufgaben, Netzwerken und Datensätzen vortrainiert wurden. Diese Modelle, die als "isolierte Agenten" bezeichnet werden, verfügen über heterogene Strukturen und unterschiedliche Stärken.

TransAgent: Ein Framework für die Zusammenarbeit heterogener Agenten

Um das Wissen dieser isolierten Agenten zu nutzen und die Generalisierung von CLIP-ähnlichen Modellen zu verbessern, wurde das TransAgent-Framework entwickelt. TransAgent ermöglicht es, das Wissen der isolierten Agenten auf einheitliche Weise zu übertragen und CLIP durch Multi-Source-Wissensdestillation bei der Generalisierung anzuleiten.

Das Framework zeichnet sich durch folgende Eigenschaften aus:

- **Heterogene Agentenintegration:** TransAgent kann mit Agenten zusammenarbeiten, die auf unterschiedlichen Modalitäten (z. B. Bild, Text), Aufgaben (z. B. Klassifizierung, Objekterkennung) und Datensätzen vortrainiert wurden. - **Vereinheitlichte Wissensübertragung:** Das Wissen der Agenten wird auf einheitliche Weise extrahiert und an CLIP übertragen. - **Effiziente Inferenz:** TransAgent erfordert keine zusätzlichen Berechnungen während der Inferenzphase.

Experimentelle Ergebnisse

TransAgent wurde mit 11 heterogenen Agenten evaluiert und erzielte auf 11 Datensätzen für die visuelle Erkennung neue Bestwerte. Unter den gleichen Low-Shot-Bedingungen übertraf TransAgent das populäre CoOp-Modell um durchschnittlich 10 % und auf dem EuroSAT-Datensatz, der große Domänenverschiebungen enthält, sogar um 20 %.

Fazit

TransAgent bietet einen vielversprechenden Ansatz, um die Generalisierungsfähigkeit von Vision-Language-Modellen zu verbessern. Durch die Integration des Wissens heterogener Agenten kann TransAgent CLIP dabei unterstützen, sich an neue Domänen anzupassen und bessere Leistungen bei nachgelagerten Aufgaben zu erzielen.

Bibliographie

Guo, Y., Zhuang, S., Li, K., Qiao, Y., & Wang, Y. (2024). TransAgent: Transfer Vision-Language Foundation Models with Heterogeneous Agent Collaboration. Advances in Neural Information Processing Systems, 37. Hugging Face. https://huggingface.co/ Papers with Code. https://paperswithcode.com/