SynerGen-VL: Fortschritte in der multimodalen Sprachmodellierung durch vereinheitlichte Bildverarbeitung

Multimodale Große Sprachmodelle (MLLMs) haben in den letzten Jahren bemerkenswerte Fortschritte erzielt, sowohl im Bereich des Bildverstehens als auch der Bildgenerierung. Ein neuer Forschungsbeitrag stellt SynerGen-VL vor, ein vielversprechendes MLLM, das Bildverstehen und -generierung in einem einzigen Modell vereint. Dieser Artikel beleuchtet die Architektur und Funktionsweise von SynerGen-VL und ordnet es in den aktuellen Forschungsstand ein.

Vereinheitlichung von Bildverstehen und -generierung

Bisherige Ansätze zur Entwicklung von MLLMs, die sowohl Bildverstehen als auch -generierung beherrschen, waren oft komplex und aufwendig. Sie benötigten beispielsweise externe Diffusionsmodelle für die Bildgenerierung, unterschiedliche Trainingsziele für die beiden Aufgaben oder separate Bild-Encoder. Diese Komplexität erschwerte das Training und die Skalierung der Modelle. SynerGen-VL hingegen verfolgt einen einfacheren Ansatz: Es verwendet eine einheitliche Tokenisierungsstrategie für Bilder und Text und modelliert beide Aufgaben innerhalb eines einzigen Next-Token-Prediction-Frameworks.

Die Herausforderungen bestehender Ansätze

Trotz der Fortschritte durch vereinfachte Architekturen bestehen weiterhin Herausforderungen. Erstens erfordert die Integration von Bildfähigkeiten in MLLMs ein umfangreiches Training, das das vortrainierte Wissen der LLMs beeinträchtigen kann. Zweitens benötigen visuelle Tokenizer niedrige Downsampling-Raten, um die Rekonstruktion von feinen Details zu gewährleisten. Dies führt zu langen visuellen Token-Sequenzen für hochauflösende Bilder, was die Leistung, insbesondere beim Bildverstehen, beeinträchtigen kann.

SynerGen-VL: Architektur und Innovationen

SynerGen-VL adressiert diese Herausforderungen durch zwei zentrale Innovationen: Vision Experts und Token Folding. Inspiriert von Bildverstehensmodellen mit Multimodal Mixture-of-Experts (MMoE)-Struktur, führt SynerGen-VL Vision Experts ein. Diese zusätzlichen Parameter sind speziell auf die Bildrepräsentation ausgerichtet und helfen, Bildfähigkeiten zu integrieren, ohne das vortrainierte Wissen des LLMs zu stark zu beeinflussen. Um hochauflösende Bilder effizient zu verarbeiten, verwendet SynerGen-VL Token Folding. Die eingegebenen visuellen Token-Sequenzen werden komprimiert, um ihre Länge zu reduzieren. Für die Bildgenerierung wird ein Decoder verwendet, der detaillierte Bildsequenzen aus den komprimierten Repräsentationen rekonstruiert.

Training und Leistung

SynerGen-VL wird in zwei Phasen trainiert. In der ersten Phase werden die Vision Experts mit Webdaten trainiert, um ein grundlegendes semantisches Verständnis und eine Bildgenerierung zu erreichen, die auf den Repräsentationsraum des LLMs abgestimmt ist. In der zweiten Phase werden die Vision Experts und Self-Attention-Schichten mit hochwertigen Bildverstehens- und -generierungsdaten trainiert, um multimodale Features in das vortrainierte LLM zu integrieren. Nach dem Pretraining wird SynerGen-VL durch überwachtes Instruction Fine-Tuning für Bildverstehen und -generierung vorbereitet. Evaluierungen auf verschiedenen Benchmarks zeigen, dass SynerGen-VL mit vergleichbaren oder kleineren Parametergrößen die Leistung bestehender encoderfreier, einheitlicher MLLMs erreicht oder übertrifft und die Lücke zu aufgabenspezifischen State-of-the-Art-Modellen schließt.

Ausblick

SynerGen-VL demonstriert das Potenzial vereinfachter Architekturen für die Entwicklung leistungsstarker, einheitlicher MLLMs. Die Kombination von Vision Experts und Token Folding ermöglicht die effiziente Verarbeitung hochauflösender Bilder und die Integration von Bildfähigkeiten, ohne das vortrainierte Wissen des LLMs zu stark zu beeinträchtigen. Zukünftige Forschung könnte sich auf die weitere Optimierung des Token Folding-Mechanismus und die Entwicklung noch effizienterer Trainingsstrategien konzentrieren. Die Entwicklung von SynerGen-VL stellt einen wichtigen Schritt in Richtung der nächsten Generation von MLLMs dar. Bibliographie: https://arxiv.org/abs/2412.09604 https://arxiv.org/html/2412.09604v1 https://deeplearn.org/arxiv/557623/synergen-vl:-towards-synergistic-image-understanding-and-generation-with-vision-experts-and-token-folding https://www.aimodels.fyi/papers/arxiv/synergen-vl-towards-synergistic-image-understanding-generation https://synthical.com/article/SynerGen-VL%3A-Towards-Synergistic-Image-Understanding-and-Generation-with-Vision-Experts-and-Token-Folding-543da316-1628-44c1-a178-b425973e0588? https://huggingface.co/papers?date=2024-12-16 https://arxiv-sanity-lite.com/?rank=pid&pid=2412.09604 https://www.catalyzex.com/author/Xizhou%20Zhu https://www.wzk.plus/ https://www.aimodels.fyi/authors/arxiv/Jinguo%20Zhu