NVILA: Fortschritte in der Effizienz von visuellen Sprachmodellen

NVILA: Optimierung der Effizienz von Bild- und Videomodellen

Visuelle Sprachmodelle (VLMs) haben in den letzten Jahren bemerkenswerte Fortschritte in Bezug auf Genauigkeit erzielt. Ihre Effizienz wurde jedoch deutlich weniger beachtet. NVILA, eine Familie von offenen VLMs von NVIDIA, zielt darauf ab, sowohl Effizienz als auch Genauigkeit zu optimieren. Aufbauend auf VILA verbessert NVILA die Modellarchitektur durch Skalierung der räumlichen und zeitlichen Auflösung und anschließende Komprimierung der visuellen Token. Dieser "Scale-then-Compress"-Ansatz ermöglicht NVILA die effiziente Verarbeitung hochauflösender Bilder und langer Videos.

Der "Scale-then-Compress"-Ansatz

Das Kernkonzept von NVILA ist der "Scale-then-Compress"-Ansatz. Zunächst werden räumliche und zeitliche Auflösungen erhöht, um mehr Details aus visuellen Eingaben zu erhalten und die Genauigkeit zu verbessern. Anschließend werden die visuellen Informationen in weniger Tokens komprimiert, um die Recheneffizienz zu steigern. Diese Strategie ermöglicht die effektive und effiziente Verarbeitung von hochauflösenden Bildern und langen Videos.

Räumliche Skalierung und Komprimierung

Die räumliche Skalierung erhöht die Bildauflösung des Vision-Encoders. Um Ineffizienzen bei kleineren Bildern zu vermeiden, verwendet NVILA "Scaling on Scales" (S2), um mehrskalige, hochauflösende Merkmale mit Image-Tiling zu extrahieren. S2 teilt Bilder in Kacheln auf, verarbeitet jede Kachel einzeln und fügt sie anschließend wieder zusammen. Um Verzerrungen bei unterschiedlichen Seitenverhältnissen zu vermeiden, wurde DynS2 entwickelt, das das ursprüngliche Seitenverhältnis beibehält. Die Komprimierung der räumlichen Token erfolgt durch eine 2x2 Spatial-to-Channel (STC) Umformung, die die Tokenanzahl reduziert, ohne die Genauigkeit zu beeinträchtigen.

Zeitliche Skalierung und Komprimierung

Die zeitliche Skalierung erhöht die Anzahl der gleichmäßig aus dem Eingabevideo gesampelten Frames. Durch zusätzliches videosupervidiertes Fine-Tuning (SFT) wird die Fähigkeit des Modells erweitert, mehr Frames zu verarbeiten. Ähnlich der räumlichen Tokenkomprimierung werden die visuellen Token durch zeitliche Mittelung reduziert. Dies verringert die zeitliche Redundanz, während wichtige räumlich-zeitliche Informationen erhalten bleiben.

Datensatzoptimierung

Auch bei den Trainingsdaten verfolgt NVILA den "Scale-then-Compress"-Ansatz. Zunächst wird der Datensatz erweitert und anschließend durch DeltaLoss, eine Methode aus der Wissensdestillation, bewertet und komprimiert. Dies ermöglicht eine Reduzierung des Trainingsaufwands bei gleichbleibender Genauigkeit.

Effizientes Training und Fine-Tuning

NVILA nutzt FP8-Präzision, um das Training zu beschleunigen. Durch die Verwendung von FP8 für Gewichte und Aktivierungen kann die Batchgröße erhöht und die Trainingsgeschwindigkeit verdoppelt werden. Beim Fine-Tuning des Vision Encoders und des Sprachmodells (LLM) wurde festgestellt, dass die Lernrate für den ViT deutlich niedriger sein sollte als für das LLM. Zusätzlich ist das Fine-Tuning des Vision Encoders mit Layernorm effizienter als mit LoRA.

Effizientes Deployment

Für ein effizientes Deployment von NVILA wurde eine spezielle Inference-Engine mit Quantisierungstechniken entwickelt. Im Prefilling-Stadium werden Token-Komprimierungstechniken verwendet, um die Arbeitslast für das LLM-Backbone zu reduzieren. Für den Vision Tower wird W8A8-Quantisierung implementiert, um die Time-To-First-Token (TTFT) zu reduzieren. Im Dekodierungsstadium wird AWQ für die W4A16-Quantisierung des LLM-Backbones verwendet, um den Prozess zu beschleunigen. Die AWQ-Implementierung wurde durch die Einführung der FP16-Akkumulation in die W4A16 GEMM-Kernel weiter optimiert.

Experiment-Ergebnisse

NVILA wurde anhand verschiedener Bild- und Videobenchmarks evaluiert und zeigte im Vergleich zu führenden Open-Source-Modellen und proprietären Modellen konkurrenzfähige oder überlegene Leistung. NVILA-8B erzielte bei wissenschaftlichen Benchmarks State-of-the-Art-Ergebnisse unter den Open-Source-Modellen. Bei Video-Benchmarks erreichte NVILA-8B mit nur 8 Milliarden Parametern eine Leistung, die mit GPT-4o mini vergleichbar ist, und übertraf viele größere Modelle.

Bibliographie Liu, Z. et al. (2024). NVILA: Efficient Frontier Visual Language Models. arXiv preprint arXiv:2412.04468. NVlabs/VILA. (n.d.). GitHub. Retrieved from https://github.com/NVlabs/VILA Lu, Y. et al. (2024). Visual Language Models on NVIDIA Hardware with VILA. NVIDIA Developer Blog. Retrieved from https://developer.nvidia.com/blog/visual-language-models-on-nvidia-hardware-with-vila/ Liu, Z. et al. (2024). NVILA: Efficient Frontier Visual Language Models. arXiv preprint arXiv:2412.04468. Lu, Y. et al. (2024). Visual Language Intelligence and Edge AI 2.0 with NVIDIA Cosmos Nemotron. NVIDIA Developer Blog. Retrieved from https://developer.nvidia.com/blog/visual-language-intelligence-and-edge-ai-2-0/ Sewak, M. (2024). Visual Language Models on NVIDIA Hardware with VILA. LinkedIn. Retrieved from https://www.linkedin.com/posts/mohitsewak_visual-language-models-on-nvidia-hardware-activity-7192805201232162816-FKj4 Ge, J. et al. (2024). V2PE: Improving Multimodal Long-Context Capability of Vision-Language Models with Variable Visual Position Encoding. arXiv preprint arXiv:2412.09616. Wise Concetti. (n.d.). NVIDIA Unveils Translation AI and Multilingual Microservices. LinkedIn. Retrieved from https://www.linkedin.com/posts/wclglobal_%3F%3F%3F%3F%3F%3F-%3F%3F%3F%3F%3F%3F%3F-%3F%3F%3F%3F%3F%3F%3F%3F%3F%3F%3F%3F-activity-7254091564531007488-Y85A