Optimierung der Inferenzgeschwindigkeit bei Vision Language Models durch Tokenreduktion

Effizienzsteigerung bei Vision Language Models: Ein visueller Token genügt

Vision Language Models (VLMs) haben sich als leistungsstarke Werkzeuge für verschiedene Aufgaben des visuellen Verstehens und Schlussfolgerns erwiesen. Ihre praktische Anwendung wird jedoch oft durch hohe Latenzzeiten während der Inferenzphase behindert. Diese Latenz entsteht durch den hohen Rechenaufwand, der zur Verarbeitung der zahlreichen Input-Token, hauptsächlich aus dem Bild, durch das Large Language Model (LLM) benötigt wird.

Um die Inferenzkosten zu senken, gibt es zwei Möglichkeiten: die Verkleinerung des LLMs oder die Reduzierung der Anzahl der visuellen Input-Token. Letzteres stand im Fokus vieler aktueller Arbeiten zur Token-Kompression. Das optimale Verhältnis zwischen diesen beiden Faktoren blieb jedoch bisher unklar, da beide die VLM-Performance direkt beeinflussen.

Das optimale Verhältnis zwischen Tokenanzahl und Modellgröße

Eine aktuelle Studie untersucht das optimale Verhältnis zwischen der Anzahl der visuellen Token und den LLM-Parametern. Durch die Erstellung von Skalierungsgesetzen, die Leistungsschwankungen in Abhängigkeit von diesen beiden Faktoren erfassen, konnten die Forscher neue Erkenntnisse gewinnen. Die Ergebnisse zeigen einen überraschenden Trend: Für visuelle Schlussfolgerungsaufgaben wird das inferenzoptimale Verhalten in VLMs, d.h. der minimale Downstream-Fehler bei einem gegebenen festen Inferenz-Rechenaufwand, erreicht, wenn das größte LLM verwendet wird, das in das Inferenzbudget passt, während die Anzahl der visuellen Token minimiert wird – oft auf einen einzigen Token.

Während sich die bisherige Forschung zur Tokenreduktion hauptsächlich darauf konzentrierte, die Basismodell-Performance durch eine moderate Reduzierung der Tokenanzahl (z. B. um das 5- bis 10-fache) aufrechtzuerhalten, deuten die Ergebnisse dieser Studie darauf hin, dass der rechenoptimale Inferenzbereich einen noch höheren Token-Kompressionsgrad erfordert.

Neue Ansätze für hohe Token-Kompression

Basierend auf diesen Erkenntnissen wurden erste Schritte unternommen, um Ansätze zu entwickeln, die auf hohe Token-Kompression zugeschnitten sind. Ein Beispiel hierfür ist die sogenannte "query-basierte Token-Kompression". Bei dieser Methode werden die visuellen Token selektiv basierend auf der Benutzeranfrage ausgewählt. Dies ermöglicht extreme Kompressionsraten, bis hin zu nur einem oder vier Token, während gleichzeitig die relevantesten visuellen Informationen erhalten bleiben.

Ein weiterer Ansatz kombiniert regionale, auf Cross-Attention basierende Methoden mit lernbaren Faltungen. Diese Technik komprimiert die vom visuellen Encoder erzeugten visuellen Token zu einer informationsdichteren Darstellung und bietet im Vergleich zu herkömmlichen bilinearen Interpolationsverfahren eine verbesserte Ausdruckskraft.

Ausblick

Die Ergebnisse dieser Studie legen nahe, dass die Zukunft der VLMs in der Nutzung größerer LLMs mit stark reduzierter visueller Tokenanzahl liegt. Dies ermöglicht eine effizientere Inferenz, ohne die Performance zu beeinträchtigen. Die Entwicklung neuer, auf hohe Token-Kompression spezialisierter Algorithmen wird entscheidend sein, um das volle Potenzial dieser Technologie auszuschöpfen und VLMs für ein breites Spektrum von Anwendungen zugänglich zu machen.

Bibliographie: https://arxiv.org/abs/2411.03312v1/ https://arxiv.org/pdf/2411.03312 https://openreview.net/pdf?id=6VhDQP7WGX https://paperreading.club/page?id=264436 https://www.chatpaper.com/chatpaper/zh-CN/paper/74102 https://arxiv-sanity-lite.com/?rank=pid&pid=2411.03312 https://github.com/gokayfem/awesome-vlm-architectures https://openreview.net/pdf/ada02af6871129647c0ad48e059de7830e858e0c.pdf https://www.chatpaper.com/chatpaper/fr/paper/74102