FVQ-Ansatz verbessert die Skalierung diskreter Bildtokens

Warum Rekonstruktionsfehler nicht genügt

Bei der Vektorquantisierung wird ein kontinuierlicher Merkmalsvektor durch einen oder mehrere Einträge aus endlichen Codebüchern ersetzt. Der Abstand zwischen dem ursprünglichen und dem rekonstruierten Merkmal lässt sich etwa mit dem mittleren quadratischen Fehler (MSE) messen. Die verbreitete Annahme ist, dass ein größerer solcher Fehler zwangsläufig weniger semantische Information und damit schwächeres Bildverständnis bedeutet. Die Studie prüft diese Annahme direkt. [2]

In einem kontrollierten Vergleich verwenden die Autoren dieselben eingefrorenen Bildmerkmale und eine gemeinsame nachgelagerte Modellkonfiguration. Eine Variante aus vier ausgewählten Gruppen eines achtteiligen Residual-Quantisierers erreicht laut Tabelle einen MSE von 0,246 und einen Mittelwert von 60,7 über acht Verständnis-Benchmarks. Ein einzelnes Codebuch kommt bei geringerem MSE von 0,027 nur auf 51,2. Eine andere Vier-Gruppen-Variante hat mit 0,028 einen ähnlich niedrigen MSE wie das einzelne Codebuch, erzielt aber 59,3 Punkte. [2][4]

Damit ordnet der Rekonstruktionsfehler die getesteten Varianten nicht nach ihrer Verständnisleistung. Der Befund ist für die Bewertung von Tokenizern relevant: Ein niedriger MSE kann ein nützliches technisches Signal sein, bildet aber laut diesen Experimenten nicht verlässlich ab, welche Informationen ein nachgelagertes multimodales Modell tatsächlich nutzt. Die Aussage bleibt auf die getesteten Repräsentationen und Benchmarks beschränkt. [2][4]

Bitbudget statt Fehlerwert als Skalierungsfrage

Als wichtigeren Einflussfaktor identifizieren die Autoren das effektive Bitbudget der diskreten Indizes. Bei L Codebüchern mit jeweils C Einträgen beträgt das nominelle Budget pro Patch B = L · log₂C. Ein Codebuch mit 16.384 Einträgen entspricht demnach 14 Bit; 16 solcher Codebücher kommen auf 224 Bit pro Patch. Das Budget wächst linear mit der Zahl der Codebücher, aber nur logarithmisch mit der Größe eines einzelnen Codebuchs. [2][4]

In den berichteten Acht-Benchmark-Ergebnissen steigt der Mittelwert bei Residual Vector Quantization (RVQ) von 59,8 bei 28 Bit auf 64,0 bei 112 Bit. Eine Verdoppelung auf 224 Bit bringt dort keinen weiteren Zuwachs. Product Quantization (PQ) steigt im entsprechenden Vergleich von 64,1 auf 64,3. Die Autoren führen diese Abflachung darauf zurück, dass zusätzliche Codebücher immer weniger neue semantische Information beitragen: Bei RVQ werden die verbleibenden Residuen kleiner, während PQ die Merkmale in zunehmend schmale Kanalgruppen aufteilt. [2][4]

Die Ergebnisse legen deshalb nicht nahe, dass mehr Bits automatisch bessere Resultate liefern. Entscheidend ist nach der Interpretation der Studie, ob neu hinzukommende Codebücher weiterhin informative Merkmalsansichten erhalten. Diese Unterscheidung zwischen nomineller Kapazität und nutzbarer semantischer Kapazität bildet den Ausgangspunkt für FVQ. [2]

Wie Factorized Vector Quantization aufgebaut ist

FVQ erzeugt aus demselben visuellen Merkmal mehrere dichte, komplementäre Projektionen mit gleichbleibender Dimension. Jede Projektion wird von einem eigenen Codebuch quantisiert; die Codebücher arbeiten parallel und übernehmen symmetrische Rollen. Anders als bei PQ wird das Eingangssignal nicht in immer kleinere Kanalgruppen geteilt. Anders als bei RVQ hängt ein späteres Codebuch auch nicht davon ab, zunächst ein Residuum aus den vorherigen Quantisierungsschritten zu erhalten. [2][4]

Die Projektionen sind nach der beschriebenen Konstruktion über eine Tight-Frame-Bedingung verbunden. Eine Syntheseoperation kann sie vor der Quantisierung wieder zum ursprünglichen Merkmal zusammensetzen; der Faktorzerlegung selbst schreiben die Autoren daher keinen zusätzlichen Rekonstruktionsfehler zu. Der Fehler entsteht beim Ersetzen der projizierten Merkmale durch Codebucheinträge. Für das Sprachmodell werden anschließend die diskreten Indizes verwendet, die auf neu gelernte Token-Einbettungen abgebildet werden. [2][4]

Der technische Zweck ist, jedem weiteren Codebuch auch bei größerem Bitbudget eine vollständige, feste Dimension umfassende Sicht auf das Ausgangsmerkmal zu geben. Die Versuche zeigen laut den Autoren, dass FVQ dadurch über den getesteten hohen Budgetbereich weiter zulegt, während RVQ und PQ dort abflachen. Das ist ein Ergebnis der konkreten Konstruktion und Evaluierung, keine Garantie, dass jede FVQ-Implementierung oder jeder Datensatz denselben Verlauf erreicht. [2][4]

Ergebnisse: kontrollierter Test und größeres Modell

Im Acht-Benchmark-Vergleich erreicht FVQ bei 224 Bit pro Patch einen Mittelwert von 65,3; bei 112 Bit sind es 63,9. Die kontinuierliche Referenz liegt bei 64,6. Der im Projektauftritt wiedergegebene Mittelwert umfasst unter anderem MathVista, RealWorldQA, OCRBench, TextVQA, ChartQA und DocVQA; OCRBench wird für die Berechnung durch zehn geteilt. Der Wert von 65,3 liegt damit in diesem spezifischen Vergleich über dem kontinuierlichen Referenzwert, während die Ergebnisse nicht für sämtliche Aufgaben oder Einsatzbedingungen stehen. [4]

Davon zu unterscheiden ist die größere Modellbewertung mit neun Metriken. Für das diskrete Modell Ours-8B weist die Projektseite einen Mittelwert von 76,6 aus, für Qwen3-VL-8B als kontinuierliche Referenz 78,4. UniAR-8B erreicht 62,4 und Emu3-Chat-8B 48,1. Das Abstract des Preprints beziffert den relativen Vorsprung des eigenen Modells gegenüber UniAR und Emu3-Chat auf 22,8 beziehungsweise 59,2 Prozent. Diese Werte beziehen sich auf den Neun-Metriken-Vergleich und dürfen nicht mit dem oben genannten Acht-Benchmark-Mittel vermischt werden. [1][2][4]

In der auf der Projektseite gezeigten Tabelle erreicht Ours-8B bei MathVista 77,4 Punkte gegenüber 77,2 für Qwen3-VL-8B und bei RealWorldQA 72,0 gegenüber 71,5. Die Autoren bezeichnen ihr Modell als konkurrenzfähig mit leistungsstarken kontinuierlichen Systemen und heben insbesondere fein aufgelöste Texterkennung hervor. Die kleinen Abstände einzelner Benchmarks belegen jedoch für sich genommen weder einen allgemeinen Leistungsvorsprung noch einen praktischen Vorteil in Produktionsanwendungen. [1][2][4]

Trainingsaufwand und Modellkonfiguration

Die Projektseite beschreibt ein vierstufiges Trainingsrezept mit insgesamt 200 Milliarden Tokens: 100 Milliarden für das Training des Quantisierers, 10 Milliarden für Alignment, 60 Milliarden für das Vortraining und 30 Milliarden für überwachtes Fine-Tuning. Der Quantisierer lernt dabei, Merkmale eines eingefrorenen Qwen3-VL-8B-Vision-Transformers zu rekonstruieren; laut Beschreibung wird kein Pixelrekonstruktionsziel verwendet. Anschließend bleibt der Quantisierer eingefroren, während das Sprachmodell lernt, die diskreten Indizes zu verarbeiten. [4]

Das Modell kombiniert nach den Angaben der Projektseite ein Qwen3-8B-Sprachmodell mit einem Qwen3-ViT und einer FVQ-Variante mit 16 Codebüchern. Für das Vortraining werden ein Kontext von 8.000 Tokens und Bilder bis 1.024 Pixel genannt; für das Fine-Tuning ein Kontext von 16.000 Tokens und Bilder bis 2.048 Pixel. Die Quelle liefert in den hier verfügbaren Angaben keine vergleichbaren Laufzeit-, Speicher- oder Kostenmessungen gegenüber den kontinuierlichen Baselines. [4]

Bedeutung für Unternehmen: Potenzial und offene Betriebsfragen

Für Unternehmen, die multimodale Modelle entwickeln oder evaluieren, verschiebt die Studie die technische Fragestellung: Nicht nur die Rekonstruktionsgüte eines Bild-Tokenizers zählt, sondern auch, welche Aufgabeninformationen die diskreten Indizes für das nachgelagerte Modell bewahren. Die Ergebnisse sprechen dafür, Verständnis-Benchmarks in die Bewertung einzubeziehen, statt MSE als alleinigen Qualitätsmaßstab zu behandeln. Das ist eine aus den kontrollierten Vergleichen abgeleitete Evaluierungsimplikation, keine Aussage über einen konkreten kommerziellen Nutzen. [2][4]

Ein gemeinsames Tokenformat für Sprache und Bild kann grundsätzlich eine engere Integration in Modelle ermöglichen, die mit einer gemeinsamen Next-Token-Vorhersage arbeiten. Die Studie stellt diskrete visuelle Repräsentationen als möglichen Baustein solcher multimodalen Architekturen dar. Für einen betrieblichen Einsatz müsste jedoch zusätzlich geprüft werden, ob Qualität, Robustheit, Datenabdeckung und Betriebskennzahlen für den jeweiligen Anwendungsfall ausreichen; das Preprint berichtet keine unabhängige Produkt- oder Einsatzvalidierung. [1][2]

Auch das größere Bitbudget ist nicht kostenlos: Aus der FVQ-Konstruktion folgt, dass mehr Codebücher mehr diskrete Indizes pro Patch erzeugen. Welche Auswirkungen das auf Sequenzlänge, Inferenzlatenz und Speicherbedarf hat, lässt sich aus den veröffentlichten Ergebnissen nicht quantifizieren. Für Architekturentscheidungen sollten Sie daher neben Benchmarks auch die Tokenmenge und den Ressourcenbedarf im konkreten Modellbetrieb messen. [2][4]

Einordnung und Grenzen der Aussage

Die Arbeit ist ein Preprint, und die präsentierten Leistungsangaben stammen aus den Auswertungen der Autoren. Die vorliegenden Quellen enthalten keine unabhängige Reproduktion oder externe Bestätigung der Benchmarkergebnisse. Zudem ist „semantisch verlustfrei“ im Artikel an multimodales Verständnis gebunden: Gute Werte auf den ausgewählten Tests zeigen nicht, dass jede visuelle Information erhalten bleibt oder alle Bildaufgaben gleich gut funktionieren. [1][2][4]

Auch die Datumsangaben der bereitgestellten Seiten sind nicht deckungsgleich: arXiv führt die Version 1 mit dem Datum 27. Oktober 2026, während die Hugging-Face-Seite den 26. Oktober als Veröffentlichungsdatum nennt und eine Einreichung am 28. Oktober aufführt. Für die Einordnung des Forschungsstands ist daher das arXiv-Versionsdatum die klarste Angabe im Volltext; die abweichenden Plattformmetadaten sollten nicht als gesicherte Publikationschronologie verstanden werden. [1][2]

Der belastbare Kernbefund ist enger als der Titel: In den untersuchten Setups muss ein größerer quantitativer Rekonstruktionsfehler nicht mit schlechterem multimodalem Verständnis einhergehen; ein hinreichendes und wirksam genutztes Bitbudget kann diskrete Repräsentationen an kontinuierliche Baselines heranführen. FVQ ist ein vorgeschlagener Weg, die Sättigung bestehender Quantisierer zu begrenzen. Ob sich daraus Vorteile bei Kosten, Geschwindigkeit oder Zuverlässigkeit ergeben, bleibt anhand der verfügbaren Resultate offen. [2][4]

Quellen

1. [1] Paper page - Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals? — https://huggingface.co/papers/2610.37662 (abgerufen am 2026-10-28)
2. [2] Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals? — https://arxiv.org/html/2610.37662 (abgerufen am 2026-10-28)
3. [4] FVQ · Semantically Lossless Tokens — https://doctor-james.github.io/FVQ-Page (abgerufen am 2026-10-28)