Fortschritte in der autoregressiven Bildgenerierung durch das ResTok-Modell

Die autoregressive Bildgenerierung stellt ein dynamisches Forschungsfeld innerhalb der künstlichen Intelligenz dar, das sich stetig weiterentwickelt. Ein aktueller Fortschritt in diesem Bereich ist die Einführung von ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation. Dieses Modell, entwickelt von einem Team um Xu Zhang, zielt darauf ab, die Effizienz und Qualität der Bildgenerierung zu verbessern, indem es die einzigartigen Eigenschaften visueller Daten besser berücksichtigt.

Die Herausforderung der visuellen Tokenisierung

Bisherige 1D visuelle Tokenizer für die autoregressive (AR) Generierung orientierten sich häufig an Prinzipien der Sprachmodellierung. Sie basieren auf Transformatoren, deren Ursprünge in der Verarbeitung natürlicher Sprache liegen. Dies führte zu latenten Tokens mit einer einzigen Hierarchie und einer Behandlung visueller Daten als flache, sequentielle Token-Streams. Diese Sprach-ähnliche Formulierung vernachlässigt jedoch fundamentale Eigenschaften der visuellen Wahrnehmung, insbesondere die hierarchischen und residualen Netzwerkdesigns, die für die Konvergenz und Effizienz visueller Modelle von Bedeutung sind.

Die Innovation von ResTok

Um die "Vision" in die visuelle Modellierung zurückzubringen, schlägt ResTok einen Ansatz vor, der hierarchische Residuale für Bild-Tokens und latente Tokens aufbaut. Dies ermöglicht eine verbesserte Darstellungsfähigkeit und eine effizientere Generierung. Die zentralen Designprinzipien von ResTok umfassen:

• Hierarchische Darstellungen: Durch progressives Merging von Bild-Tokens werden grobere Merkmale gebildet und am Anfang der Token-Sequenz eingefügt. Dies erlaubt den latenten Tokens, In-Context-Merkmale mit Bild-Tokens über verschiedene Hierarchien hinweg zu fusionieren, was die Repräsentationskapazität deutlich erhöht.
• Semantische Residuale: Zwischen den Hierarchien werden semantische Residuale gelernt. Dies verhindert Informationsüberlappungen und führt zu konzentrierteren latenten Verteilungen, die für die AR-Modellierung einfacher zu handhaben sind. Im Gegensatz zu handgefertigten Einschränkungen oder additiven Residualen akkumuliert ResTok kompensatorische visuelle Merkmale auf semantisch strukturierte Weise.
• Beschleunigte Generierung: ResTok integriert einen hierarchischen AR-Generator. Dieser reduziert die Anzahl der Sampling-Schritte erheblich, indem er eine ganze Ebene von latenten Tokens auf einmal vorhersagt, anstatt sie streng Token für Token zu generieren.

Technische Details und Optimierungsstrategien

Der Encoding-Prozess in ResTok beginnt mit einem CNN-Encoder, der ein Eingabebild in initiale Bild-Tokens umwandelt. Diese werden anschließend in einen ViT-Encoder eingespeist, zusammen mit latenten Tokens, die iterativ visuelle Merkmale verfeinern. Die latenten Tokens werden dann quantisiert und dienen als Repräsentation für Rekonstruktion und Generierung. Für den Decoding-Prozess werden maskierte Bild-Tokens verwendet, um den inversen Abfrageprozess einzuleiten und das rekonstruierte Bild zu erzeugen.

Um die hierarchische Darstellung in ViT zu gewährleisten, ersetzt ResTok normale ViT-Blöcke durch Residual Merging Blocks. Diese Blöcke fusionieren Zwischenmerkmale progressiv zu kleineren Skalen, wodurch Multiskalen-Repräsentationen entstehen. Encoder-Aufmerksamkeitsmasken stellen sicher, dass gröbere Skalen nicht auf feinere Skalen zugreifen können, was kausale Abhängigkeiten über die Hierarchien hinweg erzwingt.

Semantische Residuale und Codebook-Entropie

Ein wesentlicher Aspekt von ResTok ist die Adressierung von Informationsüberlappungen zwischen verschiedenen Ebenen, die in früheren Ansätzen zu hoher Codebook-Entropie und ähnlichen Embeddings führten. ResTok initialisiert latente Tokens residual, sodass die Anzahl der latenten Tokens exponentiell über hierarchische Ebenen hinweg ansteigt. Das Modell lernt, Residuale semantisch strukturiert zu akkumulieren, wodurch die Informationsüberlappung reduziert und Codebooks mit niedrigerer Entropie erzeugt werden, die für die AR-Modellierung vorteilhafter sind.

Optimierungsstrategien

ResTok integriert auch eine Repräsentationsausrichtung mit einem vortrainierten Vision Foundation (VF) Modell, um eine schnellere Konvergenz zu erreichen. Diese Ausrichtung wird sowohl im Encoder als auch im Decoder angewendet, um die Merkmalsextraktion zu steuern und die Semantik im Quantisierungs-Bottleneck zu bewahren. Das Modell verzichtet auf manuelle Zuweisungen von latenten Tokens zu räumlichen Auflösungen oder Frequenzbändern, sondern optimiert jede latente Hierarchie adaptiv.

Hierarchische Autoregressive Generierung (HAR)

Das ursprüngliche LlamaGen-Paradigma der Next-Token Prediction (NTP) kann bei langen Sequenzen zu einer Verlangsamung der Generierung führen. ResTok führt einen hierarchischen autoregressiven (HAR) Generator ein, der auf das hierarchische Design von ResTok zugeschnitten ist. Dieser Generator unterteilt den Generierungsprozess in eine initiale AR-Phase und eine HAR-Phase. In der HAR-Phase wird eine ganze Gruppe latenter Tokens auf einmal vorhergesagt, was die Anzahl der Sampling-Schritte erheblich reduziert und den Generierungsprozess beschleunigt.

Experimentelle Ergebnisse und Analyse

Umfassende Experimente auf dem ImageNet-256 Benchmark zeigen die Leistungsfähigkeit von ResTok. Das Modell erreicht einen gFID (Fréchet Inception Distance) von 2,34 mit nur 9 Sampling-Schritten. Dies übertrifft frühere query-basierte Methoden und andere beschleunigte AR-Modelle, die längere latente Sequenzen verwenden. Die Analyse der Rekonstruktionsqualität (rFID), des Inception Score (IS) sowie von Precision und Recall bestätigt die Verbesserung der Generierungsleistung.

Qualitative Beobachtungen

ResTok zeigt ein kohärentes semantisches Stacking-Verhalten, bei dem Bilder in einer grob-zu-fein-Manier rekonstruiert werden. Jede zusätzliche Gruppe von latenten Tokens trägt zu semantisch bedeutsamen Verfeinerungen bei, wie Objektidentität, räumliches Layout, Farbzusammensetzung und schließlich Textur- und Detailinformationen. Dies unterscheidet ResTok von Modellen, deren Verfeinerungsstufen hauptsächlich auf Frequenzbändern oder Low-Level-Texturen ohne klare semantische Ordnung operieren. Die Visualisierung der Encoder-Aufmerksamkeitskarten bestätigt, dass die ersten latenten Tokens abstrakte semantische Informationen kodieren, während spätere Tokens feinere Details verfeinern.

Ablationsstudien

Detaillierte Ablationsstudien untersuchten die Auswirkungen der hierarchischen Residuale, des Pooling-Faktors und der Repräsentationsausrichtung. Es zeigte sich, dass hierarchische Residuale die Repräsentationsfähigkeiten verbessern und die latenten Verteilungen konzentrieren, was zu einer niedrigeren Codebook-Entropie und einem besseren gFID führt. Die gleichzeitige Anwendung von Residualen auf Bild- und latente Tokens lieferte die besten Ergebnisse. Die Repräsentationsausrichtung sowohl im Encoder als auch im Decoder war entscheidend für eine optimale Leistung. Zudem wurde festgestellt, dass eine zu lange Trainingsdauer des Tokenizers zwar die Rekonstruktion verbessern kann, aber die AR-Modellierung beeinträchtigt, wobei ein optimaler Trade-off bei etwa 750.000 Iterationen gefunden wurde.

Fazit

ResTok stellt einen bedeutenden Fortschritt in der autoregressiven Bildgenerierung dar, indem es die hierarchische und residuale Natur visueller Repräsentationen in ViT-basierte Tokenizer integriert. Durch progressives Merging von Bild-Tokens und die Akkumulation semantischer Residuale über verschiedene Ebenen hinweg erreicht ResTok eine natürliche Ausrichtung zwischen Bild- und latenten Hierarchien. Die experimentellen Ergebnisse belegen die Effektivität dieses Ansatzes sowohl bei der Rekonstruktion als auch bei der Generierungseffizienz. Zukünftige Arbeiten könnten die weitere Verbesserung der Wiedergabetreue und die Anwendung auf übergreifende Modelle für multimodales Verständnis und Generierung umfassen.

Bibliographie

- Zhang, X., Da, C., Yang, H., Gai, K., Lu, M., Ma, Z. (2026). ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation. arXiv preprint arXiv:2601.03955. - Hugging Face Daily Papers (2026). ResTok: Learning Hierarchical Residuals in 1D Visual Tokenizers for Autoregressive Image Generation. Verfügbar unter: https://huggingface.co/papers/2601.03955 - AI Native Daily Paper Digest (2026). AI Native Daily Paper Digest – 20260108. Verfügbar unter: https://ainativefoundation.org/ai-native-daily-paper-digest-20260108/ - Chen, C., Huang, Z., Zou, C., Zhu, M., Ji, K., Liu, J., Chen, J., Chen, H., Shen, C. (2025). HieraTok: Multi-Scale Visual Tokenizer Improves Image Reconstruction and Generation. arXiv preprint arXiv:2509.23736. - Zheng, A., Wang, H., Zhao, Y., Deng, W., Wang, T., Zhang, X., Qi, X. (2025). Holistic Tokenizer for Autoregressive Image Generation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). Verfügbar unter: https://openaccess.thecvf.com/content/ICCV2025/papers/Zheng_Holistic_Tokenizer_for_Autoregressive_Image_Generation_ICCV_2025_paper.pdf - Hansen-Estruch, P., Yan, D., Chung, C.-Y., Zohar, O., Wang, J., Hou, T., Xu, T., Vishwanath, S., Vajda, P., Chen, X. (2025). Learnings from Scaling Visual Tokenizers for Reconstruction and Generation. arXiv preprint arXiv:2501.09755. Verfügbar unter: https://huggingface.co/papers/2501.09755 - Computer Vision and Pattern Recognition | Cool Papers. Verfügbar unter: https://papers.cool/arxiv/cs.CV