Innovative Ansätze in der autoregressiven Bildgenerierung
Artikel jetzt als Podcast anhören
Autoregressive Bildgenerierung: Über die Vorhersage des nächsten Tokens hinaus
Autoregressive (AR) Modelle haben die Landschaft der generativen KI grundlegend verändert und bilden das Rückgrat modernster Sprach- und Bildgenerierungsmodelle. Das zentrale Prinzip dieser Modelle basiert auf der Vorhersage des nächsten Tokens – sei es ein Wort in einem Satz oder ein Bildausschnitt in einem Bild. Ein aktuelles Forschungspapier stellt jedoch die traditionelle Definition eines Tokens in Frage und präsentiert einen innovativen Ansatz für die autoregressive Bildgenerierung.
Die Grenzen der nächsten-Token-Vorhersage
Bisher wurden "Tokens" als die kleinsten Vorhersageeinheiten betrachtet, oft diskrete Symbole in der Sprachverarbeitung oder quantisierte Bildausschnitte (Patches) in der Bildgenerierung. Die optimale Definition eines Tokens für zweidimensionale Bildstrukturen blieb jedoch lange Zeit ein ungelöstes Problem. Zusätzlich leiden AR-Modelle unter dem sogenannten "Exposure Bias". Dieser entsteht durch das "Teacher Forcing" während des Trainings, bei dem das Modell immer mit den korrekten vorherigen Tokens gefüttert wird. In der Inferenzphase, wenn das Modell eigene Vorhersagen verwenden muss, kann dies zu einer Akkumulation von Fehlern führen.
xAR: Ein neuer Ansatz für die autoregressive Bildgenerierung
Das neue Framework "xAR" erweitert das Konzept des Tokens zu einer Entität "X", die verschiedene Formen annehmen kann: ein einzelner Patch, eine Zelle (eine k x k Gruppierung benachbarter Patches), eine Stichprobe (eine nicht-lokale Gruppierung entfernter Patches), eine Skalierung (von grob zu fein) oder sogar das gesamte Bild. Anstatt diskrete Token zu klassifizieren, verwendet xAR kontinuierliche Entitätsregression, basierend auf Flow-Matching-Methoden in jedem AR-Schritt.
Noisy Context Learning zur Reduzierung des Exposure Bias
Ein weiterer wichtiger Aspekt von xAR ist das "Noisy Context Learning" (NCL). Während des Trainings wird das Modell bewusst verrauschten Kontexten ausgesetzt, anstatt ausschließlich mit den korrekten vorherigen Tokens zu arbeiten. Dieser Ansatz reduziert den Exposure Bias, da das Modell lernt, auch mit fehlerhaften Eingaben umzugehen, was die Robustheit und Genauigkeit der Vorhersagen in der Inferenzphase verbessert.
Überzeugende Ergebnisse und gesteigerte Effizienz
Die Ergebnisse von xAR sind vielversprechend. Das Basismodell xAR-B (172M Parameter) übertrifft größere Modelle wie DiT-XL/SiT-XL (675M Parameter) bei der Bildgenerierung auf ImageNet-256 und erreicht gleichzeitig eine 20-fach schnellere Inferenz. Das größte Modell, xAR-H (1.1B Parameter), setzt einen neuen Standard mit einem FID-Wert von 1.24, ohne auf Vision Foundation Models (z. B. DINOv2) oder fortgeschrittenes Guidance Interval Sampling angewiesen zu sein. Es ist zudem 2,2-mal schneller als das bisher leistungsstärkste Modell.
Die Zukunft der autoregressiven Bildgenerierung
xAR stellt einen bedeutenden Fortschritt in der autoregressiven Bildgenerierung dar. Die flexible Definition von Vorhersageeinheiten und die Reduzierung des Exposure Bias durch NCL eröffnen neue Möglichkeiten für die Entwicklung noch leistungsfähigerer und effizienterer generativer Modelle. Die Forschungsergebnisse deuten darauf hin, dass xAR das Potenzial hat, die Bildgenerierung in verschiedenen Anwendungsbereichen, von der Kunst bis zur medizinischen Bildgebung, zu revolutionieren.
Bibliographie: - https://arxiv.org/abs/2502.20388 - https://huggingface.co/papers/2502.20388 - https://arxiv.org/html/2502.20388v1 - https://github.com/ChaofanTao/Autoregressive-Models-in-Vision-Survey - https://neurips.cc/virtual/2024/poster/94115 - https://openreview.net/forum?id=gojL67CfS8 - https://paperswithcode.com/paper/next-patch-prediction-for-autoregressive - http://paperreading.club/page?id=287866 - https://huggingface.co/papers/2412.15119 - https://www.researchgate.net/publication/386093859_High-Resolution_Image_Synthesis_via_Next_Token_Prediction
