Skalierung von autoregressiven Text-zu-Bild-Modellen mit kontinuierlichen Tokens

Die Skalierung autoregressiver Modelle im Bereich der Bildverarbeitung hat sich nicht als so vorteilhaft erwiesen wie bei großen Sprachmodellen. Eine neue Forschungsarbeit untersucht dieses Skalierungsproblem im Kontext der Text-zu-Bild-Generierung und konzentriert sich dabei auf zwei entscheidende Faktoren: die Verwendung von diskreten oder kontinuierlichen Tokens und die Generierungsreihenfolge der Tokens in einem festen Raster oder in zufälliger Reihenfolge, wie es bei BERT- oder GPT-ähnlichen Transformer-Architekturen der Fall ist.

Diskrete vs. kontinuierliche Tokens

In der Bildverarbeitung werden autoregressive Modelle häufig zur Generierung von Bildern aus Textbeschreibungen eingesetzt. Diese Modelle generieren Pixel für Pixel, wobei jedes Pixel durch ein Token repräsentiert wird. Traditionell wurden diskrete Tokens verwendet, die einen festen Satz von Werten repräsentieren. Neuere Ansätze verwenden jedoch kontinuierliche Tokens, die einen größeren Wertebereich abdecken und somit mehr Informationen kodieren können.

Rasterbasierte vs. zufällige Generierungsreihenfolge

Die Reihenfolge, in der die Pixel bzw. Tokens generiert werden, spielt ebenfalls eine wichtige Rolle. Bei einer rasterbasierten Generierung wird das Bild Pixel für Pixel von oben links nach unten rechts aufgebaut. Bei einer zufälligen Generierung hingegen können die Pixel in beliebiger Reihenfolge erzeugt werden. Letzteres ermöglicht es dem Modell, globale Zusammenhänge im Bild besser zu erfassen.

Empirische Ergebnisse und Erkenntnisse

Die Forschungsarbeit zeigt, dass alle untersuchten Modelle in Bezug auf den Validierungsverlust effektiv skalieren. Die Evaluierungsleistung, gemessen anhand von Metriken wie FID (Fréchet Inception Distance) und GenEval-Score, zeigt jedoch unterschiedliche Trends.

Modelle, die auf kontinuierlichen Tokens basieren, erzielen eine deutlich bessere visuelle Qualität als solche, die diskrete Tokens verwenden. Dies liegt wahrscheinlich daran, dass kontinuierliche Tokens einen größeren Wertebereich abdecken und somit mehr Informationen über das Bild kodieren können. Darüber hinaus haben die Generierungsreihenfolge und die Aufmerksamkeitsmechanismen einen signifikanten Einfluss auf den GenEval-Score: Modelle mit zufälliger Reihenfolge erzielen deutlich bessere GenEval-Scores im Vergleich zu Modellen mit rasterbasierter Reihenfolge.

Fluid: Ein neues autoregressives Modell für Text-zu-Bild-Generierung

Inspiriert von diesen Erkenntnissen entwickelten die Forscher Fluid, ein autoregressives Modell mit zufälliger Reihenfolge, das auf kontinuierlichen Tokens basiert. Das Fluid 10.5B-Modell erzielt einen neuen State-of-the-art-Zero-Shot-FID von 6,16 auf MS-COCO 30K und einen Gesamtscore von 0.69 auf dem GenEval-Benchmark.

Schlussfolgerung

Die Ergebnisse dieser Forschungsarbeit unterstreichen die Bedeutung der Verwendung von kontinuierlichen Tokens und einer zufälligen Generierungsreihenfolge für autoregressive Text-zu-Bild-Modelle. Insbesondere das Fluid-Modell zeigt das Potenzial dieses Ansatzes, qualitativ hochwertige Bilder aus Textbeschreibungen zu generieren. Zukünftige Forschung in diese Richtung könnte dazu beitragen, die Skalierungslücke zwischen Bildverarbeitungs- und Sprachmodellen weiter zu schließen.

Bibliographie

- Fan, L., Li, T., Qin, S., Li, Y., Sun, C., Rubinstein, M., Sun, D., He, K., & Tian, Y. (2024). Fluid: Scaling Autoregressive Text-to-image Generative Models with Continuous Tokens. arXiv preprint arXiv:2410.13863. - Yu, J., Xu, Y., Koh, J. Y., Luong, T., Baid, G., Wang, Z., ... & Wu, Y. (2022). Scaling Autoregressive Models for Content-Rich Text-to-Image Generation. arXiv preprint arXiv:2206.10789.