Neuer Ansatz in der generativen Modellierung: RepTok für effiziente Bildsynthese

Revolution in der Bildgenerierung: RepTok nutzt selbstüberwachte Repräsentationen für effiziente Synthese

Die generative Modellierung hat in den letzten Jahren enorme Fortschritte gemacht, insbesondere bei der Synthese hochwertiger Bilder. Dennoch bleiben Herausforderungen hinsichtlich der Recheneffizienz und der Handhabung räumlicher Redundanzen bestehen. Eine aktuelle Forschungsarbeit stellt hierzu mit "Representation Tokenizer" (RepTok) einen innovativen Ansatz vor, der selbstüberwachte Repräsentationen als kompakten latenten Raum für die effiziente Generierung nutzt.

Die Herausforderung der traditionellen generativen Modelle

Diffusion- und flussbasierte Modelle haben sich als leistungsstarke generative Frameworks etabliert, die beeindruckende Bild- und Videosynthesen ermöglichen. Diese Modelle erfordern jedoch typischerweise erhebliche Rechenressourcen, da sie Vektorfelder im hochdimensionalen Pixelraum von Bildern regressieren. Latent Diffusion Models (LDMs) haben diesen Ansatz verbessert, indem sie Bilder zunächst in einen niedrigerdimensionalen latenten Raum komprimieren. Dies reduziert die Rechenkosten erheblich, da imperzeptible Details abstrahiert werden und sich der Generierungsprozess auf semantische Inhalte konzentrieren kann. Trotz dieser Fortschritte bleibt der latente Raum oft in einer zweidimensionalen Gitterstruktur organisiert, die räumliche Redundanzen natürlicher Bilder nicht optimal ausnutzt.

RepTok: Eine neue Perspektive auf latente Räume

RepTok setzt an dieser Stelle an, indem es ein Bild mittels eines einzelnen, kontinuierlichen latenten Tokens darstellt, der aus selbstüberwachten Vision-Transformern (SSL-Encoder) gewonnen wird. Der Kern des Ansatzes besteht darin, einen vorab trainierten SSL-Encoder nur minimal anzupassen, indem lediglich das semantische Token-Embedding feinabgestimmt wird. Dieses feinabgestimmte Embedding wird dann mit einem generativen Decoder gekoppelt, der gemeinsam mithilfe eines Standard-Flow-Matching-Ziels trainiert wird. Diese Anpassung reichert das Token mit niedrigstufigen, für die Rekonstruktion relevanten Details an, was eine präzise Bildrekonstruktion ermöglicht.

Um die vorteilhafte Geometrie des ursprünglichen SSL-Raums zu bewahren, integriert RepTok zusätzlich eine Kosinus-Ähnlichkeitsfunktion. Diese Funktion reguliert das angepasste Token und stellt sicher, dass der latente Raum glatt und für die Generierung geeignet bleibt. Diese Ein-Token-Formulierung eliminiert räumliche Redundanzen von 2D-Latenträumen und senkt die Trainingskosten erheblich.

Effizienz und Leistung von RepTok

Trotz seiner Einfachheit und Effizienz erzielt RepTok wettbewerbsfähige Ergebnisse bei der klassenbedingten ImageNet-Generierung. Darüber hinaus lässt sich das Framework nahtlos auf die Text-zu-Bild-Synthese erweitern und erreicht hierbei eine konkurrenzfähige Zero-Shot-Leistung auf MS-COCO, selbst bei extrem begrenzten Trainingsbudgets. Die Ergebnisse deuten darauf hin, dass feinabgestimmte SSL-Repräsentationen als kompakte und effektive latente Räume für eine effiziente generative Modellierung dienen können.

Wichtige Beiträge von RepTok:

• Direkte Nutzung von SSL-Repräsentationen: Selbstüberwachte Vision-Transformer können mit minimaler Anpassung des semantischen Tokens direkt als latente Räume für die generative Modellierung dienen. Durch die Injektion notwendiger feinkörniger Informationen in dieses semantische Token wird eine präzise Rekonstruktion ermöglicht, während gleichzeitig räumliche Redundanzen in 2D-Gitter-basierten Latenten eliminiert werden.
• Leichtgewichtige Generierungs-Pipeline: Das Autoencoder-Design ermöglicht eine leichte und optional auf Aufmerksamkeitsmechanismen verzichtende Pipeline für die latente generative Modellierung. Dies reduziert den Trainingsaufwand drastisch, während die Qualität erhalten bleibt. RepTok erreicht eine wettbewerbsfähige ImageNet-Generierung zu einem Bruchteil der Kosten von Transformer-basierten Diffusions-Baselines.
• Skalierbarkeit auf Text-zu-Bild-Synthese: RepTok skaliert effektiv auf die Text-zu-Bild-Synthese und erzielt wettbewerbsfähige Zero-Shot-Ergebnisse auf MS-COCO mit unter 20 Stunden Training auf vier A100-GPUs.

Methodik im Detail

RepTok baut auf der etablierten Fähigkeit von Modellen wie CLIP, MAE und DINO auf, hochinformative Repräsentationen zu kodieren und Bilder umfassend zu verstehen. Diese Modelle sind jedoch oft für nachgelagerte Aufgaben optimiert und können niedrigstufige visuelle Details, die für die Bildrekonstruktion entscheidend sind, unterrepräsentieren. RepTok begegnet dieser Einschränkung durch eine gezielte Anpassungsstrategie, bei der nur das Class-Token-Embedding aktualisiert wird, während der Rest des Encoders eingefroren bleibt. Diese minimale Intervention reicht aus, um die notwendigen visuellen Details in die Repräsentation zu injizieren.

Der generative Decoder wird end-to-end zusammen mit dem Encoder trainiert, um eine Abbildung von zufällig abgetastetem Gaussemrauschen auf das Zielbild zu lernen. Um die Recheneffizienz zu verbessern, arbeitet der generative Dekodierungsprozess innerhalb eines gelernten latenten Raums über einen vorab trainierten 2D VAE.

Die Kosinus-Ähnlichkeitsfunktion spielt eine zentrale Rolle, indem sie das feinabgestimmte Token nahe an seiner ursprünglichen vorab trainierten Repräsentation hält. Dies ist entscheidend, um den gut strukturierten latenten Raum für die spätere generative Modellierung zu erhalten und gleichzeitig das Token mit den zusätzlichen Informationen anzureichern, die der generative Decoder für eine präzise Rekonstruktion benötigt.

Experimentelle Ergebnisse

Die Evaluierung von RepTok erfolgte auf der klassenbedingten ImageNet-1k und zeigte die Skalierbarkeit des Ansatzes für die Text-zu-Bild-Generierung. Die Rekonstruktionsleistung wurde mit rFID, PSNR, SSIM und LPIPS bewertet, die Generierungsleistung mit gFID. RepTok erreicht dabei konkurrenzfähige FID-Scores bei deutlich geringerem Rechenaufwand im Vergleich zu anderen Baselines wie DiT und SiT. Es benötigt lediglich 1,7 % der von SiT verbrauchten GFLOPs.

Die qualitative Analyse zeigt hochauflösende Rekonstruktionen aus einem einzigen Token auf ImageNet-Validierungsbildern und starke Out-of-Distribution-Rekonstruktionen auf MS-COCO, obwohl nur auf ImageNet trainiert wurde. Die Glätte der latenten Räume selbstüberwachter Encoder wird durch das Training von RepTok erhalten, was zu fließenden Übergängen bei der Interpolation zwischen latenten Repräsentationen führt.

Für die Text-zu-Bild-Generierung skaliert RepTok effektiv und erreicht mit einem begrenzten Trainingsbudget (unter 20 Stunden auf vier A100-GPUs) konkurrenzfähige Zero-Shot-FID-Werte auf MS-COCO. Die Methode ist auch auf andere SSL-Encoder wie MAE und CLIP generalisierbar.

Fazit

RepTok repräsentiert einen bedeutsamen Fortschritt in der generativen Modellierung. Durch die geschickte Nutzung und Anpassung selbstüberwachter Repräsentationen gelingt es, einen kompakten und zugleich ausdrucksstarken latenten Raum zu schaffen. Dies ermöglicht nicht nur eine präzise Bildrekonstruktion, sondern auch eine hocheffiziente Bildsynthese, die herkömmliche Modelle in puncto Rechenaufwand und Skalierbarkeit übertrifft. Die Fähigkeit, mit einem einzigen kontinuierlichen Token komplexe Bilder zu generieren und sich nahtlos auf Text-zu-Bild-Aufgaben zu übertragen, positioniert RepTok als vielversprechenden Ansatz für zukünftige Entwicklungen im Bereich der KI-gestützten Inhaltserstellung.

Bibliography

- Gui, M., Schusterbauer, J., Phan, T., Krause, F., Susskind, J., Bautista, M. A., & Ommer, B. (2025). Adapting Self-Supervised Representations as a Latent Space for Efficient Generation. *arXiv preprint arXiv:2510.14630*. - ResearchGate. (n.d.). *(PDF) Adapting Self-Supervised Representations as a Latent Space for Efficient Generation*. Retrieved from https://www.researchgate.net/publication/396542000_Adapting_Self-Supervised_Representations_as_a_Latent_Space_for_Efficient_Generation - Hugging Face. (n.d.). *Adapting Self-Supervised Representations as a Latent Space for Efficient Generation*. Retrieved from https://huggingface.co/papers/2510.14630 - TheMoonlight.io. (n.d.). *[Literature Review] Adapting Self-Supervised Representations as a Latent Space for Efficient Generation*. Retrieved from https://www.themoonlight.io/review/adapting-self-supervised-representations-as-a-latent-space-for-efficient-generation - ChatPaper. (n.d.). *Adapting Self-Supervised Representations as a Latent Space for Efficient Generation*. Retrieved from https://chatpaper.com/paper/200611 - GitHub. (n.d.). *CompVis/RepTok: Adapting Self-Supervised Representations as a Latent Space for Efficient Generation*. Retrieved from https://github.com/CompVis/RepTok