Tencents Divot: Ein innovativer Video-Tokenizer mit Diffusionsmodellen

Tencents Divot: Ein neuer Ansatz zur Video-Tokenisierung mit Diffusionsmodellen

Die rasante Entwicklung im Bereich der Künstlichen Intelligenz (KI) schreitet unaufhaltsam voran und erweitert kontinuierlich die Grenzen des Möglichen. Ein aktuelles Beispiel dafür ist Divot, ein innovativer Video-Tokenizer von Tencent, der die Leistungsfähigkeit von Diffusionsmodellen für die Verarbeitung und Generierung von Videos nutzt.

Die Herausforderung der Videoverarbeitung

Videos stellen aufgrund ihrer komplexen räumlichen und zeitlichen Struktur eine besondere Herausforderung für KI-Systeme dar. Während große Sprachmodelle (LLMs) in der Textverarbeitung bereits beeindruckende Ergebnisse erzielen, hinken sie bei der Videoverarbeitung und -generierung anderen Modellen wie den Diffusionsmodellen hinterher. Ein zentraler Aspekt für die effektive Nutzung von LLMs in diesem Bereich ist die Entwicklung leistungsfähiger Video-Tokenizer. Diese Tokenizer haben die Aufgabe, Videodaten in diskrete Einheiten (Tokens) umzuwandeln, die von LLMs verarbeitet werden können.

Divots Lösungsansatz: Diffusionsbasiertes Lernen

Divot verfolgt einen neuartigen Ansatz, indem es Diffusionsprozesse für das selbstüberwachte Lernen von Videorepräsentationen nutzt. Die Grundidee besteht darin, dass ein Diffusionsmodell, das in der Lage ist, verrauschte Videoclips anhand der von Divot generierten Tokens zu entrauschen, die räumlichen und zeitlichen Informationen des Videos effektiv erfasst hat. Das Diffusionsmodell dient dabei nicht nur als Werkzeug zum Trainieren des Tokenizers, sondern auch als "De-Tokenizer", der die gelernten Repräsentationen zurück in realistische Videoclips dekodieren kann.

Aufbau und Funktionsweise von Divot

Divot besteht aus einem vortrainierten Vision Transformer (ViT) Encoder, einem räumlich-zeitlichen Transformer und einem Perceiver Resampler. Diese Komponenten extrahieren aus den Videobildern, die mit niedriger Bildrate abgetastet werden, aussagekräftige Videorepräsentationen. Diese Repräsentationen dienen als Bedingung für ein vortrainiertes Video-Diffusionsmodell (DynamiCrafter), das darauf trainiert wird, das Rauschen aus den latenten Repräsentationen der Videobilder zu entfernen. Nach dem Training kann das Diffusionsmodell realistische Videoclips aus Rauschen generieren, indem es die von Divot bereitgestellten Videorepräsentationen als Bedingung verwendet.

Divot-LLM: Kombination mit großen Sprachmodellen

Um die Möglichkeiten von Divot voll auszuschöpfen, haben die Entwickler Divot-LLM geschaffen, eine Kombination aus Divot und dem vortrainierten Sprachmodell Mistral-7B. Divot-LLM wird mittels Next-Word-Prediction auf Video-Caption-Daten trainiert, um Videos zu verstehen. Für die Videogenerierung wird ein probabilistisches Modell verwendet, das die Verteilung der Videomerkmale mit einem Gaußschen Mischmodell (GMM) abbildet. Das LLM lernt, die Parameter des GMM vorherzusagen. Während der Inferenz werden dann Stichproben aus der vorhergesagten GMM-Verteilung gezogen, um Videos mithilfe des De-Tokenizers zu dekodieren.

Anwendungsbereiche und Potenzial

Divot-LLM zeigt vielversprechende Ergebnisse in verschiedenen Bereichen der Videoverarbeitung, darunter Videoverständnis, Zero-Shot-Videogenerierung und Video-Storytelling. Durch Finetuning auf spezifischen Datensätzen kann Divot-LLM sogar zusammenhängende Erzählungen und dazu passende Videos generieren.

Fazit

Divot stellt einen wichtigen Fortschritt im Bereich der Videoverarbeitung dar. Durch die Kombination von Diffusionsmodellen und großen Sprachmodellen eröffnet Divot neue Möglichkeiten für das Verständnis und die Generierung von Videos. Die Veröffentlichung der Modelle und des Codes ermöglicht es der Forschungsgemeinschaft, auf diesen Ergebnissen aufzubauen und die Technologie weiterzuentwickeln. Insbesondere für Unternehmen wie Mindverse, die sich auf KI-gestützte Content-Erstellung spezialisiert haben, bietet Divot das Potenzial, die eigenen Produkte und Dienstleistungen zu erweitern und die Möglichkeiten der KI-gestützten Videoverarbeitung für ihre Kunden zu erschließen.

Bibliographie: - Ge, Y., Li, Y., Ge, Y., & Shan, Y. (2024). Divot: Diffusion Powers Video Tokenizer for Comprehension and Generation. arXiv preprint arXiv:2412.04432. - https://github.com/TencentARC/Divot - https://arxiv.org/html/2412.04432v1 - https://www.youtube.com/watch?v=Tp_J8Eea5XY - https://openreview.net/forum?id=gzqrANCF4g - https://arxiv-sanity-lite.com/?rank=pid&pid=2412.04446 - https://paperswithcode.com/paper/language-model-beats-diffusion-tokenizer-is