Fortschritte im Multimodalen Embedding: Das Douyin Modell im Fokus
Inhaltsverzeichnis
Optimieren Sie Prozesse, automatisieren Sie Workflows und fördern Sie Zusammenarbeit – alles an einem Ort.
Das Wichtigste in Kürze
- Multimodales Embedding ist ein zentraler Bestandteil moderner KI-Systeme, insbesondere für Such- und Empfehlungssysteme.
- Bestehende Modelle kämpfen oft mit dem Kompromiss zwischen Effizienz bei großen Datenmengen und feingranularer Diskriminierung.
- Douyin hat mit dem Douyin Multimodal Embedding (DME) ein zweistufiges Modell vorgestellt, das beide Anforderungen adressiert.
- DME nutzt ein großskaliges kontrastives Vortraining und ergänzende Mechanismen zur Verbesserung der semantischen Suffizienz.
- Das Modell zeigt hohe Effizienz und Diskriminierungsfähigkeit, mit signifikanten Leistungsverbesserungen in realen Anwendungsszenarien.
Die Fähigkeit, Informationen aus verschiedenen Modalitäten wie Text, Bild und Video zu verarbeiten und in eine einheitliche, numerische Darstellung – ein sogenanntes Embedding – zu überführen, ist ein Eckpfeiler der modernen Künstlichen Intelligenz. Diese multimodalen Embeddings sind entscheidend für die Leistungsfähigkeit von industriellen Such- und Empfehlungssystemen sowie für die Funktionsweise fortschrittlicher KI-Agenten.
Herausforderungen bei multimodalen Embeddings in der Praxis
Plattformen wie Douyin, Xiaohongshu und YouTube, die mit komplexen Modalitäten und massiven Inhaltsmengen operieren, stehen vor erheblichen Herausforderungen. Sie benötigen Modelle, die sowohl effizient bei der Indexierung von Milliarden von Inhalten sind als auch eine feingranulare Diskriminierung für präzise Übereinstimmungen bieten. Bisherige Modelle, insbesondere multimodale Large Language Model (MLLM) Embedding-Modelle, konnten diese beiden Anforderungen selten gleichzeitig erfüllen.
Kontrastive Modelle vs. CoT-basierte Ansätze
Kontrastive Modelle sind zwar effizient, basieren jedoch oft auf paarweiser Supervision, die für feingranulare Unterscheidungen zu grob sein kann. Demgegenüber verbessern CoT-basierte (Chain-of-Thought) Modelle die Diskriminierung durch explizite Generierung, was jedoch im Online-Betrieb oft unpraktikabel ist, da es zu hohe Rechenkosten verursacht.
Das Douyin Multimodal Embedding (DME) Modell
Vor diesem Hintergrund hat Douyin ein neues Modell vorgestellt: das Douyin Multimodal Embedding (DME). Dieses Modell wurde entwickelt, um die Stärken beider Ansätze zu vereinen und sowohl Effizienz als auch feingranulare Diskriminierung zu gewährleisten.
Zweistufiges Trainingskonzept
Das DME-Modell ist in einem zweistufigen Prozess trainiert:
- Stufe 1: Großskaliges kontrastives Vortraining
In dieser Phase wird ein einheitlicher multimodaler Embedding-Raum etabliert. Dies geschieht durch kontrastives Vortraining über eine breite Palette von Modalitäten und Aufgaben. Ziel ist es, eine grundlegende Fähigkeit zur Repräsentation verschiedener Datentypen zu schaffen. - Stufe 2: Verbesserung der semantischen Suffizienz
Die zweite Stufe konzentriert sich auf die Steigerung der semantischen Suffizienz der Embeddings. Dies bedeutet, dass die Embeddings nicht nur relevant für die Abfrage sind, sondern auch feingranulare semantische Details der Gegenstücke bewahren. Hierbei kommen zwei Mechanismen zum Einsatz:- Evidence-Grounded Typed Latent Reasoning: Dieser Mechanismus organisiert Retrieval-Evidenz durch latentes Reasoning im verborgenen Raum des Modells.
- Cross-Conditional Reconstruction: Hierbei werden semantische Informationen der Gegenstücke durch kreuzdirektionale autoregressive Rekonstruktion erzwungen.
Es ist wichtig zu beachten, dass beide Mechanismen der zweiten Stufe ausschließlich während des Trainings aktiv sind. Im Online-Betrieb entstehen dadurch nur marginale zusätzliche Kosten auf der Abfrageseite, wodurch DME so effizient wie ein Standard-Kontrastencoder agiert.
Leistungsfähigkeit und praktische Anwendung
Die Leistungsfähigkeit des DME-Modells wurde umfassend evaluiert. Auf dem MMEB-v2 Benchmark erzielen die 2B- und 9B-Varianten des Modells modernste Ergebnisse von 74,8 bzw. 78,4 Punkten. Besonders hervorzuheben ist die Stärke des Modells bei Video- und visuellen Dokumentenaufgaben.
In der Produktion liefert DME einen relativen Gewinn von 2,92 % auf Douyins internem Offline-Evaluierungsdatensatz. Das Modell wird bereits in verschiedenen Douyin-Szenarien eingesetzt, darunter generative, Bild- und KI-Suche. Im Online-A/B-Testing für die Douyin-Suche wurde zudem ein Lifetime (LT) Gewinn von 0,1 % erzielt.
Fazit
Das Douyin Multimodal Embedding (DME) Modell stellt einen signifikanten Fortschritt im Bereich des multimodalen Repräsentationslernens dar. Durch die Kombination eines effizienten zweistufigen Trainingsansatzes mit fortschrittlichen Mechanismen zur Verbesserung der semantischen Suffizienz adressiert es die kritischen Anforderungen von Effizienz und feingranularer Diskriminierung in großskaligen realen Anwendungen. Die erzielten Ergebnisse und der erfolgreiche Einsatz in der Produktion unterstreichen das Potenzial dieses Modells, die nächste Generation von KI-gestützten Such- und Empfehlungssystemen maßgeblich zu prägen.
Bibliographie
- Dou, Zhicheng et al. "Douyin Multimodal Embedding Model Technical Report." arXiv preprint arXiv:2608.02148 (2026).
- Korshunov.ai. "Douyin releases DME multimodal embedding model with state-of-the-art performance." (2026).
- Chen, Haonan et al. "SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model." arXiv preprint arXiv:2510.12709 (2025).
Artikel jetzt als Podcast anhören
.svg){kind=logo}
.png){kind=logo}
