Fortschritte im Multimodalen Embedding: Das Douyin Modell im Fokus

Die Fähigkeit, Informationen aus verschiedenen Modalitäten wie Text, Bild und Video zu verarbeiten und in eine einheitliche, numerische Darstellung – ein sogenanntes Embedding – zu überführen, ist ein Eckpfeiler der modernen Künstlichen Intelligenz. Diese multimodalen Embeddings sind entscheidend für die Leistungsfähigkeit von industriellen Such- und Empfehlungssystemen sowie für die Funktionsweise fortschrittlicher KI-Agenten.

Herausforderungen bei multimodalen Embeddings in der Praxis

Plattformen wie Douyin, Xiaohongshu und YouTube, die mit komplexen Modalitäten und massiven Inhaltsmengen operieren, stehen vor erheblichen Herausforderungen. Sie benötigen Modelle, die sowohl effizient bei der Indexierung von Milliarden von Inhalten sind als auch eine feingranulare Diskriminierung für präzise Übereinstimmungen bieten. Bisherige Modelle, insbesondere multimodale Large Language Model (MLLM) Embedding-Modelle, konnten diese beiden Anforderungen selten gleichzeitig erfüllen.

Kontrastive Modelle vs. CoT-basierte Ansätze

Kontrastive Modelle sind zwar effizient, basieren jedoch oft auf paarweiser Supervision, die für feingranulare Unterscheidungen zu grob sein kann. Demgegenüber verbessern CoT-basierte (Chain-of-Thought) Modelle die Diskriminierung durch explizite Generierung, was jedoch im Online-Betrieb oft unpraktikabel ist, da es zu hohe Rechenkosten verursacht.

Das Douyin Multimodal Embedding (DME) Modell

Vor diesem Hintergrund hat Douyin ein neues Modell vorgestellt: das Douyin Multimodal Embedding (DME). Dieses Modell wurde entwickelt, um die Stärken beider Ansätze zu vereinen und sowohl Effizienz als auch feingranulare Diskriminierung zu gewährleisten.

Zweistufiges Trainingskonzept

Das DME-Modell ist in einem zweistufigen Prozess trainiert:

1. Stufe 1: Großskaliges kontrastives Vortraining
   In dieser Phase wird ein einheitlicher multimodaler Embedding-Raum etabliert. Dies geschieht durch kontrastives Vortraining über eine breite Palette von Modalitäten und Aufgaben. Ziel ist es, eine grundlegende Fähigkeit zur Repräsentation verschiedener Datentypen zu schaffen.
2. Stufe 2: Verbesserung der semantischen Suffizienz
   Die zweite Stufe konzentriert sich auf die Steigerung der semantischen Suffizienz der Embeddings. Dies bedeutet, dass die Embeddings nicht nur relevant für die Abfrage sind, sondern auch feingranulare semantische Details der Gegenstücke bewahren. Hierbei kommen zwei Mechanismen zum Einsatz:
   • Evidence-Grounded Typed Latent Reasoning: Dieser Mechanismus organisiert Retrieval-Evidenz durch latentes Reasoning im verborgenen Raum des Modells.
   • Cross-Conditional Reconstruction: Hierbei werden semantische Informationen der Gegenstücke durch kreuzdirektionale autoregressive Rekonstruktion erzwungen.

Es ist wichtig zu beachten, dass beide Mechanismen der zweiten Stufe ausschließlich während des Trainings aktiv sind. Im Online-Betrieb entstehen dadurch nur marginale zusätzliche Kosten auf der Abfrageseite, wodurch DME so effizient wie ein Standard-Kontrastencoder agiert.

Leistungsfähigkeit und praktische Anwendung

Die Leistungsfähigkeit des DME-Modells wurde umfassend evaluiert. Auf dem MMEB-v2 Benchmark erzielen die 2B- und 9B-Varianten des Modells modernste Ergebnisse von 74,8 bzw. 78,4 Punkten. Besonders hervorzuheben ist die Stärke des Modells bei Video- und visuellen Dokumentenaufgaben.

In der Produktion liefert DME einen relativen Gewinn von 2,92 % auf Douyins internem Offline-Evaluierungsdatensatz. Das Modell wird bereits in verschiedenen Douyin-Szenarien eingesetzt, darunter generative, Bild- und KI-Suche. Im Online-A/B-Testing für die Douyin-Suche wurde zudem ein Lifetime (LT) Gewinn von 0,1 % erzielt.

Fazit

Das Douyin Multimodal Embedding (DME) Modell stellt einen signifikanten Fortschritt im Bereich des multimodalen Repräsentationslernens dar. Durch die Kombination eines effizienten zweistufigen Trainingsansatzes mit fortschrittlichen Mechanismen zur Verbesserung der semantischen Suffizienz adressiert es die kritischen Anforderungen von Effizienz und feingranularer Diskriminierung in großskaligen realen Anwendungen. Die erzielten Ergebnisse und der erfolgreiche Einsatz in der Produktion unterstreichen das Potenzial dieses Modells, die nächste Generation von KI-gestützten Such- und Empfehlungssystemen maßgeblich zu prägen.

Bibliographie

• Dou, Zhicheng et al. "Douyin Multimodal Embedding Model Technical Report." arXiv preprint arXiv:2608.02148 (2026).
• Korshunov.ai. "Douyin releases DME multimodal embedding model with state-of-the-art performance." (2026).
• Chen, Haonan et al. "SAIL-Embedding Technical Report: Omni-modal Embedding Foundation Model." arXiv preprint arXiv:2510.12709 (2025).