Tuna-2 Ein neuer Ansatz für multimodale KI-Modelle

Die Entwicklung von Künstlicher Intelligenz (KI) schreitet rasant voran, insbesondere im Bereich der multimodalen Modelle. Diese Modelle zielen darauf ab, verschiedene Datenmodalitäten wie Text, Bilder und Videos zu verstehen und zu generieren. Eine der jüngsten Innovationen auf diesem Gebiet ist Tuna-2, ein von einem Forschungsteam, unter anderem von Meta AI, der University of Hong Kong und der University of Waterloo entwickeltes Unified Multimodal Model (UMM). Dieses Modell zeichnet sich durch einen radikal vereinfachten Architekturansatz aus, der das Potenzial hat, die Entwicklung multimodaler KI grundlegend zu verändern.

Die Evolution multimodaler Modelle

Traditionelle multimodale Modelle verlassen sich häufig auf vortrainierte Visions-Encoder, um visuelle Eingaben zu verarbeiten. Diese Encoder, wie Variational Autoencoders (VAEs) für die Generierung und Repräsentations-Encoder wie CLIP für das Verständnis, erzeugen separate visuelle Repräsentationen. Dies kann jedoch zu einer Diskrepanz zwischen den Aufgaben führen und eine durchgängige Optimierung von Rohpixeln erschweren.

Die Vorgängerversion, Tuna, versuchte, diese Trennung durch die Verwendung vereinheitlichter visueller Repräsentationen zu überbrücken, die durch eine Kaskadierung eines VAE-Encoders mit einem Repräsentations-Encoder erzeugt wurden. Dies ermöglichte eine gemeinsame Verarbeitung von Bildern und Videos für Verständnis- und Generierungsaufgaben innerhalb eines einzigen Rahmenwerks. Die Forschung an Tuna zeigte bereits, dass einheitliche visuelle Repräsentationen effektiver sein können als entkoppelte Ansätze.

Tuna-2: Eine radikale Vereinfachung

Tuna-2 geht nun einen Schritt weiter und strebt eine noch stärkere Vereinfachung der Architektur an. Das Kernkonzept von Tuna-2 ist die Durchführung von visuellem Verständnis und Generierung direkt auf der Grundlage von Pixeleinbettungen, ohne die Notwendigkeit separater, modularer Visions-Encoder. Dies bedeutet, dass Komponenten wie VAEs oder Repräsentations-Encoder vollständig entfallen.

Anstelle komplexer Encoder verwendet Tuna-2 einfache Patch-Embedding-Layer, um visuelle Eingaben zu kodieren. Diese Patches werden dann direkt von einem Large Language Model (LLM)-Decoder verarbeitet. Dieser Ansatz vereinfacht den Modellaufbau erheblich und ermöglicht eine echte End-to-End-Optimierung direkt von den Rohpixeln.

Architektonische Details und Innovationen

Die Entwicklung von Tuna-2 erfolgte in mehreren Schritten, die auf einer progressiven Vereinfachung basierten:

• Tuna-R: Als erster Zwischenschritt wurde Tuna-R entwickelt, das den VAE-Modellteil eliminierte, aber einen Repräsentations-Encoder beibehielt. Dieses Modell führte bereits visuelles Verständnis ähnlich standardmäßigen Encoder-basierten LMMs durch und unterstützte visuelle Generierung mittels Pixel-Space Flow Matching.
• Tuna-2: Der finale Schritt bestand darin, auch den Repräsentations-Encoder vollständig zu entfernen. Tuna-2 nutzt somit nur einen einzigen Transformer-Decoder zur Verarbeitung von Bild- und Video-Tokens.

Eine zentrale Herausforderung beim Lernen von vereinheitlichten Repräsentationen direkt im hochdimensionalen Pixelraum ist die Stabilität des Trainings. Um dies zu adressieren, wurde in Tuna-2 ein Masking-basiertes visuelles Feature-Lernschema implementiert. Dabei wird eine Teilmenge von Bild-Patches zufällig ausgewählt und durch ein lernbares Masken-Token ersetzt. Dies schafft eine anspruchsvollere Denoising-Aufgabe für die Generierung und zwingt das Modell, multimodales Reasoning unter teilweiser visueller Beobachtung für das Verständnis durchzuführen.

Leistung und Ergebnisse

Experimente zeigen, dass Tuna-2 in verschiedenen multimodalen Benchmarks eine hohe Leistung erzielt und in vielen Bereichen dem aktuellen Stand der Technik entspricht oder diesen übertrifft. Insbesondere in Aufgaben, die eine feinkörnige visuelle Wahrnehmung erfordern, zeigt Tuna-2 eine stärkere Leistung als Encoder-basierte Varianten, insbesondere nach ausreichendem Vortraining.

Verständnis und Generierung

Tuna-2 wurde auf einer breiten Palette von Benchmarks für Bild- und Videoverständnis sowie für Bild- und Videogenerierung evaluiert. Die Ergebnisse zeigen konsistent hohe Leistungen:

• Bildverständnis: Auf neun Benchmarks, darunter allgemeine VQA-Aufgaben (Visual Question Answering) wie MME, GQA, RealWorldQA und SEED-Bench, sowie wissensintensive Benchmarks wie MMMU und MMStar, und textzentrierte Benchmarks wie ChartQA und OCRBench, erreichte Tuna-2 (in 1.5B- und 7B-Varianten) Spitzenleistungen. Dies unterstreicht die Effektivität seiner vereinheitlichten Repräsentationen.
• Bildgenerierung: Bei der Bildgenerierung auf GenEval, DPG-Bench und OneIG-Bench übertraf Tuna-2 vergleichbare Ansätze wie Janus-Pro, BAGEL und Mogao. Besonders hervorzuheben ist die Fähigkeit von Tuna-2, Text in Bildern präzise wiederzugeben, was auf ein starkes semantisches Verständnis bei der Generierung von Bildern aus komplexen Anweisungen hinweist.
• Bildbearbeitung: Auf ImgEdit-Bench und GEdit-Bench erzielte Tuna-2 die höchsten Gesamtwerte unter allen UMMs. Seine Leistung war sogar mit spezialisierten Generierungsmodellen vergleichbar. Dies demonstriert die robuste Bildbearbeitungsfähigkeit von Tuna-2 und die Effektivität seiner vereinheitlichten visuellen Repräsentation bei Aufgaben, die präzises semantisches Verständnis und genaue Prompt-Befolgung erfordern.
• Videoverständnis und -generierung: Auch im Bereich Videoverständnis (MVBench, Video-MME, LongVideoBench, LVBench) und Videogenerierung (VBensch) zeigte Tuna-2 überzeugende Ergebnisse und erreichte in vielen Fällen den Status des State-of-the-Art.

Ablationsstudien und Analyse

Umfassende Ablationsstudien belegen die Wirksamkeit der Modellarchitektur und des Trainingsprozesses von Tuna-2. Es wurde gezeigt, dass die einheitliche Repräsentation von Tuna-2 sowohl entkoppelte Ansätze als auch andere vereinheitlichte Repräsentationsdesigns übertrifft. Zudem wurde festgestellt, dass stärkere vortrainierte Repräsentations-Encoder konsistent zu besseren Leistungen führen, und dass die gemeinsame Ausbildung an Verständnis- und Generierungsdaten eine gegenseitige Verstärkung der Aufgaben ermöglicht.

Ein Vergleich mit dem eng verwandten Modell Show-o2, das eine Dual-Path-Late-Fusion-Strategie verwendet, zeigte, dass Tuna-2 aufgrund seiner tiefen Feature-Fusion über alle Schichten des semantischen Encoders hinweg überlegen ist. Show-o2 hingegen zeigte eine Tendenz zur Voreingenommenheit gegenüber semantischen Features, was die Generierungsqualität beeinträchtigte.

Implikationen für die Zukunft

Die Ergebnisse der Tuna-2-Forschung legen nahe, dass vortrainierte Visions-Encoder für die multimodale Modellierung nicht zwingend erforderlich sind. Das End-to-End-Lernen im Pixelraum bietet einen skalierbaren Weg zu stärkeren visuellen Repräsentationen für Generierung und Wahrnehmung. Diese Entdeckung könnte die Entwicklung von multimodalen KI-Modellen erheblich vereinfachen und beschleunigen, indem die Komplexität der Architektur reduziert und gleichzeitig die Leistung verbessert wird.

Für Unternehmen im B2B-Bereich, die auf KI-Lösungen setzen, bedeutet dies potenziell effizientere und leistungsfähigere multimodale Modelle. Die Fähigkeit, visuelles Verständnis, Text-zu-Bild-Generierung und Bildbearbeitung direkt aus Pixeleinbettungen zu vereinen, könnte neue Möglichkeiten für Anwendungen in Bereichen wie Content-Erstellung, Design-Automatisierung und visueller Analyse eröffnen. Die vereinfachte Architektur könnte zudem die Implementierung und Skalierung solcher Systeme erleichtern.

Die fortlaufende Forschung in diesem Bereich wird voraussichtlich weitere Optimierungen und Anwendungen dieser vielversprechenden Technologie hervorbringen.

Bibliographie

• Liu, Z., Ren, W., Huang, X., Chen, S., Li, T., Chen, M., ... & Cong, Y. (2026). Tuna-2: Pixel Embeddings Beat Vision Encoders for Multimodal Understanding and Generation. arXiv preprint arXiv:2604.24763.
• Liu, Z., Ren, W., Liu, H., Zhou, Z., Chen, S., Qiu, H., ... & Cong, Y. (2025). TUNA: Taming Unified Visual Representations for Native Unified Multimodal Models. arXiv preprint arXiv:2512.02014.
• Tuna AI Project Page. (n.d.). Tuna-2: Pixel Embeddings Beat Vision Encoders. Abgerufen von https://tuna-ai.org/tuna-2/
• Tuna AI Project Page. (n.d.). Tuna: Taming Unified Visual Representations for Native Unified Multimodal Models. Abgerufen von https://tuna-ai.org/
• Emergent Mind. (n.d.). TUNA: Unified Visual Representations for UMMs. Abgerufen von https://www.emergentmind.com/papers/2512.02014