PixWizard: Ein vielseitiger Bild-zu-Bild-Assistent mit offenen Spracheingaben

Einführung

In den letzten Jahren haben sich große Sprachmodelle (LLMs) und große Visionsmodelle (LVMs) als bemerkenswert erfolgreich erwiesen. Sie haben es geschafft, verschiedene Aufgaben in einem einzigen, kohärenten Rahmen zu vereinen. Während LLMs sich als effiziente Sprachassistenten etabliert haben, die in der Lage sind, komplexe Sprachverständnis- und Argumentationsaufgaben zu bewältigen, gibt es noch keine universellen visuellen Assistenten, die in der Lage sind, vielfältige, multimodale Anweisungen zu verstehen und verschiedene visuelle Aufgaben in realen Szenarien zu erfüllen. Hier kommt PixWizard ins Spiel.

PixWizard: Der vielseitige visuelle Assistent

PixWizard ist ein vielseitiger Bild-zu-Bild-Assistent, der für die Bilderzeugung, -manipulation und -übersetzung basierend auf freien Spracheingaben entwickelt wurde. Der Assistent basiert auf einem Diffusion Transformer (DiT) und ist in der Lage, eine Vielzahl von visuellen Aufgaben zu bewältigen, indem er detaillierte Anweisungsvorlagen in natürlicher Sprache nutzt. Das Modell umfasst eine große Anzahl diverser visueller Aufgaben wie Text-zu-Bild-Generierung, Bildwiederherstellung, Bildverortung, dichte Bildvorhersage, Bildbearbeitung, steuerbare Generierung, Inpainting/Outpainting und mehr.

Merkmale von PixWizard

1. Aufgabenvereinheitlichung

Eine der größten Herausforderungen bei der Entwicklung eines universellen visuellen Assistenten ist die Vielzahl der visuellen Aufgaben und Datenformate. PixWizard fasst die meisten dieser Aufgaben als Bild-zu-Bild-Übersetzungsprobleme zusammen. Für Aufgaben, die nicht natürlich zu Bildausgaben passen, lernen wir zunächst, ihre Visualisierungen zu generieren und wandeln sie dann in die gewünschten Formate um.

2. Datenerstellung

Um die bemerkenswerte Vielfalt an Aufgaben und Daten im visuellen Bereich zu nutzen, haben wir ein umfassendes Trainingsset mit insgesamt 30 Millionen Datensätzen erstellt. Dieses Dataset ermöglicht es unserem Modell, fünf Hauptfähigkeiten zu unterstützen:

- Bilderzeugung: Dazu gehören Text-zu-Bild-Generierung, steuerbare Generierung, Inpainting und Outpainting. - Bildbearbeitung. - Bildwiederherstellung: Aufgaben wie Entrauschung, Entregnung, Entschneien, Entschatten, Super-Resolution und mehr. - Bildverortung: Objekte basierend auf Benutzereingaben lokalisieren. - Dichte Bildvorhersage: Aufgaben wie Tiefenschätzung, Oberflächennormalenschätzung, Posenschätzung, semantische Segmentierung und mehr.

3. Architekturgestaltung

Die Architektur und Skalierbarkeit des Grundmodells sind entscheidend für die Entwicklung eines robusten visuellen Assistenten. PixWizard verwendet den Diffusion Transformer (DiT) als Basis und erweitert dessen Fähigkeiten mit einer flexiblen Mechanik für beliebige Auflösungen, um Bilder dynamisch basierend auf dem Seitenverhältnis des Eingangsbildes zu verarbeiten. Darüber hinaus integriert das Modell struktur- und semantikbewusste Anleitungen, um eine effektive Fusion von Informationen aus dem Eingangsbild zu ermöglichen.

Experimente und Ergebnisse

Unsere Experimente zeigen, dass PixWizard beeindruckende generative und verständnisvolle Fähigkeiten für Bilder mit unterschiedlichen Auflösungen aufweist. Darüber hinaus zeigt das Modell vielversprechende Generalisierungsfähigkeiten bei bisher unbekannten Aufgaben und menschlichen Anweisungen. Diese Ergebnisse unterstreichen PixWizards Stärke als leistungsfähiger interaktiver Bild-zu-Bild-Assistent.

Omni Pixel-to-Pixel Instruction-Tuning Dataset

Um PixWizard mit umfassenden Fähigkeiten für die Bilderzeugung, -manipulation und -übersetzung auszustatten, haben wir ein mehrstufiges, multimodales Trainingsdataset erstellt. Dieses Dataset besteht aus 30 Millionen Instanzen in sieben Hauptbereichen und ist das größte, vielfältigste und benutzerfreundlichste Bild-Anweisung-Bild-Tripel-Dataset. Es wurde aus offenen und internen Datasets zusammengestellt und mit Hilfe von MLLMs und manuellen Überprüfungen gefiltert.

Bildwiederherstellung

Wir integrieren Daten zur Wiederherstellung von Bildern, die durch verschiedene Umwelt- oder technische Faktoren beeinträchtigt wurden. Dieser Abschnitt nutzt eine Vielzahl offener Datensätze, die wichtige Wiederherstellungsaufgaben abdecken, darunter:

- Entrauschung - Entregnung - Entschneien - Entschatten - Super-Resolution

Bildverortung

Bildverortung umfasst die Identifizierung und Hervorhebung spezifischer Bereiche von Objekten in Bildern basierend auf bereitgestellten Texteingaben. Die Daten für diesen Teil stammen aus bekannten Datensätzen wie gRefCOCO, RefCOCO3 und Visual Genome.

Steuerbare Generierung

Wir zielen darauf ab, unserem Modell natürliche Bilderzeugungsfähigkeiten zu verleihen, die durch bedingte Eingaben gesteuert werden. Wir sammeln natürliche Bilder aus dem LAION Art Dataset sowie aus unserer eigenen Sammlung hochwertiger Bilder aus dem Internet und nutzen fortschrittliche Techniken zur Generierung von Beschreibungen und bedingten Eingaben für die Bilder.

Schlussfolgerung

PixWizard stellt einen bedeutenden Schritt in Richtung eines vielseitigen, interaktiven Bild-zu-Bild-Assistenten dar, der in der Lage ist, eine breite Palette von visuellen Aufgaben zu bewältigen und auf offene Spracheingaben zu reagieren. Mit seiner Fähigkeit zur Generalisierung auf unbekannte Aufgaben und Anweisungen zeigt das Modell vielversprechende Perspektiven für zukünftige Anwendungen in verschiedenen visuellen Bereichen.

Bibliographie

- https://arxiv.org/abs/2409.15278 - https://arxiv.org/html/2409.15278v1 - https://github.com/AFeng-x/PixWizard - https://huggingface.co/papers - https://chatpaper.com/chatpaper/zh-CN?id=4&date=1727107200&page=1 - https://openaccess.thecvf.com/content/CVPR2023/papers/Brooks_InstructPix2Pix_Learning_To_Follow_Image_Editing_Instructions_CVPR_2023_paper.pdf