Neueste Entwicklungen bei der Text-Driven-Stylization

Einführung

Was einen herausragenden Künstler in der Geschichte auszeichnet, ist nicht nur die Fähigkeit, eine Szene genau darzustellen, sondern vielmehr ihre einzigartige Perspektive im Verständnis und in der Repräsentation der Welt durch ihren unverwechselbaren Stil. Derselbe Inhalt kann je nach angewandtem künstlerischen Stil unterschiedlich interpretiert und dargestellt werden. Ein Fauvist-Künstler beispielsweise nimmt die Welt als lebhaftes Zusammenspiel von Farben wahr, während ein Kubist-Künstler sein Kunstwerk mit geometrischen Formen konstruiert. Die Essenz eines Stils geht über das bloße Farbspektrum und die malerischen Striche hinaus; sie ist intrinsisch mit spezifischen Regeln zur Darstellung von Inhalten auf verschiedenen Abstraktionsebenen verbunden. Daher müssen neuronale Stilmodelle den Grad der Inhaltsabstraktion kontrollieren, um Harmonie zwischen Inhalt und Stil zu erreichen, genau wie ein Künstler.

Hintergrund und Herausforderungen

In jüngster Zeit wurden Text-zu-Bild-Diffusionsmodelle in die Bildstilierungsaufgabe eingeführt. Aufgrund ihrer starken generativen Fähigkeiten haben diffusionsbasierte Methoden eine verbesserte Leistung gezeigt, um inhaltsbewusste Stile zu erzeugen, die den bloßen Texturtransfer vorheriger Methoden übertreffen. Diese verbesserte Stilierungskraft ist jedoch oft mit unkontrollierter Inhaltserzeugung verbunden, was zu Modifikationen des ursprünglichen Inhalts führt, die für den beabsichtigten Stil irrelevant sind. Beispielsweise könnte es als künstlerisch angesehen werden, einen Mann mit zahlreichen Polygonen darzustellen, ihm jedoch sechs Finger zu geben, wäre inakzeptabel. Daher ist es entscheidend, Diffusionsmodelle so zu steuern, dass nur stilbezogene Inhaltserzeugungen kuratiert werden, während die Integrität des ursprünglichen Inhalts gewahrt bleibt, um harmonische Stilisationsergebnisse zu erzielen.

ControlNet und seine Einschränkungen

ControlNet ist eine repräsentative Methode zur Steuerung des Szenenlayouts in Diffusionsmodellen. Trotz seines Erfolgs bei der Bildübersetzungsaufgabe stößt es immer noch auf Herausforderungen, die ästhetischen Anforderungen zu erfüllen. Insbesondere verwendet es starre, pixelbasierte Einschränkungen, die aus dem Inhaltsbild geschätzt werden, was sich von der Notwendigkeit flexibler, semantischer Einschränkungen für die Stilisation unterscheidet. Daher könnte die Verwendung einer starken Bedingung (z.B. Normalenkarte) die stilbewusste Inhaltserzeugung untergraben, während eine schwache Bedingung (z.B. Canny-Kante) zu unkontrollierter Inhaltserzeugung in Bereichen wie dem Hintergrund führen kann. Obwohl ControlNet einen Parameter zur Anpassung der Steuerstärke bietet, bleiben Inhalt und Stil im Diffusionsprozess verwoben, was zu widersprüchlicher Interpolation zwischen verschiedenen Abstraktionsebenen führt. Insgesamt bleibt die feingranulare und ästhetisch plausible Kontrolle des Diffusionsmodells eine erhebliche Herausforderung.

Die Einführung von "Artist"

In diesem Artikel stellen wir "Artist" vor, einen trainingsfreien Ansatz, der die Inhalts- und Stilgenerierung eines vortrainierten Diffusionsmodells für textgesteuerte Stilisation ästhetisch kontrolliert. Unser Schlüsselerkenntnis besteht darin, die Denoisings von Inhalt und Stil in separate Diffusionsprozesse zu entwirren, während Informationen zwischen ihnen geteilt werden. Wir schlagen einfache, aber effektive Methoden zur Inhalts- und Stilkontrolle vor, die stilirrelevante Inhaltserzeugung unterdrücken und so zu harmonischen Stilisationsergebnissen führen. Umfangreiche Experimente zeigen, dass unsere Methode bei der Erreichung ästhetischer Stilanforderungen überlegen ist, indem sie komplexe Details im Inhaltsbild bewahrt und gut mit dem Stilprompt übereinstimmt. Darüber hinaus demonstrieren wir die hohe Steuerbarkeit der Stilationsstärke aus verschiedenen Perspektiven.

Technische Details und Innovationen

Um die Leistung der vorgeschlagenen textgetriebenen Stilationsmethode ästhetisch zu bewerten, führen wir die Verwendung von Visuellen Sprachmodellen (VLMs) als ästhetische Metriken ein. Umfangreiche Experimente in verschiedenen Einstellungen zeigen die überlegene ästhetische Kontrollierbarkeit unseres "Artist", der hochwertige stilisierte Bilder erzeugt, die gut mit den gegebenen Prompts übereinstimmen. Unsere Beiträge lassen sich wie folgt zusammenfassen:

- Wir bieten eine Analyse der Inhalts- und Stilverwobenheit während des Diffusionsprozesses. - Wir schlagen vor, zusätzliche Inhalts- und Stil-Diffusionszweige zur Entwirrung im Diffusionsprozess zu verwenden. - Wir führen eine neuartige Inhalts- und Stilfaktorisierung ein, die eine ästhetisch feingranulare Kontrolle der Inhaltserzeugung in Diffusionsmodellen ermöglicht. - Wir führen VLMs zur Bewertung der textgesteuerten Stilisationsergebnisse auf ästhetischer Ebene ein. - Umfangreiche Experimente zeigen, dass die vorgeschlagene Methode frühere Methoden sowohl qualitativ als auch quantitativ übertrifft.

Fazit

Die Ergebnisse unserer Untersuchung zeigen, dass "Artist" einen bedeutenden Fortschritt in der textgesteuerten Stilisationstechnologie darstellt. Durch die Entwirrung von Inhalt und Stil in separaten Diffusionsprozessen und die Einführung von ästhetischen Metriken zur Bewertung der Ergebnisse zeigen wir, dass es möglich ist, harmonische und hochgradig anpassbare stilisierte Bilder zu erzeugen, die den gegebenen Prompts entsprechen. Diese Entwicklungen eröffnen neue Möglichkeiten für die Anwendung von KI in kreativen und künstlerischen Prozessen und bieten spannende Perspektiven für die Zukunft der Bildstilisation.

Quellen

- https://huggingface.co/papers/2407.15842 - https://arxiv.org/abs/2407.15842 - https://arxiv.org/html/2407.15842v1 - https://huggingface.co/papers?date=2024-07-23 - https://huggingface.co/spaces/fffiloni/StyleAligned_Transfer - https://huggingface.co/fffiloni/activity/likes - https://huggingface.co/runwayml/stable-diffusion-v1-5