Meta präsentiert innovative KI-Technologie zur Bildgenerierung von Personen

Meta veröffentlicht neue KI-Technologie zur Bildgenerierung von Personen

Meta hat eine neue Technologie zur Bildgenerierung von Personen vorgestellt, die auf dem Prinzip "Learning Flow Fields in Attention" (LeFFA) basiert. Diese Technologie ermöglicht eine kontrollierbare Manipulation von Bildern, indem sie Flussfelder und Aufmerksamkeit kombiniert. Damit eröffnen sich neue Möglichkeiten für kreative Anwendungen, aber auch für die Weiterentwicklung von Bereichen wie virtuelle Realität und Augmented Reality.

Funktionsweise von LeFFA

LeFFA nutzt Flussfelder, um die räumliche Transformation von Bildelementen zu steuern. Diese Felder geben an, wie einzelne Pixel im Bild verschoben werden sollen, um die gewünschte Transformation zu erreichen. Die Aufmerksamkeit konzentriert sich dabei auf relevante Bildbereiche, um die Transformation präzise und detailgenau durchzuführen. Durch die Kombination von globalen Flussfeldern und lokaler Aufmerksamkeit erreicht LeFFA eine hohe Flexibilität und Kontrolle über die Bildgenerierung.

Die Technologie analysiert die Pose einer Person im Ausgangsbild und kann diese anschließend anhand einer Zielpose verändern. Das bedeutet, dass beispielsweise die Position der Arme, Beine und des Kopfes gezielt angepasst werden können. Darüber hinaus ermöglicht LeFFA auch die Animation von statischen Bildern, indem es aus einer Sequenz von Zielposen ein Video generiert.

Anwendungsbereiche

Die Anwendungsbereiche von LeFFA sind vielfältig. In der Kreativbranche könnte die Technologie zur Erstellung von realistischen Avataren, zur Animation von Charakteren in Videospielen oder zur Produktion von Spezialeffekten in Filmen eingesetzt werden. Auch im Bereich E-Commerce könnte LeFFA neue Möglichkeiten eröffnen, indem es ermöglicht, Kleidungsstücke an virtuellen Models zu präsentieren.

Darüber hinaus bietet LeFFA Potenzial für die Weiterentwicklung von virtueller und erweiterter Realität. Durch die Möglichkeit, Personen realistisch darzustellen und zu animieren, könnten immersivere und interaktivere Erlebnisse geschaffen werden.

Forschung und Entwicklung

LeFFA basiert auf der Forschungsarbeit "Deep Image Spatial Transformation for Person Image Generation". Der zugrundeliegende Code ist öffentlich zugänglich und bietet Entwicklern die Möglichkeit, die Technologie weiterzuentwickeln und für eigene Projekte zu nutzen. Meta selbst forscht kontinuierlich an der Verbesserung von LeFFA und erweitert die Funktionalitäten der Technologie.

Die Veröffentlichung von LeFFA durch Meta ist ein weiterer Schritt in der Entwicklung von KI-gestützten Bildgenerierungstechnologien. Die Kombination von Flussfeldern und Aufmerksamkeit ermöglicht eine präzise und flexible Manipulation von Bildern, was zu einer Vielzahl von innovativen Anwendungen führen könnte.

Bibliographie: https://www.reddit.com/r/ninjasaid13/comments/1hcbkzk/241208486_learning_flow_fields_in_attention_for/ https://arxiv.org/pdf/2108.01823 https://github.com/RenYurui/Global-Flow-Local-Attention https://www.researchgate.net/publication/373419421_Flow-Guided_Attention_Deformation_for_Person_Image_Generation https://arxiv.org/abs/2003.00696 https://renyurui.github.io/GFLA-web/ https://www.semanticscholar.org/paper/Deep-Image-Spatial-Transformation-for-Person-Image-Ren-Yu/a74e1e831bcd7b99ff2a90a7e1de269a8f07a405