MimicMotion: Hochwertige Videogenerierung menschlicher Bewegung mit vertrauensbewusster Posenführung

Einführung

Die jüngsten Fortschritte in der generativen Künstlichen Intelligenz haben zu bedeutenden Entwicklungen im Bereich der Bildgenerierung geführt. Die Videogenerierung jedoch steht weiterhin vor erheblichen Herausforderungen in Bezug auf Steuerbarkeit, Videolänge und Detailreichtum, was die Anwendung und Verbreitung dieser Technologie einschränkt. In diesem Zusammenhang stellt Tencent das neue Framework MimicMotion vor, das hochwertige Videos beliebiger Länge mit jeder beliebigen Bewegungsvorgabe generieren kann.

Technologische Innovationen

Vertrauensbewusste Posenführung

Eine der herausragenden Eigenschaften von MimicMotion ist die vertrauensbewusste Posenführung. Diese ermöglicht es, zeitliche Glätte zu erreichen und die Modellrobustheit durch groß angelegte Trainingsdaten zu verbessern. Dabei werden Helligkeitswerte auf den Pose-Guidance-Frames genutzt, um das Vertrauensniveau der Pose-Schätzung darzustellen. Regionen mit hoher Vertrauenswürdigkeit erhalten im Verlustfunktionstraining ein höheres Gewicht, was Verzerrungen in den generierten Bildern deutlich reduziert.

Regionale Verlustverstärkung

Ein weiterer zentraler Aspekt ist die regionale Verlustverstärkung, die auf dem Pose-Vertrauen basiert. Durch diese Methode wird die Verzerrung der Bilder erheblich verringert, indem Bereichen mit hoher Vertrauenswürdigkeit ein größeres Gewicht im Trainingsprozess zugewiesen wird.

Progressive latente Fusion

Um lange, glatte Videos zu generieren, wurde eine progressive latente Fusionsstrategie entwickelt. Diese ermöglicht es, Videos beliebiger Länge mit akzeptablem Ressourcenverbrauch zu erstellen. Bei jedem Denoising-Schritt werden die Videosegmente zunächst separat denoised, wobei auf dasselbe Referenzbild und die entsprechende Pose-Sequenz Bezug genommen wird. Innerhalb jedes Denoising-Schrittes werden die überlappenden Frames progressiv nach ihren Frame-Positionen fusioniert.

Vergleich mit aktuellen Methoden

Im Vergleich zu bestehenden Methoden zeigt MimicMotion signifikante Verbesserungen in mehreren Aspekten. Die Methode erreicht eine bessere Qualität der Handgenerierung und hält sich genauer an die Referenzpose. Darüber hinaus zeigt sie stabile Inter-Frame-Unterschiede und eine bessere zeitliche Glätte im Vergleich zu anderen Methoden wie MagicPose, Moore und MuseV.

Anwendungsbeispiele und Nutzerstudien

MimicMotion wurde in umfangreichen Experimenten und Nutzerstudien getestet. Die Ergebnisse zeigten, dass die Methode in vielerlei Hinsicht überlegen ist. Nutzer bevorzugten MimicMotion gegenüber anderen Methoden bei der Generierung von Videos auf der TikTok-Testdatensatz-Spaltung.

Ablationsstudien

Um die Wirksamkeit der einzelnen Komponenten von MimicMotion zu bewerten, wurden Ablationsstudien durchgeführt. Diese bestätigten, dass:

- Die vertrauensbewusste Posenführung die Robustheit der Generierung gegenüber falschen Führungssignalen erhöht. - Die Handregionenverstärkung die Verzerrung der Hände reduziert und die visuelle Attraktivität verbessert. - Die progressive latente Fusion glatte Übergänge ermöglicht und abrupte Änderungen an den Videosegmentgrenzen vermeidet.

Technische Spezifikationen und Voraussetzungen

Für die Nutzung von MimicMotion sind bestimmte technische Voraussetzungen zu beachten. Es wird Python 3+ mit Torch 2.x empfohlen, validiert mit einer Nvidia V100 GPU. Die maximale Anzahl von Video-Frames wurde von 16 auf 72 erweitert, was die Videoqualität erheblich verbessert. Die Mindest-VRAM-Anforderung für das 16-Frame-Modell beträgt 8GB, während der VAE-Decoder 16GB benötigt.

Fazit

MimicMotion stellt einen bedeutenden Fortschritt in der generativen Videogenerierung dar. Mit seinen innovativen Ansätzen wie vertrauensbewusster Posenführung, regionaler Verlustverstärkung und progressiver latenter Fusion bietet das Framework eine vielversprechende Lösung für die Herausforderungen der Videogenerierung. Zahlreiche Experimente und Nutzerstudien belegen die Überlegenheit dieser Methode gegenüber bestehenden Ansätzen.

Bibliographie

- https://github.com/Tencent/MimicMotion - https://tencent.github.io/MimicMotion/ - https://huggingface.co/ - https://www.youtube.com/watch?v=C5kQHPlHF80 - https://twitter.com/_akhaliq/status/1730280166125957631 - https://www.runcomfy.com/comfyui-workflows/comfyui-mimicmotion-workflow-human-motion-video-generation