Fortschritte in der 3D-Bewegungssteuerung für die KI-gestützte Videogenerierung

3D-Bewegungssteuerung in der Videogenerierung: Ein neuer Ansatz

Die Generierung von Videos mittels künstlicher Intelligenz hat in den letzten Jahren rasante Fortschritte gemacht. Besonders die Steuerung der Bewegung von Objekten und Personen innerhalb generierter Videos ist ein aktives Forschungsfeld. Während bisherige Methoden primär auf 2D-Steuerungssignale setzten, eröffnet die präzise Kontrolle von 3D-Bewegungen neue Möglichkeiten für realistischere und komplexere Videos.

3DTrajMaster: Steuerung von Multi-Entitäten-Bewegungen im 3D-Raum

Ein vielversprechender Ansatz in diesem Bereich ist 3DTrajMaster. Dieses Verfahren ermöglicht die Manipulation von 3D-Bewegungen mehrerer Entitäten (Objekte, Personen, etc.) innerhalb eines generierten Videos. Im Gegensatz zu 2D-Methoden, die die Bewegung nur auf der Bildebene steuern können, nutzt 3DTrajMaster 6DoF-Posen-Sequenzen (6 Freiheitsgrade: Position und Rotation in drei Dimensionen). Dadurch lässt sich die Bewegung jeder Entität im 3D-Raum präzise vorgeben.

Kernstück von 3DTrajMaster ist ein sogenannter "3D-Motion Grounded Object Injector". Dieser kombiniert die Informationen über die einzelnen Entitäten mit den vorgegebenen 3D-Trajektorien mithilfe eines "Gated Self-Attention"-Mechanismus. Diese Architektur ermöglicht es, die Bewegung der Entitäten präzise zu steuern und gleichzeitig die vom Videogenerierungsmodell gelernten Zusammenhänge zu erhalten. Dies ist entscheidend für die Generalisierungsfähigkeit des Systems, d.h. die Fähigkeit, auch mit unbekannten Szenarien und Objekten umzugehen.

Herausforderungen und Lösungen

Die Generierung qualitativ hochwertiger Videos mit kontrollierter 3D-Bewegung stellt verschiedene Herausforderungen dar. Um eine Verschlechterung der Videoqualität zu vermeiden, verwendet 3DTrajMaster einen "Domain Adaptor" während des Trainings und eine "Annealed Sampling"-Strategie während der Inferenz. Der Domain Adaptor hilft dem Modell, die Unterschiede zwischen den Trainingsdaten und den tatsächlichen Anwendungsfällen zu überbrücken. Die Annealed Sampling-Strategie verbessert die Qualität der generierten Videos, indem sie den Stichprobenprozess während der Inferenz optimiert.

Eine weitere Herausforderung ist der Mangel an geeigneten Trainingsdaten. Um dieses Problem zu lösen, wurde im Rahmen des 3DTrajMaster-Projekts ein spezieller Datensatz, das "360-Motion Dataset", erstellt. Dieser Datensatz enthält 3D-Modelle von Menschen und Tieren, die mit GPT-generierten Trajektorien animiert und anschließend aus verschiedenen Blickwinkeln aufgenommen wurden. Die Aufnahmen erfolgten mit 12 gleichmäßig verteilten Kameras in unterschiedlichen 3D-Umgebungen, die mit der Unreal Engine erstellt wurden.

Ergebnisse und Ausblick

Experimentelle Ergebnisse zeigen, dass 3DTrajMaster im Vergleich zu bisherigen Methoden sowohl in Bezug auf die Genauigkeit der Bewegungssteuerung als auch auf die Generalisierungsfähigkeit überzeugende Ergebnisse liefert. Die präzise Kontrolle von 3D-Bewegungen eröffnet neue Möglichkeiten für die Videogenerierung und -bearbeitung und könnte in Zukunft Anwendungen in Bereichen wie Film, Animation, virtuelle Realität und Robotik finden.

Die Entwicklungen im Bereich der KI-gestützten Videogenerierung sind dynamisch und vielversprechend. Methoden wie 3DTrajMaster zeigen das Potenzial für die Erstellung immer realistischerer und komplexerer Videos, die durch präzise Bewegungssteuerung individuell gestaltet werden können.

Bibliographie: https://openreview.net/forum?id=Gx04TnVjee https://github.com/KwaiVGI/3DTrajMaster https://openreview.net/pdf/939d81f065e4ddc37f9b13a334d71ab994ef69cf.pdf http://paperreading.club/page?id=271718 https://papers.cool/arxiv/2412.07759 https://arxiv-sanity-lite.com/ https://chatpaper.com/chatpaper/ja?id=4&date=1733846400&page=1 https://github.com/showlab/Awesome-Video-Diffusion https://paperreading.club/