Neue KI-Technologie ReCapture ermöglicht flexible Kamerawinkelanpassungen in Videos

Mit Googles ReCapture: Kameraperspektiven in Videos nachträglich verändern

Google hat eine neue KI-Technologie namens ReCapture entwickelt, die es Nutzern ermöglicht, Kamerabewegungen in bereits aufgenommenen Videos nachträglich zu verändern. Damit sollen professionelle Videobearbeitungsfunktionen auch für Laien zugänglich werden.

Die nachträgliche Änderung von Kamerawinkeln in bestehenden Videos war bisher eine Herausforderung. Herkömmliche Methoden haben oft Schwierigkeiten, komplexe Bewegungen und Details beizubehalten, während sie verschiedene Arten von Videoinhalten verarbeiten. Anstatt eine explizite 4D-Darstellung als Zwischenschritt zu verwenden, nutzt ReCapture das Bewegungswissen generativer Videomodelle. Die Forscher formulierten die Aufgabe als Video-zu-Video-Übersetzung unter Verwendung von Stable Video Diffusion.

Zwei-Phasen-Prozess kombiniert zeitliche und räumliche Ebenen

ReCapture arbeitet in zwei Phasen. Zunächst wird ein "Ankervideo" erstellt - eine erste Version des gewünschten Ergebnisses mit den neuen Kamerabewegungen. Diese vorläufige Version kann zeitliche Inkonsistenzen und visuelle Artefakte enthalten.

Um das Ankervideo zu generieren, kann das System Diffusionsmodelle wie CAT3D verwenden, die Videos aus mehreren Blickwinkeln erstellen. Alternativ kann das Ankervideo durch Frame-für-Frame-Tiefenschätzung und Punktwolken-Rendering generiert werden.

In der zweiten Phase wendet ReCapture ein maskiertes Video-Finetuning an. In diesem Schritt wird ein generatives Videomodell verwendet, das mit bestehenden Aufnahmen trainiert wurde, um realistische Bewegungen und zeitliche Veränderungen zu erzeugen.

Das System enthält eine temporale LoRA-Schicht (Low-Rank Adaptation), um das Modell für das Eingabevideo zu optimieren. Diese Schicht behandelt speziell zeitliche Veränderungen, so dass das Modell die spezifische Dynamik des Ankervideos verstehen und replizieren kann, ohne dass ein vollständiges Neutraining des Modells erforderlich ist.

Eine räumliche LoRA-Schicht stellt sicher, dass Bilddetails und -inhalte mit den neuen Kamerabewegungen konsistent bleiben. Das generative Videomodell kann zoomen, schwenken und neigen, während die charakteristischen Bewegungen des Originalvideos erhalten bleiben.

Auf der Projektwebsite und im Forschungsbericht finden sich zusätzliche technische Details, einschliesslich Nachbearbeitungstechniken wie SDEdit zur Verbesserung der Bildqualität und Reduzierung von Unschärfe.

Generative KI für Video ist noch experimentell

Obwohl die Forscher ihre Arbeit als Fortschritt in Richtung benutzerfreundlicher Videomanipulation sehen, bleibt ReCapture ein Forschungsprojekt, das weit von einer kommerziellen Veröffentlichung entfernt ist. Google hat noch keines seiner zahlreichen KI-Videoprojekte auf den Markt gebracht, obwohl das Veo-Projekt kurz davor stehen könnte.

Auch Meta hat kürzlich sein Movie-Gen-Modell vorgestellt, aber wie Google wird es nicht kommerzialisiert. Und ganz zu schweigen von Sora, dem Video-Frontier-Modell von OpenAI, das Anfang des Jahres vorgestellt wurde, aber seitdem nicht mehr zu sehen war. Derzeit führen Startups wie Runway den KI-Videomarkt an, die im vergangenen Sommer ihr neuestes Gen-3 Alpha-Modell auf den Markt gebracht haben.

Quellen:

1. https://stackoverflow.com/questions/58898959/how-to-know-if-recaptcha-v3-works-or-not
2. https://talker.news/2024/11/08/study-finds-chimps-are-show-offs-when-they-have-an-audience/
3. https://developers.google.com/recaptcha/docs/faq
4. https://developers.google.com/recaptcha/docs/versions
5. https://www.theverge.com/2024/10/22/24256250/insta360-ace-pro-2-action-camera-gopro
6. https://www.independent.co.uk/news/ap-beirut-photography-israel-associated-press-b2636356.html
7. https://variety.com/2024/film/global/kirsten-johnson-jihlava-1236197729/
8. https://www.buzzfeed.com/emilylaurence/low-vision-products
9. https://www.acdsee.com/en/products/photo-studio-ultimate/?srsltid=AfmBOoo95KaQ8SjcTh_ySOSHfdBsC7BFp97gKr9vK_sYH7xG6468osNH
10. https://talker.news/2024/11/08/police-hunting-for-the-joker/