RunwayMLs Act-One: Revolution der Gesichtsanimation mit dem Smartphone

Das aufstrebende KI-Unternehmen RunwayML hat mit Act-One ein neues Tool vorgestellt, das die Welt der Gesichtsanimation revolutionieren könnte. Mit Act-One können Smartphone-Videos in lebensechte Animationen umgewandelt werden, was den Prozess der Animationsproduktion erheblich vereinfacht.

Vereinfachte Animationsproduktion

Traditionelle Methoden der Gesichtsanimation erfordern oft komplexe Arbeitsabläufe mit spezialisierter Ausrüstung und Software. Act-One zielt darauf ab, diesen Prozess zu vereinfachen, indem die Leistung eines Schauspielers mithilfe von Video- und Tonaufnahmen direkt auf eine animierte Figur übertragen wird. Laut RunwayML kann das Modell selbst subtile Details einer Performance erfassen und übertragen, und das alles mit einem Gerät, das die meisten Menschen in der Tasche haben: einem Smartphone.

Vielseitigkeit und Realismus

RunwayML hebt die Flexibilität von Act-One hervor. Das Modell kann auf verschiedene Referenzbilder angewendet werden und ist so konzipiert, dass realistische Gesichtsausdrücke auch dann beibehalten werden, wenn sich die Proportionen der Zielfigur von der ursprünglichen Videoquelle unterscheiden. In einem Demonstrationsvideo zeigt RunwayML, wie Act-One eine Performance aus einem einzigen Eingangsvideo auf verschiedene Charakterdesigns und -stile überträgt. Das Unternehmen gibt an, dass das Modell kinoreife, realistische Ergebnisse liefert und gut mit verschiedenen Kamerawinkeln und Brennweiten funktioniert.

Einsatzmöglichkeiten über Animationen hinaus

Obwohl der naheliegendste Anwendungsfall die Übertragung menschlicher Gesichtsausdrücke und Stimmen auf animierte Figuren für Spiele und Animationsfilme ist, stellt RunwayML auch ein weiteres Szenario vor: die Anwendung von Schauspielleistungen auf fotorealistische Avatare. Das Unternehmen zeigt, wie ein einzelner Schauspieler zwei virtuelle Avatare in einer einzigen Szene spielen kann, und verspricht: „Sie können jetzt narrative Inhalte mit nichts weiter als einer handelsüblichen Kamera und einem Schauspieler erstellen, der verschiedene Charaktere aus einem Drehbuch liest und spielt."

Zugang und Ausblick

RunwayML gibt an, dass der Zugang zu Act-One derzeit schrittweise für Benutzer eingeführt wird und bald für alle verfügbar sein soll. Mit der Einführung von Act-One eröffnet RunwayML neue Möglichkeiten für die Animationsproduktion und macht diese Technologie für ein breiteres Publikum zugänglich. Es bleibt abzuwarten, wie sich diese Technologie in Zukunft entwickelt und welche Auswirkungen sie auf die Film-, Animations- und Gaming-Industrie haben wird.

## Quellen: * https://runwayml.com/research/introducing-act-one * https://ageofllms.com/ai-news/ai-fun/runway-ml-act-one * https://www.gadgets360.com/ai/news/runway-act-one-gen-3-alpha-ai-video-facial-expression-motion-capture-capability-introduced-6854062 * https://siliconangle.com/2024/10/22/runways-act-one-uses-smartphone-cameras-replicate-facial-expression-motion-capture/ * https://gigazine.net/gsc_news/en/20241023-runway-act-one/ * https://www.threads.net/@luokai/post/DBb-QXSTptQ * https://runwayml.com/ * https://x.com/runwayml/status/1848785910248218880 * https://www.aibase.com/news/12647 * https://runwayml.com/research/gen-2