Fortschritte in der KI-gestützten Foley-Soundproduktion mit MultiFoley

Künstliche Intelligenz revolutioniert die Foley-Soundproduktion

Die Erzeugung von Soundeffekten für Videos, insbesondere im Bereich Foley, stellt Sounddesigner oft vor Herausforderungen. Foley-Künstler kreieren Geräusche, die nicht immer den realen Geräuschen entsprechen, sondern eher einen künstlerischen Effekt erzielen, der das visuelle Erlebnis verstärkt. Beispiele hierfür sind das Knistern von Papier für ein Feuer, Kokosnussschalen für Pferdehufe oder das Brechen von Sellerie für Knochenbrüche. Dieser Prozess erfordert viel Erfahrung und ein präzises Timing, um die Soundsynchronisation mit dem Videomaterial zu gewährleisten.

Ein neuartiges KI-Modell namens MultiFoley verspricht, diesen Prozess zu revolutionieren. MultiFoley ermöglicht die videogesteuerte Generierung von Foley-Sounds und bietet multimodale Steuerungsmöglichkeiten durch Text, Audio und Video. Das Besondere an diesem Modell ist die Möglichkeit, unterschiedliche Arten von Bedingungen zu kombinieren. So kann beispielsweise ein stummes Video mit einem Textprompt versehen werden, um spezifische Sounds zu erzeugen. Dabei kann der Text sowohl positive als auch negative Beschreibungen enthalten, um die gewünschten Klänge präzise zu steuern. So lassen sich beispielsweise Skateboardrollen ohne störende Windgeräusche oder das Brüllen eines Löwen im Stil eines Miaus generieren.

Darüber hinaus bietet MultiFoley die Möglichkeit, Referenzaudio aus Soundeffekt-Bibliotheken oder aus Teilabschnitten von Videos als Grundlage für die Klanggestaltung zu verwenden. Dies erlaubt Sounddesignern, bestehende Sounds anzupassen und nahtlos in das Videomaterial zu integrieren. Eine weitere Anwendung ist die Erweiterung vorhandener Audiospuren. MultiFoley kann unvollständige Soundtracks analysieren und passend zum Video ergänzen.

Eine der größten Herausforderungen bei der Entwicklung von KI-Modellen für die Audiogenerierung ist die häufig schlechte Qualität von Internetvideos. Die Tonspuren sind oft schlecht synchronisiert, verrauscht und haben eine geringe Bandbreite. Um dieses Problem zu lösen, trainierten die Entwickler von MultiFoley das Modell gleichzeitig mit Internetvideos und professionellen Soundeffekt-Aufnahmen. Durch die Verwendung von Sprachbeschreibungen für beide Datensätze lernt das Modell, hochwertiges Audio mit voller Bandbreite (48kHz) zu generieren, das professionellen Standards entspricht.

MultiFoley basiert auf einem Diffusionstransformator, einem hochwertigen Audio-Autoencoder, einem eingefrorenen Video-Encoder für die Audio-Video-Synchronisation und einer neuen multikonditionellen Trainingsstrategie. Diese Kombination ermöglicht flexible Anwendungen wie Audioerweiterung und textgesteuertes Sounddesign. Automatisierte Evaluierungen und Studien mit menschlichen Probanden zeigen, dass MultiFoley hochwertige, synchronisierte Sounds über verschiedene Eingabemodalitäten hinweg generiert und bestehende Methoden übertrifft.

Die Entwicklung von MultiFoley stellt einen bedeutenden Fortschritt im Bereich der KI-gestützten Audioproduktion dar. Durch die Kombination von multimodaler Steuerung und hochwertiger Audiogenerierung eröffnet das Modell Sounddesignern neue Möglichkeiten für kreative und effiziente Foley-Soundproduktion. Besonders die Fähigkeit, Sounds präzise über Textprompts zu steuern und bestehende Audiodaten zu integrieren, vereinfacht den Workflow und ermöglicht die Erstellung komplexer Soundlandschaften.

Bibliographie:

1. https://arxiv.org/abs/2411.17698
2. https://paperswithcode.com/paper/video-guided-foley-sound-generation-with
3. https://arxiv.org/html/2411.17698
4. https://ificl.github.io/MultiFoley/
5. https://deeplearn.org/arxiv/552454/video-guided-foley-sound-generation-with-multimodal-controls
6. https://chatpaper.com/chatpaper/paper/85419
7. https://github.com/showlab/Awesome-Video-Diffusion
8. https://www.reddit.com/r/ninjasaid13/comments/1h0v34u/241117698_videoguided_foley_sound_generation_with/
9. https://arxiv-sanity-lite.com/
10. https://huggingface.co/papers/2409.06135