YuE: Neuer Open-Source-Musikgenerator für die lokale Erstellung von Songs

YuE: Ein Open-Source-Musikgenerator für die Offline-Nutzung

Das chinesisch-amerikanische Forschungskollektiv M-A-P (Multimodal Art Projection) hat in Zusammenarbeit mit der Hongkong University of Science and Technology (HKUST) eine Reihe von Open-Source-KI-Modellen zur Musikgenerierung veröffentlicht. Unter dem Namen YuE (乐), was im Chinesischen sowohl "Musik" als auch "Glück" bedeutet, ermöglichen diese Modelle die Erstellung kompletter Songs anhand von Liedtexten. YuE generiert dabei sowohl Gesang als auch Instrumentalbegleitung und beherrscht verschiedene Genres, Sprachen und Gesangsstile.

Lokale Nutzung mit hohen Hardware-Anforderungen

Im Gegensatz zu kommerziellen KI-Musikdiensten wie Udio oder Suno, die ihre Berechnungen in der Cloud durchführen, arbeitet YuE offline auf der lokalen Hardware des Nutzers. Dies bietet Vorteile hinsichtlich Datenschutz und Verfügbarkeit, geht jedoch mit hohen Systemanforderungen einher. Die Entwickler empfehlen für die Generierung längerer Musikstücke mindestens 80 GB GPU-Speicher. Grafikkarten wie die Nvidia H800 oder A100 sowie mehrere RTX 4090 im Verbund erfüllen diese Anforderungen. Für kürzere Musiksequenzen können bereits 24 GB VRAM ausreichen. Die Generierung eines 30-sekündigen Audioclips dauert auf einer Nvidia H800 etwa 150 Sekunden, auf einer GeForce RTX 4090 rund 360 Sekunden.

Architektur und Funktionsweise von YuE

Die YuE-Modelle basieren auf Metas LLama-Architektur und wurden in einem dreistufigen Prozess trainiert, um Skalierbarkeit, Musikalität und die Steuerung durch den eingegebenen Liedtext zu optimieren. Ein semantisch erweiterter Audio-Tokenizer wurde eingesetzt, um die Trainingskosten zu reduzieren. M-A-P hat Modelle mit 1 und 7 Milliarden Parametern für verschiedene Sprachen veröffentlicht, darunter Englisch, Chinesisch (Mandarin und Kantonesisch), Japanisch und Koreanisch. Zusätzlich steht ein Upsampler-Modell zur Verfügung, das die Ausgabe der generierten Musik in CD-Qualität mit 44,1 kHz ermöglicht.

Offene Lizenz und zukünftige Entwicklungen

YuE steht unter der Apache 2.0 Lizenz und kann somit frei für kommerzielle und nicht-kommerzielle Projekte verwendet werden. Nutzer sind aufgefordert, die KI-Unterstützung durch M-A-P bei der Verwendung der generierten Musikstücke kenntlich zu machen. Die Entwickler ermutigen Musiker und Kreative explizit zur Weiterverwendung und Monetarisierung der mit YuE erstellten Werke.

Die Entwickler arbeiten kontinuierlich an der Weiterentwicklung von YuE. Kürzlich wurde die Funktionalität um "In-Context-Learning" erweitert, wodurch YuE den Stil eines Referenz-Songs imitieren kann. Geplante Features sind unter anderem die BPM-Kontrolle und eine benutzerfreundlichere Oberfläche. Durch die Nutzung der "Tensor library for machine learning" (GGML) soll zudem der Speicherbedarf reduziert werden.

Potenzial und Community-Beteiligung

Mit der Open-Source-Veröffentlichung von YuE erhoffen sich die Entwickler einen ähnlichen Durchbruch für die KI-Musikgenerierung, wie ihn Stable Diffusion für die Bildgenerierung und LLama für die Sprachverarbeitung erzielt haben. Um die Modelle weiter zu optimieren und die Sprachunterstützung zu erweitern, sucht das M-A-P-Team nach Unterstützung aus der Community. Gesucht werden Partner für die Erstellung und Kuratierung von Trainingsdaten, das Feintuning der Modelle und die Evaluierung der Ergebnisse. Eine wissenschaftliche Publikation zu YuE ist in Vorbereitung.

YuE bietet ein vielversprechendes Werkzeug für Musiker, Content-Creator und alle, die sich für KI-gestützte Musikgenerierung interessieren. Die Offline-Funktionalität und die offene Lizenz ermöglichen Experimente und kreative Anwendungen ohne Abhängigkeit von Cloud-Diensten. Durch die aktive Weiterentwicklung und die Einbindung der Community dürfte YuE die Landschaft der KI-Musikproduktion maßgeblich beeinflussen.

Bibliographie: https://www.heise.de/news/Open-Source-Musikgenerator-YuE-erzeugt-offline-komplette-Songs-aus-Liedtexten-10267161.html https://the-decoder.de/yue-ki-musikgenerator-ist-eine-open-source-alternative-zu-bezahldiensten-wie-suno/ https://www.aisharenet.com/de/yue/ https://chatgpt-prompts.de/yu-e-open-source-kernmodellfamilie-fuer-end-to-end-songgenerierung https://www.heise.de/sitemap.xml https://www.youtube.com/watch?v=p37jHH6PjX4 https://www.youtube.com/watch?v=E4Y_fz5CLB4