Neue Ansätze zur Verbesserung der automatischen Spracherkennung für ressourcenarme Sprachen durch Musikdaten

Innovative Ansätze zur Verbesserung der automatischen Spracherkennung für Kasachisch: Die Rolle von Musikdaten

Die Entwicklung robuster automatischer Spracherkennungssysteme (ASR) für Sprachen mit geringen Ressourcen stellt eine erhebliche Herausforderung dar. Oftmals mangelt es an umfangreichen, transkribierten Sprachkorpora, die für das Training moderner KI-Modelle unerlässlich sind. Eine neue Studie beleuchtet nun einen unkonventionellen, aber vielversprechenden Ansatz: die Nutzung von Liedern zur Verbesserung der kasachischen ASR.

Die Herausforderung ressourcenarmer Sprachen in der ASR

Kasachisch, eine Turksprache, die von über 15 Millionen Menschen weltweit gesprochen wird, gilt trotz jüngster Fortschritte immer noch als ressourcenarme Sprache im globalen Vergleich. Für die meisten Sprachen fehlen die großen, vielfältigen und sorgfältig transkribierten Datensätze, die für eine hohe ASR-Leistung notwendig sind. Traditionelle Methoden zur Datenaugmentation und zum Transferlernen sind zwar effektiv, erfordern aber oft eine nicht unerhebliche Menge an anfänglichen Sprachdaten, was ihre Anwendbarkeit in Szenarien mit minimalen Ressourcen einschränkt.

Lieder als unkonventionelle Datenquelle

Die aktuelle Forschung untersucht Lieder als eine potenziell zugängliche und sprachenunabhängige Datenquelle. Lieder sind in vielen Kulturen weit verbreitet, oft in hoher Qualität verfügbar und werden häufig von Liedtexten begleitet, die als annähernde Transkriptionen dienen können. Allerdings bringen Lieder auch Herausforderungen mit sich, wie Hintergrundmusik, unkonventionelle Prosodie, gedehnte Vokale und Wiederholungen, die ihre Nützlichkeit für ASR zu einer empirischen Frage machen.

Studiendesign und Methodik

In einer Proof-of-Concept-Studie wurde ein kleiner kasachischer Lieddatensatz erstellt, der 3.013 Audio-Text-Paare (etwa 4,5 Stunden) aus 195 Liedern von 36 Künstlern umfasst. Diese wurden auf Zeilenebene segmentiert. Als Basis-Recognizer diente Whisper, ein etabliertes ASR-Modell. Die Modelle wurden unter sieben verschiedenen Trainingsszenarien feinabgestimmt, die Lieder, den Common Voice Corpus (CVC) und FLEURS (Few-shot Learning Evaluation of Universal Representations of Speech) umfassten. Die Evaluation erfolgte auf drei Benchmarks: CVC, FLEURS und dem Kazakh Speech Corpus 2 (KSC2).

Ergebnisse und Analyse

Die Ergebnisse zeigen, dass das Fine-Tuning mit Gesangsdaten die Leistung im Vergleich zu Zero-Shot-Baselines verbessert. Beispielsweise erreichte das Whisper Large-V3 Turbo-Modell, das mit einer Mischung aus Liedern, CVC und FLEURS trainiert wurde, eine normalisierte Wortfehlerrate (WER) von 27,6 % auf CVC und 11,8 % auf FLEURS. Besonders hervorzuheben ist die Halbierung des Fehlers auf KSC2 (39,3 % gegenüber 81,2 %) im Vergleich zum Zero-Shot-Modell. Obwohl diese Verbesserungen unter denen von Modellen liegen, die mit dem 1.100-Stunden-KSC2-Korpus trainiert wurden, demonstrieren sie, dass selbst bescheidene Mischungen aus Lied- und Sprachdaten zu signifikanten Anpassungsverbesserungen in der ASR für ressourcenarme Sprachen führen können.

Die Studie identifizierte drei zentrale Erkenntnisse:

• Lieder allein reichen nicht aus und können in einigen Domänen die Leistung beeinträchtigen.
• Lieder sind wertvoll in Kombination mit bescheidenen Korpora; die Dreifachmischung (Lieder + CVC + FLEURS) erzielte die besten Ergebnisse.
• Sobald ein Modell mit ca. 1.100 Stunden Daten trainiert ist, bringt zusätzliches Fine-Tuning mit Liedern oder kleinen Korpora bestenfalls marginale Vorteile und kann sogar zu einem "Vergessen" des Gelernten führen.

Qualitative Fehleranalyse

Die qualitative Analyse der Modellausgaben zeigte, dass songbasierte Anpassungen zu stabileren und sprachlich kohärenteren Transkriptionen führen. Insbesondere wurde eine Reduzierung der sprachübergreifenden Abweichung beobachtet. Modelle, die mit Gesangsdaten trainiert wurden, blieben konsistent im Kasachischen und erfassten die beabsichtigte Bedeutung mit geringfügigen Abweichungen, während Zero-Shot-Modelle bisweilen unsinnige oder sprachfremde Tokens produzierten. Auch die lexikalische und morphologische Genauigkeit verbesserte sich, und die Modelle stellten Satzgrenzen und Interpunktion konsistenter wieder her, was auf ein verbessertes Verständnis prosodischer und syntaktischer Merkmale hindeutet.

Herausforderungen und zukünftige Richtungen

Die begrenzte Dauer des Lieddatensatzes (4,5 Stunden) im Vergleich zu herkömmlichen ASR-Trainingskorpora stellt eine Einschränkung dar. Zukünftige Arbeiten könnten untersuchen, ob größere und vielfältigere Liedersammlungen, möglicherweise einschließlich synthetischer Daten, stärkere und konsistentere Anpassungseffekte erzielen könnten.

Ethische und rechtliche Aspekte

Ein wichtiger Aspekt der Studie ist die Frage des Urheberrechts der verwendeten Lieder. Die Aufnahmen sind urheberrechtlich geschützt, und es wurde keine explizite Genehmigung der Künstler eingeholt. Dies wirft die Frage auf, ob die geringe Forschung in diesem Bereich auf mangelnde Exploration oder auf rechtliche und ethische Komplexität zurückzuführen ist. Die Studie versteht sich als Machbarkeitsstudie. Sollte sich der technische Nutzen bestätigen, müssten Wege gefunden werden, wie solche Daten ethisch und rechtlich in ASR-Entwicklungspipelines integriert werden können, beispielsweise durch kurze Auszüge, gemeinfreie Materialien, Kooperationen mit Künstlern oder Fair-Use-Rahmenwerke.

Synthetische Alternativen

Eine vielversprechende Lösung für Urheberrechtsprobleme könnte die synthetische Musikerzeugung sein. Moderne Tools ermöglichen die Erstellung von Liedern mit anpassbaren Parametern, einschließlich Liedtexten in ressourcenarmen Sprachen, stilistischer Kontrolle und verschiedenen Stimmfarben. Synthetische Lieder könnten eine skalierbare und rechtlich zulässige Alternative bieten, um Datensätze zu generieren, die spezifische phonetische oder prosodische Eigenschaften widerspiegeln, ohne auf urheberrechtlich geschützte Werke zurückgreifen zu müssen.

Fazit

Die Studie zeigt, dass Lieder zwar keine eigenständige Lösung für die ASR von ressourcenarmen Sprachen sind, aber in Kombination mit bestehenden Korpora einen wertvollen Beitrag leisten können. Die erzielten Verbesserungen in der normalisierten Wortfehlerrate und die qualitative Analyse der Modellausgaben unterstreichen das Potenzial dieses Ansatzes. Die Erkenntnisse dieser Forschung bieten eine Grundlage für die Weiterentwicklung der kasachischen ASR und eröffnen neue Perspektiven für die Nutzung unkonventioneller Datenquellen in der Sprachtechnologie.

Bibliographie

- Yeshpanov, R. (2026). Using Songs to Improve Kazakh Automatic Speech Recognition. arXiv preprint arXiv:2603.00961. - Bekarystankyzy, A., Mamyrbayev, O., Mendes, M., Fazylzhanova, A., & Assam, M. (2024). Multilingual end-to-end ASR for low-resource Turkic languages with common alphabets. Scientific Reports, 14(1), 13835. - Karibayeva, A., Karyukin, V., Rakhimova, D., Amirova, D., Aliyev, R., & Karybayeva, A. (2025). Collecting, Processing, and Evaluating the Performance of Kazakh Automatic Speech Recognition. In Recent Challenges in Intelligent Information and Database Systems (pp. 260-271). Springer, Singapore. - Karibaliyev, Y., & Kolesnikova, K. (2024). Kazakh Speech and Recognition Methods: Error Analysis and Improvement Prospects. Scientific Journal of Astana IT University, 20, 62-75. - Meng, W., & Yolwas, N. (2023). A Study of Speech Recognition for Kazakh Based on Unsupervised Pre-Training. Sensors, 23(2), 870. - Orken, M., Dina, O., Keylan, A., Tolganay, T., & Mohamed, O. (2022). A study of transformer-based end-to-end speech recognition system for Kazakh language. Scientific Reports, 12(1), 8337. - Khassanov, Y., Mussakhojayeva, S., Mirzakhmetov, A., Adiyev, A., Nurpeiissov, M., & Varol, H. A. (2021). A crowdsourced open-source Kazakh speech corpus and initial speech recognition baseline. arXiv preprint arXiv:2009.10334. - Karibayeva, A., Karyukin, V., Abduali, B., & Amirova, D. (2025). Speech Recognition and Synthesis Models and Platforms for the Kazakh Language. Information, 16(10), 879.