Neuer Ansatz zur Verbesserung der Lesbarkeit von ASR-Transkriptionen durch generative Fehlerkorrektur

Automatische Spracherkennung (ASR) hat in den letzten Jahren enorme Fortschritte gemacht. Moderne ASR-Systeme erreichen beeindruckende Genauigkeiten bei der Transkription von Sprache in Text. Doch selbst eine hundertprozentig korrekte Transkription kann für den Menschen schwer lesbar sein. Der Grund dafür liegt in den Eigenheiten gesprochener Sprache, die sich in grammatikalischen Fehlern, Füllwörtern, Wiederholungen und anderen Ungenauigkeiten äußern. Diese Phänomene stellen eine Herausforderung für die Weiterverarbeitung von ASR-Transkriptionen dar, sowohl für den Menschen als auch für nachgelagerte Anwendungen.

Verbesserung der Lesbarkeit von ASR-Transkriptionen

Ein vielversprechender Ansatz zur Überwindung dieser Herausforderung ist die Generative Fehlerkorrektur (GEC). GEC-Modelle werden darauf trainiert, Fehler in Texten zu erkennen und zu korrigieren. Im Kontext von ASR werden sie eingesetzt, um die Lesbarkeit und Grammatikalität von Transkriptionen zu verbessern. Trotz ihrer Leistungsfähigkeit stoßen GEC-Modelle jedoch an Grenzen, wenn sie mit Fehlern konfrontiert werden, die außerhalb ihres Trainingsdatensatzes liegen. Insbesondere in sogenannten Out-of-Domain-Szenarien (OOD), in denen die Sprache von der Trainingsdomäne abweicht, zeigen sich Schwächen in der Generalisierungsfähigkeit.

Herausforderungen bei der Generalisierung von GEC-Modellen

Ein besonders kritischer Aspekt sind Eigennamen (Named Entities, NEs). GEC-Modelle haben häufig Schwierigkeiten, NEs korrekt zu erkennen und zu korrigieren. Dies liegt zum einen daran, dass NEs oft nur selten in den Trainingsdaten vorkommen und daher nicht ausreichend repräsentiert sind. Zum anderen entstehen ständig neue NEs, die zum Zeitpunkt des Trainings noch nicht bekannt waren.

DARAG: Ein innovativer Ansatz zur Verbesserung der GEC

Um die Generalisierungsfähigkeit von GEC-Modellen für ASR zu verbessern, wurde ein neuartiger Ansatz namens DARAG (Data- and Retrieval-Augmented Generative Error Correction) entwickelt. DARAG setzt auf zwei zentrale Strategien: * **Augmentierung der Trainingsdaten mit synthetischen Daten:** Durch den Einsatz von Large Language Models (LLMs) und Text-to-Speech-Modellen werden künstliche Trainingsdaten generiert, die eine größere Bandbreite an Fehlern abdecken. * **Retrieval-Augmentierte Korrektur:** Zur Verbesserung der Handhabung von NEs wird der Input des GEC-Modells um Informationen aus einer Datenbank angereichert.

Funktionsweise von DARAG

Im ersten Schritt generiert DARAG synthetische Trainingsdaten, indem es LLMs mit fehlerhaften Transkriptionen füttert und diese korrigieren lässt. Anschließend werden die korrigierten Transkriptionen mithilfe von Text-to-Speech-Modellen in Sprache umgewandelt. Dieser Prozess simuliert eine größere Vielfalt an Fehlern und verbessert die Fähigkeit des GEC-Modells, auch unbekannte Fehler zu korrigieren. Um die Leistung in OOD-Szenarien zu verbessern, werden synthetische Daten aus der neuen Domäne generiert. Dies geschieht unüberwacht, d.h. ohne dass das Modell explizit auf die neue Domäne trainiert werden muss. Die Retrieval-Augmentierte Korrektur zielt darauf ab, die Erkennung und Korrektur von NEs zu verbessern. Hierfür wird der Input des GEC-Modells um Informationen aus einer Datenbank angereichert. Konkret werden NEs im Text identifiziert und mithilfe von Datenbankabfragen mit zusätzlichen Informationen angereichert.

Vorteile von DARAG

DARAG bietet eine Reihe von Vorteilen gegenüber herkömmlichen GEC-Modellen: * **Verbesserte Generalisierungsfähigkeit:** Durch die Augmentierung der Trainingsdaten mit synthetischen Daten kann DARAG auch Fehler korrigieren, die in den Originaldaten nicht vorkommen. * **Bessere Handhabung von NEs:** Die Retrieval-Augmentierte Korrektur ermöglicht eine zuverlässigere Erkennung und Korrektur von NEs. * **Domänen- und Sprachunabhängigkeit:** DARAG ist nicht auf eine bestimmte Sprache oder Domäne beschränkt und kann daher flexibel eingesetzt werden. * **Skalierbarkeit:** Die Generierung synthetischer Daten und die Retrieval-Augmentierung sind skalierbar und können an die Anforderungen unterschiedlicher Anwendungen angepasst werden.

Evaluierung und Ergebnisse

DARAG wurde anhand verschiedener Datensätze und Szenarien evaluiert. Die Ergebnisse zeigen, dass DARAG die Leistung von ASR-Systemen in Bezug auf die Lesbarkeit der Transkriptionen signifikant verbessert. Sowohl in In-Domain- als auch in Out-of-Domain-Szenarien erzielt DARAG deutliche Verbesserungen im Vergleich zu herkömmlichen GEC-Modellen.

Fazit

DARAG stellt einen vielversprechenden Ansatz zur Verbesserung der Lesbarkeit von ASR-Transkriptionen dar. Durch die Kombination von synthetischen Daten und Retrieval-Augmentierung ermöglicht DARAG eine robustere und generalisierbarere Fehlerkorrektur, die insbesondere die Handhabung von NEs verbessert. Die vielversprechenden Ergebnisse unterstreichen das Potenzial von DARAG, die Qualität und Benutzerfreundlichkeit von ASR-Systemen in Zukunft weiter zu verbessern.

Bibliographie

Ghosh, S., Rasooli, M. S., Levit, M., Wang, P., Xue, J., Manocha, D., & Li, J. (2024). Failing forward: Improving generative error correction for asr with synthetic data and retrieval augmentation. *arXiv preprint arXiv:2410.13198*. Pusateri, E., Walia, A., Kashi, A., Bandyopadhyay, B., Hyder, N., Mahinder, S., ... & Gondala, S. (2024). Retrieval augmented correction of named entity speech recognition errors. *arXiv preprint arXiv:2409.06062*. Liao, J., Eskimez, S., Lu, L., Shi, Y., Gong, M., Shou, L., ... & Zeng, M. (2023). Improving Readability for Automatic Speech Recognition Transcription. *ACM Transactions on Asian and Low-Resource Language Information Processing*, *22*(5), 142.