Benchmark-Optimierung in der automatischen Spracherkennung: Herausforderungen und Lösungsansätze

Die Leistungsfähigkeit von automatischen Spracherkennungssystemen (ASR) wird zunehmend durch öffentliche Benchmarks bewertet. Diese Benchmarks suggerieren oft eine menschenähnliche Präzision der Modelle. Eine detaillierte Analyse legt jedoch nahe, dass diese hohen Punktwerte nicht immer die tatsächliche Leistungsfähigkeit der Modelle in realen Anwendungsszenarien widerspiegeln. Vielmehr besteht das Risiko, dass Modelle speziell für diese Benchmarks optimiert werden, wodurch sie benchmark-spezifische Muster lernen, anstatt ihre zugrunde liegenden Aufgabenfähigkeiten zu verbessern. Dieses Phänomen, auch als „Benchmark-Optimierung“ oder „Benchmaxxing“ bezeichnet, stellt eine Herausforderung für die objektive Bewertung von ASR-Modellen dar.

Die Herausforderung der Benchmark-Optimierung

Traditionelle Benchmarks vernachlässigen oft eine Vielzahl von Bedingungen und Eigenschaften, die Sprachsysteme in der Praxis zuverlässig, natürlich, kontextuell angemessen und effektiv machen. Dies führt dazu, dass die gemessene Leistung in einer kontrollierten Benchmark-Umgebung nicht immer mit der Leistung in der realen Welt korreliert. Obwohl bereits Ansätze wie „held-out sets“ in Benchmarks wie Real World VoiceEQ und dem Open-ASR Leaderboard eingeführt wurden, um die Messung realitätsnaher Kriterien zu verbessern, löst eine breitere Messung allein das Problem der Benchmark-Optimierung nicht vollständig.

Aktuelle Forschung hat drei spezifische Tests entwickelt, um das Ausmaß dieser Optimierung in der Spracherkennung zu quantifizieren. Elf weit verbreitete Open-Source-ASR-Modelle wurden evaluiert. Die Ergebnisse zeigen, dass einige der leistungsstärksten Systeme Benchmark-Transkripte aus Datensätzen wie VoxPopuli English und LibriSpeech (clean, other) reproduzierten, selbst wenn das Audio den Transkripten widersprach, relevante Wörter stummgeschaltet waren oder das Audio zwei verschiedene schriftliche Formen gleichermaßen unterstützte.

In einigen Fällen schienen Modelle nicht nur auf das Gesprochene zu reagieren, sondern auch auf subtile akustische Hinweise, die darauf hindeuteten, auf welchem Benchmark sie getestet wurden. Dies führte dazu, dass ihre Punktwerte die allgemeine Fähigkeit zur Sprachtranskription überbewerteten.

Quantifizierung der Benchmark-Optimierung durch spezifische Tests

Referenzabweichung: Eine Fallstudie mit VoxPopuli

Der VoxPopuli-Datensatz ist bekannt für eine hohe Anzahl von Transkriptionsfehlern. Der Referenzabweichungs-Test untersuchte, wie führende ASR-Modelle mit diesen Fehlern umgehen: Transkribieren sie das, was das Audio tatsächlich sagt, oder reproduzieren sie das fehlerhafte Referenztranskript des Benchmarks?

Zur Durchführung dieses Tests wurde ein Ensemble unabhängiger Modelle mit geringer Phonemfehlerrate (PER) verwendet. PER misst, wie genau eine schriftliche Transkription den Klängen im Audio entspricht und dient als Indikator für die Genauigkeit der Audiotranskription. Die Ergebnisse des Ensembles ermöglichten es, Fälle zu identifizieren, in denen die Modelle einstimmig vom Referenztranskript des Benchmarks abwichen. Eine Stichprobe dieser Fälle wurde dann mit menschlichen Annotationen verglichen, um die korrigierten Transkripte zu validieren.

Ein Beispiel hierfür ist ein VoxPopuli-Clip, in dem die Phrase „Thank you, Mr. President“ deutlich zu hören ist, das Referenztranskript jedoch „Thank you“ weglässt. Sechs der elf getesteten Modelle reproduzierten das fehlerhafte Benchmark-Transkript und lieferten die „erwartete“ Antwort, obwohl diese dem Audio widersprach. Bei der Präsentation desselben Inhalts in neu gesammelten Stimmen aus EU-Parlamentsaufnahmen oder generischen Stimmen schwächte sich dieses Verhalten ab oder verschwand. Dies deutet darauf hin, dass die Modelle auf akustische Hinweise reagieren, die ihnen helfen, die Benchmark-Zugehörigkeit zu identifizieren und somit das erwartete Transkript zu produzieren, selbst wenn es dem Audio widerspricht.

Die Ergebnisse zeigten, dass dieses Problem weit verbreitet und signifikant ist. Die Methodik identifizierte potenzielle Referenzfehler in 40 % der analysierten VoxPopuli-Testclips, was etwa 3 % aller Referenzwörter betraf. Modelle, die ein benchmark-optimiertes Verhalten zeigten, reproduzierten fehlerhafte Referenztranskripte in 18–30 % der Fälle. Modelle mit der niedrigsten Wortfehlerrate (WER) – und somit der stärksten berichteten Benchmark-Leistung – waren am anfälligsten für die Reproduktion dieser Fehler.

Maskierte Entitätsextraktion

Dieser Test basiert auf dem Referenzabweichungs-Test, indem Zahlen in den Audiobeispielen von Testdatensätzen bewusst stummgeschaltet wurden. Die Modelle wurden dann aufgefordert, das Gehörte zu transkribieren. Da die Zahl im Audio buchstäblich nicht vorhanden war, sollten die Modelle keine Zahl ausgeben, geschweige denn die exakte Zahl im Text.

Einige dieser Zahlen waren semi-vorhersehbar, andere jedoch überraschend. Die Ergebnisse zeigten, dass Modelle Referenztranskriptionsfehler reproduzierten, einschließlich inkorrekter Zahlen, und ein Modell sogar eine relativ zufällige Jahreszahl (2011) automatisch ergänzte, obwohl diese stummgeschaltet war.

Die Wiederherstellungsraten waren bei öffentlichen Benchmarks am höchsten und bei unveröffentlichten oder neu gesammelten Audiodaten (ep-fresh und libri-fresh) niedriger. Bei LibriSpeech reproduzierten einige der leistungsstärksten Benchmark-Modelle maskierte Zahlen in etwa 30–40 % der Beispiele, obwohl die Zahl selbst entfernt worden war. Der Effekt schwächte sich bei neu gesammelten Daten für mehrere Modelle ab, was darauf hindeutet, dass das umgebende benchmark-assoziierte Audio – nicht nur die textuelle Autovervollständigung – den Modellen half, die Referenz wiederherzustellen.

Orthografischer Wechsel

Der Test zum orthografischen Wechsel untersucht, ob Modelle die genaue Schreibweise reproduzieren, die in einem Referenztranskript des Benchmarks verwendet wird, obwohl dies im Audio nicht eindeutig ist. Orthografische Varianten sind Wörter, die semantisch und phonetisch identisch sind, aber unterschiedlich geschrieben werden können (z.B. "1" vs. "one", "Mr." vs. "Mister"). Theoretisch sollten Modelle konsistent eine Schreibweise bevorzugen oder zufällig zwischen ihnen wechseln. Wenn Modelle jedoch systematisch wechseln, um dem Benchmark-Referenztranskript zu entsprechen, deutet dies darauf hin, dass sie erkennen, welche Schreibweise im Test erwartet wird.

Innerhalb von LibriSpeech wurde ein intradeset-Wechsel untersucht, der eine ältere Abstandsregel betraf: Einige Referenztranskripte verwenden „any one“, während andere „anyone“ verwenden. Die „Switch Rate“ misst die minimale Genauigkeit für eine gegebene Variante. Ein Modell, das nur eine Variante verwendet, hätte eine Switch Rate von 0 %; ein Modell, das zufällig auswählt, hätte eine erwartete Switch Rate von 50 %. Ein Modell, das in jedem Testbeispiel weiß, welche Variante zu verwenden ist, würde eine Switch Rate von 100 % erreichen.

Ein zweiter Test untersuchte einen inter-dataset-Wechsel, bei dem jeder Benchmark konsistent eine andere Schreibkonvention über seinen Testkorpus hinweg verwendet. Zum Beispiel verwendet VoxPopuli die Abkürzung „Mr.“, während LibriSpeech „Mister“ ausschreibt.

Mehrere Modelle übertrafen die 50 % Zufallsauswahl-Baseline, wobei einige eine Switch-Genauigkeit von etwa 90 % erreichten. Dies deutet darauf hin, dass die Modelle erkennen können, aus welchem Datensatz eine Audioaufnahme stammt, und die vom Benchmark erwartete Schreibkonvention auswählen, obwohl beide Formen identisch klingen.

Lokalisierung der Wechsel und Schlussfolgerungen

Um zu prüfen, ob sich diese Verhaltensweisen über die öffentlichen Benchmarks hinaus verallgemeinern lassen, wurden frische Daten aus denselben Quellbereichen gesammelt, jedoch nach den Trainingsstichtagen der Modelle. Dies umfasste aktuelle Aufnahmen des Europäischen Parlaments für VoxPopuli und Aufnahmen von neu aktiven LibriVox-Sprechern für LibriSpeech. Bei der Präsentation von neu gesammelten Daten aus derselben Domäne hörten viele Modelle jedoch auf, dem Referenztranskript zu entsprechen, und kehrten zu audiogetreueren Transkriptionen zurück.

Weitere Interventionen bestätigen diese Beobachtung: Phrasen, die im Audio vorhanden, aber im Referenztranskript weggelassen wurden, können wieder auftauchen, wenn ein Modell aufgefordert wird, das Audio zu übersetzen, oder wenn seine Aufmerksamkeit auf die relevanten Frames beschränkt wird. Das Entfernen des umgebenden Benchmark-Kontextes oder das Anhängen gewöhnlicher Gesprächs-Audiodaten kann ebenfalls das getreue Transkript wiederherstellen. Das Anhängen von VoxPopuli-Audio kann den gegenteiligen Effekt haben und ansonsten getreue synthetische oder extrahierte Proben eher dazu bringen, der Benchmark-Referenz zu entsprechen.

Zusammenfassend legen diese Ergebnisse nahe, dass Modelle in der Lage sind, die wörtlich gesprochenen Wörter getreu zu transkribieren, aber den umgebenden akustischen Kontext nutzen, um zu entscheiden, ob sie dem Audio oder einer benchmark-spezifischen Transkriptionsrichtlinie folgen sollen.

Die Forschungsergebnisse deuten darauf hin, dass auf zwei großen Open-Source-Datensätzen einige Modelle datensatzassoziierte akustische Hinweise erkennen und ihr Transkriptionsverhalten entsprechend anpassen. Insbesondere können Modelle Wörter reproduzieren, die im Audio nicht vorhanden, aber im Referenztranskript enthalten sind, stummgeschaltete Zahlen mit erhöhter Rate wiederherstellen oder den umgebenden akustischen Kontext nutzen, um die von einem bestimmten Benchmark erwartete schriftliche Variante auszuwählen.

Für Anwender, die Modelle auswählen, unterstreichen diese Erkenntnisse die Bedeutung der Verwendung vollständig unabhängiger Evaluierungsdatensätze, wie es bei RW-Voice-EQ Bench und dem Open ASR Leaderboard der Fall ist. Es ist wichtig, über die Wortfehlerrate eines einzelnen öffentlichen Benchmarks hinauszublicken. Zu diesem Zweck wurde dem Open ASR Leaderboard ein „Benchmark-Anpassung“-Tab hinzugefügt, der zwei der oben genannten Analysen für alle Modelle umfasst: die Quantifizierung (1) der Referenzfehlerraten von VoxPopuli und (2) des orthografischen Wechsels über alle öffentlichen Datensätze hinweg. Die entsprechenden Skripte sind auf GitHub Open-Source verfügbar, ebenso wie die unnormalisierten Modellausgaben.

Die Ergebnisse legen auch nahe, dass Benchmark-Entwickler einfache, unabhängig und identisch verteilte Testaufteilungen zugunsten von zeitlichen, sprecherbasierten oder anderen Metadaten-basierten Trennungen vermeiden sollten. Eine größere Transparenz bezüglich der Trainingsdaten und Modellselektionsverfahren würde Forschern zudem helfen, die Entstehung dieser Verhaltensweisen besser zu verstehen.

Öffentliche Benchmarks bleiben wertvoll: Sie sind transparent, wiederholbar, einfach auszuführen und in der Forschungsgemeinschaft gut verstanden. Sie sind jedoch am nützlichsten, wenn echte Transkriptionsverbesserungen von benchmark-spezifischen Gewinnen unterschieden werden können, die sich nicht auf neues Audio verallgemeinern lassen.

Bibliographie

- Lebryk, T., Ayllon, D., Baird, A., Cłapa, J. P., Madsen, J., & Tzirakis, P. (2026). Towards Quantifying Benchmark Optimization in ASR Models. arXiv preprint arXiv:2608.19936. - Lebryk, T., Bezzam, E., Ayllon, D., Cłapa, J. P., Madsen, J., & Tzirakis, P. (2026, August 21). Measuring benchmark optimization in speech recognition. Hugging Face Blog. - Aksënova, A., van Esch, D., Flynn, J., & Golik, P. (2021). How Might We Create Better Benchmarks for Speech Recognition?. Proceedings of the 1st Workshop on Benchmarking: Past, Present and Future, 22-34. - Foster, K. (2026, July 21). How to evaluate speech recognition models. AssemblyAI Blog. - Likhomanenko, T., Xu, Q., Pratap, V., Tomasello, P., Kahn, J., Avidov, G., Collobert, R., & Synnaeve, G. (2021). Rethinking Evaluation in ASR: Are Our Models Robust Enough?. Interspeech 2021. - Shah, M. A., Solans, D., Heikkilä, M. A., Raj, B., & Kourtellis, N. (2024). Speech Robust Bench: A Robustness Benchmark For Speech Recognition. arXiv preprint arXiv:2403.07937v2. - Dernoncourt, F., Bui, T., & Chang, W. (2018). A Framework for Speech Recognition Benchmarking. Interspeech 2018. - Srivastav, V., Zheng, S., Bezzam, E., Le Bihan, N., Koluguri, R., Żelasko, P., Majumdar, S., Moumen, A., & Gandhi, S. (2025). ASR Leaderboard: Towards Reproducible and Transparent Multilingual and Long-Form Speech Recognition Evaluation. arXiv preprint arXiv:2510.06961.