// Modelle & Forschung 30.10.2026 · 06:45 Uhr 7 Min. Lesezeit

CoSTA soll Sprachdialoge durch komprimierte Token beschleunigen

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 4 Quellen

KI-generierte Illustration: CoSTA soll Sprachdialoge durch komprimierte Token beschleunigen — KI-generierte Illustration

Das Wichtigste in Kürze

CoSTA lässt ein Sprachdialogmodell kürzere, per BPE zusammengefasste Tokenfolgen erzeugen und expandiert diese vor der Synthese deterministisch zurück. Der ursprüngliche Sprach-Tokenizer und Decoder bleiben erhalten. [1][3]
In chinesischen und englischen Benchmarks berichten die Autoren von ungefähr 1,7-facher Geschwindigkeit bei der Erzeugung expandierter Sprach-Token. Die exakten chinesischen Werte weichen zwischen den Quellen leicht ab. [2][3]
Auf einer einzelnen A100-GPU sank im chinesischen Test bei einer gleichzeitigen Anfrage die gemessene Antwortlatenz von 10,73 auf 7,14 Sekunden; der Durchsatz stieg von 0,103 auf 0,160 Anfragen pro Sekunde. [3]
CoSTA erfordert eine nachträgliche Anpassung des Modells. Die berichteten Ergebnisse konzentrieren sich auf Chinesisch und Englisch sowie vor allem auf Step-Audio 2 mini; sie sind keine unabhängige Bestätigung für den Einsatz in beliebigen Produktionssystemen. [2][3][4]
Die Autoren beschreiben einen Zielkonflikt: Größere Zusatzvokabulare komprimieren stärker, erhöhen aber den Aufwand der Ausgabeschicht und können die Antwortqualität beeinflussen. [3][4]

// Inhalt · 8 Abschnitte

Ein anderer Weg zu schnelleren Sprachdialogen
Kompression ohne Austausch des Decoders
Drei Anpassungsschritte für ein bestehendes Modell
Benchmark-Ergebnisse und eine Abweichung bei der Kennzahl
Latenz und Durchsatz im Serving-Test
Antwortqualität und zusätzliche Trainingskosten
Der Kompromiss zwischen Kompression und Modellgröße
Reichweite und Grenzen der Evidenz
Quellen

Ein anderer Weg zu schnelleren Sprachdialogen

Sprachdialogmodelle erzeugen ihre Antworten häufig als lange Folge diskreter Sprach-Token. Das Modell sagt diese Einheiten schrittweise voraus; ein nachgeschalteter Sprachdecoder nutzt sie anschließend zur Synthese der Audioausgabe. Lange Folgen erhöhen damit den autoregressiven Generierungsaufwand und können Antwortlatenz sowie die Zahl möglicher Interaktionsrunden unter einem begrenzten Generierungsbudget beeinflussen. [3]

Die Arbeit CoSTA – kurz für Compressed Speech Token Adaptation – setzt an der Repräsentation an, die das Modell während der Generierung vorhersagt. Statt den bestehenden Sprach-Tokenizer oder den Decoder auszutauschen, erweitert der Ansatz den Tokenraum des Modells um komprimierte Einheiten. Vor der Synthese werden diese Einheiten deterministisch in die ursprüngliche Tokenfolge zurückgeführt. [1][3]

Die Autoren berichten auf zweisprachigen Sprachdialog-Benchmarks von rund 1,7-facher Geschwindigkeit bei der Erzeugung expandierter Sprach-Token sowie geringerer Antwortlatenz und höherem Durchsatz. Das sind Ergebnisse der vorgelegten Experimente, keine unabhängige Bestätigung oder Aussage über alle Sprachmodelle und Einsatzumgebungen. [1][2][3]

Kompression ohne Austausch des Decoders

Technisch nutzt CoSTA Byte-Pair Encoding (BPE). Dabei werden häufig benachbarte Tokenpaare zu größeren Einheiten zusammengefasst. Die komprimierte Folge enthält dadurch weniger Schritte, als das Modell bei der Vorhersage der ursprünglichen Folge benötigen würde. Die Autoren bezeichnen das als verlustfreie Token-Kompression, weil die ursprüngliche Tokenfolge aus den zusammengefassten Einheiten exakt rekonstruiert werden kann. [3]

Diese Verlustfreiheit bezieht sich auf die Token-Segmentierung, nicht auf eine Garantie, dass jede vom angepassten Modell erzeugte Antwort inhaltlich oder akustisch identisch mit einer Antwort des Ausgangsmodells ist. Antwortqualität wird deshalb gesondert evaluiert. [3][4]

Der zentrale Unterschied zu einem Austausch des Sprach-Tokenizers liegt in der Aufgabenteilung: Das Modell erzeugt eine kürzere Repräsentation, während der bestehende Decoder weiterhin seine ursprünglichen Token erhält. Die zusätzliche Expansion ist laut Arbeit deterministisch und wird vor der Synthese eingefügt; Text-Token in den interleavten Ausgaben bleiben davon unberührt. [3][4]

Drei Anpassungsschritte für ein bestehendes Modell

CoSTA ist als nachträgliches Anpassungsverfahren konzipiert. Zunächst erweitert es das Modellvokabular um die neuen BPE-Einheiten. Für deren Embeddings und Ausgabeschicht werden Mittelwerte der Parameter jener ursprünglichen Token verwendet, in die sich eine neue Einheit expandiert. Die übrigen ursprünglichen Vokabularparameter bleiben dabei unverändert. [3]

Anschließend folgt eine Ausspracheanpassung mit komprimierten Text-zu-Sprache-Zielen. In einer ersten Trainingsphase werden nur Embeddings und Ausgabeschicht angepasst; in der zweiten werden zusätzlich mittlere Modellschichten geöffnet. So soll das Modell schrittweise lernen, die neuen Einheiten zuverlässig zu verwenden. [3]

Im dritten Schritt wird das Modell auf komprimierten Sprach-zu-Sprach-Dialogdaten angepasst. Laut Beschreibung bleiben dabei Sprachencoder, Adapter und Decoder eingefroren; aktualisiert werden die Parameter des Sprachmodells. Bei der späteren Inferenz werden nur die Sprach-Token komprimiert ausgegeben und vor der Synthese zurückexpandiert. [3]

Für Betreiber bestehender Systeme bedeutet das analytisch: Der Ansatz vermeidet einen Austausch der ursprünglichen Tokenizer-Decoder-Kombination, ist aber nicht ohne Anpassungsaufwand nutzbar. Er setzt Trainingsdaten und Modelltraining voraus und verändert den Generierungspfad durch ein erweitertes Vokabular sowie den zusätzlichen Expansionsschritt. [3][4]

Benchmark-Ergebnisse und eine Abweichung bei der Kennzahl

Die Hauptversuche konzentrieren sich auf Step-Audio 2 mini und chinesische sowie englische Sprachdialog-Aufgaben. Für Chinesisch nennt das OpenReview-Abstract eine relative Geschwindigkeit von 172,43 Prozent gegenüber dem Ausgangsmodell; das arXiv-Abstract beziffert sie auf 1,736-mal, während die dort wiedergegebene Tabelle 173,63 Prozent ausweist. Die Quellen stimmen damit in der Größenordnung von etwa 1,7-mal überein, nicht aber im exakten chinesischen Tabellenwert. [2][3]

Für Englisch weisen OpenReview und die Tabelle im arXiv-Text 165,94 Prozent relative Geschwindigkeit aus. Die dort angegebenen mittleren Kompressionsraten betragen 66,81 Prozent für Chinesisch und 70,17 Prozent für Englisch. Diese Kompressionsraten beschreiben das Verhältnis der erzeugten komprimierten Token zur expandierten Folge; sie sind nicht selbst ein Maß für die Laufzeit. [2][3]

Die Papiertabelle vergleicht CoSTA außerdem mit dem Ausgangsmodell und mit Vanilla-FT, einer feinabgestimmten Variante, die den ursprünglichen Tokenraum beibehält. Für Chinesisch liegt die mittlere relative Geschwindigkeit von Vanilla-FT dort nahe am Ausgangswert; die Autoren führen den zusätzlichen Geschwindigkeitsgewinn von CoSTA daher nicht allein auf das Fine-Tuning zurück. [3][4]

Die Zahl der erzeugten Token pro Sekunde ist ebenfalls nicht mit der Wiedergabegeschwindigkeit des Audios gleichzusetzen. Sie zählt laut der ergänzenden Auswertung die pro Sekunde des Sprachmodell-Decodings expandierten Original-Token. Für Unternehmen ist daher vor allem wichtig, neben diesem Modellmaß auch vollständige Antwortzeiten und den Durchsatz unter vergleichbarer Last zu betrachten. [4]

Latenz und Durchsatz im Serving-Test

Die Arbeit enthält zusätzlich Messungen auf Systemebene. Im chinesischen AlpacaEval-Test auf einer einzelnen A100-GPU mit 80 GB Speicher lag die vollständige Antwortlatenz bei einer gleichzeitigen Anfrage für Step-Audio 2 mini bei 10,73 Sekunden und für CoSTA bei 7,14 Sekunden. Der ausgewiesene Durchsatz stieg im selben Vergleich von 0,103 auf 0,160 Anfragen pro Sekunde. [3]

Bei einer Parallelität von acht Anfragen weist die Tabelle für Chinesisch 15,56 Sekunden und 0,515 Anfragen pro Sekunde für das Ausgangsmodell aus; CoSTA kommt auf 9,49 Sekunden und 0,820 Anfragen pro Sekunde. Im englischen Test bei einer Anfrage werden 12,50 Sekunden und 0,088 Anfragen pro Sekunde für das Ausgangsmodell sowie 9,25 Sekunden und 0,122 Anfragen pro Sekunde für CoSTA angegeben. [3]

Diese Werte zeigen einen Vorteil in den untersuchten Konfigurationen, belegen aber keine gleich große Verbesserung auf anderer Hardware, mit anderen Antwortlängen oder bei abweichender Serving-Software. Auch die Speicherwerte der Tabelle unterscheiden sich nur geringfügig; die Studie weist damit nicht auf eine vergleichbare Senkung des GPU-Speicherbedarfs hin. [3]

Für den Betrieb ist die Unterscheidung zwischen Modell- und Systemmessung wesentlich: Kürzere Tokenfolgen können Dekodierschritte verringern, während die reale Antwortzeit weiterhin von der gesamten Modell- und Serving-Pipeline abhängt. Die ausgewiesenen A100-Messungen liefern hierfür einen konkreten Testfall, aber keinen universellen Kapazitätsplan. [3][4]

Antwortqualität und zusätzliche Trainingskosten

Die Autoren geben an, die Antwortqualität in den chinesischen und englischen Experimenten mit automatischen und menschlichen Bewertungen untersucht zu haben. Eine ergänzende Auswertung nennt für sechs chinesische Aufgaben im Mittel einen G-Eval-Wert von 72,27 für CoSTA gegenüber 69,88 für die angepasste Vanilla-FT-Variante. Die mittlere Zeichenfehlerrate (CER) wird mit 1,51 gegenüber 4,96 Prozent angegeben, der UTMOS-Wert zur geschätzten Sprachqualität mit 3,75 gegenüber 3,77. [3][4]

Diese Mittelwerte sind nicht als Verbesserung in jeder Einzelaufgabe oder auf jeder Qualitätsdimension zu verstehen. Die Auswertung weist ausdrücklich darauf hin, dass die Resultate je nach Aufgabe und Metrik variieren. Außerdem stammen diese Zahlen aus der Studienauswertung und stellen keine unabhängige Replikation dar. [4]

Die Anpassung verursacht selbst Rechenaufwand: Für CoSTA-ZH nennt die ergänzende Auswertung rund 79,5 A100-GPU-Stunden auf acht A100-Karten, ohne die Datenaufbereitung einzurechnen. Die Zahl macht deutlich, dass die versprochene Inferenzersparnis gegen einen vorgelagerten Trainingsaufwand abzuwägen ist; sie lässt sich ohne weitere Angaben nicht direkt in Kosten für einen konkreten Betreiber umrechnen. [4]

Der Kompromiss zwischen Kompression und Modellgröße

Die Autoren untersuchen zusätzliche BPE-Vokabulare zwischen 10.000 und 320.000 Einheiten. Über acht Tokenizer-Konfigurationen hinweg sinkt die Kompressionsrate mit wachsendem Vokabular ungefähr linear zur logarithmierten Vokabulargröße. Der Effekt wurde laut Arbeit auch über verschiedene Datenquellen und Sprachen hinweg beobachtet. [3]

Eine größere Zahl neuer Einheiten verkürzt demnach die generierten Folgen, vergrößert zugleich aber die Ausgabeschicht. Die ergänzende Auswertung beschreibt 80.000 zusätzliche Einheiten als praktischen Kompromiss in den Hauptversuchen, nicht als theoretisches Maximum der Kompression. [3][4]

Für Unternehmen folgt daraus keine einfache Regel, stets das größte Vokabular zu wählen. Ein kürzerer Generierungspfad kann nützlich sein, wenn er die Systemlatenz tatsächlich senkt; die Auswahl muss aber gemeinsam mit Qualität und Rechenaufwand der Ausgabeschicht bewertet werden. Diese Einordnung ist eine Analyse des von den Autoren beschriebenen Zielkonflikts, keine unabhängig getestete Betriebsoptimierung. [3][4]

Reichweite und Grenzen der Evidenz

Die vorgelegten Benchmarks decken Chinesisch und Englisch ab und stützen sich hauptsächlich auf Step-Audio 2 mini. Die Arbeit berichtet außerdem über einen Transfer auf eine andere Sprachdialogarchitektur sowie über die Ergänzung durch Tokenizer mit niedrigerer Rate. Das sind zusätzliche Experimente, aber keine breite Validierung über beliebige Modelle und Sprachen hinweg. [1][3]

Die ergänzende Auswertung grenzt die Tests weiter ein: Die untersuchten Aufgaben beziehen sich auf allgemeine Sprachdialoge, nicht auf emotionale Ausdrucksformen, Personalisierung oder vielfältige akustische Umgebungen. Sie beschreibt die Sprach-zu-Sprach-Anpassungsdaten überwiegend als synthetisch. Die Ergebnisse sollten daher nicht ohne weitere Tests auf diese Nutzungsszenarien übertragen werden. [4]

Der verfügbare Status der Arbeit ist ebenfalls zu berücksichtigen. OpenReview führt sie als Einreichung bei ACL ARR 2026 May; der arXiv-Volltext weist eine Version 1 vom 15. Oktober 2026 aus. Die bereitgestellten Einträge belegen damit eine Einreichung und ein Preprint, aber keine Annahme oder unabhängige Bestätigung der Resultate. [2][3]

CoSTA liefert somit einen untersuchenswerten Ansatz für Organisationen, die Sprachdialoge mit autoregressiver Generierung betreiben: Die Generierungsrepräsentation wird verkürzt, ohne den bestehenden Decoder auszutauschen. Für eine belastbare Produktionsentscheidung bleiben jedoch eigene Messungen mit den vorgesehenen Sprachen, Antwortprofilen, Modellen und Serving-Bedingungen erforderlich. [3][4]

Quellen

[1] Paper page - CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models — https://huggingface.co/papers/2610.21143 (abgerufen am 2026-10-30)
[2] CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Modeling | OpenReview — https://openreview.net/forum?id=dyQ3FNtrk9 (abgerufen am 2026-10-30)
[3] CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models — https://arxiv.org/html/2610.21143 (abgerufen am 2026-10-30)
[4] CoSTA: Compressed Speech Token Adaptation for Efficient Spoken Dialogue Models | alphaXiv — https://www.alphaxiv.org/abs/2610.21143 (abgerufen am 2026-10-30)