NVIDIA verbindet mehrsprachige Transkription mit anpassbarer Sprachdatenpipeline

Rechenbedarf, Betrieb und Einsatzgrenzen

Die Architektur kombiniert laut NVIDIA einen Sprachencoder mit einem hybriden Mamba-Transformer-Mixture-of-Experts-Sprachmodell. Von insgesamt 30 Milliarden Parametern seien pro Token ungefähr vier Milliarden aktiv. Der Beitrag beschreibt das Modell als auf einer einzelnen NVIDIA-GPU ausführbar und nennt Systeme vom Jetson AGX Thor und DGX Spark bis zu Blackwell-Rechenzentrums-GPUs. Als Leistungsangabe meldet NVIDIA, dass eine RTX PRO 6000 Blackwell Server Edition mit NVFP4-Präzision 100 Stunden Audio in weniger als drei Minuten verarbeitet habe. Gemessen worden sei dies mit 30-Sekunden-Clips bei hoher Parallelität. Das ist ein Herstellerwert für eine spezifische Hardware- und Testkonfiguration, keine allgemeine Laufzeitprognose. [1]

Für die Bereitstellung nennt NVIDIA vLLM sowie den lokalen Laufzeitpfad NeMo-Speech.cpp. Zugleich grenzt der Beitrag den Einsatz klar ein: Nemotron 3.5 Transcribe sei für aufgezeichnetes Audio und nicht für Live-Streaming entwickelt. Für Anwendungen mit Echtzeit-Anforderungen ist dieser Unterschied relevant; niedrige Verarbeitungszeiten bei hoher Parallelität ersetzen nicht automatisch eine Streaming-Schnittstelle oder eine Ende-zu-Ende-Latenzmessung. [1]

Die verfügbaren Informationen belegen damit verschiedene Betriebsoptionen, aber keine vollständige Kostenrechnung. Für die Planung sollten Sie neben dem Modellbetrieb auch Spitzenlast, Parallelität, Audioqualität, Datenschutzanforderungen und die für den eigenen Fall erforderliche menschliche Kontrolle berücksichtigen. Diese Punkte sind keine von NVIDIA ausgewiesenen Testergebnisse, sondern betriebliche Prüffragen, die sich aus der genannten Hardwareabhängigkeit und den empfohlenen Stichprobenkontrollen ergeben. [1]

Granary v2 macht Trainingsziele und Datenaufbereitung nachvollziehbarer

Neben dem Modell veröffentlicht NVIDIA Granary v2, eine Sammlung mehrsprachiger Sprachdaten und eine wiederverwendbare Aufbereitungspipeline. Die öffentlichen Manifeste umfassen laut Beitrag 463.062 Stunden aus 48 Sprachen und 16 Ausgangskorpora; Granary v1 hatte demnach 25 Sprachen abgedeckt. NVIDIA weist ausdrücklich darauf hin, dass diese Zahlen die veröffentlichte Datensammlung beschreiben, nicht die vollständige Trainingsmischung von Transcribe oder die Gewichtung einzelner Datenquellen. [1]

Für dieselbe Aufnahme erzeugt die Pipeline drei mögliche Transkriptformen: eine textnormalisierte, wortgetreue Variante; eine inverse Textnormalisierung mit erhaltenen Unflüssigkeiten; und eine bereinigte Variante ohne diese Unflüssigkeiten. Ein Beispiel im Beitrag unterscheidet zwischen ausgeschriebenem „twenty-five euros“ und der Darstellung „€25“, jeweils mit oder ohne Füllwort. Ergänzend erzeugt die Pipeline kurze Audiobeschreibungen, Q&A-Paare mit Audio-Bezug, Kontextbegriffe für ASR-Biasing, Übersetzungen samt automatischen Qualitätsscores und die Wiederherstellung von Code-Switching bei Lehnwörtern. [1]

Die beschriebene Aufbereitung besteht aus vier Stufen. Zunächst können Metadaten wie Segmentgrenzen, Sprecher und Sprache bestimmt werden; für die in Granary v2 verwendeten Quellen sei dieser Schritt nicht erforderlich gewesen, weil sie bereits segmentiert waren. Anschließend transkribiert eine primäre ASR-Komponente die Segmente und greift bei Prüfproblemen auf ein Ersatzmodell zurück. Menschliche Referenztranskripte können vertrauenswürdige Schreibweisen erhalten und um gesprochene Formen oder Unflüssigkeiten ergänzt werden. [1]

In der Textstufe werden die Varianten und weiteren Aufgabenlabels erzeugt und anhand von Zeichenrate, Halluzinationsmustern sowie Übereinstimmung mit Modell- oder menschlichen Referenzen geprüft. Kontextbegriffe und Übersetzungen werden nach Darstellung des Beitrags nur für akzeptierte Datensätze erzeugt. Eine zusätzliche High-Fidelity-Stufe filtert verrauschte, abgeschnittene oder mehrstimmige Segmente. Beim Korpus VoxPopuli habe dieser Filter die Datenmenge von 354.000 auf 111.000 Stunden in 22 europäischen Sprachen reduziert. Das zeigt den Zielkonflikt der Kuratierung: höhere Signalqualität kann mit weniger verfügbarer Trainingsmenge einhergehen. [1]

• Die Manifeste enthalten laut NVIDIA Transkriptvarianten, Aufgabenlabels, Hinweise auf Entitäten, Herkunftsinformationen und Qualitätskennzeichen pro Datensatz. [1]
• Audioquellen müssen separat und unter den jeweils geltenden Korpuslizenzen bezogen werden; der Beitrag verweist auf die veröffentlichten Nutzungsbedingungen. [1]

Medizinische Fallstudie zeigt den Unterschied zwischen Prompting und Fine-Tuning

Wie weit sich ein Modell an Fachvokabular anpassen lässt, demonstriert NVIDIA anhand eines offenen medizinischen ASR-Benchmarks von Eka Care mit 3.619 Aufnahmen indischer Ärzte und Medizinstudierender. Der Datensatz enthält laut Fallstudie keine vorgegebene Trainingsaufteilung. Das Team kombinierte rund 153 Stunden synthetische Sprache, 29 Stunden akzentuiertes Englisch aus Common Voice und 63 Stunden medizinische Aufnahmen aus MultiMed. Für synthetische Daten wurde beispielsweise „HbA1c“ als schriftliches Ziel verwendet, während der Sprachgenerator die Buchstaben und Ziffern als gesprochene Form erhielt. [1]

Schon eine genauere Promptvorgabe für Englisch und lateinische Schrift senkte den WER auf dem vollständigen Benchmark von 30,8 auf 23,8 Prozent. Nach dem Fine-Tuning nennt NVIDIA 11,8 Prozent. Diese Gesamtzahl schließt jedoch auch 855 Clips ein, die zur Auswahl des Prompts und der Checkpoints verwendet wurden. Für die aussagekräftigere Prüfung teilte die Studie nach Sprechern: 855 Clips dienten der Entwicklung, 2.764 zurückgehaltene Clips wurden für den abschließenden Vergleich verwendet. [1]

Auf diesen zurückgehaltenen Sprechern fiel der WER laut Fallstudie von 22,44 Prozent beim besten Prompt auf 12,17 Prozent nach Fine-Tuning. NVIDIA beziffert die relative Reduktion auf 45,8 Prozent. Auch Keyword-WER sank von 9,2 auf 6,5 Prozent und semantischer WER von 10,0 auf 7,6 Prozent. Im selben Test und mit demselben Scoringverfahren erreichte das angepasste Modell nach Angaben des Beitrags bessere Werte als ein offenes medizinisches Spezialmodell mit 13,79 Prozent und ein verbreitetes allgemeines ASR-Modell mit 14,92 Prozent. Diese Ergebnisse gelten für den dokumentierten Datensatz, die Aufteilung und das konkrete Trainingsrezept. [1]

Das Fine-Tuning umfasste laut NVIDIA das Training des Sprachencoders und der Projektion sowie LoRA für die Anpassung des Sprachmodells. Zwei Läufe mit unterschiedlichen Datenmischungen wurden nach dem Zusammenführen der Adapter durch Checkpoint-Auswahl und gleichmäßige Mittelung zu einem Modell zusammengeführt. Die vollständige Anpassung von der Textgenerierung bis zur Evaluation habe etwa 14 GPU-Stunden auf einer GB300 benötigt. Auf LibriSpeech test-clean stieg der WER im Vergleich zum Ausgangsmodell leicht von 1,54 auf 1,69 Prozent. Das ist ein konkreter Hinweis darauf, dass domänenspezifische Gewinne nicht ohne Prüfung auf allgemeine Leistung übertragen werden sollten. [1]

Übertragbarkeit bleibt eine offene Frage

Die Studie trennt Entwicklungs- und Testsprecher und ist damit aussagekräftiger als ein Ergebnis, das nur auf den zur Anpassung verwendeten Aufnahmen beruht. Sie weist dennoch keinen universellen Effekt für andere medizinische Fachgebiete, Sprachen oder Akzente nach. Als Analyse folgt daraus: Unternehmen sollten ähnliche Sprechertrennungen und domänenspezifische Prüfungen für ihre eigenen Daten vorsehen, statt die gemeldete relative Verbesserung als erwartbaren Produktivgewinn zu behandeln. [1]

Ein separates Streaming-Modell ist nicht mit Transcribe gleichzusetzen

Die Bezeichnung Nemotron 3.5 umfasst in den bereitgestellten Quellen unterschiedliche Sprachmodelle. Nemotron 3.5 Transcribe ist der 30-Milliarden-Parameter-Checkpoint für aufgezeichnetes Audio. Davon zu unterscheiden ist Nemotron 3.5 ASR, ein 600-Millionen-Parameter-Modell auf Basis einer cache-aware FastConformer-RNNT-Architektur, das für Streaming ausgelegt ist. Das Modellkartenmaterial nennt 40 Sprach-Lokalisierungen, wobei 19 als transkriptionsbereit, 13 als breit abgedeckt und acht als anpassungsbedürftig eingestuft werden. Diese Sprachstufen beziehen sich auf das Streaming-Modell und dürfen nicht ungeprüft auf Transcribe übertragen werden. [1][3]

Ein technischer NVIDIA-Beitrag zu diesem kleineren Streaming-Checkpoint beschreibt außerdem eine Anpassung für Najdi- und Hijazi-Arabisch. Mit 133,7 Stunden Zielsprachdaten sank der WER auf dem Testsplit dieser beiden Dialekte von 55,05 auf 29,96 Prozent; der Beitrag berichtet zugleich, dass die Englischleistung im selben Versuch nicht zurückging. Das Ergebnis betrifft eine andere Modellvariante, ein anderes Trainingsverfahren und einen spezifischen Dialekt-Test. Es belegt daher nicht, dass sich die gleichen Werte mit Transcribe oder für andere Sprachen erzielen lassen. [2]

Für den Einsatz ist die Trennung praktisch wichtig: Wenn Sie Live-Untertitel oder Sprachagenten entwickeln, sind Streaming-Verhalten, Pufferung und Latenz zentrale Kriterien. Für nachträgliche Auswertung von Besprechungen, Archiven oder medizinischen Diktaten stehen bei Transcribe dagegen Aufgaben wie längere Aufnahmen, Sprecherlabels, Formatvorgaben und Domänenanpassung im Vordergrund. Welche Modellvariante passt, hängt somit nicht nur von der Genauigkeit, sondern auch von der Verarbeitungssituation ab. [1][2][3]

Bedeutung für Unternehmen

Die Kombination aus promptsteuerbarer Ausgabe und dokumentierter Datenpipeline adressiert zwei unterschiedliche Anpassungsebenen. Prompts können festlegen, wie vorhandene Fähigkeiten für einen konkreten Auftrag genutzt werden; Granary v2 und die NeMo-Speech-Werkzeuge zielen auf die Anpassung durch Trainingsdaten. Die Fallstudie zeigt, dass Fine-Tuning gegenüber dem besten Prompt zusätzliche Verbesserungen erzielen kann, zugleich aber auf eine sorgfältige Datenerzeugung, Prüfung nach Sprechern und eine mögliche Veränderung allgemeiner Leistung angewiesen ist. [1]

Für Teams in regulierten oder fachlich sensiblen Bereichen ist die offene Bereitstellung allein kein Nachweis für Eignung oder Compliance. Zu prüfen sind unter anderem die Lizenzbedingungen der Quelldaten, die Herkunft der Trainingsbeispiele, die Qualität bei den eigenen Sprechern und die Notwendigkeit menschlicher Kontrolle. Granary v2 veröffentlicht laut NVIDIA Herkunfts- und Qualitätsinformationen, verlangt für Audioquellen jedoch einen separaten Bezug unter den jeweiligen Korpuslizenzen. [1]

Als Analyse ergibt sich ein klar umrissener Einsatzansatz: Beginnen Sie mit repräsentativen Aufnahmen und einer festgelegten Transkriptkonvention, testen Sie zunächst Promptvarianten und messen Sie Fehler nach relevanten Kategorien. Erst wenn verbleibende Fehler auf systematische Vokabular- oder Akzentprobleme hindeuten, lässt sich ein Fine-Tuning gegen die Kosten für Datenaufbereitung, GPU-Ressourcen und laufende Qualitätskontrolle abwägen. Die Quellen liefern dafür technische Beispiele, aber keine allgemeingültige Kosten- oder Erfolgsprognose. [1][2]

Quellen

1. [1] NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt — https://huggingface.co/blog/nvidia/nemotron-transcribe-granary (abgerufen am 2026-10-28)
2. [2] Fine-Tuning NVIDIA Nemotron for Saudi Arabic Dialects, with a Path to Other Languages | NVIDIA Technical Blog — https://developer.nvidia.com/blog/fine-tuning-nvidia-nemotron-for-saudi-arabic-dialects-with-a-path-to-other-languages (abgerufen am 2026-10-28)
3. [3] nvidia/nemotron-3.5-asr-streaming-0.6b · Hugging Face — https://huggingface.co/nvidia/nemotron-3.5-asr-streaming-0.6b (abgerufen am 2026-10-28)