Nvidia bündelt Transkription und Sprecherzuordnung in Nemotron 3.5 Transcribe

Modellgröße und Leistungsangaben

Nemotron 3.5 Transcribe hat laut Bericht 30 Milliarden Parameter, von denen pro Verarbeitungsschritt rund vier Milliarden aktiv sind. Nvidia zufolge läuft es deshalb auf einer einzelnen Nvidia-GPU – vom kompakten DGX Spark bis zu Rechenzentrumshardware. Für eine RTX PRO 6000 Blackwell Server Edition nennt das Unternehmen eine Verarbeitung von 100 Audiostunden in weniger als drei Minuten bei NVFP4-Präzision. Das ist eine Herstellerangabe für die genannte Hardware und Einstellung, keine allgemeine Laufzeitgarantie für andere Systeme oder vollständige Produktionspipelines. [1]

Bei englischer Spracherkennung liegt das Modell auf Hugging Faces Open-ASR-Leaderboard laut dem Bericht mit einer durchschnittlichen Wortfehlerrate von 5,33 Prozent an erster Stelle unter den Modellen mit offenen Gewichten. In einem Vergleich von Artificial Analysis erreicht es 2,81 Prozent und liegt damit knapp hinter Voxtral Small mit 2,77 Prozent; Nemotron nutze dabei etwa ein Sechstel der aktiven Parameter. [1]

Die beiden Prozentwerte sollten nicht als einheitliche Messung gelesen werden: Sie stammen aus verschiedenen Vergleichen. Eine Wortfehlerrate zählt Abweichungen zwischen erkannten und referenzierten Wörtern, sagt für sich genommen aber nicht, wie ein Modell bei mehrsprachigen Gesprächen, Fachvokabular oder stark überlappender Sprache abschneidet. Für eine Beschaffungsentscheidung sind daher Tests mit den eigenen Aufnahmen und Bewertungskriterien aussagekräftiger als ein einzelner Spitzenplatz. [1]

• Hugging Face Open-ASR-Leaderboard: 5,33 Prozent durchschnittliche Wortfehlerrate, laut Bericht Rang eins unter offenen Modellen. [1]
• Artificial Analysis: 2,81 Prozent für Nemotron 3.5 Transcribe gegenüber 2,77 Prozent für Voxtral Small. [1]
• Herstellerangabe zur Verarbeitung: 100 Audiostunden in weniger als drei Minuten auf einer RTX PRO 6000 Blackwell Server Edition bei NVFP4. [1]

Sprecherleistung: gute Testwerte, aber unterschiedliche Messgrößen

Besonders stark fällt der Bericht die Ergebnisse bei der Sprecherzuordnung aus. In einem VoiceArena-Test mit 14 Systemen und Gesprächen mit teilweise überlappender Sprache belegte Nemotron 3.5 Transcribe den ersten Platz. Der Bericht nennt zudem einen Anteil von 8,32 Prozent an verpassten Wörtern gegenüber einem Median von rund 31 Prozent. Das ist nicht dasselbe Maß wie die im zugehörigen Diagramm ausgewiesene cpWER von 32,4 Prozent; Kennzahlen zu Auslassungen und zur Gesamtleistung sollten daher nicht vermischt werden. [1]

Bei einem Benchmark von David AI zur Sprecherzuordnung über 21 Sprachen hinweg erreichte das Modell laut Bericht die niedrigste Fehlerrate. Mit 18,26 lag es knapp vor Nvidias eigenem, speziell für Sprecherdiarisierung entwickeltem Vorgängermodell, das mit 18,38 ausgewiesen wird. Der geringe Abstand in diesem Vergleich steht neben dem größeren Funktionsumfang von Transcribe, ersetzt aber keine Prüfung, ob die Leistung für die konkreten Sprachen und Akustikbedingungen eines Unternehmens ausreicht. [1]

Benchmarks belegen Ergebnisse unter den jeweiligen Testbedingungen, nicht automatisch im Betrieb. Auch die separate Nemotron-3-Diarisierung unterscheidet in ihrer Dokumentation zwischen überlappender Sprache, falsch zugeordneten Sprechern und verpasster Sprache als unterschiedlichen Fehlerarten. Für eine belastbare Bewertung sollten Unternehmen deshalb sowohl die Transkriptionsqualität als auch die Sprecherzuordnung und das Zusammenspiel beider Ausgaben mit eigenen Audiodaten prüfen. [1] [3]

Granary v2 und die Anpassung an Fachgebiete

Zusammen mit dem Modell veröffentlicht Nvidia Granary v2, einen Datensatz mit rund 844.000 Stunden Sprache in 48 Sprachen. Die Vorgängerversion umfasste laut Bericht rund 643.000 Stunden in 25 Sprachen. Ein Teil des Materials ist in unterschiedlichen Transkriptionsstilen verfügbar: etwa als möglichst wortgetreue Fassung mit Füllwörtern und ausgeschriebenen Zahlen oder in bereinigter Form ohne Füllwörter und mit Ziffern. Nvidia stellt außerdem Werkzeuge bereit, mit denen Entwickler eigene Aufnahmen verarbeiten können. Der Datensatz bilde die Trainingsdaten des Modells allerdings nicht vollständig ab. [1]

Ein von Nvidia beschriebener Anpassungstest betraf Aufnahmen indischer Ärztinnen, Ärzte und Medizinstudierender. Auf dem vollständigen Benchmark sank die Fehlerrate durch eine präzisere Eingabeaufforderung von 30,8 auf 23,8 Prozent; nach zusätzlichem Fine-Tuning lag sie bei 11,8 Prozent. Für Sprecher, die das Modell zuvor nicht gehört hatte, berichtet Nvidia separat einen Rückgang von 22,44 auf 12,17 Prozent und eine relative Verbesserung von 45,8 Prozent. Laut Unternehmen bestand ein Großteil der Trainingsdaten aus synthetischer Sprache; der Anpassungsschritt dauerte rund 14 GPU-Stunden auf einer einzelnen GB300. [1]

Diese Zahlen beschreiben einen konkreten, vom Anbieter dargestellten Anwendungsfall und lassen sich nicht ohne Weiteres auf andere Fachgebiete übertragen. Der Bericht nennt auch Zielkonflikte: Die Fehlerrate stieg bei allgemeiner englischer Sprache leicht an, und ein medizinisches Spezialmodell erkannte Markennamen von Medikamenten weiterhin genauer. Nvidia empfiehlt, für eigens angepasste Modelle mindestens 100 reale, überprüfte Aufnahmen für Tests zurückzuhalten. [1]

• Granary v2: rund 844.000 Audiostunden in 48 Sprachen; der Datensatz entspricht laut Nvidia nicht vollständig den Trainingsdaten des Modells. [1]
• Im beschriebenen medizinischen Test sank die Fehlerrate nach Fine-Tuning von 30,8 auf 11,8 Prozent. [1]
• Nvidia weist auf mögliche Verschlechterungen außerhalb des Spezialgebiets hin und empfiehlt mindestens 100 verifizierte Aufnahmen zur Prüfung angepasster Modelle. [1]

Echtzeitverarbeitung und sprachabhängige Grenzen

Nemotron 3.5 Transcribe ist laut Nvidia für aufgezeichnetes Audio ausgelegt und unterstützt keine Echtzeitverarbeitung. Das unterscheidet es von der zuvor eingeführten Nemotron-3-Diarisierung, die laut deren Beschreibung auch für Live-Gespräche entwickelt wurde. Wer Live-Untertitel oder Sprachagenten betreiben will, sollte die beiden Modelle daher nicht allein aufgrund des gemeinsamen Namens als austauschbar behandeln. [1] [3]

Auch innerhalb des Funktionsumfangs gibt es Einschränkungen: Die verfügbaren Fähigkeiten unterscheiden sich nach Sprache, und die Funktion zur Beantwortung von Audiofragen wurde auf Englisch trainiert. Nvidia rät dazu, Namen, Sprecherwechsel und Antworten stichprobenartig zu prüfen. Für Unternehmen mit Fachbegriffen, mehreren Sprachen oder stark überlappenden Gesprächen ist die veröffentlichte Empfehlung ein Hinweis darauf, Qualitätskontrollen in den Prozess einzuplanen. [1]

Aus den bereitgestellten Angaben lassen sich weder eine allgemeingültige Betriebskostenrechnung noch Aussagen zu sämtlichen Datenschutz- oder Lizenzfragen ableiten. Die genannte Einzel-GPU-Leistung und die Bereitstellung von Modell, Datensatz und Demo auf Hugging Face beschreiben technische Verfügbarkeit, ersetzen aber keine Prüfung von Lizenzbedingungen, Infrastrukturbedarf und Einsatzvorgaben im jeweiligen Unternehmen. [1]

Einordnung für Unternehmensanwendungen

Für die Auswertung von Besprechungen, Interviews oder aufgezeichneten Kundengesprächen könnte ein System, das Transkription und Sprecherzuordnung kombiniert, die Zahl separat zu orchestrierender Verarbeitungsschritte verringern. Das ist eine mögliche Folge des gebündelten Funktionsumfangs, keine in den Quellen nachgewiesene Einsparung. Ebenso belegen die berichteten Benchmarks keine bestimmte Qualität in einer konkreten Unternehmensumgebung. [1] [3]

Für Sie als Entscheiderinnen und Entscheider ist deshalb weniger die bloße Modellgröße entscheidend als die Eignung für den eigenen Einsatz: Unterstützt das Modell die benötigten Sprachen und Fachbegriffe, wie zuverlässig ordnet es Beiträge bei Unterbrechungen zu, und ist eine nachträgliche Prüfung der Ausgabe organisatorisch möglich? Die von Nvidia beschriebenen Grenzen und der Hinweis auf Stichprobenkontrollen machen diese Fragen zu einem Teil der Einführung, nicht zu einem nachgelagerten Detail. [1]

Das Modell, Granary v2, eine Demonstration und Anleitungen zur Anpassung sind laut Bericht über Hugging Face verfügbar. Damit können Entwicklungsteams die Funktionen untersuchen; eine Verfügbarkeit zum Herunterladen ist jedoch nicht mit einem Nachweis der Produktionsreife für jeden Anwendungsfall gleichzusetzen. [1]

Quellen

1. [1] Nvidia's open Nemotron 3.5 Transcribe combines transcription, translation, and speaker recognition — https://the-decoder.com/nvidias-open-nemotron-3-5-transcribe-combines-transcription-translation-and-speaker-recognition (abgerufen am 2026-10-28)
2. [3] **Know Who Spoke When: Build Real-Time, Multi-Speaker AI with NVIDIA Nemotron 3 Diarization** — https://huggingface.co/blog/nvidia/nemotron-diarization (abgerufen am 2026-10-28)