NVIDIA erweitert Nemotron um multimodale Suche, Reranking und Dokumentenverarbeitung

Durchsatz hängt von Format und Betriebsmodus ab

Neben der Trefferqualität nennt NVIDIA Messwerte für den Inferenzdurchsatz. Auf einer NVIDIA-GB200-Plattform habe Embed 1B NVFP4 128,8 Dokumente pro Sekunde verarbeitet, gegenüber 101,3 bei der BF16-Version. Das entspricht laut Beitrag einem Plus von 27,1 Prozent. Zugleich habe die quantisierte Variante auf ViDoRe v3 mit Bild- und Texteingaben 99,85 Prozent der Retrieval-Genauigkeit der BF16-Version beibehalten. Die Angaben beziehen sich auf diesen Hardware- und Testkontext; sie belegen nicht automatisch denselben Durchsatz auf anderer Infrastruktur. [1]

Für den Einsatz von NVIDIA NIM vergleicht NVIDIA einen Test auf einer RTX PRO 6000 Blackwell Server Edition mit einer vLLM-Konfiguration. Der Beitrag nennt 6.031 Suchanfragen pro Sekunde für NIM und 2.099 für vLLM, also etwa den 2,9-fachen Wert, bei vergleichbarem Durchsatz für die Verarbeitung von Passagen. Auch hier handelt es sich um einen Herstellervergleich, dessen Übertragbarkeit von Modellkonfiguration, Hardware, Anfrageprofil und Serving-Einstellungen abhängen kann. [1]

Für Unternehmen sind solche Werte vor allem als Ansatzpunkt für eigene Kapazitätsplanung interessant. Die Wahl zwischen BF16 und NVFP4 sowie zwischen verschiedenen Serving-Stacks sollte neben dem Durchsatz auch Speicherbedarf, Qualitätsverhalten und die konkrete Hardware berücksichtigen. Der Beitrag liefert für die genannten Tests einzelne Vergleichswerte, aber keine universelle Kostenrechnung für einen produktiven End-to-End-Betrieb. [1]

Parse macht Seiteninhalte für nachgelagerte Systeme strukturierter

PDFs sind für Suchsysteme nicht immer als linearer Text erfassbar: Eine Textschicht kann die Lesereihenfolge verfehlen, Tabellenwerte von ihren Überschriften trennen oder Informationen aus Diagrammen auslassen. Bei gescannten oder bildbasierten Dokumenten kann eine nutzbare Textebene ganz fehlen. Nemotron 3.5 Parse soll Seitenbilder in maschinenlesbaren Inhalt überführen, Dokumentelemente und deren Positionen erkennen sowie Tabellen und Diagramme strukturiert ausgeben. NVIDIA nennt dafür unter anderem Markdown, HTML-Tabellen und strukturierte Blöcke. [1]

Für die Dokumentenverarbeitung berichtet NVIDIA einen ParseBench-Wert von 75,20 und 10,5 Seiten pro Sekunde auf einer einzelnen H100. Das Unternehmen bezeichnet Parse damit als führend auf ParseBench unter den Modellen mit weniger als einer Milliarde Parametern, bezogen auf die Rangliste vom 20. Oktober 2026. ParseBench umfasst laut Beitrag Tabellen- und Diagrammextraktion, Inhaltstreue, semantische Formatierung und visuelle Verankerung. [1]

Parse bietet drei Betriebsmodi, die Genauigkeit und Geschwindigkeit unterschiedlich gewichten: Der Single-Pass-Modus erreicht laut Tabelle 72,74 Punkte bei 16,1 Seiten pro Sekunde. Double Pass kommt auf 74,92 Punkte und 11,2 Seiten pro Sekunde; Triple Pass auf 75,20 Punkte und 10,5 Seiten pro Sekunde. In den zusätzlichen Durchgängen werden Tabellen und Diagramme erneut beziehungsweise gezielter verarbeitet. Die Auswahl ist damit ein messbarer Zielkonflikt: Höhere Werte im genannten Benchmark gehen mit geringerem Seiten-Durchsatz einher. [1]

Analytisch bedeutet das für Dokumentenpipelines, dass nicht zwingend jede Seite mit maximalem Verarbeitungsaufwand behandelt werden muss. Ein Unternehmen könnte unterschiedliche Modi für Masseneingang und komplexe, besonders wichtige Dokumente evaluieren. Ob eine solche Aufteilung in der Praxis sinnvoll ist, lässt sich aus den Benchmarkwerten allein nicht ableiten; dafür wären Tests auf den eigenen Layouts und Qualitätskriterien erforderlich. [1]

Anpassung und technische Herkunft

NVIDIA beschreibt für Embed ein Fine-Tuning-Verfahren, das synthetische Datengenerierung, Mining schwieriger Negativbeispiele, Training mit NeMo AutoModel und anschließende Evaluation kombiniert. Das Unternehmen testete die Anpassung nach eigenen Angaben an 8.202 Diagramm- und Infografikbildern sowie 8.591 synthetischen Anfragen. Für Embed 1B BF16 stieg nDCG@10 nach einem Trainingsdurchlauf auf 6.872 Anfragen von 37,34 auf 44,12 bei 1.719 zurückgehaltenen Anfragen. NVIDIA beziffert dies als relativen Zuwachs von 18 Prozent. [1]

Bei Embed 8B BF16 stieg der angegebene Wert im gleichen synthetischen Testszenario von 41,44 auf 42,75; NVIDIA nennt einen relativen Zuwachs von 3 Prozent. Diese Ergebnisse zeigen, dass Anpassung für den untersuchten Datensatz einen Unterschied machen kann. Sie belegen nicht, dass dieselben Verbesserungen bei realen Unternehmensdaten oder ohne vergleichbare synthetische Anfragen erreicht werden. [1]

Technisch baut Embed 8B laut NVIDIA auf Ministral-3-8B-Instruct auf; seine Sprachkomponente wurde mit Nemotron 3 Embed 8B initialisiert. Das Modell lernt mit kontrastivem Training Darstellungen für Bild- und Textinhalte. Die 1B-Varianten werden aus dem 8B-Modell destilliert; dabei sollen Kosinus- und mittlere quadratische Fehlerverluste die Einbettungen des kleineren Modells an die des größeren angleichen. Die Sprachkomponente bleibt während des Trainings eingefroren. NVIDIA erwartet deshalb, dass reine Texteingebettungen unverändert zu den entsprechenden Nemotron-3-Embed-Modellen bleiben und vorhandene Texteingebettungs-Indizes weiterverwendet werden können. [1]

Rerank verwendet nach der Beschreibung dieselbe Backbone-Architektur wie Embed 8B, aber als Cross-Encoder: Anfrage und Dokument werden zusammen verarbeitet, anschließend erzeugt ein mehrschichtiges neuronales Netz einen Relevanzwert. Für alle Modelle nennt NVIDIA öffentlich verfügbare und synthetische mehrsprachige, multimodale Trainingsdaten sowie Checkpoint-Ensembling für die finalen Gewichte. [1]

Verfügbarkeit ist nicht gleich Produktionsnachweis

Die Nemotron-Retriever-Sammlung auf Hugging Face führt Embedding-, Reranking- und Dokumentenverarbeitungsmodelle für RAG und agentische Retrieval-Pipelines zusammen. NVIDIA verweist außerdem auf eine NIM-Serving-Option für Embed und nennt Integrationen beziehungsweise frühe Evaluationen bei Partnern. Im Beitrag heißt es etwa, dass Elastic-Kunden die Embedding- und Reranking-Modelle über die Elasticsearch Inference API mit NVIDIA-Inferenzendpunkten nutzen können; eine Bereitstellung über den Elastic Inference Service wird dort als künftig angekündigt, On-Premises-Unterstützung als geplant beschrieben. [1][2]

Solche Angaben sollten nach Status unterschieden werden: Eine Modellveröffentlichung, ein Benchmarkresultat, ein verfügbarer Inferenzendpunkt und eine geplante Integration sind verschiedene Reifestufen. Die Bezeichnung „offen“ im Ankündigungsbeitrag enthält für sich genommen keine vollständigen Lizenzbedingungen für jedes Modell. Unternehmen sollten deshalb die jeweiligen Modellkarten und Lizenztexte prüfen, bevor sie Einsatz, Weitergabe oder Anpassung festlegen. [1][2]

Auch die Leistungswerte sind in der vorliegenden Veröffentlichung Herstellerangaben. NVIDIA nennt konkrete Benchmarks und in einzelnen Fällen Hardware und Betriebsmodus; eine unabhängige Bestätigung der dargestellten Resultate enthält der bereitgestellte Quellenbestand nicht. Für eine belastbare Beschaffungs- oder Architekturentscheidung sind daher reproduzierbare Tests mit eigenen Dokumenten, Suchanfragen, Sprachanteilen und Hardwareprofilen entscheidend. [1]

Was Unternehmen vor einem Einsatz messen sollten

Die Produktaufteilung ermöglicht eine gezielte Bewertung verschiedener Engpässe: Embed betrifft die Kandidatensuche, Rerank die Auswahl der relevanten Treffer aus dieser Kandidatenmenge und Parse die Qualität der zuvor extrahierten Dokumentstruktur. Diese Trennung kann Unternehmen helfen, Ursachen für schlechte Agentenantworten zu lokalisieren, statt ausschließlich das generierende Sprachmodell zu verändern. Das ist eine technische Einordnung der beschriebenen Rollen, keine von NVIDIA quantifizierte Gesamtersparnis. [1]

Ein aussagekräftiger Pilot sollte daher nicht nur einen Ranglistenwert reproduzieren. Zu prüfen wären die Relevanz der gefundenen Evidenz, die Vollständigkeit bei Tabellen und Diagrammen, die Fehlerraten der Extraktion sowie Tokenverbrauch und Latenz im tatsächlichen Agentenablauf. Bei der Auswahl zwischen Modellgrößen und Präzisionsformaten gehören außerdem Infrastruktur und Durchsatz unter realistischer Last in den Vergleich. Diese Prüfpunkte folgen aus den vom Anbieter getrennt ausgewiesenen Such-, Reranking-, Parse- und Serving-Messungen. [1]

Die Ankündigung liefert damit konkrete Vergleichshypothesen für multimodale Unternehmenssuche, aber keinen allgemeinen Nachweis, dass jeder Agent dadurch günstiger oder zuverlässiger wird. Entscheidend bleibt, ob die Modelle auf dem eigenen Korpus die richtige Evidenz früher auffinden und ob sich die gemeldeten Qualitäts- und Durchsatzwerte unter den eigenen Betriebsbedingungen bestätigen lassen. [1]

Quellen

1. [1] NVIDIA Nemotron 3.5 Embed, Rerank, and Parse: Advancing Agents with World-Class Retrieval Models — https://huggingface.co/blog/nvidia/nemotron-retriever-world-class-agentic-retrieval (abgerufen am 2026-10-21)
2. [2] Nemotron Retriever - a nvidia Collection — https://huggingface.co/collections/nvidia/nemotron-retriever (abgerufen am 2026-10-21)