NVIDIA präsentiert Nemotron 3 Embed Modelle für verbessertes KI-Retrieval

NVIDIA Nemotron 3 Embed: Neue Maßstäbe im KI-Retrieval

NVIDIA hat mit der Einführung der Nemotron 3 Embed-Modellfamilie einen signifikanten Fortschritt im Bereich des KI-Retrievals erzielt. Diese Modelle sind darauf ausgelegt, die Qualität der Informationsbeschaffung in komplexen, agentischen KI-Anwendungen zu verbessern und dabei gleichzeitig praktische Bereitstellungsoptionen für den Produktionseinsatz zu bieten. Die Veröffentlichung umfasst eine Reihe von Modellen, die auf dem RTEB (Retrieval Task Evaluation Benchmark)-Leaderboard herausragende Ergebnisse erzielen und somit neue Standards für die Effizienz und Genauigkeit von Retrieval-Systemen setzen.

Spitzenleistung auf dem RTEB-Leaderboard

Das Flaggschiffmodell der Nemotron 3 Embed-Familie, das Nemotron-3-Embed-8B-BF16, hat sich an die Spitze des RTEB-Leaderboards gesetzt. Mit einem Score von 78,5 % demonstriert es eine hohe Genauigkeit bei der mehrsprachigen Informationsbeschaffung. Diese Leistung ist von besonderer Bedeutung für präzisionskritische Retrieval-Aufgaben und anspruchsvolle RAG (Retrieval-Augmented Generation)-Systeme im Unternehmenskontext.

Neben dem 8B-Modell bietet NVIDIA auch zwei 1B-Varianten an:

• Nemotron-3-Embed-1B-BF16: Dieses Modell erreicht einen RTEB-Score von 72,4 % und bietet eine hohe Effizienz für Produktionsumgebungen, in denen Latenz und Kosten entscheidend sind. Es reduziert die Fehlerrate im Vergleich zu seinem Vorgänger um 27 %.
• Nemotron-3-Embed-1B-NVFP4: Eine für Blackwell-Architekturen optimierte Variante, die NVFP4-Beschleunigung nutzt. Dieses Modell ermöglicht einen bis zu doppelt so hohen Durchsatz wie BF16 bei nahezu gleicher Retrieval-Genauigkeit (99%+).

Architektur und Entwicklung der Nemotron 3 Embed Modelle

Die Entwicklung der Nemotron 3 Embed-Modelle basiert auf der Anpassung des Ministral-3-8B-Instruct-2512-Backbones, dessen kausaler Decoder in einen bidirektionalen Encoder umgewandelt wurde. Das Training erfolgte mittels kontrastivem Pre-Training auf einer Mischung aus Web-Daten und synthetischen Textpaaren, gefolgt von einem Fine-Tuning auf kuratierten mehrsprachigen Retrieval-Datensätzen aus verschiedenen Domänen wie Recht, Finanzen, Medizin und Bildung.

Skalierung und Effizienz: Der Weg zu den 1B-Modellen

Die 1B-Modelle wurden nicht von Grund auf neu trainiert, sondern durch einen mehrstufigen Prozess der Kompression und Destillation aus größeren Modellen entwickelt. Zunächst wurde ein 3B-Retriever-Basismodell, das auf Ministral-3-3B-Instruct-2512 basiert, durch strukturiertes Pruning und Destillation auf eine 2B-Zwischengröße reduziert. Dabei kam NVIDIAs ModelOpt zum Einsatz, um eine effiziente Architektur unter Berücksichtigung strenger Parameterbudgets zu finden.

Anschließend wurde dieses 2B-Modell von einem 8B-Teacher-Checkpoint destilliert, um die Ranking-Genauigkeit wiederherzustellen. Dieser Prozess umfasste eine Kombination aus Cosinus-Distanzverlust und mittlerem quadratischem Fehlerverlust auf einem mehrsprachigen, domänenspezifischen Retrieval-Datensatz. Eine zweite Wiederholung dieses Prozesses führte zur Kompression auf das endgültige 1.14B-Einbettungsmodell.

Das Training der 1B-Modelle erfolgte in zwei Phasen mit progressivem Kontext-Scaling:

• Phase 1: Fokus auf breite mehrsprachige Ausrichtung bei einer Kontextlänge von 1024 Token, um das Kern-Retrieval-Verhalten des übergeordneten Modells zu rekonstruieren.
• Phase 2: Erweiterung der Kontextlänge auf 4096 Token und Hinzufügung von synthetischen Datensätzen mit langem Kontext und Reasoning-Datensätzen, um die diskriminative Recall-Fähigkeit des 1B-Modells über längere Eingaben hinweg zu erhalten.

Vorteile für agentische KI-Systeme

Eine verbesserte Retrieval-Qualität ist von entscheidender Bedeutung für agentische Workflows. Unzureichendes Retrieval kann dazu führen, dass KI-Agenten irrelevante Informationen abrufen, wiederholte Anfragen stellen, Token-Budgets verschwenden und Rauschen in nachfolgende Reasoning-Schritte einführen. Die Nemotron 3 Embed-Modelle tragen dazu bei, diese Probleme zu mindern, indem sie relevantere Informationen früher bereitstellen. Dies führt zu einer Reduzierung der nachgeschalteten Token-Kosten und einer effizienteren Aufgabenbearbeitung durch den Agenten.

Einsatz in der Praxis und Unternehmensintegration

Führende Unternehmen wie Automation Anywhere, Boomi, IBM, Mem0, Palantir, ServiceNow, turbopuffer, You.com und Zoom evaluieren die Nemotron 3 Embed-Modelle bereits für vielfältige Anwendungsfälle. Dazu gehören unter anderem der Einsatz in agentischen Retrieval-Systemen, der Speicherverwaltung von Agenten, der Code-Retrieval und die Optimierung von Produktions-Inferenz-Workflows. Die offenen Gewichte, Datensätze und Trainingsrezepte ermöglichen es Organisationen, die Modelle an ihre spezifischen Anforderungen anzupassen und auf ihrer eigenen Infrastruktur zu implementieren.

Verfügbarkeit und Anpassungsmöglichkeiten

NVIDIA stellt die Nemotron 3 Embed-Modelle über verschiedene Kanäle zur Verfügung:

• Hugging Face: Zugriff auf Modellgewichte, Model Cards und Beispielcode für SentenceTransformers, Transformers und vLLM.
• NVIDIA NIM: Optimierter Microservice für produktionsreife Inferenz auf build.nvidia.com.
• KI-Cloud- und Inferenzpartner: Bereitstellung über führende Partner wie Baseten, Bitdeer AI, DeepInfra, Friendli AI und OpenRouter.

Für die Anpassung an spezifische Domänen oder die Reduzierung des Footprints bietet NVIDIA zudem Open-Source-Trainingsrezepte über NVIDIA NeMo AutoModel an:

• Fine-Tuning-Rezept: Anpassung der Nemotron 3 Embed-Modelle an unternehmenseigene Korpora und Retrieval-Aufgaben.
• Destillationsrezept: Komprimierung größerer Retrieval-Modelle unter Beibehaltung der Ranking-Qualität für den Produktionseinsatz.

Ein Beispiel für den Nutzen des Fine-Tunings ist die Verbesserung der NDCG@10 von Nemotron-3-Embed-1B-BF16 auf den NV Docs-Evaluierungsdaten von 56,7 % auf 63,3 % (+11,6 %).

Fazit

Die NVIDIA Nemotron 3 Embed-Modelle stellen einen bedeutenden Fortschritt im Bereich des KI-Retrievals dar. Ihre Spitzenleistung auf Benchmarks, die Fähigkeit zur Reduzierung von Token-Kosten in agentischen Systemen und die flexiblen Bereitstellungs- und Anpassungsoptionen machen sie zu einem wichtigen Werkzeug für Unternehmen, die ihre KI-Anwendungen optimieren möchten. Die offene Verfügbarkeit und die umfassende Unterstützung durch das NVIDIA-Ökosystem unterstreichen das Engagement, Entwicklern und Unternehmen die Kontrolle über ihre Retrieval-Modelle zu ermöglichen.

Bibliographie

- Hugging Face Blog (2026): NVIDIA Nemotron 3 Embed Ranks #1 Overall on RTEB, Advancing Agentic Retrieval. Verfügbar unter: https://huggingface.co/blog/nvidia/nemotron-3-embed-wins-rteb - NVIDIA Developer Forums (2026): NVIDIA Nemotron 3 Embed is out and the 8B model is #1 on RTEB. Verfügbar unter: https://forums.developer.nvidia.com/t/nvidia-nemotron-3-embed-is-out-and-the-8b-model-is-1-on-rteb/377089 - Hugging Face Model Card (2026): nvidia/Nemotron-3-Embed-8B-BF16. Verfügbar unter: https://huggingface.co/nvidia/Nemotron-3-Embed-8B-BF16 - Neura Market (2026): NVIDIA Nemotron 3 Embed Tops RTEB Leaderboard for Agentic Retrieval. Verfügbar unter: https://www.neura.market/news/nvidia-nemotron-3-embed-tops-rteb-leaderboard - UNDERCODE NEWS (2026): NVIDIA Nemotron 3 Embed Takes the Lead in AI Retrieval, Powering the Next Generation of Intelligent Agents. Verfügbar unter: https://undercodenews.com/nvidia-nemotron-3-embed-takes-the-lead-in-ai-retrieval-powering-the-next-generation-of-intelligent-agents-video/ - Baseten Blog (2026): Fast, Accurate AI Retrieval with NVIDIA Nemotron 3 Embed models. Verfügbar unter: https://www.baseten.co/blog/ai-retrieval-nvidia-nemotron-3-embed/ - Hugging Face Model Card (2026): nvidia/Nemotron-3-Embed-1B-BF16. Verfügbar unter: https://huggingface.co/nvidia/Nemotron-3-Embed-1B-BF16 - LinkedIn (2026): NVIDIA AI's Post. Verfügbar unter: https://www.linkedin.com/posts/nvidia-ai_today-we-released-nemotron-3-embed-8b-and-activity-7483551800281739264-R5SN - shipfeed (2026): NVIDIA Nemotron 3 Embed Ranks #1 Overall on RTEB, Advancing Agentic Retrieval. Verfügbar unter: https://shipfeed.fyi/storyline/nvidia-nemotron-3-embed-ranks-1-overall-on-rteb-advancing-agentic-retrieval - Facebook (2026): NVIDIA - Today we released Nemotron 3 Embed 8B and it ... Verfügbar unter: https://www.facebook.com/NVIDIAAI/photos/today-we-released-nemotron-3-embed-8b-and-it-reached-1-overall-on-rteb-rteb-benc/1472874994876777/