NVIDIA präsentiert Nemotron Nano V2 VL: Ein neuer Ansatz für multimodales KI-Verstehen

Einführung in NVIDIAs Nemotron Nano V2 VL: Ein Fortschritt im multimodalen Verständnis

NVIDIA hat mit der Einführung des Nemotron Nano V2 VL ein neues multimodales Modell vorgestellt, das darauf abzielt, die Fähigkeiten von KI-Systemen im Bereich des Verständnisses komplexer visueller und textueller Informationen zu erweitern. Dieses Modell, das auf einer 12 Milliarden Parameter umfassenden Architektur basiert, ist speziell für Aufgaben wie die Analyse von Dokumenten, das Verständnis von Videos und die Beantwortung visueller Fragen konzipiert. Es repräsentiert eine Weiterentwicklung der Nemotron-Serie und verspricht signifikante Verbesserungen in Bezug auf Genauigkeit und Effizienz.

Architektur und technische Innovationen

Hybride Mamba-Transformer-Architektur

Im Kern des Nemotron Nano V2 VL steht eine hybride Mamba-Transformer-Architektur. Diese Kombination nutzt die Stärken beider Ansätze: die hohe Genauigkeit, die typischerweise mit Transformer-Modellen assoziiert wird, und die Speichereffizienz der Mamba-Architektur bei der Sequenzmodellierung. Das Ergebnis ist ein Modell, das nicht nur präzise Ergebnisse liefert, sondern auch einen höheren Inferenz-Durchsatz und geringere Latenzzeiten ermöglicht – insbesondere bei der Verarbeitung langer Dokumente und Videosequenzen.

Effizientes Video Sampling (EVS)

Eine bemerkenswerte Neuerung ist das integrierte Efficient Video Sampling (EVS). Diese Methode ermöglicht es dem Modell, die Anzahl der visuellen Token zu reduzieren, indem temporär statische Bereiche in aufeinanderfolgenden Videobildern identifiziert und beschnitten werden. Dadurch kann das Modell deutlich längere Videos mit geringerer Latenz und reduziertem Speicherverbrauch verarbeiten, ohne architektonische Änderungen oder erneutes Training zu erfordern. Dies führt zu einer bis zu 2,5-fachen Steigerung des Durchsatzes bei minimalem Einfluss auf die Genauigkeit.

Verarbeitung von Bild- und Textdaten

Nemotron Nano V2 VL verarbeitet nicht nur Text, sondern auch mehrere Bilder und Videos. Es kann bis zu vier Bilder mit einer Auflösung von jeweils 1k x 2k zusammen mit einem langen Textprompt verarbeiten. Dies ist besonders vorteilhaft für Anwendungsfälle, die eine detaillierte Analyse von Dokumenten, wie Rechnungen oder Handbücher, erfordern. Die Bildverarbeitung erfolgt durch eine Kachelstrategie, bei der Bilder in nicht überlappende Kacheln von 512x512 Pixeln unterteilt werden, ergänzt durch ein Thumbnail zur Erfassung des globalen Bildkontexts.

Trainingsstrategie und Datensätze

Mehrstufiges Training

Das Modell wurde mittels einer mehrstufigen Trainingsstrategie entwickelt. Diese Methode zielt darauf ab, sowohl das visuelle Verständnis zu verbessern als auch die Textverständnisfähigkeiten des zugrunde liegenden Sprachmodells zu erhalten. Das Training umfasst mehrere SFT-Phasen (Supervised Finetuning), beginnend mit der Ausrichtung von Sprach- und Bilddomänen, gefolgt von der Erweiterung der Kontextlänge und der Wiederherstellung der Text-Reasoning-Fähigkeiten.

Umfangreiche Datensätze

Nemotron Nano V2 VL wurde auf dem Nemotron VLM Dataset V2 trainiert, das über 8 Millionen Trainingsbeispiele umfasst. Diese Datensammlung beinhaltet eine breite Palette an Aufgaben und Quellen, darunter Bild- und Video-Captioning, visuelle Fragebeantwortung, OCR sowie Dokumenten- und Tabellenextraktion. Es wurden sowohl öffentlich zugängliche als auch intern entwickelte Datensätze verwendet, teilweise angereichert durch synthetisch generierte Daten und Annotierungen von anderen hochleistungsfähigen LLMs.

Leistungsfähigkeit und Anwendungsbereiche

Verbesserte Genauigkeit und Effizienz

Das Modell zeigt im Vergleich zu seinem Vorgänger, Llama-3.1-Nemotron-Nano-VL-8B, konsistente Verbesserungen über eine Vielzahl von Benchmarks hinweg. Diese Steigerungen werden auf die verbesserte LLM-Basis, erweiterte und qualitativ hochwertigere Trainingsdatensätze sowie eine optimierte Trainingsmethode zurückgeführt.

Vielfältige Anwendungsfelder

Nemotron Nano V2 VL ist besonders prädestiniert für Anwendungen, die ein tiefes Verständnis von Dokumenten und Videos erfordern. Dazu gehören:

• Dokumentenintelligenz: Extrahieren und Interpretieren von Informationen aus Rechnungen, Quittungen und Handbüchern, auch über mehrere Seiten hinweg.
• Videoanalyse: Verständnis und Zusammenfassung von Videoinhalten, einschließlich der Extraktion von Szenen und der Erstellung dichter Bildunterschriften.
• Visuelle Fragebeantwortung (VQA): Beantwortung von Fragen basierend auf visuellen Eingaben.
• Automatisierung von Workflows: Unterstützung bei der Datenanalyse, Medienverwaltung und der Erstellung von Berichten.

Reasoning Budget Control

Das Modell unterstützt auch die Steuerung des "Reasoning Budgets" während der Inferenz. Dies ermöglicht es, die Genauigkeit in verschiedenen Aufgaben zu optimieren, indem die maximale Anzahl der generierten Tokens angepasst wird. Dies kann besonders nützlich sein, um die Balance zwischen Recheneffizienz und Aufgabenleistung zu finden.

Verfügbarkeit und Integration

NVIDIA stellt die Modellgewichte des Nemotron Nano V2 VL in verschiedenen Formaten (BF16, FP8, FP4) auf Plattformen wie Hugging Face zur Verfügung. Dies unterstreicht NVIDIAs Engagement für Open-Source-Initiativen und fördert die Forschung und Entwicklung in der KI-Gemeinschaft. Das Modell ist für die Ausführung auf NVIDIA GPU-beschleunigten Systemen optimiert und kann über Inferenz-Engines wie vLLM und TRT-LLM integriert werden. Es ist auch als NVIDIA NIM verfügbar, was eine einfache Bereitstellung auf jeder GPU-beschleunigten Infrastruktur ermöglicht.

Schlussfolgerung

NVIDIAs Nemotron Nano V2 VL stellt einen bedeutenden Fortschritt im Bereich der multimodalen KI dar. Durch die Kombination einer innovativen Architektur, effizienter Verarbeitungstechniken und einer umfassenden Trainingsstrategie bietet das Modell eine leistungsstarke Lösung für komplexe Aufgaben im Dokumenten- und Videoverständnis. Die Offenheit des Modells und der zugehörigen Ressourcen fördert zudem die weitere Entwicklung und Anpassung an spezifische Geschäftsanforderungen, was es zu einem wertvollen Werkzeug für Unternehmen macht, die ihre KI-Fähigkeiten erweitern möchten.

Bibliography

- Alexiuk, C. (2025, October 28). Develop Specialized AI Agents with New NVIDIA Nemotron Vision, RAG, and Guardrail Models. NVIDIA Technical Blog. - Bristot, D. (2025, October 28). NVIDIA Nemotron Nano 2 VL in Nebius AI Studio: powering agentic AI. Nebius AI. - Fireworks AI. (2025, October 27). Accelerate your Vision Pipelines with the new NVIDIA Nemotron Nano 2 VL Model on Fireworks AI. - Hugging Face. (n.d.). nvidia/NVIDIA-Nemotron-Nano-12B-v2-VL-BF16. - NVIDIA. (2025, January 1). Nemotron Nano V2 VL — Megatron Bridge - NVIDIA Docs Hub. - NVIDIA. (2025, August 22). NVIDIA Nemotron AI Models. - NVIDIA et al. (2025). NVIDIA Nemotron Nano V2 VL. arXiv preprint arXiv:2511.03929. - OpenRouter. (2025, October 28). Nemotron Nano 12B 2 VL (free) - API, Providers, Stats.