NVIDIA präsentiert neue Methode zur Integration von Reinforcement Learning in das Vortraining von Sprachmodellen

Als Senior Specialist Journalist und Analyst für die Nachrichtenplattform von Mindverse beleuchten wir heute eine bedeutende Entwicklung im Bereich der Künstlichen Intelligenz: die Einführung von RLP (Reinforcement Learning Pretraining) durch NVIDIA. Diese neue Methode verspricht eine grundlegende Verschiebung in der Art und Weise, wie große Sprachmodelle (LLMs) logisches Denken erlernen. Anstatt diese Fähigkeit erst in späteren Trainingsphasen zu integrieren, ermöglicht RLP den Modellen, „vor dem Vorhersagen zu denken“ – und das bereits während des Vortrainings.

Der traditionelle Ansatz und die Innovation von RLP

Bislang war es gängige Praxis, große Sprachmodelle zunächst durch die Vorhersage des nächsten Tokens auf riesigen Datenmengen zu trainieren. Komplexe Denkfähigkeiten wurden den Modellen erst viel später, in einer abschließenden Nachbearbeitungsphase, durch Methoden wie Supervised Fine-Tuning (SFT) und Reinforcement Learning mit verifizierten Belohnungen (RLVR) beigebracht. Dies behandelte logisches Denken eher als eine zusätzliche Fähigkeit denn als eine Kernkompetenz.

RLP stellt dieses Paradigma infrage. Es integriert Reinforcement Learning direkt in die Vortrainingsphase. Die Kernidee besteht darin, die Generierung einer „Chain-of-Thought“ (CoT) – also einer Gedankenabfolge oder eines internen Denkprozesses – als eine explizite Aktion zu behandeln. Diese internen Gedanken werden dann belohnt, basierend auf dem Informationsgewinn, den sie für die Vorhersage des tatsächlich beobachteten nächsten Tokens liefern. Das Modell lernt somit eine grundlegende, selbstüberwachte Motivation zum Denken aus gewöhnlichem Text.

Schlüsselmerkmale von RLP

Die von NVIDIA vorgestellte RLP-Methode zeichnet sich durch mehrere innovative Eigenschaften aus:

• Verifizierer-freie, informationsgewinnbasierte Belohnung: RLP bewertet interne Gedanken (CoT) danach, wie stark sie die Vorhersage des nächsten Tokens verbessern. Dies erzeugt ein dichtes, selbstüberwachtes und verifizierer-freies Signal aus jedem Text. Es sind keine externen Verifizierer oder annotierten Daten erforderlich.
• Logisches Denken als explorative Aktion: Die CoT-Generierung wird als eine explorative Handlung betrachtet. Das Modell wird dazu angehalten, proaktiv darüber nachzudenken, wie seine internen Gedanken zukünftige Vorhersagen beeinflussen.
• Dynamische EMA-Baseline: Belohnungen werden als Vorteil gegenüber einer langsam aktualisierten EMA-Baseline (Exponential Moving Average) des Modells selbst berechnet. Dieser dynamische Vergleich stabilisiert das Training und gewährleistet eine sinnvolle Zuordnung von Verdiensten.
• Nahtlose Integration ins Vortraining: Das RLP-Ziel erweitert die Next-Token-Vorhersage direkt, sodass es auf massiven Textströmen operieren und logisches Denken innerhalb einer einzigen, vereinheitlichten Vortrainingsphase lehren kann.

Funktionsweise von RLP

Konkret funktioniert RLP so: Bevor das Modell jedes nächste Token vorhersagt, generiert es zunächst einen internen Gedanken (CoT). Anschließend sagt es das beobachtete Token aus demselben Kontext voraus, der um die generierte CoT erweitert wurde. Die Belohnung ist die Zunahme der Log-Likelihood des beobachteten Tokens, wenn die CoT vorhanden ist, im Vergleich zu einer "No-Think"-Baseline. Dieses Verfahren liefert eine dichte Belohnung, die positionsgenau dort einen Verdienst zuweist, wo das Denken die Vorhersage verbessert.

Leistungsbewertung und Skalierbarkeit

Um die Auswirkungen von RLP zu isolieren, führte NVIDIA umfangreiche Experimente durch, die verschiedene Modelle und Architekturen umfassten. Die Ergebnisse unterstreichen die Wirksamkeit der Methode.

Ergebnisse auf Qwen3-1.7B-Base

Verglichen wurden drei Modelle basierend auf der Qwen3-1.7B-Base-Architektur:

• Das ursprüngliche Basismodell (BASE).
• Eine rechenleistungsangepasste Continuous Pre-training (CPT) Baseline.
• Das RLP-Modell.

Alle drei Modelle durchliefen die gleiche Nachbearbeitungspipeline (SFT + RLVR), um einen fairen Vergleich zu gewährleisten.

Wichtige Erkenntnisse:

• Entscheidender Vorteil im Vortraining: Bereits in der Vortrainingsphase zeigte RLP eine überlegene Leistung und übertraf das ursprüngliche Basismodell um durchschnittlich +19 % und die CPT-Baseline um +17 % bei Mathematik- und Wissenschafts-Benchmarks.
• Kumulative Gewinne nach dem Nachtraining: Die Vorteile von RLP erwiesen sich als dauerhaft und verstärkend. Das RLP-verbesserte Endmodell behielt einen relativen Vorteil von +7-8 % gegenüber den anderen nachtrainierten Modellen.
• Breite Generalisierung über Mathematik hinaus: RLP zeigte starke Verbesserungen in naturwissenschaftlichen Benchmarks, mit einem absoluten Zuwachs von +3 Prozentpunkten gegenüber dem CPT-Modell nach dem Nachtraining, was die vielseitigen, mehrstufigen Denkfähigkeiten demonstriert.

Skalierung auf größere Modelle: Nemotron-Nano-12B-V2

Die Anwendung von RLP auf ein Zwischen-Checkpoint des Nemotron-Nano-12B-V2-Modells zeigte ebenfalls beeindruckende Ergebnisse, obwohl RLP nur für 250 Millionen Token angewendet wurde, während das Basismodell auf 20 Billionen Token trainiert wurde.

Wichtige Erkenntnisse:

• Die Vorteile von RLP bleiben nicht nur bestehen, sondern verstärken sich bei größeren Modellgrößen und generalisieren über verschiedene Modellarchitekturen hinweg.
• RLP übertraf das Basismodell in allen Bereichen erheblich, mit einem durchschnittlichen relativen Vorteil von 35 %, obwohl es mit etwa 200 Milliarden weniger Token trainiert wurde.
• Besonders hervorzuheben sind die Zuwächse im naturwissenschaftlichen Denken, wo der Durchschnitt in den Naturwissenschaften um absolute 23 % anstieg.

Generalisierung über diverse Korpora

Experimente mit dem Qwen-Modell über sechs verschiedene Korpusfamilien hinweg zeigten eine weitere Stärke von RLP: seine Skalierbarkeit auf große, diverse Datenmengen. Im Gegensatz zu RLVR, das auf kleinen, kuratierten Denkdatensätzen basiert und Schwierigkeiten bei der Generalisierung hat, kann RLP direkt auf gewöhnlichen Vortrainingsströmen operieren – seien es wissenschaftliche Arbeiten, Lehrbücher, Web-Crawls oder SFT-ähnliche Daten.

Wichtige Erkenntnisse:

• Konsistente Gewinne über Domänen hinweg: Auf Qwen3-1.7B-Base verbesserte RLP die Durchschnittswerte um 7–9 %, mit den stärksten Zuwächsen bei SFT-ähnlichen und allgemeinen Korpora.
• Echter domänenübergreifender Transfer: Im Gegensatz zu früheren Methoden, bei denen RL-Gewinne auf Mathematik beschränkt waren und unter gemischten Daten schwächer wurden, erzielte RLP gleichzeitige Verbesserungen in allen Benchmarks, was einen echten domänenübergreifenden Transfer beweist.
• Überall Denk-Signale finden: Selbst in rein nicht-logischen Korpora wie Web-Crawls nutzte RLP die Datenvielfalt, um Denk-Signale zu entdecken. Dies eliminiert die Notwendigkeit kostspieliger Datenkuratierung und beweist, dass RLP die Denkfähigkeit eines Modells mit denselben Datenströmen wie das Standard-Vortraining verbessern kann, was es zu einer wirklich skalierbaren Lösung macht.

Implikationen für die KI-Entwicklung

RLP stellt einen Paradigmenwechsel in der Entwicklung von KI-Modellen dar. Es verschiebt den Fokus von der nachträglichen Vermittlung von Denkfähigkeiten hin zur Integration dieser Fähigkeiten von Grund auf während des Vortrainings. Dies hat weitreichende Implikationen:

• Logisches Denken als Fundament: RLP etabliert logisches Denken als eine Kernkompetenz, die von Anfang an in das Modell integriert wird, anstatt es als nachträgliches Add-on zu behandeln.
• Vereinheitlichtes Training: Die Methode ermöglicht eine einzige, vereinheitlichte Trainingsphase, die sowohl Vorhersage als auch logisches Denken kombiniert, was die Komplexität und den Aufwand reduziert.
• Skalierbare Methoden: RLP beweist, dass effektive Methoden des Reinforcement Learnings auf gewöhnliche Vortrainingsdaten angewendet werden können, ohne die Notwendigkeit teurer, spezialisierter Datensätze.
• Effizientes Lernen: Durch die Erzielung besserer Ergebnisse mit weniger Trainings-Tokens und geringerem Kuratierungsaufwand steigert RLP die Effizienz des gesamten Trainingsprozesses.

Modelle, die mit RLP trainiert wurden, könnten in der Lage sein, komplexe Probleme zu lösen, wissenschaftliche Konzepte besser zu verstehen und in mathematischen und allgemeinen Denkaufgaben überzeugendere Leistungen zu erbringen. Dies ist insbesondere für B2B-Anwendungen relevant, wo die Fähigkeit von KI-Systemen, kohärente und logisch fundierte Inhalte zu generieren, von entscheidender Bedeutung ist.

Fazit

Die Einführung von RLP durch NVIDIA markiert einen wichtigen Fortschritt in der Entwicklung von Large Language Models. Indem es Reinforcement Learning direkt in die Vortrainingsphase integriert, lehrt RLP Modelle, von Grund auf logisch zu denken. Die gezeigten Ergebnisse – signifikante Leistungssteigerungen, Skalierbarkeit über verschiedene Architekturen und Datenkorpora sowie die Eliminierung der Notwendigkeit kostspieliger Datenkuratierung – demonstrieren das Potenzial von RLP, die nächste Generation von KI-Modellen zu prägen. Für Unternehmen, die auf fortschrittliche KI-Anwendungen setzen, bedeutet dies die Aussicht auf leistungsfähigere, zuverlässigere und effizientere KI-Systeme, die in der Lage sind, komplexere Aufgaben mit einem tieferen Verständnis zu bewältigen.

Bibliographie

- Hatamizadeh, Ali et al. "RLP: Reinforcement as a Pretraining Objective." NVIDIA ADLR, 30. September 2025. Online verfügbar unter: https://research.nvidia.com/labs/adlr/RLP/ - Hatamizadeh, Ali et al. "RLP: Reinforcement as a Pretraining Objective." arXiv, 25. September 2025. Online verfügbar unter: https://arxiv.org/abs/2510.01265 - "Introducing RLP: Reinforcement Learning Pretraining for LLMs." How AI Works. Online verfügbar unter: https://howaiworks.ai/blog/nvidia-rlp-reinforcement-learning-pretraining - NVlabs/RLP GitHub Repository. Online verfügbar unter: https://github.com/NVlabs/RLP