Neues Trainingsparadigma für Sprachmodelle: RLP integriert Denken in die Vortrainingsphase

Revolutionierung des LLM-Vortrainings: RLP integriert Denken in die Lernphase

Die Entwicklung großer Sprachmodelle (LLMs) hat in den letzten Jahren enorme Fortschritte gemacht. Traditionell lernen diese Modelle zunächst, das nächste Token vorherzusagen, und entwickeln komplexere Denkfähigkeiten wie das logische Schlussfolgern erst in späteren Phasen des Post-Trainings, oft durch Supervised Fine-Tuning (SFT) oder Reinforcement Learning (RL). Eine neue Forschung, bekannt als Reinforcement Learning Pre-training (RLP), schlägt nun einen innovativen Weg vor, um diese Denkprozesse bereits in die Vortrainingsphase zu integrieren. Dieser Ansatz verspricht, die grundlegenden Reasoning-Fähigkeiten von LLMs von Grund auf zu stärken.

Die Kernidee hinter RLP: Denken als Aktion

Die zentrale Hypothese von RLP ist, dass die Fähigkeit eines Modells zum Denken erheblich verbessert werden kann, wenn Reinforcement Learning direkt in den Vortrainingsprozess eingebettet wird. Anstatt Reasoning als eine nachträgliche Ergänzung zu betrachten, macht RLP es zu einem integralen Bestandteil der initialen Lernphase. Dies wird erreicht, indem die Generierung einer "Chain-of-Thought" (CoT) – also einer Kette von Gedanken oder Überlegungen – als eine explizite Aktion behandelt wird, die das Modell vor der eigentlichen Vorhersage des nächsten Tokens ausführt.

Das Modell wird dafür belohnt, wenn diese internen Gedanken einen Informationsgewinn für die Vorhersage des nachfolgenden Tokens liefern. Dieses Belohnungssystem ist dabei verifiziererfrei und dicht, was bedeutet, dass es keine externen Prüfer oder Labels benötigt und kontinuierlich Feedback liefert. Es ermöglicht dem Modell, eine intrinsische Motivation zu entwickeln, um aus jedem gewöhnlichen Text heraus zu lernen und zu folgern.

Vorteile und Funktionsweise von RLP

RLP zeichnet sich durch mehrere Schlüsseleigenschaften aus:

• Verifier-freies, informationsgewinnbasiertes Belohnungssystem: RLP belohnt interne Gedanken (CoT) basierend auf ihrem Informationsgewinn für die Vorhersage des nächsten Tokens. Dies erzeugt ein dichtes, selbstüberwachtes und verifiziererfreies Signal aus jedem Text.
• Reasoning als explorative Aktion: Die Generierung von Chains-of-Thought wird als explorative Aktion behandelt. Dies ermutigt das Modell, proaktiv darüber nachzudenken, wie seine internen Überlegungen zukünftige Vorhersagen beeinflussen.
• Dynamische EMA-Baseline: Die Belohnungen werden als Vorteil gegenüber einer sich langsam aktualisierenden EMA (Exponential Moving Average)-Baseline des Modells selbst berechnet. Dieser dynamische Vergleich stabilisiert das Training und gewährleistet eine sinnvolle Zuordnung von Kredit.
• Nahtlose Integration ins Vortraining: Das Ziel von RLP erweitert direkt die Vorhersage des nächsten Tokens, wodurch es auf riesigen Textströmen arbeiten und Reasoning innerhalb einer einzigen, vereinheitlichten Vortrainingsphase lehren kann.

Konkret funktioniert RLP so, dass das Modell vor der Vorhersage eines Tokens einen internen Gedanken generiert. Dieser Gedanke wird dann dazu verwendet, den Kontext für die nächste Token-Vorhersage zu erweitern. Die Belohnung ergibt sich aus der Erhöhung der Log-Likelihood des beobachteten Tokens, wenn die CoT vorhanden ist, im Vergleich zu einer Baseline ohne Gedanken. Dies ermöglicht eine positionsspezifische Kreditvergabe, wo immer das Denken die Vorhersage verbessert.

Beeindruckende Ergebnisse und Skalierbarkeit

Die Wirksamkeit von RLP wurde anhand verschiedener Modelle und Benchmarks demonstriert:

• Qwen3-1.7B-Base: Im Vortraining übertraf RLP das Basismodell um durchschnittlich +19 % und eine rechenleistungsangepasste kontinuierliche Vortrainings-Baseline (CPT) um +17 % bei mathematischen und wissenschaftlichen Benchmarks. Auch nach identischem Post-Training (SFT + RLVR) blieben die Vorteile bestehen und verstärkten sich sogar, mit einem relativen Gewinn von +8 % gegenüber BASE+Post und +7 % gegenüber CPT+Post.
• Nemotron-Nano-12B-v2: Bei diesem größeren, hybriden Mamba-Transformer-Modell verbesserte RLP die Gesamtleistung um +35 % gegenüber dem Basismodell, obwohl es mit etwa 200 Milliarden weniger Tokens trainiert wurde. Insbesondere im wissenschaftlichen Reasoning wurden absolute Verbesserungen von +23 Punkten erzielt. Dies unterstreicht die Effizienz und Architektur-agnostische Leistungsfähigkeit von RLP.

Ein weiterer wichtiger Aspekt ist die Skalierbarkeit von RLP auf große und diverse Korpora. Im Gegensatz zu Methoden, die auf kleine, kuratierte Reasoning-Datensätze angewiesen sind, kann RLP direkt auf gewöhnlichen Vortrainingsströmen wie wissenschaftlichen Arbeiten, Lehrbüchern oder Web-Crawls angewendet werden. Dies eliminiert den Bedarf an kostspieliger Datenkuratierung und beweist, dass RLP die Reasoning-Fähigkeit eines Modells mit denselben Datenströmen wie das Standard-Vortraining verbessern kann.

Implikationen für die zukünftige KI-Entwicklung

Die Einführung von RLP markiert einen wichtigen Schritt in der Entwicklung von LLMs. Indem Reasoning direkt in die Vortrainingsphase integriert wird, können Modelle von Anfang an lernen, "zu denken, bevor sie vorhersagen". Dies führt zu robusteren und leistungsfähigeren Reasoning-Fähigkeiten, die sich auch in späteren Trainingsphasen als dauerhaft erweisen.

Für Unternehmen im B2B-Bereich, die auf fortschrittliche KI-Lösungen angewiesen sind, bedeutet dies die Aussicht auf Modelle, die nicht nur besser vorhersagen, sondern auch besser argumentieren und komplexe Probleme lösen können. Die Fähigkeit, Reasoning-Signale in breiten Datensätzen zu finden und zu nutzen, macht RLP zu einer skalierbaren und praktikablen Lösung für eine Vielzahl von Anwendungen, von der automatischen Inhaltsgenerierung bis hin zur komplexen Datenanalyse.

Fazit

RLP stellt eine grundlegende Verschiebung im Paradigma des LLM-Trainings dar. Es webt das Lernen durch Verstärkung direkt in die Vortrainingsphase ein, indem es Chains-of-Thought für ihren prädiktiven Wert belohnt. Die Forschungsergebnisse legen nahe, dass dieser Ansatz Modelle hervorbringen kann, die von Natur aus besser in der Lage sind, zu denken und zu folgern, was langfristig zu leistungsfähigeren und intelligenteren KI-Systemen führen könnte. Dies ist ein vielversprechender Fortschritt, der das Potenzial hat, die Anwendungsfelder und die Leistungsfähigkeit von großen Sprachmodellen erheblich zu erweitern.

Bibliographie

- Ali Hatamizadeh, Syeda Nahida Akter, Shrimai Prabhumoye, Jan Kautz, Mostofa Patwary, Mohammad Shoeybi, Bryan Catanzaro, Yejin Choi. "RLP: Reinforcement as a Pretraining Objective." arXiv preprint arXiv:2510.01265 (2025). - NVlabs/RLP GitHub Repository: Reinforcement as a Pretraining Objective. URL: https://github.com/NVlabs/RLP - NVIDIA ADLR: RLP: Reinforcement as a Pretraining Objective. URL: https://research.nvidia.com/labs/adlr/RLP/ - Shrimai Prabhumoye (LinkedIn Post): "Introducing RLP: Reinforcement Learning Pretraining for LLMs." URL: https://www.linkedin.com/posts/shrimai-prabhumoye-b3757474_rlp-reinforcement-as-a-pretraining-objective-activity-7378889216853839873-Xnh9 - Ali Hatamizadeh (LinkedIn Post): "Are you ready for web-scale pre-training with RL? 🚀 New paper: RLP : Reinforcement Learning Pre‑training." URL: https://www.linkedin.com/posts/ahatamiz_ai-llm-reinforcementlearning-activity-7378881872527015937-z4NZ