Analyse der Effekte von Reinforcement Learning mit verifizierbaren Belohnungen auf Sprachmodelle

Die Grenzen von RLVR: Eine Analyse der Lernmechanismen von Sprachmodellen

Die jüngsten Fortschritte im Bereich der Künstlichen Intelligenz, insbesondere bei großen Sprachmodellen (LLMs), sind bemerkenswert. Ein zentraler Faktor dieser Entwicklung ist Reinforcement Learning with Verifiable Rewards (RLVR). Diese Methode hat sich als vielversprechend erwiesen, um die Leistungsfähigkeit von KI-Systemen bei komplexen logischen Aufgaben zu steigern.

Die Rolle von RLVR bei der Verbesserung von LLMs

RLVR ermöglicht es LLMs, ihre Argumentationsleistung durch den Einsatz automatischer, verifizierbarer Belohnungen zu verbessern. Diese Belohnungen können beispielsweise die Korrektheit mathematischer Lösungen oder das Bestehen von Code-Tests umfassen. Die Methode zielt darauf ab, die Modelle dazu zu bringen, präzisere und zuverlässigere Ergebnisse zu liefern, insbesondere in Szenarien, die kettenartiges Denken (Chain-of-Thought, CoT) erfordern.

Die zentrale Frage: Erweiterung oder Optimierung?

Trotz des Erfolgs von RLVR stellt sich die fundamentale Frage, ob diese Methode die Denkfähigkeiten eines Modells tatsächlich erweitert oder lediglich bestehende Muster innerhalb des Basismodells verstärkt und optimiert. Aktuelle Forschungsergebnisse deuten darauf hin, dass die beobachteten Verbesserungen hauptsächlich auf eine optimierte Stichproben-Effizienz zurückzuführen sind, anstatt auf eine grundlegende Erweiterung der Denkfähigkeiten.

Empirische Beobachtungen und der pass@k-Paradox

Umfassende empirische Studien, die verschiedene LLM-Familien und Domänen umfassen, haben ein wiederkehrendes Muster aufgezeigt:

• Verbesserung bei niedrigen Stichprobenbudgets: RLVR-trainierte Modelle übertreffen ihre Basismodell-Pendants konsistent bei geringen Stichprobenbudgets, wie sie beispielsweise durch die Metrik pass@1 gemessen werden. Dies bedeutet, dass die Wahrscheinlichkeit, eine korrekte Lösung beim ersten Versuch zu finden, durch RLVR erhöht wird.
• Leistungsabfall bei hohen Stichprobenbudgets: Bei größeren Stichprobenbudgets (z.B. pass@k für hohes k) kehrt sich dieses Muster jedoch um. Hier zeigen Basismodelle oft eine überlegene Leistung. Dies liegt daran, dass Basismodelle eine breitere Palette an potenziell korrekten Lösungen generieren, auch wenn viele davon in der Praxis nicht sofort effizient erkannt werden. RLVR hingegen konzentriert sich auf die Verstärkung bekannter, hochbelohnter Pfade, was die Exploration des Modells einschränkt.

Dies deutet darauf hin, dass RLVR die Exploration des Modells verengt, indem es die Verteilung auf bekannte, hochbelohnte Pfade fokussiert, anstatt neue Denkstrategien zu entdecken. Kritisch ist, dass alle korrekten Lösungen, die von RLVR-Modellen gefunden werden, bereits in der Verteilung des Basismodells vorhanden sind. Dies untermauert die These, dass RLVR die Stichproben-Effizienz verbessert, jedoch nicht die Denkfähigkeit erweitert, während es unbeabsichtigt den Lösungsraum verkleinert.

Die Dynamik der empirischen Unterstützung: Expansion und Schrumpfung

Um die Auswirkungen von RLVR auf die Zugänglichkeit von Lösungen zu quantifizieren, wurde das Konzept der "empirischen Unterstützung" eingeführt. Diese beschreibt die Menge der korrekten Lösungen, die ein Modell unter endlicher Stichprobenentnahme realistisch finden kann.

• Unterstützungserhaltung dominiert: In allen untersuchten Modellen und Domänen verhält sich RLVR primär als ein Optimierungsmechanismus, der die Unterstützung einschränkt. Die Modelle weisen eine sehr hohe Erhaltungsrate der Unterstützung (SRR) auf, während die Entdeckung genuin neuer Lösungen (NDR) selten ist. Dies bedeutet, dass RLVR hauptsächlich die bereits im Basismodell vorhandenen Lösungen beibehält und verstärkt.
• Begrenzte Expansion: Obwohl RLVR gelegentlich Lösungen wiederherstellt, die für das Basismodell vernachlässigbar waren, ist diese Expansion konsistent gering. Dies deutet darauf hin, dass RLVR zwar die Massenverteilung in unzureichend erforschte Lösungsmodi umverteilen kann, eine solche Expansion jedoch die Ausnahme und nicht die Regel darstellt.
• Schrumpfung überwiegt Expansion: Über alle Modelle und Domänen hinweg übertrifft die Schrumpfung der Unterstützung (Verlust von Lösungen, die das Basismodell finden konnte) die Expansion (Entdeckung neuer Lösungen durch RLVR). Dies erklärt das Paradoxon, dass RLVR-Modelle bei geringem k besser abschneiden, während Basismodelle bei hohem k aufgrund ihrer breiteren Lösungsabdeckung dominieren.

Diese Ergebnisse legen nahe, dass RLVR als ein "stützgebundener Optimierer" fungiert. Es verbessert die Präzision, indem es die Wahrscheinlichkeitsmasse auf bekannte, hochbelohnte Lösungen konzentriert, entdeckt aber selten neue Denkpfade. Dies steht im Einklang mit dem "Temporal Forgetting"-Effekt, bei dem das Modell im Laufe des Trainings bestimmte Informationen oder Fähigkeiten vergisst.

Entropie-Reduktion und der Präzisions-Diversitäts-Kompromiss

Eine weitere strukturelle Eigenschaft von RLVR ist die Tendenz, die Entropie der Antwortverteilung systematisch zu reduzieren. Dies ist ein natürliches Ergebnis der Belohnungsoptimierung, die statistisch schärfere Verteilungen begünstigt, die auf hochbelohnte Lösungen konzentriert sind.

• Konsistente Präzisionsgewinne: RLVR verbessert die Genauigkeit konsistent über alle Benchmarks hinweg.
• Reduzierte Antwort-Entropie: Diese erhöhte Präzision geht jedoch mit einer Kosten einher: RLVR reduziert systematisch die Entropie auf Antwort-Ebene. Dies deutet auf einen Kollaps auf weniger unterschiedliche Lösungen hin und bestätigt die theoretische Vorhersage, dass die Belohnungsoptimierung die Ausgabeverteilungen um bekannte Modi schärft und dadurch die effektive Abdeckung der Unterstützung reduziert.
• Entkopplung von lokaler Unsicherheit und globaler Diversität: Während die Entropie auf Antwort-Ebene konsistent abnimmt, zeigt die Entropie auf Token-Ebene ein variableres Verhalten. Ein Anstieg der Token-Level-Entropie bedeutet nicht unbedingt eine größere Exploration des Ausgaberaums. Modelle können auf Token-Ebene stochastischer erscheinen, aber dennoch auf eine kleinere Menge von Endantworten konvergieren. Dies wird als "lokale Stochastizität ohne globale Exploration" bezeichnet.

Die empirische Analyse offenbart einen inhärenten Kompromiss bei RLVR: Es verbessert die Präzision durch die Verstärkung von hochbelohnten Ausgaben, verringert aber gleichzeitig die Diversität der globalen Lösungen. Diese Einschränkung ist besonders relevant in Domänen, die mehrere gültige Antworten zulassen oder von kreativem Denken profitieren.

Theoretische Grenzen von RLVR

Die theoretischen Analysen untermauern die empirischen Beobachtungen. Es wird gezeigt, dass RLVR-Optimierung den Suchraum nicht über die anfängliche Unterstützung des Basismodells hinaus erweitern kann. Dies liegt daran, dass RLVR auf Gradientensignale angewiesen ist, die aus den vom Basismodell generierten Stichproben abgeleitet werden. Eine nicht-null-Wahrscheinlichkeit kann keiner Lösung zugewiesen werden, die niemals aus der Basisverteilung abgetastet werden kann. Dies führt zu einem Kompromiss zwischen Schärfe und Diversität: RLVR kann pass@1 verbessern, indem es die Masse auf bekannte, hochbelohnte Modi konzentriert, neigt jedoch dazu, die pass@k-Leistung für größere k zu reduzieren, wo eine breitere Abdeckung vorteilhaft ist.

Fazit und Ausblick

Die aktuelle Forschung zeigt, dass Reinforcement Learning with Verifiable Rewards (RLVR) die Präzision von Large Language Models (LLMs) erheblich verbessert, indem es die Verteilungen um bekannte, hochbelohnte Trajektorien schärft. Diese Schärfung führt jedoch nicht nur zur Eliminierung inkorrekter Ausgaben, sondern kann auch die Wahrscheinlichkeitsmasse auf eine engere Untergruppe korrekter Lösungen konzentrieren. Dies hat zur Folge, dass gültige Alternativen, die das diversere Basismodell noch entdecken könnte, gelegentlich ausgeschlossen werden.

Die festgestellte Diskrepanz zwischen der Unsicherheit auf Token-Ebene und der Diversität auf Antwort-Ebene deutet darauf hin, dass lokale Stochastizität allein nicht ausreicht, um eine globale Exploration zu gewährleisten. Um die Denkfähigkeiten über den Umfang des Basismodells hinaus zu erweitern, muss RLVR möglicherweise mit expliziten Explorationsstrategien oder Off-Policy-Mechanismen kombiniert werden, die gezielt Wahrscheinlichkeitsmasse in unterrepräsentierte Bereiche des Lösungsraums einspeisen. Dies könnte den Weg für die Entwicklung von KI-Systemen ebnen, die nicht nur präzise, sondern auch in der Lage sind, wirklich neue und innovative Lösungen zu finden.

Bibliography: - "The Path Not Taken: RLVR Provably Learns Off the Principals", Hanqing Zhu et al., arXiv:2511.08567, 2025. - "The Invisible Leash? Why RLVR May or May Not Escape Its Origin", Fang Wu et al., arXiv:2507.14843, 2025. - "Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base Model?", Yang Yue et al., arXiv:2504.13837, 2025. - "Reinforcement learning with verifiable rewards (RLVR)", Ernest Ryu, YouTube, 2025. - "Daily Papers", Hugging Face, 2025. - "Limit of RLVR", Yang Yue, limit-of-rlvr.github.io, 2025.