Grenzen der Generalisierungsfähigkeit von Reinforcement Learning mit verifizierbaren Belohnungen in der mathematischen Problemlösung

Grenzen der Generalisierung im Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) bei mathematischen Denkaufgaben

Die Fähigkeit von großen Sprachmodellen (LLMs), komplexe mathematische Probleme zu lösen, ist ein zentrales Forschungsfeld in der Künstlichen Intelligenz. Reinforcement Learning mit verifizierbaren Belohnungen (RLVR) hat sich als vielversprechender Ansatz zur Verbesserung dieser Fähigkeiten etabliert. Eine aktuelle Untersuchung beleuchtet jedoch die Grenzen der Generalisierungsfähigkeit von RLVR und hinterfragt, inwieweit dieser Ansatz tatsächlich zu einem tieferen, echten mathematischen Denken führt.

RLVR: Eine Einführung

RLVR ist eine Methode, bei der Sprachmodelle durch Belohnungen optimiert werden, die auf der Verifizierbarkeit von Lösungen basieren, beispielsweise durch korrekte mathematische Ergebnisse oder erfolgreiche Code-Tests. Ziel ist es, die Modelle dazu zu bringen, nicht nur korrekte Antworten zu liefern, sondern auch nachvollziehbare und korrekte Denkprozesse zu entwickeln. Dies unterscheidet sich von traditionellem Reinforcement Learning, bei dem Belohnungen oft auf menschlichen Annotationen basieren.

Forschungshintergrund und Methodik

Die vorliegende Studie untersuchte die Effektivität von RLVR anhand von zwei kombinatorischen Problemen mit vollständig verifizierbaren Lösungen: der Aktivitätsplanung (Activity Scheduling) und der längsten aufsteigenden Teilsequenz (Longest Increasing Subsequence). Für diese Analysen wurden sorgfältig kuratierte Datensätze mit eindeutigen Optimalwerten verwendet. Die Forscher evaluierten verschiedene Belohnungsdesigns, um zu beurteilen, ob RLVR neue Denkstrategien fördert oder lediglich vorhandene Muster optimiert.

Ergebnisse der Studie: Oberflächliche Optimierung statt tiefer Einsicht

Die Ergebnisse zeigen, dass RLVR zwar die Bewertungsmetriken verbessert, dies jedoch häufig durch die Verstärkung von oberflächlichen Heuristiken und nicht durch den Erwerb neuer, echter Denkstrategien geschieht. Die Modelle lernen, spezifische Muster zu erkennen, die zu Belohnungen führen, entwickeln aber keine tiefgreifenden Fähigkeiten zur Verallgemeinerung auf unbekannte oder komplexere Szenarien. Dies deutet darauf hin, dass RLVR in seiner aktuellen Form die inhärenten Grenzen der Generalisierungsfähigkeit von LLMs nicht vollständig überwindet.

Pass@k Metrik und ihre Implikationen

Ein zentraler Aspekt der Untersuchung war die Analyse der Modelle mittels der pass@k Metrik. Diese Metrik misst den Erfolg, wenn mindestens eine korrekte Lösung unter k Versuchen gefunden wird. Es zeigte sich, dass RLVR-trainierte Modelle bei niedrigen k-Werten (z.B. pass@1) zwar überlegen sind, bei höheren k-Werten (z.B. pass@256) jedoch von den ursprünglichen Grundmodellen übertroffen werden. Dies lässt den Schluss zu, dass RLVR die Sampling-Effizienz erhöht, indem es das Modell auf bekannte, hoch belohnte Pfade lenkt, aber die Explorationskapazität des Modells und die Vielfalt der Lösungsansätze einschränkt.

Die manuelle Überprüfung der Denkketten (Chains of Thought, CoT) offenbarte, dass Grundmodelle selbst bei Problemen, die als schwierig gelten, oft mindestens einen korrekten Denkpfad generieren können, der nicht auf zufälligem Raten beruht. Dies unterstreicht das oft unterschätzte reasoning-Potenzial der ursprünglichen Modelle.

Einschränkung des Lösungsraums

Die Analyse legt nahe, dass alle korrekten Lösungen, die von RLVR-trainierten Modellen gefunden werden, bereits in der Verteilung des Grundmodells vorhanden sind. Das bedeutet, RLVR optimiert bestehende Fähigkeiten, anstatt neue zu schaffen. Durch die Fokussierung auf hoch belohnte Pfade wird der Lösungsraum des Modells effektiv eingeengt, was zu einer geringeren Abdeckung von Problemen bei größeren Stichprobenmengen führt.

Vergleich verschiedener RL-Algorithmen

Die Studie verglich auch die Leistung verschiedener RL-Algorithmen wie PPO, GRPO und Reinforce++. Dabei wurde festgestellt, dass die Leistungsunterschiede zwischen diesen Algorithmen gering sind, gemessen an der Sampling-Effizienz-Lücke (∆SE). Diese Lücke, die angibt, wie nah die Algorithmen an der optimalen Sampling-Effizienz sind, blieb bei allen Methoden groß. Dies deutet darauf hin, dass die derzeitigen RL-Ansätze, die auf die Verbesserung der Sampling-Effizienz abzielen, noch weit von einer optimalen Leistung entfernt sind.

RLVR und Destillation: Ein fundamentaler Unterschied

Ein weiterer wichtiger Befund ist der fundamentale Unterschied zwischen RLVR und Destillation. Während RLVR die Sampling-Effizienz verbessert, kann Destillation tatsächlich neues Wissen in ein Modell einführen. Destillierte Modelle zeigen oft eine erweiterte Denkfähigkeit, die über die des Grundmodells hinausgeht, da sie von den destillierten Modellen lernen. Im Gegensatz dazu bleibt die Kapazität von RLVR-trainierten Modellen durch die Fähigkeiten des Grundmodells begrenzt.

Fallstudien in mathematischem Denken

Die Untersuchung konzentrierte sich auf drei repräsentative Domänen: Mathematik, Codierung und visuelles Denken. In allen Bereichen zeigte sich ein konsistentes Muster: RLVR verbesserte die Leistung bei einzelnen Stichproben (pass@1), reduzierte jedoch die Abdeckung bei höheren Stichprobenmengen (z.B. k=128). Das ursprüngliche Modell zeigte weiterhin Potenzial für Verbesserungen bei größeren k-Werten, während die Leistung von RLVR stagnierte.

Beispielsweise konnten in einer Fallstudie mit dem AIME24-Datensatz Probleme, die von einem RL-trainierten Modell gelöst wurden, auch vom Grundmodell bei erhöhter Stichprobenzahl bewältigt werden. Dies unterstreicht, dass das Grundmodell bereits das erforderliche Denkpotenzial besitzt und RLVR dieses Potenzial lediglich effizienter zugänglich macht, ohne es grundlegend zu erweitern.

Fazit und Ausblick

Die Studie beleuchtet kritische Grenzen der Generalisierungsfähigkeit von RLVR in der mathematischen Denkfähigkeit von LLMs. Während RLVR die Effizienz der Lösungsfindung verbessert, indem es Modelle auf bewährte Pfade lenkt, scheint es die zugrunde liegende Denkfähigkeit nicht grundlegend zu erweitern oder den Horizont des Modells zu vergrößern. Die Ergebnisse betonen die Notwendigkeit, zukünftige Benchmarks so zu gestalten, dass sie echtes mathematisches Denken von der reinen Ausnutzung oberflächlicher Heuristiken unterscheiden können.

Für Unternehmen, die KI-Lösungen entwickeln, impliziert dies, dass die Auswahl und das Training von LLMs sorgfältig abgewogen werden müssen. Eine reine Optimierung mittels RLVR könnte kurzfristig zu besseren Metriken führen, aber die langfristige Fähigkeit zur Problemlösung und Generalisierung auf neuartige Aufgaben könnte dadurch eingeschränkt werden. Es bedarf möglicherweise neuer Trainingsparadigmen, die über die aktuellen Grenzen des RLVR hinausgehen, um LLMs zu befähigen, wirklich anspruchsvollere Probleme zu lösen, die über die im Vortraining erlernten Fähigkeiten hinausgehen.

Bibliographie

- Md Tanvirul Alam, Nidhi Rastogi. Limits of Generalization in RLVR: Two Case Studies in Mathematical Reasoning. Published on Oct 30, 2025. - Yang Yue et al. Does Reinforcement Learning Really Incentivize Reasoning Capacity in LLMs Beyond the Base model? NeurIPS 2025 Oral ICML 2025 Workshop AI4Math Best Paper Award. - Ritvik Rastogi. Papers Explained 373: One-Shot RLVR. Published Date: 2025-05-26T09:08:29.000Z. - Gaël Gendron, Qiming Bao, Michael Witbrock, Gillian Dobbie. Large Language Models Are Not Strong Abstract Reasoners. IJCAI-24 Proceedings.