Neue Ansätze zur Verbesserung der Argumentationsfähigkeiten von Sprachmodellen im Reinforcement Learning

Die Optimierung von Large Language Models (LLMs) und Multimodal Large Language Models (MLLMs) stellt eine zentrale Herausforderung in der aktuellen KI-Forschung dar. Insbesondere die Verbesserung der Argumentationsfähigkeiten dieser Modelle ist von großer Bedeutung. Ein etablierter Ansatz in diesem Bereich ist die Group Relative Policy Optimization (GRPO), die auf der Group Relative Advantage Estimation (GRAE) basiert. Jüngste Analysen legen jedoch nahe, dass GRPO trotz seiner Erfolge mit grundlegenden Einschränkungen in Bezug auf Exploration und Schwierigkeitsanpassung zu kämpfen hat.

Die Herausforderungen von GRPO: Eine Analyse der impliziten Symmetrie

GRPO wurde entwickelt, um die Argumentationsfähigkeiten von Foundation Models zu aktivieren, insbesondere bei komplexen Aufgaben, die eine "Chain-of-Thought" (CoT)-Generierung erfordern. Der Kern von GRPO liegt in der GRAE, die relative Vorteilswerte innerhalb von Stichprobengruppen berechnet, wodurch die Notwendigkeit eines separaten Wertmodells entfällt. Trotz seiner empirischen Erfolge deuten aktuelle Forschungsergebnisse auf zwei fundamentale Einschränkungen hin:

• Eingeschränkte Explorationsfähigkeit: GRPO neigt dazu, die Exploration neuer, potenziell optimaler Lösungen zu behindern. Es verbessert zwar die Stichprobenwahrscheinlichkeit bekannter korrekter Pfade, erweitert aber nicht effektiv die Entscheidungsfindungsgrenzen des Modells. Dies wird durch experimentelle Beobachtungen gestützt, bei denen die Leistung von GRPO bei größeren Stichprobenbudgets (Pass@k) unter die des Basismodells fallen kann.
• Unzureichende Schwierigkeitsanpassung: Der Belohnungsmechanismus von GRPO ist schwierigkeitsagnostisch. Er behandelt alle Aufgaben gleich, ohne deren inhärente Komplexität oder die aktuelle Leistungsfähigkeit des Modells zu berücksichtigen. Dies kann zu einem katastrophalen Overfitting bei einfacheren Aufgaben oder zu unzureichendem Lernen bei anspruchsvolleren führen.

Die Rolle der impliziten Vorteils-Symmetrie

Diese Schwachstellen werden auf eine zuvor übersehene implizite Vorteils-Symmetrie in GRAE zurückgeführt, die sich auf zwei Ebenen manifestiert:

• Auf Gruppenebene: Die Vorteilsgewichte für korrekte und inkorrekte Trajektorien sind streng äquivalent. Diese Symmetrie beschränkt die Exploration von nicht gesampelten, potenziell optimalen Pfaden. Dies bedeutet, dass selbst wenn eine korrekte Lösung mit geringer Wahrscheinlichkeit im Verhaltensraum existiert, ihre Logit statisch bleibt, es sei denn, sie wird zufällig gesampelt. Folglich fehlt GRPO ein intrinsischer Mechanismus zur aktiven Exploration, was zu einer Falle in lokalen Optima führen kann.
• Auf Stichprobenebene: Der Algorithmus priorisiert implizit mittelschwere Instanzen. Dies bedeutet, dass Stichproben mittleren Schwierigkeitsgrades die größten absoluten Vorteilswerte aufweisen, was zu unzureichendem Training an schwierigeren Daten führt. Die Optimierung bleibt agnostisch gegenüber den nicht-stationären Anforderungen der Trainingsdynamik und versagt bei der Anpassung des Fokus, wenn sich das Modell entwickelt.

Ansätze zur Überwindung der GRPO-Einschränkungen

Die identifizierten Mängel von GRPO haben zur Entwicklung neuer Methoden geführt, die darauf abzielen, die implizite Symmetrie zu durchbrechen und die Leistung von LLMs zu verbessern.

Asymmetric GRAE (A-GRAE): Dynamische Anpassung von Exploration und Schwierigkeit

Asymmetric GRAE (A-GRAE) wurde als Framework vorgeschlagen, um dynamisch Explorationsanreize zu modulieren und den Fokus auf die Stichprobenschwierigkeit anzupassen. A-GRAE integriert zwei Kernprinzipien:

• Asymmetrische Exploration: Durch die asymmetrische Unterdrückung der Gewichte korrekter Trajektorien wird das Modell dazu angeregt, über seinen aktuellen Lösungsraum hinaus zu explorieren. Dies fördert die Entdeckung neuer, korrekter Pfade, die GRPO normalerweise übersehen würde. Es wurde festgestellt, dass die Unterdrückung positiver Trajektorien effektiver ist als GRPO, jedoch mit dem Risiko der Trainingsinstabilität in späteren Phasen verbunden sein kann.
• Curriculum-ähnlicher Lernplan: Die Lernkurve wird durch einen Lehrplan-ähnlichen Ansatz optimiert, der anfänglich einfachere Stichproben priorisiert und schrittweise zu komplexeren übergeht. Dies stellt sicher, dass das Modell zuerst grundlegende Muster erlernt, bevor es sich schwierigeren Aufgaben widmet, was die Lerneffizienz maximiert.

Experimente auf sieben verschiedenen Benchmarks, darunter mathematische und multimodale Argumentationsaufgaben, zeigen, dass A-GRAE die Leistung von GRPO und seinen Varianten (wie DAPO und Dr.GRPO) konsistent verbessert. Es werden signifikante Verbesserungen in Metriken wie Genauigkeit (Pass@k) erzielt, was darauf hindeutet, dass A-GRAE die Probleme der Kapazitätsgrenzen-Schrumpfung und Schwierigkeitsanpassung effektiv mindert.

Group-relative Trajectory-based Policy Optimization (GTPO): Gradientenkonflikte und Entropiekontrolle

GTPO zielt darauf ab, zwei Hauptprobleme von GRPO zu lösen: die Token-Level-Bestrafung und den Policy-Kollaps. Es behandelt die Sequenz der generierten Tokens als eine Trajektorie von Entscheidungen und implementiert zwei Schlüsselmechanismen:

• Konfliktbewusste Gradientenkorrektur: GTPO verhindert widersprüchliche Gradienten bei wertvollen Tokens, die in verschiedenen Antworten vorkommen, indem es negative Updates überspringt und positive verstärkt. Dies adressiert das Problem, dass GRPO Tokens bestrafen kann, die für die Antwortstruktur und Korrektheit essenziell sind, wenn sie in mehreren Antworten mit unterschiedlichen Bewertungen erscheinen.
• Entropiekontrolle: GTPO überwacht und kontrolliert die Entropie der Ausgabeverteilung, um einen Policy-Kollaps zu verhindern. Es filtert instabile Vervollständigungen mit hoher Entropie heraus und verwendet einen Regularisierungsterm, der ein hohes Entropieverhalten bestraft. Im Gegensatz zu GRPO, das auf KL-Divergenz-Regularisierung angewiesen ist, was oft zu einer verzögerten Korrektur führt, reagiert die Entropiekontrolle von GTPO in Echtzeit auf die Trainingsinstabilität.

GTPO wurde auf mathematischen Argumentationsaufgaben mit Modellen wie LLaMA 8B und Qwen 2.5 (3B) evaluiert. Die Ergebnisse zeigen eine stabilere und zuverlässigere Trainingsleistung im Vergleich zu GRPO, mit konsistent besseren Ergebnissen bei In-Distribution- und Out-of-Distribution-Benchmarks.

2-GRPO: Effizienzsteigerung durch reduzierte Gruppengröße

Eine weitere Entwicklung ist 2-GRPO, ein GRPO-Ansatz, der mit einer minimalen Gruppengröße von zwei Rollouts pro Prompt arbeitet. Die traditionelle Ansicht war, dass GRPO eine große Gruppengröße benötigt, um eine zuverlässige und stabile Normalisierung der Vorteilsschätzung zu gewährleisten. 2-GRPO stellt diese Annahme in Frage, indem es GRPO als eine Form des kontrastiven Lernens neu interpretiert.

Die theoretische Analyse von 2-GRPO zeigt, dass es eine implizite Form der Vorteils-Schätzung beibehält, die eine korrekte Kreditzuweisung ermöglicht. Potenzielle Erhöhungen der Gradientenvarianz können durch eine größere Batch-Größe gemindert werden. Empirische Ergebnisse belegen, dass 2-GRPO eine vergleichbare Leistung wie das Standard-GRPO (z.B. 16-GRPO) auf anspruchsvollen mathematischen Benchmarks erzielt, während es gleichzeitig den Rechenaufwand und die Trainingszeit erheblich reduziert (um über 70%). Dies deutet darauf hin, dass die kontrastive Lernstruktur und nicht unbedingt die strikte Normalisierung der Haupttreiber für GRPO ist.

Zusammenfassung und Ausblick

Die Analyse der impliziten Vorteils-Symmetrie in GRPO und die daraus resultierenden Einschränkungen bei der Exploration und Schwierigkeitsanpassung sind entscheidende Erkenntnisse für die Weiterentwicklung von LLMs. Die neuen Ansätze wie A-GRAE und GTPO zeigen vielversprechende Wege auf, diese Probleme zu überwinden, indem sie die Trainingsdynamik präziser steuern und die Modellleistung konsistent verbessern. Die Erkenntnisse aus 2-GRPO unterstreichen zudem das Potenzial zur Effizienzsteigerung durch eine Neugestaltung der Gruppengröße. Diese Entwicklungen sind von großer Bedeutung für die gesamte KI-Branche, da sie zu leistungsfähigeren, stabileren und effizienteren Large Language Models führen können, die in der Lage sind, komplexere Argumentationsaufgaben zu lösen.

Für Unternehmen im B2B-Bereich, die auf die Leistungsfähigkeit von KI-Modellen angewiesen sind, bedeuten diese Fortschritte eine verbesserte Anwendbarkeit und Zuverlässigkeit. Die Fähigkeit, LLMs zu trainieren, die nicht nur bekannte Lösungen effizient nutzen, sondern auch neue, korrekte Ansätze explorieren und sich dynamisch an den Schwierigkeitsgrad von Aufgaben anpassen, ist ein entscheidender Wettbewerbsvorteil. Die kontinuierliche Forschung in dieser Richtung wird voraussichtlich weitere Innovationen hervorbringen, die die Grenzen dessen, was KI-Modelle leisten können, weiter verschieben.

Bibliography

Yu, Z., Chen, Z., Liu, M., Zhang, H., & Qu, L. (2026). Unveiling Implicit Advantage Symmetry: Why GRPO Struggles with Exploration and Difficulty Adaptation. arXiv. Simoni, M., Fontana, A., Rossolini, G., Saracino, A., & Mori, P. (2025). GTPO: Stabilizing Group Relative Policy Optimization via Gradient and Entropy Control. arXiv. Xie, X., Wang, X., Wang, W., Chen, S., & Lin, W. (2025). DaGRPO: Rectifying Gradient Conflict in Reasoning via Distinctiveness-Aware Group Relative Policy Optimization. arXiv. Pikus, B., Tiwari, P. R., & Ye, B. (2025). Hard Examples Are All You Need: Maximizing GRPO Post-Training Under Annotation Budgets. arXiv. Pujari, P. (2026). GRPO's Flaw: Regression to the Mean in AI Training. LinkedIn. Zhang, Y. (2025). From GRPO to DAPO and GSPO: What, Why, and How. Hugging Face. Anon. (2025). IT TAKES TWO: YOUR GRPO IS SECRETLY DPO. OpenReview. El Mansouri, O., El Amine Seddik, M., & Lahlou, S. (2025). Noise-corrected GRPO: From Noisy Rewards to Unbiased Gradients. arXiv.