Integration von großen Sprachmodellen zur Verbesserung des Reinforcement Learnings mit spärlichen Belohnungen

Die Forschung im Bereich der Künstlichen Intelligenz (KI) steht kontinuierlich vor der Herausforderung, Lernalgorithmen zu entwickeln, die in komplexen Umgebungen effizient agieren können. Eine besondere Schwierigkeit stellt dabei das sogenannte "Sparse Reward Problem" im Reinforcement Learning (RL) dar. Hierbei erhalten Agenten nur selten oder verzögert eine Rückmeldung (Belohnung) über die Qualität ihrer Aktionen, was das Lernen optimaler Strategien erheblich erschwert. Jüngste Fortschritte deuten jedoch darauf hin, dass große Sprachmodelle (Large Language Models, LLMs) eine entscheidende Rolle bei der Überwindung dieser Hürde spielen könnten, indem sie Agenten eine strukturiertere Lernumgebung bieten.

Die Herausforderung spärlicher Belohnungen im Reinforcement Learning

Im Kern des Reinforcement Learnings geht es darum, einen Agenten so zu trainieren, dass er in einer Umgebung durch Ausführen von Aktionen Belohnungen maximiert. In vielen realen Szenarien sind diese Belohnungen jedoch "spärlich" – sie treten nur selten auf oder sind stark verzögert. Stellen Sie sich vor, ein Roboter soll ein komplexes Produkt zusammenbauen und erhält erst nach erfolgreichem Abschluss des gesamten Prozesses eine Belohnung. Ohne Zwischenschritte oder Teilerfolge ist es für den Roboter äußerst schwierig zu verstehen, welche seiner zahlreichen Aktionen zum Erfolg geführt haben und welche nicht. Dies führt zu einer ineffizienten Exploration des Zustandsraums und verlangsamt den Lernprozess erheblich.

Traditionelle RL-Methoden haben verschiedene Ansätze zur Bewältigung spärlicher Belohnungen entwickelt, darunter:

• Intrinsische Motivation: Agenten erhalten zusätzliche, interne Belohnungen für die Erkundung neuer Zustände oder das Erreichen von Zwischenzielen.
• Hierarchisches Reinforcement Learning (HRL): Komplexe Aufgaben werden in eine Hierarchie kleinerer, leichter zu lösender Teilaufgaben zerlegt.
• Reward Shaping: Belohnungsfunktionen werden so angepasst, dass sie dem Agenten häufigere Rückmeldungen geben, oft basierend auf Domänenwissen.
• Goal-Conditioned Reinforcement Learning (GCRL): Agenten lernen, spezifische Ziele zu erreichen, und können dadurch Daten effizienter wiederverwenden.

Trotz dieser Bemühungen bleibt die Skalierbarkeit dieser Methoden in sehr komplexen und dynamischen Umgebungen eine Herausforderung.

LLMs als Wegbereiter für strukturierte Lernprozesse

Aufgabenzerlegung und Subgoal-Generierung durch LLMs

Ein vielversprechender Ansatz zur Adressierung des Sparse Reward Problems ist die Nutzung der Fähigkeiten von LLMs zur Aufgabenzerlegung (Task Decomposition) und zur Generierung von Teilzielen (Subgoals). LLMs können aufgrund ihres umfassenden Vortrainingswissens und ihrer Fähigkeit, textuelle Beschreibungen zu interpretieren, komplexe übergeordnete Aufgaben in eine logische Abfolge kleinerer, überschaubarer Schritte unterteilen. Diese Teilziele dienen dem RL-Agenten als Zwischenstationen, für deren Erreichen er intrinsische Belohnungen erhalten kann, selbst wenn die endgültige Belohnung noch aussteht.

Forscher haben verschiedene Typen von Teilzielen identifiziert, die von LLMs generiert werden können:

• Positionsbasierte Teilziele: Definieren Koordinaten oder Positionen, die der Agent erreichen soll.
• Repräsentationsbasierte Teilziele: Beschreiben identifizierbare Komponenten oder Merkmale des Umgebungszustands, z. B. das Erreichen eines bestimmten Objekts.
• Sprachbasierte Teilziele: Werden aus von LLMs generiertem Text abgeleitet und in Vektor-Embeddings umgewandelt, um abstraktere Anweisungen zu ermöglichen.

Diese von LLMs stammenden Teilziele können dem Agenten eine detailliertere und häufigere Rückmeldung geben, was die Explorationseffizienz und die Trainingskonvergenz erheblich verbessert.

Zwei-Ebenen-Strategien für effizienteres Lernen

Einige der effektivsten Methoden, die LLMs nutzen, basieren auf Zwei-Ebenen-Strategien. Dabei wird eine hochrangige Strategie (High-Level Policy) eingesetzt, die von einem LLM geleitet wird, um die nächste zu erreichende Teilaufgabe auszuwählen. Eine niederrangige Strategie (Low-Level Policy) ist dann dafür zuständig, die ausgewählte Teilaufgabe effizient auszuführen. Dieser hierarchische Aufbau ermöglicht es, die Vorteile der LLM-gestützten Planung mit der präzisen Aktionsausführung des RL-Agenten zu kombinieren.

Ein Beispiel hierfür ist der Ansatz "Automatically Learning to Compose Subtasks" (ALCS), der die Belohnungsfunktion automatisch strukturiert. ALCS verwendet eine hochrangige Strategie, die basierend auf dem Umgebungszustand und der Historie bereits abgeschlossener Teilaufgaben die nächste Teilaufgabe wählt. Die niederrangige Strategie lernt dann, diese spezifische Teilaufgabe zu erfüllen. Durch die Berücksichtigung der Reihenfolge abgeschlossener Teilaufgaben kann die hochrangige Strategie auch nicht-markovsche Entscheidungsprozesse effektiv unterstützen.

Die Optimierung dieses Zwei-Ebenen-Lernens umfasst oft:

• Generierung multipler Erfahrungen: Aus einer einzelnen Interaktion können mehrere Erfahrungen für verschiedene Teilaufgaben abgeleitet werden, um die Lerneffizienz zu steigern.
• Berücksichtigung der Teilaufgabenabfolge: Die hochrangige Strategie wird so trainiert, dass sie die genaue Reihenfolge der abgeschlossenen Teilaufgaben in ihre Entscheidungen einbezieht.
• Annahme von Entscheidungen: Selbst wenn der Agent eine Teilaufgabe nicht explizit gewählt hat, aber diese in der Umgebung erreicht wird, kann dies als "angenommene Wahl" interpretiert und zur Aktualisierung der hochrangigen Strategie genutzt werden.

Herausforderungen und Lösungsansätze bei der LLM-Integration

Skalierbarkeit und Recheneffizienz

Die direkte und wiederholte Abfrage von LLMs während des RL-Trainings ist rechenintensiv und kostspielig, insbesondere in Umgebungen, die Hunderttausende von Episoden erfordern. Um diesem Problem zu begegnen, werden zunehmend Surrogate-Modelle eingesetzt. Diese Modelle approximieren das Verhalten des LLM-Lehrers, indem sie dessen Teilziel-Generierungsfähigkeiten nachahmen, jedoch mit deutlich geringerem Rechenaufwand. Ein solches Surrogate-Modell wird offline trainiert, um die vom LLM generierten Teilziele zu reproduzieren, einschließlich deren inhärenter Variabilität und Fehler. Dies ermöglicht ein effizientes Training des RL-Agenten unter realistischen Bedingungen, ohne die Notwendigkeit ständiger LLM-Abfragen.

Die Entwicklung robuster Surrogate-Modelle, die sowohl die Genauigkeit als auch die typischen Fehler der LLMs abbilden, ist entscheidend, um ein Überanpassen des Agenten an "perfekte" Teilziele zu vermeiden. Dies stellt sicher, dass der Agent auch unter realen, möglicherweise unvollkommenen Bedingungen erfolgreich agieren kann.

Interpretierbarkeit von Agentenentscheidungen

Ein weiterer wichtiger Aspekt der LLM-gestützten RL-Ansätze ist die verbesserte Interpretierbarkeit der Agentenentscheidungen. Durch die explizite Generierung und Verfolgung von Teilaufgaben können die Lernprozesse transparenter gestaltet werden. Die Abfolge der vom Agenten erreichten Teilaufgaben kann als eine Art "Denkprozess" oder "Plan" interpretiert werden. Dies ermöglicht es, nachzuvollziehen, was der Agent bereits getan hat, welche Teilaufgabe er aktuell anstrebt und welche Schritte er für die Zukunft plant.

Beispielsweise kann eine Baumstruktur verwendet werden, um alle Sequenzen von abgeschlossenen Teilaufgaben aufzuzeichnen. Jeder Knoten im Baum repräsentiert eine erreichte Teilaufgabe, und der Pfad von der Wurzel zum aktuellen Knoten bildet die Historie der Teilaufgaben ab. Diese Visualisierung bietet Einblicke in die Strategie des Agenten und hilft, seine Entscheidungen besser zu verstehen, was für die Entwicklung vertrauenswürdiger KI-Systeme von großer Bedeutung ist.

Ausblick und zukünftige Forschungsrichtungen

Die Integration von LLMs in Reinforcement Learning zur Bewältigung spärlicher Belohnungen ist ein aktives und vielversprechendes Forschungsgebiet. Zukünftige Arbeiten könnten sich auf folgende Bereiche konzentrieren:

• Erweiterung auf breitere Benchmarks: Die Validierung der aktuellen Methoden in einer noch größeren Vielfalt von Umgebungen und realen Aufgaben, wie Roboterassemblierungen oder autonome Drohnenflüge, wird die Generalisierbarkeit und Robustheit der Ansätze weiter untermauern.
• Adaptive Teilziel-Komplexität: Die Entwicklung von Frameworks, die die Komplexität der generierten Teilziele dynamisch an den Lernfortschritt des Agenten anpassen, könnte die Effizienz weiter steigern.
• Verbesserung von Surrogate-Modellen: Die kontinuierliche Verfeinerung der Surrogate-Modelle, um die Argumentationsfähigkeiten der LLMs noch präziser abzubilden, ist entscheidend für die Skalierbarkeit und Anwendbarkeit in der Praxis.
• Übertragbarkeit auf neue Aufgaben: Die Erforschung, wie LLM-geleitete Teilziel-Generierung die schnelle Anpassung und Lösung völlig neuer Aufgaben in unbekannten Umgebungen fördern kann, ist ein zentrales Ziel.

Die Verbindung von LLMs und Reinforcement Learning bietet das Potenzial, die Grenzen dessen zu erweitern, was KI-Agenten in komplexen, realen Szenarien lernen und erreichen können. Die Fähigkeit, aus spärlichen Belohnungen zu lernen, ist dabei ein fundamentaler Schritt hin zu autonomeren und intelligenteren Systemen.

Bibliography

- Han, S., Dastani, M., & Wang, S. (2024). Learning Reward Structure with Subtasks in Reinforcement Learning. ECAI 2024. - Ruiz-Gonzalez, U., Andres, A., & Del Ser, J. (2025). Large Language Models for Structured Task Decomposition in Reinforcement Learning Problems with Sparse Rewards. Mach. Learn. Knowl. Extr., 7(4), 126. - Cao, M., Shu, L., Yu, L., Zhu, Y., Wichers, N., Liu, Y., & Meng, L. (2024). Beyond Sparse Rewards: Enhancing Reinforcement Learning with Language Model Critique in Text Generation. arXiv preprint arXiv:2401.07382. - Zhang, J., Huang, J., Yao, H., Liu, S., Zhang, X., Lu, S., & Tao, D. (2025). R1-VL: Learning to Reason with Multimodal Large Language Models via Step-wise Group Relative Policy Optimization. arXiv preprint arXiv:2503.12937. - Lattimer, B. M., Gangal, V. P., McDonald, R., & Yang, Y. (2025). Sparse Rewards Can Self-Train Dialogue Agents. Findings of the Association for Computational Linguistics: ACL 2025. - Quadros, A., Silva, C., & Alves, R. (2025). LLM-Driven Intrinsic Motivation for Sparse Reward Reinforcement Learning. arXiv preprint arXiv:2508.18420. - Zhang, X., Gao, N., Jiang, X., Chen, Y., Pan, Y., Zhang, M., & Deng, Y. (2025). Progress Reward Model for Reinforcement Learning via Large Language Models. NeurIPS 2025 Poster.