LLMs auf dem Weg zur Selbstoptimierung: Schrittweises Lernen und Curriculum Preference Learning mit MCTS

Große Sprachmodelle (LLMs) haben in den letzten Jahren erstaunliche Fortschritte gemacht und zeigen beeindruckende Fähigkeiten in verschiedenen Bereichen der natürlichen Sprachverarbeitung. Trotz ihrer Erfolge stehen LLMs jedoch immer noch vor Herausforderungen bei Aufgaben, die komplexe Argumentation und Planung erfordern, wie z. B. das Lösen mathematischer Probleme.

Um die Argumentationsfähigkeiten von LLMs zu verbessern, hat sich die Monte-Carlo-Baumsuche (MCTS) als vielversprechende Technik erwiesen. MCTS ermöglicht es LLMs, durch die Erkundung möglicher Lösungswege in komplexen Problemen bessere Ergebnisse zu erzielen. Bisherige Ansätze zur Integration von MCTS in LLMs haben jedoch die Fülle an Informationen, die während der MCTS-Suche generiert werden, nicht vollständig genutzt.

AlphaLLM-CPL: Ein neuer Ansatz zur Verbesserung der LLMs

Eine neue Forschungsarbeit stellt nun einen neuartigen Trainingsansatz namens "AlphaLLM-CPL" vor, der darauf abzielt, die Selbstoptimierung von LLMs durch die Integration von MCTS und einem Konzept namens "Curriculum Preference Learning" zu ermöglichen.

AlphaLLM-CPL nutzt die von MCTS generierten Informationen effizienter durch zwei Hauptinnovationen:

1. Schrittweise Trajektorienpaare

AlphaLLM-CPL konstruiert schrittweise Trajektorienpaare aus Kindknoten, die denselben Elternknoten im Suchbaum haben. Dies liefert detaillierte Informationen auf Schrittebene, die die Destillation des MCTS-Verhaltens effektiver gestalten. Anstatt nur die beste von MCTS gefundene Trajektorie zu verwenden, ermöglicht dieser Ansatz dem LLM, aus den Erfolgen und Misserfolgen jedes einzelnen Schrittes im Suchprozess zu lernen.

2. Curriculum Preference Learning

AlphaLLM-CPL führt das Konzept des "Curriculum Preference Learning" ein. Bei diesem Ansatz wird die Trainingssequenz der Trajektorienpaare in jeder Offline-Trainingsepoche dynamisch angepasst. So werden Paare priorisiert, die für das Lernen des LLMs in der aktuellen Phase besonders wichtig sind. Dieser Ansatz ähnelt der Art und Weise, wie Menschen lernen, indem sie zunächst grundlegende Konzepte beherrschen, bevor sie sich komplexeren Aufgaben zuwenden.

Experimentelle Ergebnisse und Ausblick

Die experimentellen Ergebnisse auf zwei mathematischen Argumentationsdatensätzen (GSM8K und MATH) zeigen, dass AlphaLLM-CPL die Leistung von LLMs im Vergleich zu früheren MCTS-Destillationsmethoden deutlich verbessert. Insbesondere auf dem anspruchsvolleren MATH-Datensatz konnte AlphaLLM-CPL die Leistung des getesteten LLM (LLaMA3-8B-Instruct) um 17,4 % steigern.

Diese Ergebnisse deuten darauf hin, dass AlphaLLM-CPL ein vielversprechender Ansatz ist, um die Argumentationsfähigkeiten von LLMs durch effektivere Nutzung der von MCTS generierten Informationen zu verbessern. Zukünftige Forschung könnte sich darauf konzentrieren, AlphaLLM-CPL auf andere komplexe Argumentationsaufgaben anzuwenden, z. B. auf das Verstehen und Generieren von Code oder auf die Lösung wissenschaftlicher Probleme.

Bibliographie

http://arxiv.org/abs/2410.06508 https://arxiv.org/html/2410.06508v1 https://paperswithcode.com/paper/toward-self-improvement-of-llms-via https://github.com/tmgthb/Autonomous-Agents https://bytez.com/docs/arxiv/2405.00451/paper https://github.com/KbsdJames/Awesome-LLM-Preference-Learning https://multion-research.s3.us-east-2.amazonaws.com/AgentQ.pdf https://aclanthology.org/volumes/2024.acl-long/ https://openreview.net/attachment?id=s4OukoHwnz&name=pdf https://www.appliedai.de/assets/files/LLM-Whitepaper-final_Digital03.pdf