Verbesserung von mathematischen Problemlösungsfähigkeiten durch Multi-Turn Iterative Preference Learning

Einleitung

Die Lösung mathematischer Probleme durch große Sprachmodelle (LLMs) hat in der jüngeren Vergangenheit erhebliche Fortschritte gemacht. Durch die Integration externer Werkzeuge wie Code-Interpretern und die Anwendung von Multi-Turn Chain-of-Thought (CoT) Überlegungen konnten die Fähigkeiten dieser Modelle weiter gesteigert werden. Während bisherige Methoden sich auf die Generierung synthetischer Daten und das überwachte Feintuning (SFT) konzentrierten, untersucht eine aktuelle Studie den ergänzenden Ansatz des direkten Präferenzlernens, um die Modellleistung weiter zu verbessern.

Herausforderungen und Lücken in bestehenden Ansätzen

Ein zentrales Problem bestehender Algorithmen des direkten Präferenzlernens liegt darin, dass sie ursprünglich für Single-Turn-Chat-Aufgaben entwickelt wurden und die Komplexität von Multi-Turn-Überlegungen und der Integration externer Werkzeuge nicht vollständig erfassen. Dies stellt eine signifikante Herausforderung dar, da für mathematische Aufgaben, die Werkzeuge integrieren, komplexe und mehrstufige Überlegungen notwendig sind.

Das Multi-Turn Direct Preference Learning Framework

Um diese Lücke zu schließen, wurde ein neues Multi-Turn Direct Preference Learning Framework entwickelt. Dieses Framework ist speziell für den Kontext mathematischer Aufgaben ausgelegt, die die Integration externer Werkzeuge erfordern. Es nutzt Feedback von Code-Interpretern und optimiert Präferenzen auf Trajektorienebene. Zu den spezifischen Implementierungen dieses Frameworks gehören Multi-Turn DPO und Multi-Turn KTO.

Validierung und Ergebnisse

Die Effektivität des neuen Frameworks wurde durch das Training verschiedener Sprachmodelle mit einem erweiterten Prompt-Set aus den GSM8K- und MATH-Datensätzen validiert. Die Ergebnisse zeigen erhebliche Verbesserungen:

- Die Leistung des Gemma-1.1-it-7B Modells stieg von 77,5% auf 83,9% bei GSM8K und von 46,1% auf 51,2% bei MATH. - Ein Gemma-2-it-9B Modell verbesserte sich von 84,1% auf 86,3% bei GSM8K und von 51,0% auf 54,5% bei MATH.

Schlussfolgerung

Die Studie zeigt, dass das Multi-Turn Direct Preference Learning Framework ein vielversprechender Ansatz ist, um die mathematischen Problemlösungsfähigkeiten großer Sprachmodelle weiter zu verbessern. Durch die gezielte Integration externer Werkzeuge und die Optimierung von Präferenzen auf Trajektorienebene können signifikante Leistungssteigerungen erzielt werden. Diese Fortschritte eröffnen neue Möglichkeiten für die Anwendung von LLMs in komplexen mathematischen Aufgaben und darüber hinaus.

Bibliographie

http://www.arxiv.org/abs/2409.02392 http://www.arxiv.org/pdf/2409.02392 https://twitter.com/StatsPapers/status/1831649081120243993 https://chatpaper.com/chatpaper/zh-CN/paper/55359 https://weixiongust.github.io/WeiXiongUST/cv.pdf https://chatpaper.com/chatpaper/?id=7&date=1725465600&page=1 https://github.com/dair-ai/ML-Papers-of-the-Week https://twitter.com/fly51fly/status/1831813129787019275 https://arxiv-sanity-lite.com/?rank=pid&pid=2404.02078 https://icml.cc/virtual/2024/papers.html