Optimierung des Trainings großer Sprachmodelle durch StreamBP

Effizienteres Training von LLMs mit StreamBP

Das Training großer Sprachmodelle (LLMs) mit langen Sequenzen ist essentiell für die Verbesserung ihrer Fähigkeiten in komplexen Aufgaben, wie zum Beispiel dem mehrstufigen Schlussfolgern. Mit zunehmender Sequenzlänge steigt jedoch der Speicherbedarf für die Speicherung von Aktivierungswerten während des Backpropagation (BP)-Prozesses enorm an, selbst bei Anwendung von Gradient-Checkpointing.

Eine neue Methode namens StreamBP verspricht hier Abhilfe. StreamBP ist ein speichereffizientes und exaktes BP-Verfahren, das die Kettenregel entlang der Sequenzdimension schichtweise linear zerlegt. Dadurch wird der Speicherbedarf für Aktivierungswerte und Logits deutlich reduziert. Die Methode ist auf gängige Zielfunktionen wie Supervised Fine-Tuning (SFT), Generalised Reinforcement Learning from Preference Optimization (GRPO) und Direct Preference Optimization (DPO) anwendbar.

Implementierungstechnisch erreicht StreamBP durch die Nutzung der kausalen Struktur des Sprachmodells weniger Rechenoperationen (FLOPs) und eine höhere BP-Geschwindigkeit. Im Vergleich zu Gradient-Checkpointing erhöht StreamBP die maximale Sequenzlänge für BP um das 2,8- bis 5,5-fache, während die BP-Zeit vergleichbar oder sogar kürzer ist. Bemerkenswert ist, dass die Skalierbarkeit der Sequenzlänge von StreamBP direkt auf die Batch-Größen-Skalierung übertragen werden kann, um das Training zu beschleunigen.

Vorteile von StreamBP im Überblick

StreamBP bietet gegenüber herkömmlichen Methoden und Gradient-Checkpointing mehrere Vorteile:

Erhebliche Reduzierung des Speicherbedarfs für Aktivierungswerte und Logits.

Erhöhung der maximalen Sequenzlänge für BP um das 2,8- bis 5,5-fache im Vergleich zu Gradient-Checkpointing.

Vergleichbare oder sogar kürzere BP-Zeit.

Anwendbarkeit auf gängige Zielfunktionen wie SFT, GRPO und DPO.

Einfache Integration in die Trainingspipeline von Transformer-Modellen.

Möglichkeit der Skalierung der Batch-Größe für schnelleres Training.

Ausblick und Anwendungsmöglichkeiten

Um die Anwendbarkeit von StreamBP weiter zu erhöhen, wurde eine kommunikationseffiziente verteilte Version entwickelt, die Multi-GPU-Training effektiv unterstützt. Der Code ist öffentlich zugänglich und kann einfach in die Trainingspipeline beliebiger Transformer-Modelle integriert werden. Diese Entwicklungen eröffnen neue Möglichkeiten für das Training von LLMs mit extrem langen Sequenzen und könnten zu erheblichen Fortschritten in der Verarbeitung natürlicher Sprache führen. Insbesondere für Unternehmen wie Mindverse, die sich auf KI-gestützte Content-Erstellung und maßgeschneiderte KI-Lösungen spezialisiert haben, bietet StreamBP das Potenzial, die Leistungsfähigkeit ihrer Sprachmodelle weiter zu steigern und innovative Anwendungen zu entwickeln. So könnten beispielsweise komplexere Chatbots, präzisere KI-Suchmaschinen und umfassendere Wissenssysteme realisiert werden.

Bibliographie - Luo, Q., Li, M., Zhao, L., & Li, X. (2025). StreamBP: Memory-Efficient Exact Backpropagation for Long Sequence Training of LLMs. arXiv preprint arXiv:2506.03077. - https://arxiv.org/html/2506.03077v1 - https://paperreading.club/page?id=313305 - https://x.com/YouJiacheng/status/1930109167458562432 - Chen, T., Xu, B., Zhang, C., & Guestrin, C. (2018). Training deep nets with sublinear memory cost. arXiv preprint arXiv:1604.06174. - https://paperswithcode.com/paper/training-long-context-llms-efficiently-via - https://www.techrxiv.org/users/756917/articles/728971/master/file/data/main-survey-fwd/main-survey-fwd.pdf - https://www.researchgate.net/publication/303921752_Memory-Efficient_Backpropagation_Through_Time - https://www.linkedin.com/posts/buolamwini_paper-page-galore-memory-efficient-llm-activity-7171585754937171969-wHsa