Neue Ansätze zur Optimierung im Deep Learning: SGD-SaI stellt Adam in Frage

Optimierer im Fokus: Neue Forschung stellt Adam in Frage

Die Welt des Deep Learnings ist in ständiger Bewegung. Ein neuer Forschungsartikel mit dem Titel "No More Adam: Learning Rate Scaling at Initialization is All You Need" sorgt aktuell für Diskussionen. Die Autoren, Minghao Xu, Lichuan Xiang, Xu Cai und Hongkai Wen, stellen die Notwendigkeit adaptiver Gradientenmethoden, wie etwa Adam, für das Training neuronaler Netze in Frage und präsentieren einen alternativen Ansatz: SGD-SaI.

SGD-SaI: Skalierung bei Initialisierung

SGD-SaI basiert auf dem bekannten Stochastic Gradient Descent mit Momentum (SGDM) und erweitert diesen um ein entscheidendes Feature: die Skalierung der Lernrate bei der Initialisierung (SaI). Kern dieses Verfahrens ist die Berücksichtigung des Gradienten-Signal-Rausch-Verhältnisses (g-SNR) der einzelnen Parametergruppen. Durch die Anpassung der Lernraten, ohne auf adaptive Berechnungen zweiter Ordnung zurückzugreifen, soll SGD-SaI Trainingsungleichgewichte von Beginn an verhindern und gleichzeitig den Speicherbedarf des Optimierers im Vergleich zu AdamW halbieren.

Performance im Vergleich

Die Autoren präsentieren Ergebnisse, die darauf hindeuten, dass SGD-SaI bei verschiedenen Transformer-basierten Aufgaben mit AdamW gleichzieht oder diesen sogar übertrifft. Insbesondere beim Training von Vision Transformers (ViT) für die ImageNet-1K-Klassifizierung und beim Pre-Training von GPT-2 für große Sprachmodelle (LLMs) zeigt SGD-SaI überzeugende Leistungen. Auch bei der Feinabstimmung von LLMs mit LoRA und beim Training von Diffusionsmodellen soll der neue Optimierer bestehende Ansätze übertreffen. Ein wichtiger Aspekt ist die Speichereffizienz: SGD-SaI reduziert den Speicherbedarf für Optimiererzustände erheblich. Im Vergleich zu AdamW werden bei GPT-2 (1,5 Milliarden Parameter) 5,93 GB und bei Llama2-7B sogar 25,15 GB eingespart, wenn mit voller Präzision trainiert wird.

Implikationen für die Praxis

Die Ergebnisse dieser Studie könnten weitreichende Folgen für das Training großer neuronaler Netze haben. Gerade im Kontext von ressourcenintensiven Anwendungen, wie dem Training von LLMs, ist die Speichereffizienz ein entscheidender Faktor. Sollte sich SGD-SaI in weiteren Studien bewähren, könnte dies zu einer Verlagerung weg von adaptiven Optimierern wie Adam führen. Die Einfachheit und Effizienz von SGD-SaI machen ihn zu einem attraktiven Kandidaten für zukünftige Deep-Learning-Projekte. Besonders für Unternehmen wie Mindverse, die sich auf KI-gestützte Content-Erstellung und maßgeschneiderte KI-Lösungen spezialisiert haben, sind solche Entwicklungen von großem Interesse. Effizientere Optimierer ermöglichen das Training komplexerer Modelle und beschleunigen die Entwicklung innovativer KI-Anwendungen.

Ausblick und weitere Forschung

Obwohl die Ergebnisse vielversprechend sind, ist weitere Forschung notwendig, um die Stärken und Schwächen von SGD-SaI umfassend zu evaluieren. Vergleiche mit anderen Optimierungsverfahren, Tests auf verschiedenen Architekturen und eine detailliertere Analyse der Auswirkungen der g-SNR-basierten Lernratenskalierung sind unerlässlich. Die Community erwartet mit Spannung weitere Studien, die die Robustheit und Anwendbarkeit von SGD-SaI in der Praxis belegen.

Bibliographie: https://arxiv.org/abs/2412.11768 https://news.ycombinator.com/item?id=42448193 https://twitter.com/papers_anon/status/1868938271071584333 https://paperreading.club/page?id=272863 https://stackoverflow.com/questions/53033556/how-should-the-learning-rate-change-as-the-batch-size-change https://openreview.net/forum?id=iBExhaU3Lc https://arxiv.org/pdf/2412.02153? https://proceedings.neurips.cc/paper_files/paper/2021/file/88ae6372cfdc5df69a976e893f4d554b-Paper.pdf https://openreview.net/pdf?id=B1Yy1BxCZ https://developers.google.com/machine-learning/guides/deep-learning-tuning-playbook/faq