In der sich ständig weiterentwickelnden Welt der künstlichen Intelligenz (KI) spielen große Sprachmodelle (LLMs) eine immer wichtigere Rolle. Diese Modelle, trainiert mit riesigen Datenmengen, beeindrucken durch ihre Fähigkeit, menschenähnlichen Text zu verstehen und zu generieren. Ein zentraler Aspekt, um die Leistungsfähigkeit von LLMs für spezifische Anwendungen zu optimieren, ist das Fine-Tuning.

Was ist Fine-Tuning?

Beim Fine-Tuning wird ein bereits vortrainiertes LLM auf einen bestimmten Datensatz und eine spezifische Aufgabe angepasst. Dieser Prozess ermöglicht es, die bereits vorhandenen Sprachfähigkeiten des Modells zu verfeinern und auf die jeweilige Anwendung zu spezialisieren. Anstatt also ein Modell von Grund auf neu zu trainieren, was zeitaufwendig und rechenintensiv wäre, nutzt man das bereits vorhandene Wissen des LLMs und passt es gezielt an.

Die Herausforderung der Initialisierung

Ein wichtiger Schritt beim Fine-Tuning ist die Initialisierung der zusätzlichen Gewichtungsmatrizen, die durch Techniken wie LoRA (Low-Rank Adaptation) eingeführt werden. Traditionell werden diese Matrizen zufällig initialisiert, was jedoch zu einer ungleichmäßigen Verteilung der sogenannten "Ränge" innerhalb des Modells führen kann. Der Rang einer Matrix gibt vereinfacht gesagt an, wie komplex die durch sie repräsentierten Informationen sind.

Eine ungleichmäßige Rangverteilung kann die Leistung des Modells beeinträchtigen. Daher haben Forschende nach Methoden gesucht, um die Initialisierung und Verteilung der Ränge zu optimieren. Bisherige Ansätze konzentrierten sich entweder auf eine gewichtsgesteuerte Initialisierung oder auf das Erlernen adaptiver Ränge während des Trainings. Beide Ansätze haben jedoch ihre Grenzen: Der erste führt oft zu einer langsamen Konvergenz, während der zweite wieder zu einer gleichmäßigen Rangverteilung führt.

EVA: Erklärte Varianzadaption

Eine neue Forschungsarbeit stellt nun eine vielversprechende Methode namens EVA (Explained Variance Adaptation) vor, die die Initialisierung und Rangverteilung beim Fine-Tuning von LLMs verbessert. EVA verfolgt einen datengesteuerten Ansatz, der auf der Singulärwertzerlegung (SVD) basiert.

Wie funktioniert EVA?

Zunächst werden Mini-Batches von Aktivierungsvektoren aus dem Datensatz verwendet, um eine SVD durchzuführen. Die aus der SVD gewonnenen rechts-singulären Vektoren dienen dann zur Initialisierung der LoRA-Matrizen. Anschließend werden die Ränge innerhalb des Modells neu verteilt, um die maximale Varianz zu erklären. Dieser Schritt ist entscheidend, da er sicherstellt, dass die wichtigsten Informationen im Modell optimal repräsentiert werden.

Vorteile von EVA

Die Forscher haben EVA in verschiedenen Fine-Tuning-Aufgaben getestet, darunter Sprachgenerierung, Sprachverständnis, Bildklassifizierung und Reinforcement Learning. Die Ergebnisse zeigen, dass EVA im Vergleich zu anderen Methoden eine schnellere Konvergenz und eine höhere durchschnittliche Leistung in einer Vielzahl von Aufgaben und Domänen erzielt.

Fazit

EVA stellt einen wichtigen Fortschritt im Bereich des Fine-Tunings von LLMs dar. Durch die datengesteuerte Initialisierung und die adaptive Rangverteilung ermöglicht EVA eine effizientere und leistungsstärkere Anpassung von LLMs an spezifische Aufgaben. Dies eröffnet neue Möglichkeiten für die Entwicklung und Anwendung von KI-Systemen in verschiedenen Bereichen, von der Sprachverarbeitung bis hin zur Bildanalyse und Robotik.

Bibliographie

[1] Goyal, A., & Bengio, Y. (2017). Regularizing and Optimizing LSTM Language Models. Proceedings of the 34th International Conference on Machine Learning, 70(1), 1310–1318. [2] Paischer, F., Hauzenberger, L., Schmied, T., Alkin, B., Deisenroth, M. P., & Hochreiter, S. (2024). One Initialization to Rule them All: Fine-tuning via Explained Variance Adaptation. arXiv preprint arXiv:2410.07170. [3] He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778). [4] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. In Advances in neural information processing systems (pp. 5998-6008). [5] Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805. [6] Brown, T. B., Mann, B., Ryder, N., Subbiah, M., Kaplan, J., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. arXiv preprint arXiv:2005.14165.