Eine Initialisierung für alle: Feinabstimmung durch erklärtes Varianzbasiertes Anpassen

In der sich ständig entwickelnden Welt der künstlichen Intelligenz (KI) spielen große Sprachmodelle (LLMs) eine immer wichtigere Rolle. Diese Modelle, die auf riesigen Datenmengen vortrainiert sind, haben die Fähigkeit, eine Vielzahl von Aufgaben zu bewältigen, von der Generierung von Texten bis hin zur Übersetzung von Sprachen. Die Feinabstimmung dieser Modelle für spezifische Anwendungen ist jedoch ein entscheidender Schritt, um ihre Leistung zu optimieren. Eine neue Forschungsarbeit mit dem Titel "One Initialization to Rule them All: Fine-tuning via Explained Variance Adaptation" stellt eine innovative Methode zur Feinabstimmung von LLMs vor, die auf der Anpassung der erklärten Varianz basiert.

Hintergrund

Traditionell werden LLMs mit einer zufälligen Initialisierung der Gewichtungsmatrizen feinabgestimmt. Dieser Ansatz kann jedoch zu einer langsamen Konvergenz und suboptimalen Ergebnissen führen. In den letzten Jahren haben sich Methoden wie Low-Rank Adaptation (LoRA) als effektiver erwiesen. LoRA führt neue Gewichtsmatrizen mit niedrigem Rang ein, die während des Trainings aktualisiert werden. Die anfängliche Rangverteilung dieser Matrizen ist jedoch in der Regel einheitlich, was die Anpassungsfähigkeit des Modells einschränken kann.

Explained Variance Adaptation (EVA)

Die in der Forschungsarbeit vorgestellte Methode, Explained Variance Adaptation (EVA), zielt darauf ab, die Beschränkungen von LoRA durch eine datengesteuerte Initialisierung und eine adaptive Rangverteilung zu überwinden. EVA besteht aus zwei Hauptschritten:

• Datengesteuerte Initialisierung: EVA berechnet zunächst die Singulärwertzerlegung von Minibatches von Aktivierungsvektoren. Die erhaltenen Rechtssingulärvektoren werden dann zur Initialisierung der LoRA-Matrizen verwendet. Dieser Ansatz stellt sicher, dass die Initialisierung für die spezifischen Daten relevant ist, auf denen das Modell feinabgestimmt wird.
• Adaptive Rangverteilung: EVA verteilt die Ränge der LoRA-Matrizen neu, um die maximale Varianz in den Daten zu erklären. Dies ermöglicht es dem Modell, sich auf die wichtigsten Informationen zu konzentrieren und die Leistung zu verbessern.

Ergebnisse

Die Forscher evaluierten EVA in einer Reihe von Aufgaben, darunter Sprachgenerierung, Sprachverständnis, Bildklassifizierung und bestärkendes Lernen. Die Ergebnisse zeigen, dass EVA im Vergleich zu anderen Feinabstimmungsmethoden, einschließlich LoRA, eine schnellere Konvergenz und eine höhere durchschnittliche Punktzahl über mehrere Aufgaben hinweg erzielt.

Bedeutung

EVA stellt einen bedeutenden Fortschritt im Bereich der Feinabstimmung von LLMs dar. Die datengesteuerte Initialisierung und die adaptive Rangverteilung ermöglichen eine effizientere und effektivere Anpassung der Modelle an spezifische Aufgaben. Dies hat das Potenzial, die Leistung von LLMs in einer Vielzahl von Anwendungen zu verbessern, von Chatbots und Sprachassistenten bis hin zu medizinischer Diagnose und autonomes Fahren.

Zukünftige Forschung

Die Autoren der Forschungsarbeit heben mehrere Bereiche für zukünftige Forschung hervor, darunter:

• Untersuchung der Auswirkungen von EVA auf die Generalisierungsfähigkeit von LLMs.
• Entwicklung von Methoden zur automatischen Bestimmung der optimalen Anzahl von Rängen für die LoRA-Matrizen.
• Anwendung von EVA auf andere Feinabstimmungstechniken, wie z. B. Prompt-Tuning.

Fazit

Explained Variance Adaptation ist eine vielversprechende neue Methode zur Feinabstimmung von LLMs. Durch die Kombination einer datengesteuerten Initialisierung mit einer adaptiven Rangverteilung ermöglicht EVA eine schnellere Konvergenz und eine höhere Leistung. Diese Technik hat das Potenzial, die Art und Weise, wie wir LLMs für eine Vielzahl von Anwendungen anpassen und einsetzen, zu revolutionieren.

Bibliographie

[1] https://arxiv.org/html/2408.13296v1 [2] https://openaccess.thecvf.com/content/CVPR2023/papers/Goyal_Finetune_Like_You_Pretrain_Improved_Finetuning_of_Zero-Shot_Vision_Models_CVPR_2023_paper.pdf [3] https://arxiv.org/pdf/2210.05643 [4] https://www.researchgate.net/publication/345713638_Transfer_Learning_With_Adaptive_Fine-Tuning [5] https://github.com/wangkai930418/awesome-diffusion-categorized [6] https://ieeexplore.ieee.org/iel7/6287639/8948470/09241777.pdf [7] https://openreview.net/pdf?id=UYneFzXSJWh [8] https://www.jmlr.org/papers/volume25/23-0870/23-0870.pdf [9] https://assets.amazon.science/55/18/a577fd034d7e96fa56791c311de0/meta-learning-the-difference-preparing-large-language-models-for-efficient-adaptation.pdf [10] https://neurips.cc/virtual/2023/papers.html