Kompensation von Kompressionsfehlern in großen Sprachmodellen: Ein Überblick über EoRA

Große Sprachmodelle (LLMs) haben in den letzten Jahren beeindruckende Fortschritte in der Verarbeitung natürlicher Sprache erzielt. Ihre Größe und der damit verbundene hohe Rechenaufwand stellen jedoch eine Herausforderung für den praktischen Einsatz dar. Um diesen Herausforderungen zu begegnen, werden verschiedene Kompressionstechniken eingesetzt, die jedoch oft zu Leistungseinbußen führen. Eine neue Forschungsarbeit stellt einen vielversprechenden Ansatz zur Kompensation dieser Kompressionsfehler vor: EoRA (Training-free Eigenspace Low-Rank Approximation). Die Kompression von LLMs zielt darauf ab, die Modellgröße und den Rechenaufwand zu reduzieren, ohne die Leistung signifikant zu beeinträchtigen. Gängige Methoden umfassen Quantisierung und Pruning. Bei der Quantisierung wird die Präzision der Modellparameter reduziert, während beim Pruning weniger wichtige Parameter entfernt werden. Beide Verfahren können zu einer Verschlechterung der Modellgenauigkeit führen. EoRA verfolgt einen anderen Ansatz. Anstatt direkt ein komprimiertes Modell zu trainieren, konzentriert sich EoRA auf die nachträgliche Kompensation der durch die Kompression entstandenen Fehler. Dabei werden zusätzliche Low-Rank-Pfade in das komprimierte Modell integriert, um die fehlenden Informationen zu ergänzen. Im Gegensatz zu früheren Ansätzen, die die Singulärwertzerlegung (SVD) zur Berechnung dieser Pfade verwenden, nutzt EoRA eine Projektion der Kompressionsfehler in den Eigenraum der Eingabeaktivierungen. Durch die Nutzung der Eigenwerte können die wichtigsten Fehlerkomponenten priorisiert und effizienter rekonstruiert werden. Ein entscheidender Vorteil von EoRA ist, dass die Methode kein Training erfordert. Die Optimierung der Low-Rank-Pfade erfolgt anhand einer kleinen Menge an Kalibrierungsdaten und kann innerhalb weniger Minuten abgeschlossen werden. Dies ermöglicht eine flexible Anpassung an verschiedene Aufgaben und Kompressionsraten, ohne aufwändiges Nachtraining. Darüber hinaus lässt sich EoRA nahtlos in bestehende Feinabstimmungs- und Quantisierungsverfahren integrieren, um die Effektivität und Effizienz weiter zu verbessern. Experimente mit komprimierten LLaMA2/3-Modellen zeigen, dass EoRA die Leistung in verschiedenen Aufgaben, wie Sprachgenerierung, Schlussfolgerungen aus gesundem Menschenverstand und mathematisches Denken, deutlich verbessert. Beispielsweise wurden bei einem auf 4 Bit quantisierten und mit 2:4-Sparsity gepruntem LLaMA3-8B-Modell Verbesserungen von 31,31%/12,88% bei ARC-Easy/ARC-Challenge und 9,69% bei MathQA erzielt. EoRA bietet somit eine skalierbare und trainingsfreie Lösung zur Kompensation von Kompressionsfehlern und ermöglicht den Einsatz von LLMs mit unterschiedlichen Kapazitäts- und Effizienzanforderungen. Die Flexibilität und die trainingsfreie Natur von EoRA machen die Methode zu einem vielversprechenden Werkzeug für den praktischen Einsatz von LLMs. Durch die effiziente Kompensation von Kompressionsfehlern können LLMs auf Geräten mit begrenzten Ressourcen eingesetzt werden, ohne die Leistung wesentlich zu beeinträchtigen. Zukünftige Forschung könnte sich auf die Anwendung von EoRA auf andere Modellarchitekturen und Kompressionsmethoden konzentrieren. Bibliographie https://arxiv.org/abs/2410.21271 http://paperreading.club/page?id=262499 https://papers.cool/arxiv/2410.21271