EvoPress: Ein evolutionärer Ansatz zur optimalen dynamischen Kompression großer Sprachmodelle

Große Sprachmodelle (LLMs) haben in den letzten Jahren beeindruckende Fortschritte in der künstlichen Intelligenz erzielt. Ihre Leistungsfähigkeit geht jedoch mit einem hohen Rechenaufwand einher, der ihren Einsatz in der Praxis oft einschränkt. Um dieses Problem zu lösen, forschen Wissenschaftler intensiv an Methoden zur Kompression von LLMs, mit dem Ziel, ihre Größe und Komplexität zu reduzieren, ohne ihre Genauigkeit wesentlich zu beeinträchtigen.

Die Herausforderung der dynamischen Kompression

Traditionelle Kompressionsmethoden wie Quantisierung, Sparsifizierung oder strukturelles Pruning wenden oft eine einheitliche Kompression auf alle Schichten oder Blöcke eines Modells an. Neuere Ansätze zielen auf eine dynamische, nicht-uniforme Kompression ab, bei der die Kompressionsstufen (z. B. die Sparsity) pro Block oder sogar pro Schicht angepasst werden, um den Genauigkeitsverlust zu minimieren und gleichzeitig eine globale Kompressionsschwelle zu gewährleisten. Diese dynamischen Methoden basieren jedoch oft auf Heuristiken, um die "Wichtigkeit" einer bestimmten Schicht für den Verlust zu bestimmen. Eine gängige Annahme ist die Fehlermonotonie, die besagt, dass der Gesamtfehler eines komprimierten Modells proportional zur Summe der schichtweisen Fehler ist.

EvoPress: Ein evolutionärer Ansatz

Eine neue Forschungsarbeit stellt nun einen neuartigen Ansatz zur dynamischen Kompression von LLMs vor, der auf evolutionären Algorithmen basiert. Die Autoren der Arbeit, Oliver Sieberling, Denis Kuznedelev, Eldar Kurtic und Dan Alistarh, zeigen, dass die Annahme der Fehlermonotonie bei LLMs im Allgemeinen nicht zutrifft. Komprimierte Modelle mit einer geringeren Summe von schichtweisen Fehlern können in der Praxis schlechter abschneiden als Modelle mit höheren Fehlersummen. Um dieses Problem zu lösen, schlagen sie EvoPress vor, ein allgemeines evolutionäres Framework für die dynamische LLM-Kompression, das sich durch beweisbare Konvergenz sowie eine geringe Stichproben- und Bewertungskomplexität auszeichnet.

Funktionsweise von EvoPress

EvoPress nutzt evolutionäre Algorithmen, um die optimale Zuweisung von Kompressionsstufen für verschiedene Schichten oder Blöcke eines LLM zu finden. Der Algorithmus beginnt mit einer Population von Kandidatenlösungen, die jeweils eine bestimmte Konfiguration von Kompressionsstufen repräsentieren. Diese Kandidatenlösungen werden dann anhand ihrer Leistung auf einer gegebenen Aufgabe bewertet, z. B. der Genauigkeit bei der Textgenerierung. Basierend auf dieser Bewertung werden die besten Kandidatenlösungen ausgewählt und durch Mutation und Rekombination modifiziert, um eine neue Generation von Kandidatenlösungen zu erzeugen. Dieser Prozess wird über mehrere Generationen hinweg wiederholt, wobei sich die Kandidatenlösungen im Laufe der Zeit verbessern und schließlich zu einer optimalen oder nahezu optimalen Lösung konvergieren.

Vorteile von EvoPress

EvoPress bietet gegenüber herkömmlichen dynamischen Kompressionsmethoden mehrere Vorteile:

• Beweisbare Optimalität: Unter bestimmten Bedingungen kann bewiesen werden, dass EvoPress zu einer optimalen Zuweisung von Kompressionsstufen konvergiert.
• Geringe Komplexität: EvoPress benötigt nur eine geringe Anzahl von Stichproben und Bewertungen, was den Komprimierungsprozess beschleunigt.
• Generalisierbarkeit: EvoPress ist ein allgemeines Framework, das auf verschiedene Kompressionsmethoden wie strukturelles Pruning, unstrukturierte Sparsity und Quantisierung mit dynamischen Bitbreiten angewendet werden kann.

Experimentelle Ergebnisse

Die Autoren von EvoPress haben ihren Ansatz anhand von drei bekannten LLM-Architekturen evaluiert: Llama, Mistral und Phi. Die Ergebnisse zeigen, dass EvoPress durchweg bessere Ergebnisse erzielt als bestehende Kompressionsmethoden. Insbesondere erreicht EvoPress neue State-of-the-Art-Ergebnisse für strukturelles Pruning (Block-/Schicht-Dropping), unstrukturierte Sparsity sowie Quantisierung mit dynamischen Bitbreiten.

Schlussfolgerung

EvoPress stellt einen vielversprechenden neuen Ansatz für die dynamische Kompression großer Sprachmodelle dar. Durch die Nutzung evolutionärer Algorithmen ermöglicht EvoPress eine optimale Zuweisung von Kompressionsstufen, die über die Grenzen herkömmlicher Heuristiken hinausgeht. Die experimentellen Ergebnisse zeigen, dass EvoPress das Potenzial hat, die Effizienz und Skalierbarkeit von LLMs deutlich zu verbessern und ihren Einsatz in einer breiteren Palette von Anwendungen zu ermöglichen.

Bibliographie

Sieberling, O., Kuznedelev, D., Kurtic, E., & Alistarh, D. (2024). EvoPress: Towards Optimal Dynamic Model Compression via Evolutionary Search. arXiv preprint arXiv:2410.14649.