Optimierung der Wissensdestillation für effiziente Sprachmodellkompression

Effiziente Wissensdestillation: Skalierung von Sprachmodellen durch Kostenoptimierung

Die rapide Entwicklung und Verbreitung großer Sprachmodelle (LLMs) hat in den letzten Jahren zu einer Renaissance der Wissensdestillation geführt. Diese Technik ermöglicht es, ein kleineres „Schülermodell“ so zu trainieren, dass es die Leistungsfähigkeit eines größeren, komplexeren „Lehrermodells“ nachahmt. Angesichts der enormen Größe und der damit verbundenen hohen Betriebskosten moderner LLMs – Modelle wie Kimi-K3 mit 2,8 Billionen Parametern benötigen beispielsweise 3 TB VRAM allein zum Laden – ist die Komprimierung dieser Modelle und die Wiederherstellung ihrer Fähigkeiten durch Wissensdestillation zu einer gängigen Praxis geworden. Unternehmen wie Nvidia und Multiverse Computing haben bereits erfolgreich hochkomprimierte Modelle veröffentlicht.

Herausforderungen bei der Skalierung der Wissensdestillation

Obwohl die Wissensdestillation entscheidend für die Qualität des resultierenden kompakten Modells ist, stellt sie in der Regel den teuersten Teil des Entwicklungsprozesses dar. Die traditionelle Methode, bekannt als Online-Destillation, erfordert, dass sowohl das Lehrer- als auch das Schülermodell gleichzeitig im Speicher gehalten werden. Bei jedem Trainingsschritt führt das Lehrermodell einen vollständigen Forward-Pass durch, um seine Ausgabeverteilung zu erzeugen, die das Schülermodell dann nachbilden soll. Dies ist äußerst speicher- und rechenintensiv. Es müssen zwei vollständige Vokabular-Tensoren pro Token-Position gespeichert werden, und das Lehrermodell muss bei jedem einzelnen Schritt neu berechnet werden, obwohl sich sein Verhalten während eines Trainingslaufs nicht ändert.

Ein praktisches Beispiel verdeutlicht die Dimensionen: Ein Modell wie gpt-oss-120b mit einem Vokabular von 201.088 Token, einer Sequenzlänge von 32.000 und einer Batch-Größe von 4 erzeugt allein für den Lehrer-Wahrscheinlichkeitstensor in bfloat16 etwa 50 GB VRAM. Zusammen mit Gradienten, Aktivierungen, Modellgewichten und Optimierungszuständen kann eine einzelne Trainingsiteration der Destillation einen Spitzenwert von etwa 250 GB VRAM erreichen. Dies übersteigt die Kapazitäten selbst modernster GPUs wie einer H200 oder B200, die typischerweise über 141 GB VRAM verfügen.

Zwei systemische Optimierungen für Kosteneffizienz

Jüngste Forschungsergebnisse konzentrieren sich auf zwei wesentliche systemische Änderungen, um die Kosten der Wissensdestillation zu senken und sie für die Skalierung praktikabel zu machen:

1. Offline-Destillation

Anstatt das Lehrermodell bei jedem Schritt neu zu berechnen, wird bei der Offline-Destillation dessen Ausgabe einmalig berechnet und die Top-K (z.B. Top-100) wahrscheinlichsten Token pro Position zwischengespeichert. Das Schülermodell wird dann anhand dieses Caches trainiert. Dies eliminiert die Notwendigkeit, das Lehrermodell während des Trainings ständig im Speicher zu halten oder es erneut auszuführen, sobald der Cache existiert. Derselbe Cache kann zudem für mehrere Experimente wiederverwendet werden, was die Effizienz zusätzlich steigert.

2. Ein zusammengeführter, chunked KL-Verlust (Fused Chunked KL Loss)

Der zweite Ansatz adressiert die hohen Speicherkosten des Kullback-Leibler (KL)-Verlustes selbst. Der Standard-KL-Verlust erfordert die Erstellung einer vollständigen Matrix, die für jede Token-Position in einer Sequenz und jedes Wort im Vokabular eine Zahl enthält, die die Abweichung zwischen der Vorhersage des Schülermodells und der des Lehrermodells beschreibt. Bei einem Vokabular von über 100.000 Wörtern und langen Sequenzen ist diese Matrix enorm, und die Standardimplementierungen berechnen die gesamte Matrix, bevor sie eine einzige Verlustzahl erzeugen können.

Es werden drei Methoden zur Berechnung dieses Verlustes verglichen, die mathematisch äquivalent sind:

• Dense KL: Dies ist der Lehrbuchansatz, der eine vollständige, dichte Lehrer-Wahrscheinlichkeitsmatrix aus den gecachten Top-K-Logits rekonstruiert und diese mit der dichten Log-Wahrscheinlichkeitsmatrix des Schülers vergleicht. Dieser Ansatz ist speicherintensiv, da er die gesamte Vokabular-Sequenz-Matrix zweimal im Speicher hält.
• Forward-chunked KL: Bei dieser Methode bleibt der Lehrer dünn besetzt (nur die gecachten Top-K-Logits pro Position werden verwendet und nicht zu einer dichten Matrix erweitert). Der Verlust wird stückweise, scheibenweise für Sequenzpositionen berechnet. Dies reduziert den Speicherbedarf erheblich, da die dichte Lehrer-Matrix und der dichte Vergleich entfallen. Die Logits des Schülermodells, die vom Ausgabelayer des Modells erzeugt werden, werden jedoch weiterhin vollständig berechnet und für den Rückwärtspass vorgehalten, sodass der Speicherbedarf mit der Sequenzlänge noch ansteigt.
• Fused chunked KL: Dieser Ansatz integriert die Ausgabeprojektion des Modells direkt in die Verlustberechnung. Er erzeugt niemals die vollständige Logits-Matrix des Schülers. Stattdessen verarbeitet er einen "Chunk" der Sequenz nach dem anderen, projiziert versteckte Zustände in Logits für diesen Chunk, integriert das Ergebnis in den laufenden Verlust und verwirft den Chunk, bevor er zum nächsten übergeht. Der Rückwärtspass berechnet jeden Chunk bei Bedarf neu, anstatt ihn zu speichern. Dies hat zur Folge, dass die Projektion zweimal durchgeführt wird (einmal vorwärts, einmal rückwärts), aber im Gegenzug wächst der Spitzen-Speicherbedarf nur linear mit der Sequenzlänge, anstatt mit der vollen Vokabular-Sequenz-Größe zu skalieren.

Praktische Auswirkungen der Optimierungen

Die Kombination aus Offline-Destillation und dem zusammengeführten, chunked KL-Verlust hat signifikante Auswirkungen auf die Effizienz des Trainings. In Benchmarks mit einem Llama 3.1 8B Instruct als Lehrermodell und einem 3.2B Llama-Modell als Schülermodell bei einer Kontextlänge von 8K auf einer einzelnen H200 GPU zeigen sich folgende Ergebnisse:

• Alle vier Methoden (Online-Destillation und die drei Offline-Verlustimplementierungen) erreichen nahezu identische Trainingsverluste, was bestätigt, dass die Offline-Destillation mit gecachten Top-100-Logits keinen Qualitätsverlust mit sich bringt.
• Die Online-Destillation weist einen Spitzen-Speicherbedarf von 102,8 GB auf, mit einer Iterationszeit von 25,9 Sekunden und einem Durchsatz von 237 TFLOP/s.
• Die Offline-Methoden reduzieren den Spitzen-Speicherbedarf erheblich: die dichte KL auf 78,3 GB, die forward-chunked KL auf 61,8 GB und die fused chunked KL auf 58,3 GB.
• Die Iterationszeiten verbessern sich ebenfalls. Während die fused chunked KL bei 8K Kontext noch nicht die schnellste Option ist (20,2 s vs. 18,4 s bei forward-chunked KL), liegt ihr Hauptvorteil in der Skalierbarkeit bei längeren Kontextlängen.

Bei der Skalierung auf längere Kontextlängen wird der Vorteil des fused chunked KL-Verlustes noch deutlicher. In einem isolierten Benchmark an einem vereinfachten Ausgabeprojektionsnetzwerk sank der Spitzen-VRAM-Verbrauch bei 32K Token von 85,2 GiB mit dem dichten Verlust auf 5,45 GiB mit der vollständig chunked Version – eine Reduzierung um das 15,6-fache. Der dichte Verlust versagt ab 64K Token vollständig. Bei 256K Token verbraucht der vollständig chunked Verlust 11,6 GiB gegenüber 134,2 GiB für die nächstbeste chunked Variante und ist etwa 3,3-mal schneller pro Iteration.

Die Destillation eines GPT-OSS 20B Modells mit einem Kontext von 32.768 Token ermöglichte es durch den fused loss, den Hardware-Bedarf von vier GPU-Knoten auf einen einzigen zu reduzieren. Die Schrittzeit sank von 57,0 auf 12,23 Sekunden, was einer Beschleunigung um das Fünffache entspricht, und der Durchsatz pro GPU stieg von 74,2 auf 345,7 TFLOP/s.

Qualität der destillierten Modelle

Die so trainierten, kompakten Schülermodelle, die beispielsweise von Llama 3.1 8B Instruct auf etwa 3.2B Parameter destilliert wurden, behalten einen Großteil der Genauigkeit des Lehrermodells bei. Auf Benchmarks wie BoolQ und HellaSwag erzielen sie nahezu identische Ergebnisse und liegen auf MMLU nur etwa neun Punkte unter dem Lehrermodell, bei weniger als der Hälfte der Parameteranzahl. Dies unterstreicht, dass die Effizienzsteigerungen nicht auf Kosten der Modellqualität gehen.

Diese Entwicklungen zeigen, dass Wissensdestillation und Modelloptimierung nicht nur als einmalige Rezepte, sondern als iterierbare und kostengünstige Prozesse etabliert werden können. Die offene Bereitstellung der Implementierung des chunked-loss-Verfahrens unter github.com/CompactifAI/Full-Chunked-KL-Loss trägt dazu bei, diese Fortschritte für die breitere Forschungsgemeinschaft zugänglich zu machen.

Fazit

Die Optimierung der Wissensdestillation durch Offline-Verfahren und speichereffiziente Verlustfunktionen stellt einen entscheidenden Schritt dar, um die Bereitstellung und Skalierung von großen Sprachmodellen wirtschaftlicher zu gestalten. Diese Innovationen ermöglichen es, die Vorteile leistungsstarker LLMs in ressourcenbeschränkten Umgebungen zu nutzen und gleichzeitig die Entwicklungskosten zu senken. Für Unternehmen im B2B-Bereich, die auf effiziente und leistungsfähige KI-Lösungen angewiesen sind, bieten diese Fortschritte konkrete Möglichkeiten zur Kostenreduktion und zur Beschleunigung der Modellentwicklung und -bereitstellung.

Bibliographie

- Hugging Face Blog. (2026, August 10). Making Knowledge Distillation Cheap Enough to Run at Scale. - arXiv. (2026, August 4). Efficient Knowledge Distillation for LLMs: Offline Top-K Logits and a Fused Chunked KL Loss. - World Programming. (n.d.). Making Knowledge Distillation Cheap Enough to Run at Scale. - daily.dev. (2026, August 10). Making Knowledge Distillation Cheap Enough to Run at Scale. - ACL Anthology. (2025). Sparse Logit Sampling: Accelerating Knowledge Distillation in LLMs. - arXiv. (n.d.). Don’t Ignore the Tail: Decoupling top-𝐾 Probabilities for Efficient Language Model Distillation. - Agent5. (2026, August 10). Making Knowledge Distillation Cheap Enough to Run at Scale. - BestBlogs. (2026, August 10). Making Knowledge Distillation Cheap Enough to Run at Scal.... - ACL Anthology. (2023). Cost-effective Distillation of Large Language Models. - ACL Anthology. (2026). Distilling the Essence: Efficient Reasoning Distillation via Sequence Truncation.