Optimierung der Inferenzgeschwindigkeit von Sprachmodellen durch spekulative Dekodierung

Spekulative Dekodierung: Neue Wege zur Beschleunigung von Sprachmodellen

Die Inferenzgeschwindigkeit großer Sprachmodelle (LLMs) ist ein entscheidender Faktor für deren praktische Anwendung. Spekulative Dekodierung (SD) hat sich als vielversprechende Technik zur Beschleunigung dieser Inferenz etabliert. Dabei wird ein zusätzliches, kleineres "Draft"-Modell verwendet, um potenzielle Token-Sequenzen zu generieren. Anschließend überprüft ein größeres, leistungsstärkeres "Verifier"-Modell diese Vorschläge. Dieser zweistufige Prozess ermöglicht eine parallele Verarbeitung und somit eine schnellere Generierung von Text.

Ein Problem konventioneller SD-Methoden ist die Verwendung einer festen Draft-Länge. Diese berücksichtigt nicht den unterschiedlichen Schwierigkeitsgrad der Tokengenerierung je nach Aufgabe und Kontext. Eine zu kurze Draft-Länge kann zu häufigen Ablehnungen durch das Verifier-Modell führen, während eine zu lange Draft-Länge unnötige Berechnungen durch das Draft-Modell verursacht.

Aktuelle Forschung beschäftigt sich intensiv mit der Optimierung der Draft-Länge. Ein vielversprechender Ansatz ist die Entwicklung von dynamischen Strategien, die die Draft-Länge an den jeweiligen Kontext anpassen. Ein Beispiel hierfür ist SVIP (Self-Verification Length Policy), eine Methode, die die Entropie der Draft-Token-Verteilung nutzt, um die Länge der Draft-Sequenzen adaptiv zu bestimmen.

Die Entropie dient dabei als Indikator für die Unsicherheit des Draft-Modells. Eine hohe Entropie deutet auf eine größere Unsicherheit hin, was eine längere Draft-Sequenz rechtfertigt, um die Wahrscheinlichkeit der Akzeptanz durch das Verifier-Modell zu erhöhen. Umgekehrt kann bei geringer Entropie eine kürzere Draft-Sequenz verwendet werden, ohne die Genauigkeit signifikant zu beeinträchtigen.

Experimentelle Ergebnisse zeigen, dass dynamische Draft-Längen-Strategien wie SVIP zu erheblichen Verbesserungen der Inferenzgeschwindigkeit führen können. Auf verschiedenen Benchmarks wurden Beschleunigungen von bis zu 20% im Vergleich zu SD-Methoden mit fester Draft-Länge erzielt. Besonders bei der Generierung von Langtexten mit bis zu 8.000 Token konnten signifikante Geschwindigkeitsgewinne beobachtet werden.

Ein weiterer Vorteil von SVIP ist, dass die Methode ohne Training auskommt und mit bestehenden SD-Systemen kompatibel ist, die Draft-Token autoregressiv generieren. Dies vereinfacht die Implementierung und ermöglicht eine breite Anwendung in verschiedenen Anwendungsfällen.

Neben SVIP gibt es weitere Ansätze zur Optimierung der spekulativen Dekodierung. Hierzu zählen unter anderem:

- Parallele Verifizierung mehrerer Draft-Token - Verwendung hierarchischer Draft-Modelle - Integration von Retrieval-Methoden zur Auswahl der Draft-Token

Die Weiterentwicklung dieser Techniken verspricht eine weitere Steigerung der Inferenzgeschwindigkeit von LLMs und eröffnet neue Möglichkeiten für deren Einsatz in Echtzeitanwendungen und ressourcenbeschränkten Umgebungen. Mindverse, als Anbieter von KI-gestützten Content-Tools, verfolgt diese Entwicklungen mit großem Interesse und integriert die neuesten Forschungsergebnisse in seine Produkte, um seinen Kunden stets die bestmögliche Performance zu bieten. Von der Textgenerierung über Chatbots und Voicebots bis hin zu KI-Suchmaschinen und Wissenssystemen – Mindverse nutzt das Potenzial der spekulativen Dekodierung, um die Effizienz und Geschwindigkeit seiner KI-Lösungen zu maximieren.

Bibliographie Zhang, Z. et al. (2024). Draft Model Knows When to Stop: A Self-Verification Length Policy for Speculative Decoding. arXiv preprint arXiv:2405.19715. Zhang, J. et al. (2024). Draft & Verify: Lossless Large Language Model Acceleration via Self-Speculative Decoding. arXiv preprint arXiv:2309.08168. Authors of PEARL (2024). PEARL: Parallel Speculative Decoding with Adaptive Draft Length. ICLR 2025 Conference Submission. https://openreview.net/forum?id=QOXrVMiHGK dilab-zju (2024). self-speculative-decoding. GitHub repository. https://github.com/dilab-zju/self-speculative-decoding Authors of SWIFT (2024). SWIFT: On-the-Fly Self-Speculative Decoding for LLM Inference Acceleration. ICLR 2025 Conference Submission. https://openreview.net/forum?id=EKJhH5D5wA Elhoushi, et al. (2024) Layer Skip: Enabling Early Exit Inference and Self-Speculative Decoding. https://aclanthology.org/2024.acl-long.607.pdf Spuler, D. (2024). Speculative Decoding: Types and Optimizations. Aussie AI. https://www.aussieai.com/research/speculative-decoding vllm-project (2024). [RFC]: Automate Speculative Decoding. GitHub issue. https://github.com/vllm-project/vllm/issues/4565 ACL (2024). Accepted Main Conference Papers. ACL 2024. https://2024.aclweb.org/program/main_conference_papers/ Bayes Labs (2024). Boosting Lossless Speculative Decoding via Feature Sampling and Partial Alignment Distillation. LinkedIn Post. https://www.linkedin.com/posts/bayeslabs_ai-generativeai-innovation-activity-7236251179943362561-3rtP