Effiziente Inferenz von Long-Context LLMs: Einblicke in ShadowKV

Große Sprachmodelle (LLMs) haben in den letzten Jahren beeindruckende Fortschritte gemacht, insbesondere im Bereich des Verständnisses und der Generierung von Text. Mit der steigenden Nachfrage nach LLMs mit immer längeren Kontextfenstern, beispielsweise für die Verarbeitung umfangreicher Dokumente oder für Chatbots mit Gedächtnis, steigt auch der Bedarf an effizienten Inferenzmethoden. Denn längere Kontextfenster bedeuten einen höheren Speicherbedarf und längere Berechnungszeiten, was die Anwendung von LLMs in Echtzeit-Szenarien erschwert.

Die Herausforderung der KV-Caches

Ein zentraler Bestandteil der Transformer-Architektur, die vielen LLMs zugrunde liegt, ist der sogenannte Key-Value (KV) Cache. Dieser speichert die Repräsentationen der bereits verarbeiteten Tokens und ermöglicht es dem Modell, bei der Generierung neuer Tokens auf den Kontext zurückzugreifen. Je länger der Kontext, desto größer der KV-Cache und desto höher der Bedarf an Speicher und Rechenleistung. Gerade bei der Inferenz von LLMs mit langen Kontextfenstern wird das Laden und Verarbeiten des KV-Caches schnell zum Flaschenhals.

ShadowKV: Ein neuer Ansatz für effiziente Inferenz

ShadowKV ist ein neuartiges Inferenzsystem, das speziell für LLMs mit langen Kontextfenstern entwickelt wurde. Der Kern des Systems besteht darin, den Speicherbedarf des KV-Caches zu reduzieren, ohne die Genauigkeit der Modellvorhersagen zu beeinträchtigen. Dies wird durch zwei Hauptmechanismen erreicht:

Erstens verwendet ShadowKV eine Low-Rank-Repräsentation des Key-Caches. Dadurch wird der Speicherbedarf für die Keys deutlich reduziert, ohne wesentliche Informationen zu verlieren.

Zweitens lagert ShadowKV den Value-Cache aus, um den Speicherbedarf auf der GPU zu minimieren. Um die Latenzzeiten gering zu halten, kommt eine präzise KV-Auswahlstrategie zum Einsatz, die nur die minimal notwendigen KV-Paare on-the-fly rekonstruiert.

Evaluierung und Ergebnisse

ShadowKV wurde anhand verschiedener Benchmarks und Modelle evaluiert, darunter RULER, LongBench, Needle In A Haystack, Llama-3.1-8B, Llama-3-8B-1M, GLM-4-9B-1M, Yi-9B-200K, Phi-3-Mini-128K und Qwen2-7B-128K. Die Ergebnisse zeigen, dass ShadowKV die Batchgröße um bis zu Faktor 6 erhöhen und den Durchsatz um bis zu Faktor 3.04 steigern kann – und das ohne Genauigkeitseinbußen. In einigen Fällen übertrifft ShadowKV sogar die Leistung, die mit einer unendlich großen Batchgröße unter der Annahme von unendlich viel GPU-Speicher erreichbar wäre.

Ausblick

ShadowKV stellt einen vielversprechenden Ansatz für die effiziente Inferenz von Long-Context LLMs dar. Durch die Reduzierung des Speicherbedarfs und die Optimierung der KV-Auswahlstrategie ermöglicht ShadowKV einen höheren Durchsatz und größere Batchgrößen, was die Anwendung von LLMs in Echtzeit-Szenarien erleichtert. Zukünftige Forschung könnte sich auf die weitere Optimierung der KV-Auswahlstrategie und die Anpassung von ShadowKV an verschiedene Hardware-Architekturen konzentrieren.

Mindverse, als deutscher Anbieter von KI-gestützten Content-Tools, verfolgt die Entwicklungen im Bereich der LLM-Inferenz mit großem Interesse. Effiziente Inferenzmethoden sind entscheidend für die Skalierbarkeit und den breiten Einsatz von LLMs und bilden die Grundlage für innovative KI-Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme.

Bibliographie Sun, H., Chang, L.-W., Bao, W., Zheng, S., Zheng, N., Liu, X., Dong, H., Chi, Y., & Chen, B. (2024). ShadowKV: KV Cache in Shadows for High-Throughput Long-Context LLM Inference. arXiv preprint arXiv:2410.21465. Yang, D., Han, X., Gao, Y., Hu, Y., Zhang, S., & Zhao, H. (2024). PyramidInfer: Pyramid KV Cache Compression for High-throughput LLM Inference. arXiv preprint arXiv:2405.12532. Wan, Z., Wu, Z., Liu, C., Huang, J., Zhu, Z., Jin, P., Wang, L., & Yuan, L. (2024). LOOK-M: Look-Once Optimization in KV Cache for Efficient Multimodal Long-Context Inference. arXiv preprint arXiv:2406.18139. Chen, J., Tiwari, V., Sadhukhan, R., Jin, Y., Chen, Z., Shi, J., Yen, I. E.-H., May, A., & Chen, B. (2024). Speculative decoding for high-throughput long-context inference. Together.ai Blog. Wu, H., & Tu, K. (2024). Layer-Condensed KV Cache for Efficient Inference of Large Language Models. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 11175–11188). Tang, J., Zhao, Y., Zhu, K., Xiao, G., Kasikci, B., & Han, S. (2024). Quest: Query-Aware Sparsity for Efficient Long-Context LLM Inference. In Proceedings of the International Conference on Machine Learning (ICML).