Optimierung der Effizienz von Sparse Attention in großen Sprachmodellen durch IndexCache

Optimierung der Aufmerksamkeitsmechanismen in LLMs: Eine Analyse von IndexCache

Die Effizienz von großen Sprachmodellen (Large Language Models, LLMs) ist ein zentrales Thema in der aktuellen KI-Forschung und -Entwicklung. Insbesondere bei Anwendungen, die lange Kontexte verarbeiten, wie etwa agentenbasierte Workflows oder komplexe logische Schlussfolgerungen, stellt die quadratische Komplexität des Self-Attention-Mechanismus einen erheblichen Engpass dar. Die Reduzierung dieser Komplexität, ohne die Modellqualität zu beeinträchtigen, ist daher von entscheidender Bedeutung. Ein vielversprechender Ansatz hierfür ist die Sparse Attention, die sich darauf konzentriert, nur die relevantesten Token pro Abfrage zu verarbeiten.

Die Herausforderung der Sparse Attention

DeepSeek Sparse Attention (DSA) ist eine etablierte Lösung in diesem Bereich. Sie verwendet einen sogenannten "Lightning Indexer", der für jede Schicht die Top-k der relevantesten Token auswählt. Dies reduziert die Kern-Attention von einer quadratischen Komplexität O(L²) auf O(Lk), wobei L die Sequenzlänge und k die Anzahl der ausgewählten Token ist. Obwohl der Indexer selbst per-FLOP kostengünstiger ist als die Haupt-Attention-Berechnung, behält er eine Komplexität von O(L²) bei und muss in jeder Schicht unabhängig ausgeführt werden. Dies führt bei längeren Kontexten zu einem erheblichen Anteil an den Gesamtkosten der Attention-Berechnung, insbesondere während der Prefill-Phase. Studien an einem 30B DSA-Modell zeigen, dass der Anteil der Indexer-Latenz mit zunehmender Kontextlänge stark ansteigt.

IndexCache: Eine Lösung für redundante Indexer-Berechnungen

Ein grundlegendes Problem, das bei der Analyse von DSA-Modellen identifiziert wurde, ist die hohe Korrelation der Top-k-Auswahlen über aufeinanderfolgende Schichten hinweg. Das bedeutet, dass benachbarte Schichten oft einen Großteil ihrer ausgewählten Token teilen – ein Phänomen, das auf eine Redundanz in den Indexer-Berechnungen hindeutet. Hier setzt IndexCache an, eine Methode, die diese schichtübergreifende Redundanz ausnutzt, um die Effizienz zu steigern.

IndexCache teilt die Schichten eines Modells in zwei Kategorien ein:

• Full-Schichten (F): Diese Schichten behalten ihre Indexer und berechnen frische Top-k-Indizes für die Sparse Attention.
• Shared-Schichten (S): Diese Schichten verzichten auf eigene Indexer und übernehmen stattdessen die Indizes von der nächstgelegenen vorhergehenden Full-Schicht.

Diese Modifikation erfordert lediglich eine bedingte Verzweigung im Inferenz-Loop und führt zu einer signifikanten Reduzierung der Indexer-Berechnungen.

Zwei Ansätze zur Optimierung der IndexCache-Konfiguration

Die Bestimmung der optimalen Verteilung von Full- und Shared-Schichten ist entscheidend für den Erfolg von IndexCache. Hierfür wurden zwei komplementäre Ansätze entwickelt:

1. Training-free IndexCache (Trainingsfreier IndexCache)

Dieser Ansatz richtet sich an bereits trainierte DSA-Modelle und erfordert keine Aktualisierung der Modellgewichte. Eine naive, gleichmäßige Verteilung (z.B. jede vierte Schicht als Full-Schicht) führt oft zu Qualitätseinbußen, da die Bedeutung der Indexer je nach Schicht variiert. Daher wird ein gieriger Suchalgorithmus vorgeschlagen: Beginnend mit einem Modell, in dem alle Schichten Full-Schichten sind, werden schrittweise Full-Schichten in Shared-Schichten umgewandelt. Bei jedem Schritt wird die Umwandlung gewählt, die den geringsten Anstieg des Language Modeling Loss auf einem Kalibrierungsdatensatz verursacht. Dieser datengesteuerte Ansatz ermöglicht es dem Modell, selbst zu "entscheiden", welche Indexer entbehrlich sind. Experimente zeigen, dass diese Methode bis zu 75 % der Indexer eliminieren kann, während die Leistung des ursprünglichen DSA-Modells erhalten bleibt.

2. Training-aware IndexCache (Trainingssensitiver IndexCache)

Für das Training von DSA-Modellen von Grund auf oder durch fortgesetztes Vortraining bietet dieser Ansatz die Möglichkeit, die Modellparameter explizit für das schichtübergreifende Teilen zu optimieren. Es wird eine Multi-Layer-Distillations-Loss-Funktion eingeführt, die jeden beibehaltenen Indexer darauf trainiert, den Aufmerksamkeitsverteilungen aller von ihm bedienten Schichten gerecht zu werden. Intuitiv lernt der Indexer dadurch, einen Top-k-Satz zu erzeugen, der für mehrere Schichten gemeinsam nützlich ist, anstatt sich nur auf seine eigene Schicht zu spezialisieren. Selbst einfache, gleichmäßige Muster können unter diesem Trainingsansatz eine vergleichbare Genauigkeit wie das ursprüngliche Per-Layer-Indexer-Design erreichen. Dies deutet darauf hin, dass die Musterempfindlichkeit, die beim trainingsfreien Ansatz beobachtet wird, durch gezieltes Training überwunden werden kann.

Experimentelle Ergebnisse und Leistungssteigerung

Die Wirksamkeit von IndexCache wurde an einem 30B DSA-Modell umfassend evaluiert, das auf neun Benchmarks für lange Kontexte und Schlussfolgerungen getestet wurde. Die Ergebnisse belegen signifikante Leistungssteigerungen:

• Prefill-Beschleunigung: Bei einer Kontextlänge von 200.000 Token konnte IndexCache (mit 1/4 Indexern) die Prefill-Latenz von 19,5 Sekunden auf 10,7 Sekunden reduzieren, was einer Beschleunigung um das 1,82-fache entspricht. Diese Verbesserung ist besonders ausgeprägt bei langen Kontexten, wo Indexer-Berechnungen einen Großteil der Zeit ausmachen.
• Decode-Beschleunigung: Die Decode-Durchsatzrate pro Anfrage verbesserte sich bei 200.000 Token von 58 Token/s auf 86 Token/s, eine Steigerung um das 1,48-fache. Dies ist darauf zurückzuführen, dass IndexCache den Engpass des per-Token-Indexer-Durchlaufs über den gesamten Kontext während der Decode-Phase reduziert.
• Qualitätserhaltung: Beide IndexCache-Varianten (trainingsfrei mit gieriger Suche und trainingssensitiv) konnten diese Geschwindigkeitssteigerungen bei vernachlässigbarem Qualitätsverlust erzielen. Bei aggressiveren Reduktionsraten (z.B. 1/8 Indexer) zeigte sich jedoch, dass der Qualitätsverlust auch mit dem Suchmuster spürbar werden kann.
• Skalierbarkeit: Erste Experimente mit dem größeren GLM-5-Modell (744B Parameter) bestätigten die Skalierbarkeit von IndexCache, mit einer mindestens 1,3-fachen Beschleunigung bei Kontextlängen über 100.000 Token und vernachlässigbaren Qualitätseinbußen.

Besonders hervorzuheben ist, dass die Fähigkeit zum logischen Schlussfolgern (General & Reasoning Avg) über alle Konfigurationen hinweg weitgehend erhalten blieb. In einigen Fällen zeigte sich sogar eine leichte Verbesserung, was darauf hindeutet, dass die Eliminierung redundanter Indexer-Berechnungen als eine Art sanfte Regularisierung während der Inferenz wirken könnte.

Die Bedeutung schichtübergreifender Stabilität

Die Erkenntnis, dass die Auswahl wichtiger Token über aufeinanderfolgende Transformator-Schichten hinweg bemerkenswert stabil ist, ist nicht neu. Frühere Arbeiten nutzten diese Stabilität, indem sie Indizes von "Anker-Schichten" mit voller Attention wiederverwendeten. IndexCache erweitert dieses Prinzip auf Sparse Attention, wo die volle Attention durch den Lightweight Indexer ersetzt wird. Eine empirische Überprüfung mittels einer Heatmap des paarweisen Top-k-Index-Overlaps zwischen allen Schichten eines 30B DSA-Modells bestätigt, dass benachbarte Schichten 70-100 % ihrer ausgewählten Token teilen und dass es deutliche Schicht-Cluster mit hoher Überlappung gibt. Dies unterstreicht die Redundanz und das Potenzial für die Wiederverwendung.

Fazit und Ausblick

IndexCache stellt einen signifikanten Fortschritt in der Beschleunigung von Sparse Attention in großen Sprachmodellen dar. Durch die geschickte Ausnutzung der schichtübergreifenden Redundanz bei der Token-Auswahl können die Kosten für Indexer-Berechnungen erheblich gesenkt werden, ohne die Modellqualität zu beeinträchtigen. Die vorgestellten trainingsfreien und trainingssensitiven Ansätze bieten Flexibilität für verschiedene Anwendungsfälle und Modelllebenszyklen.

Angesichts der zunehmenden Verbreitung von Sparse Attention in fortschrittlichen LLMs wie DeepSeek-V3.2 und GLM-5 ist zu erwarten, dass die Wiederverwendung von Indizes über Schichten hinweg zu einem Standardbestandteil effizienter Inferenz-Pipelines werden wird. Die fortlaufende Forschung in diesem Bereich wird voraussichtlich weitere Optimierungen und breitere Anwendungsfelder für diese Prinzipien erschließen.

Die hier dargelegten Erkenntnisse sind von großer Relevanz für Unternehmen im B2B-Sektor, die mit LLMs arbeiten oder deren Einsatz planen. Die Effizienzsteigerungen durch Methoden wie IndexCache können direkte Auswirkungen auf Betriebskosten, Inferenzgeschwindigkeiten und die Skalierbarkeit von KI-Anwendungen haben, was letztlich zu wettbewerbsfähigeren und leistungsfähigeren Produkten und Dienstleistungen führt.

Bibliographie

- Bai, Y., Dong, Q., Jiang, T., Lv, X., Du, Z., Zeng, A., Tang, J., & Li, J. (2026). IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse. arXiv. - Hugging Face. (2026, 13. März). Daily Papers. - Monteiro, J. (2024). XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference. Hugging Face. - Monteiro, J., Marcotte, É., Noel, P.-A., Zantedeschi, V., Vazquez, D., Chapados, N., Pal, C., & Taslakian, P. (2024). XC-Cache: Cross-Attending to Cached Context for Efficient LLM Inference. ACL Anthology. - Yao, F., & Wang, Q. (2025). Learn from the Past: Fast Sparse Indexing for Large Language Model Decoding. arXiv. - Brandon, W., Mishra, M., Nrusimha, A., Panda, R., & Ragan-Kelley, J. (2024). Reducing Transformer Key-Value Cache Size with Cross-Layer Attention. NeurIPS. - Liu, Y., & Gu, Y. (2026). CacheSlide: Unlocking Cross Position-Aware KV Cache Reuse for Accelerating LLM Serving. USENIX. - Haghighi, Y., & Alahi, A. (2026). SenCache: Accelerating Diffusion Model Inference via Sensitivity-Aware Caching. ResearchGate.