Neuer Ansatz zur Optimierung der Inferenzgeschwindigkeit bei Large Language Models durch Mirror Speculative Decoding

Durchbruch in der LLM-Inferenz: Mirror Speculative Decoding überwindet serielle Barrieren

Die Geschwindigkeit, mit der Large Language Models (LLMs) Inhalte generieren, ist ein zentraler Engpass für ihre breite Anwendung in datenintensiven B2B-Szenarien. Während LLMs durch ihre Größe und Komplexität beeindruckende Fähigkeiten in der Textgenerierung und Problemlösung demonstrieren, führt die autoregressive Natur ihrer Inferenz – die Generierung eines Tokens nach dem anderen – zu erheblichen Latenzen und einer suboptimalen Auslastung der Hardware. Eine vielversprechende Lösung hierfür ist das sogenannte "Speculative Decoding" (SD), eine Inferenzoptimierung, die die Geschwindigkeit der Token-Generierung erhöht, ohne die Qualität der Ausgabe zu beeinträchtigen. Neueste Forschung, insbesondere die Einführung von "Mirror Speculative Decoding" (Mirror-SD), verspricht nun, die Grenzen dieser Technik weiter zu verschieben.

Die Herausforderung der LLM-Inferenz

Die Generierung von Text durch transformerbasierte LLMs erfolgt sequenziell: Jedes neue Token hängt von den zuvor erzeugten ab. Dieser Prozess erfordert für jedes Token einen vollständigen Forward-Pass durch das Modell, gefolgt von der Stichprobenentnahme und dem Anhängen des Tokens an die Eingabesequenz, bevor der nächste Schritt beginnen kann. Dies führt zu zwei Hauptproblemen:

• Hohe Inter-Token-Latenz (ITL): Die Verzögerung zwischen den einzelnen Token macht die Generierung langsam und beeinträchtigt die Benutzererfahrung, besonders in interaktiven Anwendungen wie Chatbots oder Code-Vervollständigungstools.

• Geringe GPU-Auslastung: Die serielle Natur der Generierung verhindert, dass zukünftige Token im Voraus berechnet werden können, selbst wenn die GPU-Ressourcen ungenutzt bleiben.

Diese Probleme werden durch die Tatsache verschärft, dass die Inferenz von LLMs häufig speichergebunden ist. GPUs verfügen über enorme Rechenkapazitäten, jedoch über eine begrenzte Speicherbandbreite. Ein Großteil der Rechenleistung bleibt ungenutzt, während auf den Speicherzugriff gewartet wird. Gleichzeitig sind einige Token leichter vorherzusagen als andere, was darauf hindeutet, dass kleinere Modelle in "einfachen" Fällen gute Annäherungen liefern könnten.

Speculative Decoding: Ein bewährter Ansatz

Speculative Decoding ist eine Technik, die darauf abzielt, Teile des Generierungsprozesses zu parallelisieren. Sie basiert auf der Idee der spekulativen Ausführung, bei der Aufgaben im Voraus oder parallel zu ihrer Verifizierung ausgeführt werden, um die Parallelität zu erhöhen. Im Kontext von LLMs funktioniert SD durch die Kombination von zwei Modellen:

• Entwurfsmodell (Draft Model): Ein kleineres, schnelleres Modell schlägt mehrere mögliche nächste Token vor.

• Zielmodell (Target Model): Ein größeres, präziseres Modell überprüft diese vorgeschlagenen Token parallel und akzeptiert diejenigen, die mit seinen eigenen Vorhersagen übereinstimmen.

Dieses "Entwerfen-und-Verifizieren"-Muster gewährleistet, dass die endgültige Ausgabe exakt der entspricht, die das ursprüngliche Zielmodell allein erzeugt hätte, wodurch die Ausgabequalität erhalten bleibt. Bei einer guten Abstimmung der Modelle kann SD die LLM-Inferenz um das bis zu Dreifache beschleunigen.

Herausforderungen des traditionellen SD

Obwohl SD signifikante Vorteile bietet, sind seine Leistungsgewinne durch die Kosten der autoregressiven Entwurfsgenerierung begrenzt. Eine Erhöhung der Entwurfsgröße – also der Anzahl der vorgeschlagenen Token – kann zwar die Akzeptanzraten verbessern, führt aber gleichzeitig zu zusätzlichem Latenz-Overhead. Dies schafft einen Kompromiss zwischen Geschwindigkeit und Genauigkeit, der die Skalierbarkeit traditioneller SD-Methoden einschränkt.

Mirror Speculative Decoding: Die nächste Evolutionsstufe

Hier setzt "Mirror Speculative Decoding" (Mirror-SD) an. Diese neue Inferenzmethode, die in einem aktuellen Paper vorgestellt wurde, zielt darauf ab, den Latenz-Akzeptanz-Kompromiss zu überwinden. Mirror-SD nutzt eine duale Strategie, die auf zwei Säulen ruht:

1. Parallele heterogene Ausführung: Mirror-SD startet "branch-complete rollouts" (vollständige Rollouts von Verzweigungen) von "early-exit signals" (Signalen für vorzeitiges Beenden) parallel zum Suffix des Zielmodells. Dabei wird die Berechnung explizit über heterogene Beschleuniger (z.B. GPU und NPU) verteilt, um die geräteübergreifende Parallelität optimal zu nutzen.

2. Multi-Token-Spekulations-Streaming: Um die Entwurfslatenz weiter zu reduzieren, ohne die Akzeptanzsemantik zu beeinträchtigen, implementiert Mirror-SD ein spekulatives Streaming, bei dem das Entwurfsmodell mehrere Token pro Schritt ausgibt. Dies ermöglicht eine effizientere Nutzung der Rechenressourcen und reduziert die Wartezeiten.

Das Kernprinzip von Mirror-SD besteht darin, die Spekulation in zwei komplementäre Ausführungspipelines umzuwandeln: Das Entwurfsmodell spekuliert zukünftige Fortsetzungen für das Zielmodell, während das Zielmodell gleichzeitig Korrekturpfade für das Entwurfsmodell spekuliert. Diese wechselseitige Spekulation ermöglicht es, sowohl die Akzeptanzraten hoch zu halten als auch den Overhead gering zu halten.

Messbare Verbesserungen und Implikationen

Die empirische Evaluierung von Mirror-SD auf dem "SpecBench"-Benchmark mit Modellen im Server-Maßstab (von 14B bis 66B Parametern) über verschiedene Aufgabenbereiche hinweg zeigt konsistente End-to-End-Steigerungen. Mirror-SD erreicht Geschwindigkeitssteigerungen von 2,8x bis 5,8x in der Wandzeit und eine durchschnittliche relative Verbesserung von 30% gegenüber dem bisher leistungsstärksten Basissystem, EAGLE3.

Diese Ergebnisse sind von erheblicher Bedeutung für die praktische Anwendung von LLMs. Eine höhere Inferenzgeschwindigkeit bedeutet:

• Verbesserte Benutzererfahrung: Schnellere Antwortzeiten sind entscheidend für interaktive Anwendungen und machen LLMs in Echtzeitszenarien praktikabler.

• Kosteneffizienz: Schnellere Inferenzzyklen reduzieren den Bedarf an Hardware-Ressourcen, was zu niedrigeren Betriebskosten führt.

• Skalierbarkeit: Die Möglichkeit, mehr Anfragen mit derselben Hardware zu bearbeiten, erhöht den Durchsatz und die Skalierbarkeit von LLM-Diensten.

• Erweiterte Anwendungsmöglichkeiten: Neue Anwendungsfelder, die bisher an Latenzgrenzen scheiterten, werden zugänglich.

Ausblick

Die Entwicklung von Mirror Speculative Decoding stellt einen wichtigen Fortschritt in der Optimierung der LLM-Inferenz dar. Sie zeigt, dass durch innovative Architekturansätze und die Nutzung heterogener Hardware die Leistung von Sprachmodellen erheblich gesteigert werden kann, ohne Kompromisse bei der Qualität einzugehen. Für Unternehmen, die auf LLM-Technologien setzen, wie Mindverse, bedeutet dies die Möglichkeit, noch leistungsfähigere und reaktionsschnellere KI-Produkte und -Dienste anzubieten. Die kontinuierliche Forschung in diesem Bereich wird entscheidend sein, um die Effizienz weiter zu steigern und die breite Akzeptanz von LLMs in vielfältigen Geschäftsanwendungen zu fördern.

Bibliography

• Leviathan, Y., Kalman, M., & Matias, Y. (2022). Fast Inference from Transformers via Speculative Decoding. arXiv preprint arXiv:2211.17192.
• Spector, B., & Re, C. (2023). Accelerating LLM Inference with Staged Speculative Decoding. arXiv preprint arXiv:2308.04623.
• Chen, C., Borgeaud, S., Irving, G., Lespiau, J.-B., Sifre, L., & Jumper, J. (2023). Accelerating Large Language Model Decoding with Speculative Sampling. arXiv preprint arXiv:2302.01318.
• Timor, N., Mamou, J., Korat, D., Berchansky, M., Pereg, O., Jain, G., Schwartz, R., Wasserblat, M., & Harel, D. (2025). Accelerating LLM Inference with Lossless Speculative Decoding Algorithms for Heterogeneous Vocabularies. arXiv preprint arXiv:2502.05202.
• Bhendawade, N., Nishu, K., Kundu, A., Bartels, C., Cho, M., & Belousova, I. (2025). Mirror Speculative Decoding: Breaking the Serial Barrier in LLM Inference. arXiv preprint arXiv:2510.13161.
• Xia, H., Yang, Z., Dong, Q., Wang, P., Li, Y., Ge, T., Liu, T., Li, W., & Sui, Z. (2024). Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding. Findings of the Association for Computational Linguistics ACL 2024.
• BentoML. (n.d.). Speculative decoding | LLM Inference Handbook. Retrieved from https://bentoml.com/llm/inference-optimization/speculative-decoding
• Google Research. (2024, December 6). Looking back at speculative decoding. Retrieved from https://research.google/blog/looking-back-at-speculative-decoding/