Optimierung der Inferenzgeschwindigkeit bei offenen Sprachmodellen durch hybride KI-Zusammenarbeit

In einer bemerkenswerten Zusammenarbeit haben Google und Hugging Face die Inferenzgeschwindigkeit der offenen Sprachmodelle der Gemma 4-Reihe signifikant beschleunigt. Ein sechstägiger Sprint, an dem über 100 KI-Agenten und menschliche Entwickler beteiligt waren, führte zu einer bis zu fünffachen Steigerung der Inferenzleistung. Diese Entwicklung ist von hoher Relevanz für die gesamte KI-Branche, insbesondere für Unternehmen, die auf effiziente und leistungsstarke Sprachmodelle angewiesen sind.

Die Herausforderung: Inferenzgeschwindigkeit bei Sprachmodellen

Die Inferenzgeschwindigkeit, also die Zeit, die ein KI-Modell benötigt, um eine Eingabe zu verarbeiten und eine Ausgabe zu generieren, ist ein kritischer Faktor für die praktische Anwendbarkeit von Large Language Models (LLMs). Insbesondere bei Open-Source-Modellen, die oft auf vielfältiger Hardware und in unterschiedlichen Anwendungsszenarien eingesetzt werden, ist die Optimierung dieser Geschwindigkeit von großer Bedeutung. Jede Verbesserung in diesem Bereich kann zu geringeren Betriebskosten, einer besseren Benutzererfahrung und der Ermöglichung neuer Anwendungsfälle führen.

Der Ansatz: Hybride Zusammenarbeit und Multi-Token Prediction (MTP)

Das Google Gemma-Team verfolgte in Zusammenarbeit mit Hugging Face einen innovativen Ansatz. Ein Kernbestandteil war die Orchestrierung von über 100 KI-Agenten, die Ressourcen bündelten und sich selbst gegen "faule" Abkürzungen disziplinierten. Menschliche Experten blieben dabei stets involviert, um die Richtung vorzugeben und die Forschungsqualität zu gewährleisten. Diese hybride Arbeitsweise, die die Stärken von KI-Automatisierung und menschlicher Expertise kombiniert, erwies sich als äußerst effektiv.

Technologisch basierte die Beschleunigung auf der Implementierung von Multi-Token Prediction (MTP) Draftern. Diese Technik ermöglicht es, mehrere Tokens gleichzeitig zu generieren, anstatt diese sequenziell zu erzeugen. Traditionelle Inferenzpipelines sind oft mit dem Problem konfrontiert, dass jede Effizienzsteigerung mit einem Qualitätsverlust einhergeht. Sei es durch die Quantisierung von Modellen, die zu einer Verschlechterung der Antworten führt, oder durch den Einsatz kleinerer Modelle, die die Schlussfolgerungsfähigkeiten beeinträchtigen. Die MTP-Drafter-Technologie bei Gemma 4 verspricht jedoch eine dreifache Inferenzbeschleunigung ohne jeglichen Qualitätsverlust. Das bedeutet, dass die generierten Ausgaben tokenweise identisch zu den ursprünglichen, langsameren Modellen sind, aber mit deutlich höherem Durchsatz.

Technische Details und Implementierung

Die Architektur der MTP-Drafter ist so konzipiert, dass sie verlustfrei arbeitet. Dies wird unter anderem durch die Nutzung eines gemeinsam genutzten KV-Caches (Key-Value Cache) und Embeddings erreicht, wodurch keine erneute Validierung für bestehende Gemma 4-Implementierungen erforderlich ist. Google hat die MTP-Drafter als Apache 2.0 Open-Source-Lösung auf Hugging Face und Kaggle veröffentlicht. Die Implementierung wird von gängigen Frameworks wie Transformers, vLLM, SGLang, MLX und Ollama unterstützt, was eine breite Adaption und einfache Integration in bestehende Systeme ermöglicht.

Für Entwickler und Unternehmen bedeutet dies, dass sie die Vorteile der beschleunigten Inferenz ohne großen Aufwand nutzen können. Beispielsweise wurde bereits kurz nach der Ankündigung ein vLLM Pull Request genehmigt und ein Docker-Image bereitgestellt, das die MTP-Funktionalität für Gemma 4 26B-A4B-it FP8 Modelle mit einem bis zu 2,66-fachen Einzelstrom-Durchsatz und 674,28 Tokens/Sekunde im aggregierten Betrieb auf DGX Spark-Systemen ermöglichte.

Auch auf weniger leistungsstarker Hardware sind signifikante Verbesserungen zu verzeichnen. Berichte zeigen, dass Gemma-4 26B auf einer CPU (Intel i9-13900K) ohne dedizierte GPU eine Geschwindigkeit von etwa 124 Tokens/Sekunde im Batch-Betrieb erreichen kann, was für ein Modell dieser Größe ohne GPU bemerkenswert ist. Die Optimierung konzentrierte sich hierbei nicht nur auf die Expertenmodelle, sondern auch auf den Output-Head, der einen erheblichen Anteil an den zu lesenden Bytes pro Token ausmacht.

Auswirkungen auf die B2B-Anwendung

Für B2B-Kunden, die KI-Lösungen in ihren Geschäftsprozessen einsetzen, ergeben sich aus dieser Entwicklung mehrere Vorteile:

• Kosteneffizienz: Eine schnellere Inferenz bedeutet, dass weniger Rechenressourcen für die gleiche Menge an verarbeiteten Anfragen benötigt werden. Dies führt direkt zu geringeren Infrastrukturkosten, insbesondere in Cloud-Umgebungen.
• Skalierbarkeit: Die Möglichkeit, mehr Anfragen pro Zeiteinheit zu verarbeiten, verbessert die Skalierbarkeit von KI-Anwendungen erheblich. Unternehmen können so Spitzenlasten besser bewältigen und ihren Kunden konsistentere Dienste anbieten.
• Neue Anwendungsfelder: Die gesteigerte Geschwindigkeit kann die Entwicklung und Implementierung neuer Echtzeit-KI-Anwendungen ermöglichen, die zuvor aufgrund von Latenzzeiten nicht praktikabel waren. Beispiele hierfür sind interaktive Chatbots, Echtzeit-Content-Generierung oder dynamische Personalisierungssysteme.
• Qualitätssicherung: Da die Beschleunigung ohne Qualitätseinbußen erfolgt, können Unternehmen weiterhin hochwertige KI-generierte Inhalte und Analysen erwarten, während gleichzeitig die Effizienz maximiert wird.
• Open-Source-Vorteile: Die Verfügbarkeit der Technologie als Open-Source fördert die Transparenz, ermöglicht Anpassungen an spezifische Bedürfnisse und reduziert die Abhängigkeit von proprietären Lösungen.

Zukünftige Perspektiven

Die erfolgreiche Anwendung dieser hybriden Arbeitsweise, bei der KI-Agenten unter menschlicher Anleitung komplexe Optimierungsaufgaben bewältigen, könnte ein Modell für zukünftige Innovationsprozesse in der KI-Entwicklung sein. Es zeigt, wie die Kombination von autonomer KI-Arbeit und menschlicher strategischer Führung zu schnellen und substanziellen Fortschritten führen kann. Die Initiative von Google und Hugging Face unterstreicht zudem das Engagement für die Weiterentwicklung und Zugänglichkeit von Open-Source-KI-Modellen, was für die gesamte KI-Community von Vorteil ist.

Die kontinuierliche Optimierung der Inferenzgeschwindigkeit ist ein zentrales Thema in der KI-Forschung und -Entwicklung. Mit jeder Verbesserung rücken leistungsstärkere und effizientere KI-Anwendungen näher an die praktische Realisierung heran, was Unternehmen in die Lage versetzt, innovative Produkte und Dienstleistungen anzubieten und ihre Wettbewerbsfähigkeit zu stärken.

Bibliographie

• Google. (2026, 10. Juli). 100+ AI agents and developers just teamed up to make inference 5x faster on our Gemma 4 open models ⚡ [Tweet]. X. Abgerufen von https://x.com/Google/status/2075689363569086695
• Hale, J. (2026, 7. Mai). Google Just Made Open-Source AI 3x Faster Without Losing a Single Token of Quality — and That Changes the Inference Economics. TechFastForward. Abgerufen von https://techfastforward.com/articles/google-gemma-4-mtp-drafters-3x-inference-speedup-lossless-2026
• Hacker News. (n.d.). Accelerating Gemma 4: faster inference with multi-token prediction drafters. Abgerufen von https://news.ycombinator.com/item?id=48024540
• mlx-optiq. (2026, 22. Mai). Gemma-4 spec decoding on Apple Silicon. Abgerufen von https://mlx-optiq.com/blog/gemma-spec-decoding
• AI Muninn. (2026, 6. Mai). Liftoff: Gemma 4 hits 670 tok/s aggregate on DGX Spark (108 tok/s single-stream). Abgerufen von https://ai-muninn.com/en/blog/dgx-spark-gemma4-mtp-108-toks
• Prasath E G, A. (2026, 30. Juni). Running Gemma-4 26B at 124 tokens/sec on a CPU, no GPU. Abgerufen von https://apeg.dev/writing/running-gemma4-26b-on-a-cpu/
• Whiteley, R. (2026, 4. Mai). Slaying the Gemma Beast: How We Fixed Local AI and Shipped Search. vibescoder.dev. Abgerufen von https://vibescoder.dev/posts/slaying-the-gemma-beast-how-we-fixed-local-ai-and-shipped-search