Neuer Ansatz zur Beschleunigung der Inferenz für LFM2.5-Modelle mit DSpark

Revolution in der Inferenzgeschwindigkeit: DSpark für Liquid Foundation Models

Die Effizienz von KI-Modellen ist ein entscheidender Faktor für ihre breite Anwendung, insbesondere im B2B-Bereich. Liquid AI hat kürzlich die Veröffentlichung von DSpark Draft-Modellen für ihre LFM2.5-Familie bekannt gegeben, die eine signifikante Beschleunigung der Inferenzzeiten versprechen. Diese Entwicklung könnte weitreichende Auswirkungen auf die Bereitstellung und Skalierbarkeit von KI-Anwendungen haben, von Edge-Geräten bis hin zu Hochleistungs-GPUs.

Die Herausforderung der Inferenz-Latenz

Die Dekodierungsphase in der Inferenz von Large Language Models (LLMs) ist traditionell speicherintensiv. Ein Großteil der Latenz entsteht durch das Laden von Gewichten aus dem DRAM in den On-Chip-Speicher, weniger durch die eigentliche Berechnung. Dies stellt ein zentrales technisches Problem dar, das die Wirtschaftlichkeit und Anwendbarkeit von LLMs beeinflusst.

DSpark: Eine innovative Lösung zur Beschleunigung

DSpark, eine Weiterentwicklung spekulativer Dekodierungsmethoden, bietet hier einen vielversprechenden Ansatz. Es verwendet ein kleineres, leichtgewichtiges Draft-Modell, um eine Reihe von Kandidaten-Tokens vorzuschlagen. Das größere Zielmodell verifiziert diese dann in einem einzigen Vorwärtsdurchlauf. Dieser Mechanismus verteilt die Kosten für das Laden der Gewichte über mehrere überprüfte Tokens, was zu einer erheblichen Beschleunigung führt.

Die DSpark-Architektur integriert drei Schlüsselkomponenten:

• DFlash-ähnliches paralleles Backbone: Dieses Element, das auf den Kontextmerkmalen des Zielmodells basiert, erzeugt verborgene Zustände für alle Draft-Tokens in einem einzigen Durchlauf.
• Leichtgewichtiger sequenzieller Head: Als Markov-Kette zwischen benachbarten Tokens modelliert, stellt dieser die Abhängigkeit zwischen den Tokens wieder her und erhöht die Akzeptanzrate an späteren Positionen.
• Konfidenzgesteuerter Verifizierer: Dieser prognostiziert die Überlebenswahrscheinlichkeit jedes Tokens und eliminiert unsichere Suffixe, wenn deren Verifizierung mehr Kosten als Nutzen verursachen würde.

Modelle und Leistungssteigerung

Liquid AI hat DSpark Draft-Modelle für drei Mitglieder ihrer LFM2.5-Familie veröffentlicht: LFM2.5-1.2B-Instruct, LFM2.5-2.6B und LFM2.5-8B-A1B. Diese Draft-Modelle sind mit etwa 300 Millionen Parametern relativ klein und wurden über 15 Epochen trainiert, wobei der Fokus auf der höchsten Akzeptanzrate lag, nicht auf dem geringsten Verlust.

Die gemessenen Leistungssteigerungen sind bemerkenswert:

• Auf GPUs (H100) wurde eine Beschleunigung von bis zu 3,18x erreicht.
• Auf Endgeräten (M4 Max MacBook Pro) betrug die Beschleunigung bis zu 2,87x.

Für das Modell LFM2.5-2.6B wurde beispielsweise eine durchschnittliche Beschleunigung von 2,67x auf H100 und 2,27x auf M4 Max gemessen. Dies bedeutet eine signifikante Erhöhung des Token-Durchsatzes pro Sekunde, was die Interaktivität von Anwendungen erheblich verbessern kann. Insbesondere bei agentischen Workloads, die mehrere Funktionsaufrufe erfordern, wurde eine durchschnittliche Reduzierung der Latenz um 57 % für LFM2.5-2.6B festgestellt.

Qualität und Kompatibilität

Ein entscheidender Aspekt der DSpark-Implementierung ist die Wahrung der Ausgabequalität. Da bei der spekulativen Dekodierung ein vorgeschlagenes Token nur dann akzeptiert wird, wenn es der Verteilung des Zielmodells entspricht, bleibt die generierte Sequenz identisch mit der des Basismodells bei Greedy Decoding. Dies stellt sicher, dass die Genauigkeit und Qualität der Modellausgaben unverändert bleiben.

Die DSpark Draft-Modelle bieten zudem eine "Day-one"-Unterstützung für weit verbreitete Frameworks wie llama.cpp und SGLang. Dies ermöglicht eine nahtlose Integration in bestehende Infrastrukturen und beschleunigt die Implementierung in kommerziellen Anwendungen.

Herausforderungen und Ausblick

Obwohl die Vorteile von DSpark offensichtlich sind, zeigen die Messungen auch Bereiche mit Optimierungspotenzial. So ist die Leistungssteigerung für das MoE-Modell (Mixture of Experts) LFM2.5-8B-A1B auf Apple Silicon (M4 Max) mit durchschnittlich nur 1,18x geringer als bei den anderen Modellen. Dies wird auf die aktuelle MoE-Implementierung im Metal-Backend von llama.cpp und den erhöhten Datenverkehr bei der Verifizierung von Tokens zurückgeführt.

Die Veröffentlichung der DSpark Draft-Modelle durch Liquid AI unterstreicht die kontinuierlichen Bemühungen, die Effizienz und Zugänglichkeit von Large Language Models zu verbessern. Die Möglichkeit, KI-Inferenz auf einer breiten Palette von Hardware, von leistungsstarken GPUs bis hin zu Endgeräten, erheblich zu beschleunigen, eröffnet neue Perspektiven für die Entwicklung und Bereitstellung von KI-gestützten Lösungen im B2B-Sektor.

Verfügbarkeit

Die DSpark Draft-Modelle sind auf Hugging Face sowohl im Safetensors- als auch im GGUF-Format verfügbar:

• Safetensors: LFM2.5-2.6B-DSpark, LFM2.5-1.2B-Instruct-DSpark, LFM2.5-8B-A1B-DSpark
• GGUF: LFM2.5-2.6B-DSpark-GGUF, LFM2.5-1.2B-Instruct-DSpark-GGUF, LFM2.5-8B-A1B-DSpark-GGUF

Die Bereitstellung dieser Modelle mit integrierter Unterstützung für prominente Inferenz-Frameworks wie llama.cpp und SGLang signalisiert einen wichtigen Schritt in Richtung einer effizienteren und breiteren Nutzung von KI-Technologien in der Geschäftswelt.

Bibliografie

Liquid AI. (2026, August 20). LFM2.5-DSpark: Up to 3.2x Faster Inference from H100 to MacBook. Liquid AI Blog. Liquid AI. (n.d.). Liquid Foundation Models. Abgerufen von https://www.liquid.ai/models MarkTechPost. (2026, August 20). Liquid AI Releases LFM2.5-DSpark Draft Models That Deliver Up to 3.18x Faster Decoding Without Changing Model Outputs. Mango Developer. (2026, August 20). Liquid AI's DSpark Draft Models Push LFM2.5 Inference Up to 3.2x Faster. KiaDev AI News. (2026, August 20). Liquid AI Ships LFM2.5-DSpark for Up to 3.2x Faster Inference. Unite.AI. (2026, August 20). Liquid AI Ships LFM2.5-DSpark for Up to 3.2X Faster Inference. AI Weekly Malaysia. (n.d.). Up to 3.2x Faster Inference with LFM2.5-DSpark. Abgerufen von https://aiweekly.my/items/16160/up-to-3-2x-faster-inference-with-lfm2-5-dspark ggml-org/llama.cpp. (2026, August 19). spec : support DSpark for LFM2 models. GitHub. Abgerufen von https://github.com/ggml-org/llama.cpp/pull/27383 sgl-project/sglang. (2026, July 13). [Spec] Add LFM2 and LFM2-MoE DSpark speculative decoding support. GitHub. Abgerufen von https://github.com/sgl-project/sglang/pull/31041 Decoded Person. (2026, August 20). 3.2x Faster Inference with LFM2.5-DSpark. YouTube. Abgerufen von https://www.youtube.com/shorts/KuVBYHlf0Uc