Neue Methode verbessert Inferenzgeschwindigkeit von Diffusions-LLMs
Inhaltsverzeichnis
Optimieren Sie Prozesse, automatisieren Sie Workflows und fördern Sie Zusammenarbeit – alles an einem Ort.
Das Wichtigste in Kürze
- Eine neue Methode namens „Discrete Diffusion Forcing“ (D2F) beschleunigt die Inferenz bei großen Sprachmodellen (LLMs) basierend auf Diffusionsmodellen erheblich.
- D2F kombiniert blockweise autoregressive Generierung mit paralleler Decodierung zwischen den Blöcken, wodurch die Inferenzgeschwindigkeit deutlich gesteigert wird.
- Experimente zeigen eine mehr als 2,5-fache Beschleunigung gegenüber LLaMA3 und Qwen2.5 und über 50-fache Beschleunigung gegenüber herkömmlichen Diffusions-LLMs bei vergleichbarer Ausgabequalität.
- Der Ansatz basiert auf einer asymmetrischen Destillation vorab trainierter Diffusions-LLMs und bietet einen Pipeline-parallelen Decodierungsalgorithmus für einen Kompromiss zwischen Effizienz und Genauigkeit.
- Der Quellcode ist öffentlich verfügbar.
Schnellere Inferenz bei Diffusions-LLMs durch Discrete Diffusion Forcing
Die Entwicklung großer Sprachmodelle (LLMs) schreitet mit hoher Geschwindigkeit voran. Neben autoregressiven (AR) Modellen, die Token sequenziell generieren, gewinnen Diffusions-LLMs (dLLMs) zunehmend an Bedeutung. Diese versprechen, durch die gleichzeitige Decodierung mehrerer Token die Inferenzgeschwindigkeit zu erhöhen. Bislang konnten jedoch keine quelloffenen dLLMs die Inferenzgeschwindigkeit vergleichbar großer AR-LLMs übertreffen. Ein kürzlich veröffentlichtes Paper präsentiert nun eine Methode, die diese Beschränkung durchbricht: Discrete Diffusion Forcing (D2F).
Discrete Diffusion Forcing: Ein hybrider Ansatz
D2F stellt einen innovativen Ansatz dar, der dLLMs mit zwei zentralen Fähigkeiten ausstattet: einer blockweisen autoregressiven Generierung und einer parallelen Decodierung zwischen den Blöcken. Die blockweise autoregressive Generierung ermöglicht die effiziente Nutzung des KV-Caches, während die parallele Decodierung die Notwendigkeit der vollständigen Bearbeitung vorheriger Blöcke vor der Vorhersage nachfolgender Token eliminiert. Dadurch entsteht ein hybrides AR-Diffusions-Paradigma, das die Vorteile beider Ansätze kombiniert.
Die Implementierung von D2F erfolgt über einen Prozess der asymmetrischen Destillation, der auf vorab trainierten dLLMs aufbaut. Zusätzlich wird ein Pipeline-paralleler Decodierungsalgorithmus vorgeschlagen, der einen Ausgleich zwischen Effizienz und Genauigkeit ermöglicht. Dieser Algorithmus erlaubt es, die Geschwindigkeit der Inferenz weiter zu optimieren, ohne dabei signifikante Einbußen bei der Qualität der generierten Texte hinzunehmen.
Empirische Ergebnisse und praktische Relevanz
Die empirischen Ergebnisse des Papers sind beeindruckend. Auf dem GSM8K-Benchmark zeigt D2F eine mehr als 2,5-fache Beschleunigung der Inferenz im Vergleich zu LLaMA3 und Qwen2.5. Im Vergleich zu herkömmlichen dLLMs wie LLaDA und Dream konnte die Geschwindigkeit sogar um mehr als das 50-fache gesteigert werden, ohne dabei nennenswerte Einbußen in der Ausgabequalität zu verzeichnen. Diese Ergebnisse unterstreichen das enorme Potential von D2F für die Beschleunigung von Anwendungen, die auf LLMs basieren.
Zugänglichkeit und zukünftige Entwicklungen
Ein wichtiger Aspekt des Papers ist die freie Verfügbarkeit des Quellcodes. Dies ermöglicht es der Forschungsgemeinschaft, die Methode zu untersuchen, zu erweitern und in eigene Projekte zu integrieren. Die Veröffentlichung der Modelle auf Hugging Face erleichtert den Zugang und die praktische Anwendung von D2F. Die Verfügbarkeit von D2F-adaptierten Versionen von LLaDA und Dream (D2F_LLaDA_Instruct_8B_Lora und D2F_Dream_Base_7B_Lora) unterstreicht die praktische Umsetzbarkeit des Ansatzes.
Zukünftige Forschungsarbeiten könnten sich auf die Optimierung des Pipeline-parallelen Decodierungsalgorithmus und die Erweiterung der Methode auf noch größere LLMs konzentrieren. Die Untersuchung des Einflusses verschiedener Blockgrößen auf die Performance und die Qualität der Generierung stellt einen weiteren vielversprechenden Forschungsansatz dar.
Fazit
Discrete Diffusion Forcing präsentiert einen vielversprechenden Ansatz zur erheblichen Beschleunigung der Inferenz bei Diffusions-LLMs. Die Kombination aus blockweiser autoregressiver Generierung und inter-Block-paralleler Decodierung ermöglicht eine deutliche Performance-Steigerung bei gleichbleibender Qualität. Die freie Verfügbarkeit des Codes und der Modelle fördert die Weiterentwicklung und Anwendung dieser Technologie und verspricht einen wichtigen Beitrag zur Optimierung von LLM-basierten Anwendungen.
Die vorliegende Analyse basiert auf der in der Publikation „Diffusion LLMs Can Do Faster-Than-AR Inference via Discrete Diffusion Forcing“ dargestellten Forschung. Die hier präsentierten Informationen dienen ausschließlich der neutralen Berichterstattung und stellen keine Wertung oder Empfehlung dar.
Bibliography - https://www.arxiv.org/abs/2508.09192 - https://www.arxiv.org/pdf/2508.09192 - https://huggingface.co/papers/2508.09192 - https://github.com/zhijie-group/Discrete-Diffusion-Forcing - https://huggingface.co/SJTU-Deng-Lab/D2F_Dream_Base_7B_Lora - https://www.youtube.com/watch?v=sVWOGUDmHis - https://openreview.net/forum?id=tyEyYT267x - https://paperreading.club/page?id=330766 - https://openreview.net/forum?id=QyNN5n37nK&referrer=%5Bthe%20profile%20of%20Deepak%20Pathak%5D(%2Fprofile%3Fid%3D~Deepak_Pathak1) - https://gregrobison.medium.com/a-comparative-analysis-of-diffusion-and-autoregressive-models-for-text-generation-architectures-99fb24fa390cArtikel jetzt als Podcast anhören
.svg){kind=logo}
.png){kind=logo}
