Optimierung der Inferenzgeschwindigkeit für Hugging Face Modelle in vLLM

Revolution in der Modellbereitstellung: Native Geschwindigkeit für Hugging Face Modelle in vLLM

Die Landschaft der Künstlichen Intelligenz (KI) unterliegt einem stetigen Wandel, angetrieben durch das Bestreben, leistungsfähige Modelle schneller und effizienter zu entwickeln, zu trainieren und bereitzustellen. Eine wesentliche Herausforderung hierbei war lange Zeit die Diskrepanz zwischen der Flexibilität von Modellbibliotheken und der Notwendigkeit hochoptimierter Inferenzen für den Produktionseinsatz. Eine aktuelle Entwicklung im Bereich des vLLM Transformers Modeling Backends adressiert diese Problematik, indem sie eine native Inferenzgeschwindigkeit für Hugging Face Modelle in vLLM ermöglicht.

Die Evolution der Modellintegration

Die Transformers-Bibliothek von Hugging Face hat sich als eine zentrale Referenz für die Modellierung im Bereich des maschinellen Lernens etabliert. Sie bietet eine einheitliche Schnittstelle für über 450 Architekturen und legt den Schwerpunkt auf selbstständige und leicht verständliche Modellimplementierungen. Diese Struktur erleichtert es Entwicklern, Architekturen zu verstehen und auf andere Frameworks wie vLLM, SGLang, MLX oder llama.cpp zu portieren.

Vor dieser jüngsten Entwicklung war die Integration von Transformers-Modellen in vLLM zwar möglich, erforderte jedoch oft maßgeschneiderte Optimierungen, um die maximale Inferenzleistung zu erzielen. Dies bedeutete, dass Modellentwickler, die die bestmögliche Performance anstrebten, separate vLLM-Implementierungen erstellen mussten. Die bisherige Integration konzentrierte sich primär auf die Optimierung der Attention-Mechanismen, indem vLLM-eigene Attention-Implementierungen zur Laufzeit genutzt wurden.

Durchbruch: Native Geschwindigkeit ohne manuelle Portierung

Die jüngste Iteration des Transformers Modeling Backends für vLLM markiert einen signifikanten Fortschritt. Es ist nun möglich, Hugging Face Modelle innerhalb von vLLM mit einer Geschwindigkeit auszuführen, die der nativer vLLM-Implementierungen entspricht oder diese sogar übertrifft. Dies gilt für eine Vielzahl von LLM-Architekturen, einschließlich dichter Modelle und Mixture-of-Experts (MoE)-Modelle.

Die Kerninnovation besteht darin, dass das Transformers Modeling Backend nun dynamisch inferenzy-spezifische Layer-Fusionen zur Laufzeit anwendet. Dies eliminiert die Notwendigkeit, Modelle manuell für die vLLM-Inferenz zu optimieren, während gleichzeitig die volle Kompatibilität mit den vielfältigen Modellen der Hugging Face Bibliothek erhalten bleibt. Für Modellautoren bedeutet dies, dass ihre Transformers-Implementierungen automatisch von der ultraschnellen vLLM-Inferenz profitieren, ohne zusätzlichen Aufwand.

Technische Grundlagen der Optimierung

Die Funktionsweise dieser neuen Optimierung basiert auf einem mehrstufigen technischen Ansatz:

• Statische Analyse mit torch.fx: Das Transformers Modeling Backend nutzt torch.fx, ein Feature von PyTorch, um eine statische Analyse des Modellgraphen durchzuführen. Dabei werden bekannte Muster identifiziert, die für eine Optimierung infrage kommen.
• Quellcode-Manipulation mittels ast: Nach der Identifizierung optimierbarer Muster kommt das ast (Abstract Syntax Tree) Modul von Python zum Einsatz. Dieses ermöglicht die Manipulation des Quellcodes, indem bestimmte Operationen direkt im Code umgeschrieben werden.

Diese Techniken ermöglichen die Implementierung verschiedener Optimierungen:

• Fusionierte Operationen: Operationen können fusioniert werden, um (ultra-)optimierte vLLM-Kernel zu nutzen. Dies ist besonders relevant für Expert Parallelization (EP) in Mixture-of-Experts (MoE)-Modellen.
• Parallele Ausführung: Wichtige fusionierte Operationen wie vLLMs MergedColumnParallelLinear und QKVParallelLinear ermöglichen die Ableitung paralleler Pläne für Tensor Parallelism (TP). Auch Pipeline Parallelism (PP) kann abgeleitet werden, sofern die Decoder-Blockliste eindeutig identifizierbar ist.
• Kompatibilität mit Torch-Optimierungen: Die manipulierten Modelle bleiben vollständig mit torch.compile und CUDA Graphs kompatibel, genau wie dedizierte vLLM-Modellimplementierungen. Dies gewährleistet, dass weitere Leistungsoptimierungen durch das PyTorch-Ökosystem genutzt werden können.

Ein wesentlicher Vorteil ist, dass Transformers-Modellimplementierungen im Gegensatz zu reinen vLLM-Modellimplementierungen weiterhin im Training verwendet werden können. Dies ermöglicht die Nutzung desselben Modellcodes für Training, Evaluation und RL-Rollouts.

Praktische Anwendung und Performance-Messungen

Die Aktivierung des Transformers Modeling Backends erfolgt über ein einfaches Flag: --model-impl transformers. Dies lässt sich mit den üblichen Parallelisierungsoptionen kombinieren, ohne dass Änderungen an der bestehenden Serving-Infrastruktur erforderlich sind. Dies bedeutet eine erhebliche Vereinfachung für die Bereitstellung von Modellen.

Leistungstests haben gezeigt, dass das Transformers Modeling Backend die native Durchsatzleistung für verschiedene Modelle erreicht oder übertrifft. Beispiele hierfür sind:

• Ein 4B dichtes Modell auf einer einzelnen GPU.
• Ein 32B dichtes Modell mit Tensor Parallelism über mehrere GPUs.
• Ein 235B-Parameter FP8 Mixture-of-Experts Modell mit Daten- und Expertenparallelisierung auf einem 8xH100 Knoten.

Diese Ergebnisse demonstrieren, dass die neue Integration eine erhebliche Leistungssteigerung ohne den Bedarf an manuellen, modell-spezifischen Optimierungen ermöglicht. Es ist jedoch zu beachten, dass Modelle, die lineare Attention verwenden, derzeit nicht unterstützt werden, eine Integration jedoch geplant ist. Auch benutzerdefinierte Modelle, deren Code in einem Hub-Repo liegt, funktionieren möglicherweise nicht ohne Weiteres, wenn sie nicht den Kompatibilitätsrichtlinien entsprechen.

Ausblick

Die Integration des nativen Geschwindigkeits-vLLM Transformers Modeling Backends stellt einen bedeutsamen Schritt in der Demokratisierung der Hochleistungs-KI-Inferenz dar. Sie ermöglicht es Unternehmen und Entwicklern, die Flexibilität der Hugging Face Modelllandschaft voll auszuschöpfen, ohne Kompromisse bei der Inferenzgeschwindigkeit und -effizienz eingehen zu müssen. Diese Entwicklung wird voraussichtlich die Bereitstellung und Skalierung von LLMs und VLMs in Produktionsumgebungen erheblich vereinfachen und beschleunigen.

Bibliographie

• "Native-speed vLLM transformers modeling backend", Hugging Face Blog, veröffentlicht am 08. Juli 2026.
• "Make the Transformers modeling backend as fast as native vLLM · Pull Request #47187 · vllm-project/vllm", GitHub, Pull Request von hmellor, veröffentlicht am 30. Juni 2026.
• "Supported Models - vLLM Documentation", vLLM Dokumentation, abgerufen am 24. Mai 2024.
• "Transformers modeling backend integration in vLLM", vLLM Blog, veröffentlicht am 11. April 2025.
• "Inference server backends · Hugging Face", Hugging Face Dokumentation, abgerufen am 24. Mai 2024.
• "vLLM and Transformers Reach a New Era: Hugging Face Models Now Run at Native Inference Speed Without Custom Ports + Video - UNDERCODE NEWS", UNDERCODE NEWS, veröffentlicht am 08. Juli 2026.
• "vllm/model_executor/models/transformers/base.py at 17d87168 · vllm-project/vllm", GitHub, abgerufen am 24. Mai 2024.
• "[Docs] Update the name of `Transformers backend` -> `Transformers modeling backend` (#28725) · 5f3cd7f · ZhanqiuHu/vllm", GitHub, Commit von hmellor, veröffentlicht am 14. November 2025.
• "vLLM Transformers Backend: Bridging Hugging Face Compatibility ...", ODSC - Open Data Science, veröffentlicht am 11. Juni 2026.
• "`FusedMoE` support for the Transformers backend", GitHub, Pull Request von hmellor, veröffentlicht am 11. August 2025.