Fortschritte in der 4-Bit-Quantisierung für die Inferenz großer Sprachmodelle

Quantisierung von Sprachmodellen: Fortschritte bei 4-Bit-Gleitkommaformaten

Die rapide Entwicklung von Künstlicher Intelligenz, insbesondere im Bereich der Large Language Models (LLMs), hat den Bedarf an effizienteren Rechenmethoden verstärkt. Ein zentraler Ansatz hierfür ist die Quantisierung, bei der die numerische Präzision von Modellparametern reduziert wird, um Speicherplatz und Rechenzeit zu sparen. Aktuelle Forschungen konzentrieren sich auf 4-Bit-Gleitkommaformate wie MXFP4 und NVFP4, die durch hardwareseitige Beschleunigung das Potenzial haben, die Inferenz von LLMs zu revolutionieren. Eine neue Studie beleuchtet die Herausforderungen und Fortschritte in diesem Bereich und stellt eine innovative Lösung vor.

Herausforderungen der 4-Bit-Quantisierung

Obwohl 4-Bit-Gleitkommaformate vielversprechende Effizienzgewinne bieten, ist deren praktische Anwendung mit erheblichen Schwierigkeiten verbunden. Die Analyse bestehender Post-Training-Quantisierungsmethoden (PTQ) offenbart, dass diese bei FP4-Formaten oft an ihre Grenzen stoßen. Zwei Hauptprobleme wurden identifiziert:

• NVFP4 und Ausreißer: Die geringe Gruppengröße von NVFP4-Formaten neutralisiert traditionelle Techniken zur Minderung von Ausreißern. Ausreißer, also Werte, die weit außerhalb des typischen Bereichs liegen, können die Genauigkeit der Quantisierung erheblich beeinträchtigen. Bei kleinen Gruppen ist es schwierig, diese Ausreißer effektiv zu handhaben, ohne die Gesamtpräzision zu stark zu reduzieren.
• MXFP4 und Skalierungsfehler: Die Quantisierung von Skalierungsfaktoren bei MXFP4-Formaten, die auf Potenzen von Zwei basiert, führt zu signifikanten Fehlern. Diese Fehler können die Genauigkeit des Modells stark beeinträchtigen und die Leistung im Vergleich zu höherpräzisen Formaten mindern.

Micro-Rotated-GPTQ: Eine maßgeschneiderte Lösung

Um diese Lücke zwischen dem Versprechen und der tatsächlichen Leistung zu schließen, wurde eine neue Methode namens Micro-Rotated-GPTQ (MR-GPTQ) entwickelt. MR-GPTQ ist eine Weiterentwicklung des klassischen GPTQ-Quantisierungsalgorithmus, der speziell auf die einzigartigen Eigenschaften von FP4 zugeschnitten ist. Die Kerninnovationen umfassen:

• Blockweise Hadamard-Transformationen: Diese Transformationen helfen, Ausreißer innerhalb der Datenblöcke effektiver zu handhaben und die Verteilung der Werte für die Quantisierung zu optimieren.
• Formatspezifische Optimierungen: MR-GPTQ integriert spezifische Anpassungen für MXFP4 und NVFP4, um deren jeweilige Limitationen zu überwinden und die Genauigkeit zu maximieren.

Die Implementierung von MR-GPTQ erfolgt mittels speziell entwickelter Hochleistungs-GPU-Kernel. Diese Kernel ermöglichen das MR-GPTQ-Format mit vernachlässigbarem Overhead, indem Rotationen direkt in die Gewichte fusioniert und eine schnelle Online-Berechnung der Aktivierungen durchgeführt wird.

Leistungssteigerungen und empirische Ergebnisse

Die empirische Evaluierung von MR-GPTQ zeigt beeindruckende Ergebnisse. Die Methode erreicht oder übertrifft die Genauigkeit aktueller State-of-the-Art-Verfahren und führt zu erheblichen Geschwindigkeitssteigerungen bei der LLM-Inferenz:

• Auf NVIDIA B200 GPUs wurden Beschleunigungen von bis zu 3,6x schichtweise und 2,2x End-to-End im Vergleich zu FP16 erzielt.
• Auf RTX5090 GPUs waren die Geschwindigkeitssteigerungen sogar noch ausgeprägter, mit bis zu 6x schichtweise und 4x End-to-End.

Besonders hervorzuheben ist, dass MR-GPTQ die Leistung von MXFP4 so stark verbessert, dass es nahezu die Genauigkeit von NVFP4 erreicht. Dies ist ein wichtiger Schritt, da MXFP4 aufgrund seiner Potenz-von-Zwei-Skalierung zuvor größere Herausforderungen darstellte.

Implikationen für die Zukunft der LLM-Inferenz

Die Studienergebnisse legen nahe, dass 4-Bit-Quantisierung kein automatisches Upgrade gegenüber bestehenden INT4-Verfahren darstellt. Vielmehr erfordert die effektive Nutzung dieser niedrigen Präzision spezialisierte Methoden und eine genaue Abstimmung auf die spezifischen Formateigenschaften. MR-GPTQ demonstriert, dass durch formatspezifische Optimierungen eine neue Grenze im Bereich des Kompromisses zwischen Genauigkeit und Leistung erschlossen werden kann. Dies ist entscheidend für die Entwicklung der nächsten Generation von LLMs, die noch größere Modelle und komplexere Aufgaben bewältigen müssen, ohne dabei die Effizienz zu opfern.

Die kontinuierliche Forschung in diesem Bereich wird dazu beitragen, die Potenziale von 4-Bit-Gleitkommaformaten vollständig auszuschöpfen und die Inferenz von Large Language Models noch zugänglicher und kostengünstiger zu gestalten. Die Erkenntnisse aus dieser Studie bieten wertvolle Anhaltspunkte für Hardware- und Softwareentwickler, um zukünftige Systeme optimal auf die Anforderungen der Mikro-Skalierung abzustimmen.

Bibliographie

• Egiazarian, V., Castro, R. L., Kuznedelev, D., Panferov, A., Kurtic, E., Pandit, S., Marques, A., Kurtz, M., Ashkboos, S., Hoefler, T., & Alistarh, D. (2025). Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization. arXiv. https://arxiv.org/abs/2509.23202
• Yang, H., Deng, S., Nagpal, A., Naumov, M., Janani, M., Liu, T., & Guan, H. (2025). An Empirical Study of Microscaling Formats for Low-Precision LLM Training. IEEE 32nd Symposium on Computer Arithmetic (ARITH). https://aisystemcodesign.github.io/papers/FP4.pdf
• NVIDIA. (2024). NVIDIA Blackwell Architecture Technical Brief. Abgerufen von https://resources.nvidia.com/en-us-blackwell-architecture
• Open Compute Project. (2023). OCP Microscaling Formats (MX) v1.0 Specification. Abgerufen von https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf
• Chmiel, B., Banner, R., Hoffer, E., Ben-Yaacov, H., & Soudry, D. (2023). Accurate neural training with 4-bit matrix multiplications at standard formats. The Eleventh International Conference on Learning Representations.
• Chmiel, B., Ben-Uri, L., Shkolnik, M., Hoffer, E., Banner, R., & Soudry, D. (2021). Neural gradients are near-lognormal: improved quantized and sparse training. International Conference on Learning Representations.
• Croci, M., Fasi, M., Higham, N. J., Mary, T., & Mikaitis, M. (2022). Stochastic rounding: implementation, error analysis and applications. Royal Society Open Science, 9(3), 211631.