Quartet II: Fortschritte in der NVFP4-Vortrainierung für Große Sprachmodelle

Die rapide Entwicklung von Künstlicher Intelligenz, insbesondere im Bereich der Large Language Models (LLMs), bringt einen stetig wachsenden Bedarf an Rechenleistung mit sich. Um diesen Anforderungen gerecht zu werden und das Training massiver Modelle effizienter zu gestalten, rückt die Quantisierung – die Reduzierung der Präzision von Daten während des Trainings und der Inferenz – immer stärker in den Fokus. Eine aktuelle Veröffentlichung aus dem Jahr 2026 mit dem Titel "Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation" beschreibt einen signifikanten Fortschritt in diesem Bereich. Die Autoren, darunter Andrei Panferov, Erik Schultheis, Soroush Tabesh und Dan Alistarh, präsentieren eine Methode, die das Potenzial des NVFP4-Formats von NVIDIA Blackwell GPUs voll ausschöpfen soll, um ein akkurates und gleichzeitig effizientes Vortraining von LLMs zu ermöglichen.

Die Herausforderung der niedrigen Präzision im LLM-Training

Das Training von LLMs ist rechenintensiv. Die Verwendung niedrigerer Präzisionsformate wie NVFP4, das von NVIDIA Blackwell GPUs hardwareseitig unterstützt wird, verspricht erhebliche Effizienzgewinne. Diese Formate ermöglichen eine Beschleunigung der Matrixmultiplikationen (GEMMs) und eine Reduzierung des Speicherbedarfs. Bisherige quantisierte Trainingsmethoden mussten jedoch oft Kompromisse bei der Genauigkeit eingehen. Insbesondere die Schätzung der Gradienten im Rückwärtsdurchlauf ist anfällig für Fehler, die sich über viele Trainingsschritte akkumulieren und die Stabilität sowie die Konvergenz des Modells beeinträchtigen können. Die gängige Methode des stochastischen Rundens (Stochastic Rounding, SR) zur Gewährleistung unverzerrter Gradientenschätzungen führt dabei zu einem merklichen Genauigkeitsverlust im Vergleich zu Standard-FP16- oder FP8-Trainings.

Quartet II: Eine neue Ära der Effizienz und Genauigkeit

Hier setzt Quartet II an. Die von den Forschenden entwickelte Methode verbessert den Stand der Technik für das quantisierte Training in NVFP4 durch eine neuartige, unverzerrte Quantisierungsroutine für mikroskalierte Formate, genannt MS-EDEN (MicroScaling EDEN). MS-EDEN reduziert den Quantisierungsfehler um mehr als das Doppelte im Vergleich zu SR. Diese Routine wird in ein umfassendes NVFP4-Quantisierungsschema für lineare Schichten integriert, das als Quartet II bezeichnet wird.

Kerninnovationen von Quartet II:

• MS-EDEN: Diese Routine verlagert die Stochastizität von einzelnen FP4-Werten auf die Mikroskalierungsfaktoren, wodurch der Quantisierungsfehler erheblich reduziert wird, während die Unverzerrtheit in Erwartung erhalten bleibt.
• Verbesserte Gradientenschätzung: Analytische Vergleiche zeigen, dass Quartet II eine konsistent bessere Gradientenschätzung über alle wichtigen Matrixmultiplikationen hinweg erreicht, sowohl im Vorwärts- als auch im Rückwärtsdurchlauf.
• Integration in den Trainingsprozess: Quartet II kombiniert eine hochkapazitive Vorwärtsdurchlauf-Quantisierung mit der verbesserten unverzerrten Rückwärtsdurchlauf-Quantisierung von MS-EDEN.
• Hardware-Optimierung: Die Methode ist für die Ausführung auf NVIDIA Blackwell GPUs optimiert und liefert Kernel, die eine Beschleunigung von bis zu 4,2x gegenüber BF16 ermöglichen.

Technische Details und Validierung

Die Autoren von Quartet II haben ihre Methode umfassend validiert. Sie führten End-to-End-LLM-Trainings mit bis zu 1,9 Milliarden Parametern auf 38 Milliarden Tokens durch. Die Ergebnisse zeigen eine deutliche Verbesserung der Genauigkeit im Vergleich zu früheren NVFP4-Methoden, mit einer Reduzierung des Validierungsverlusts um mindestens 20%.

Quantisierung im Rückwärtsdurchlauf

Ein zentraler Aspekt ist die unverzerrte Quantisierung im Rückwärtsdurchlauf. Während frühere Ansätze wie die elementweise stochastische Rundung (SR) Unverzerrtheit auf Kosten erhöhter Varianz erreichten, nutzt MS-EDEN eine andere Strategie. Durch die Kombination von randomisierten Rotationen, wie der Randomized Hadamard Transform (RHT), und einer Korrekturreskalierung, ermöglicht MS-EDEN eine präzisere Schätzung der Gradienten. Die Herausforderung dabei war die Kompatibilität mit der groben Skalendarstellung von NVFP4; MS-EDEN löst dies, indem es die Korrekturfaktoren in die Gruppenskala über stochastische Rundung integriert.

Quantisierung im Vorwärtsdurchlauf

Für den Vorwärtsdurchlauf verwendet Quartet II Round-to-Nearest FP4-Rundung mit nativer NVFP4-Skalierung (ein FP8 E4M3-Skalenfaktor pro 16 Elemente) sowie eine zusätzliche FP32-Skala pro Tensor zur Bereichserweiterung. Dies wird durch eine lokale Skalierungsoption ("Four Over Six") ergänzt, die die Fehlerminimierung im Vorwärtsdurchlauf weiter optimiert. Im Gegensatz zu früheren Ansätzen, die oft eine Quadratblock-Quantisierung der Gewichtstensoren im Vorwärtsdurchlauf verwendeten, um die Wiederverwendung im Rückwärtsdurchlauf zu ermöglichen, setzt Quartet II auf eine Re-Quantisierung der Gewichte und Aktivierungen im Rückwärtsdurchlauf. Dies ist notwendig, da MS-EDEN die Anwendung randomisierter Rotationen entlang der Mikroskalierungsgruppen erfordert.

Praktische Implikationen und Ausblick

Die Einführung von Quartet II hat weitreichende Implikationen für die Entwicklung und den Einsatz von LLMs. Die Fähigkeit, große Modelle mit geringerer Präzision zu trainieren, ohne signifikante Genauigkeitsverluste hinnehmen zu müssen, kann die Kosten und den Zeitaufwand für das Training drastisch senken. Dies ist insbesondere für B2B-Anwendungen relevant, wo Effizienz und Skalierbarkeit entscheidend sind.

• Kosteneffizienz: Durch die Reduzierung des Rechenbedarfs können Unternehmen erhebliche Einsparungen bei Hardware und Energie erzielen.
• Zugänglichkeit: Effizientere Trainingsmethoden könnten die Entwicklung und Anpassung von LLMs für eine breitere Palette von Unternehmen zugänglicher machen.
• Forschungsbeschleunigung: Schnellere Trainingszyklen ermöglichen es Forschern und Entwicklern, mehr Experimente durchzuführen und Innovationen schneller voranzutreiben.

Die Arbeit an Quartet II zeigt, dass die Optimierung von Quantisierungsstrategien für spezifische Hardwarearchitekturen, wie die NVIDIA Blackwell GPUs, ein vielversprechender Weg ist, um die Grenzen des maschinellen Lernens weiter zu verschieben. Mit der kontinuierlichen Weiterentwicklung von Hardware und Algorithmen wird sich die Effizienz des LLM-Trainings voraussichtlich weiter verbessern, was neue Möglichkeiten für KI-Anwendungen in verschiedenen Branchen eröffnet.

Bibliographie

Panferov, A., Schultheis, E., Tabesh, S., & Alistarh, D. (2026). Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation. arXiv preprint arXiv:2601.22813. Hugging Face. (2026). Paper page - Quartet II: Accurate LLM Pre-Training in NVFP4 by Improved Unbiased Gradient Estimation. Verfügbar unter: https://huggingface.co/papers/2601.22813 NVIDIA. (2024). NVIDIA Blackwell Architecture Technical Brief. Verfügbar unter: https://resources.nvidia.com/en-us-blackwell-architecture Tseng, A., Yu, T., & Park, Y. (2025). Training LLMs with MXFP4. arXiv preprint arXiv:2502.20586. Castro, R. L., Panferov, A., Tabesh, S., Sieberling, O., Chen, J., Nikdan, M., Ashkboos, S., & Alistarh, D. (2025). Quartet: Native FP4 Training Can Be Optimal for Large Language Models. arXiv preprint arXiv:2505.14669. Egiazarian, V., Castro, R. L., Kuznedelev, D., Panferov, A., Kurtic, E., Pandit, S., Marques, A., Kurtz, M., Ashkboos, S., Hoefler, T., & Alistarh, D. (2025). Bridging the Gap Between Promise and Performance for Microscaling FP4 Quantization. arXiv preprint arXiv:2509.23202. Chen, Y., Xu, X., Zhang, P., Beyer, M., Rapp, M., Zhu, J., & Chen, J. (2025b). TetraJet-v2: Accurate NVFP4 Training for Large Language Models with Oscillation Suppression and Outlier Control. arXiv preprint arXiv:2510.27527. Cook, J., Guo, J., Xiao, G., Lin, Y., & Han, S. (2025). Four Over Six: More Accurate NVFP4 Quantization with Adaptive Block Scaling. arXiv preprint arXiv:2512.02010. NVIDIA, et al. (2025). Pretraining Large Language Models with NVFP4. arXiv preprint arXiv:2509.25149. Xin, M., Priyadarshi, S., Xin, J., Kartal, B., Vavre, A., Thekkumpate, A. K., Chen, Z., Mahabaleshwarkar, A. S., Shahaf, I., Bercovich, A., Patel, K., Velury, S. V., Luo, C., Cheng, Z., Chen, J., Yu, C.-H., Ping, W., Rybakov, O., Tajbakhsh, N., Olabiyi, O., Stosic, D., Wu, D., Han, S., Chung, E., Sreenivas, S. T., Catanzaro, B., Suhara, Y., Blankevoort, T., & Mao, H. (2026). Quantization-Aware Distillation for NVFP4 Inference Accuracy Recovery. NVIDIA Technical Report.