Granite 4.0 von IBM: Neue Hybrid-Architektur für effizientere Sprachmodelle

IBMs Granite 4.0: Effizienzsteigerung bei KI-Modellen durch hybride Architektur

IBM hat die vierte Generation seiner Granite-Sprachmodelle vorgestellt, die unter dem Namen Granite 4.0 eine neuartige hybride Mamba/Transformer-Architektur einführen. Diese Entwicklung zielt darauf ab, den Speicherbedarf während der Inferenz signifikant zu senken, ohne dabei die Leistungsfähigkeit der Modelle zu beeinträchtigen. Für Unternehmen, die mit den steigenden Anforderungen moderner KI-Anwendungen konfrontiert sind, stellt dies einen wichtigen Fortschritt dar.

Architektonische Innovationen für verbesserte Ressourceneffizienz

Die Granite 4.0 Modelle zeichnen sich durch eine Kombination aus Mamba-2-Schichten und traditionellen Transformer-Blöcken aus, typischerweise in einem Verhältnis von 9:1. Während herkömmliche Transformer-Architekturen bei langen Kontextlängen schnell an ihre Speichergrenzen stoßen, bieten Mamba-2-Modelle eine lineare Skalierung mit konstanter Speichernutzung. Diese sequentielle Verarbeitung der Eingaben ermöglicht es, die Reihenfolge beizubehalten, ohne explizite Positionskodierungen zu benötigen. Transformer-Modelle behalten jedoch Vorteile beim In-Context Learning, wie beispielsweise bei Few-Shot-Prompts.

Die hybride Designphilosophie von IBM zielt darauf ab, die Stärken beider Ansätze zu vereinen. Insbesondere bei langen Eingabedaten oder der gleichzeitigen Verarbeitung mehrerer Sitzungen berichten interne Vergleiche von IBM, dass die hybriden Granite 4.0-H-Modelle den RAM-Verbrauch um über 70 % gegenüber konventionellen Transformer-LLMs reduzieren können. Dies führt zu geringeren GPU-Kosten bei gegebenen Durchsatz- und Latenz-Anforderungen. Die Modelle Granite-4.0-H-Tiny und Granite-4.0-H-Small nutzen zudem Mixture-of-Experts (MoE)-Blöcke mit "Shared Experts", die stets aktiv sind, um die Parameter-Effizienz weiter zu optimieren.

Modellvarianten und Anwendungsbereiche

Die Granite 4.0 Familie umfasst vier initiale Modellvarianten, die sowohl als Basis- als auch als Instruktionsvarianten verfügbar sind:

• Granite-4.0-H-Small: Ein hybrides Mixture-of-Experts (MoE)-Modell mit insgesamt 32 Milliarden Parametern, von denen 9 Milliarden aktiv sind. Dieses Modell ist als Generalist für produktive Unternehmensaufgaben konzipiert.
• Granite-4.0-H-Tiny: Ein hybrides MoE-Modell mit 7 Milliarden Gesamtparametern und 1 Milliarde aktiven Parametern.
• Granite-4.0-H-Micro: Ein dichtes Hybridmodell mit 3 Milliarden Parametern.
• Granite-4.0-Micro: Ein Standard-Transformer-Modell mit 3 Milliarden Parametern, das für Umgebungen gedacht ist, die keine Hybrid-Architekturen unterstützen.

Die Tiny- und Micro-Modelle sind für Anwendungen mit geringer Latenz und Edge-Szenarien optimiert und können als schnelle Module in größeren Agenten-Workflows, etwa für die Funktionsaufrufe, eingesetzt werden. Später im Jahr 2025 sollen Reasoning-optimierte ("Thinking") Varianten folgen.

Leistungsmerkmale und Benchmarks

IBM hebt die Leistungsfähigkeit der Granite 4.0 Modelle in unternehmensrelevanten Benchmarks hervor:

• IFEval (Instruction Following Evaluation): Das Granite-4.0-H-Small Modell soll hier führend unter den Open-Weight-Modellen sein und lediglich von Llama 4 Maverick (einem deutlich größeren Modell) übertroffen werden.
• BFCLv3 (Function Calling): Das H-Small Modell zeigt sich bei der Funktionsaufrufung als wettbewerbsfähig gegenüber größeren Modellen, sowohl offenen als auch geschlossenen, und bietet dabei ein vorteilhaftes Preis-Leistungs-Verhältnis.
• MTRAG (Multi-Turn RAG): Die Zuverlässigkeit bei komplexen Retrieval-Workflows wurde verbessert.

Die Modelle wurden auf einem umfassenden Datensatz von 22 Billionen Tokens trainiert, der DataComp-LM (DCLM), GneissWeb, TxT360-Subsets, Wikipedia und weitere geschäftsrelevante Quellen umfasst. Die öffentlichen Checkpoints auf Hugging Face sind in BF16 verfügbar, wobei auch quantisierte und GGUF-Konvertierungen publiziert werden. FP8 ist eine Ausführungsoption auf unterstützter Hardware.

Vertrauen, Sicherheit und Verfügbarkeit

Ein wesentlicher Aspekt der Granite 4.0 Modelle ist ihr Fokus auf Vertrauen und Sicherheit. Die Modelle sind die ersten offenen Sprachmodelle, die eine Akkreditierung gemäß dem internationalen Standard ISO/IEC 42001:2023 für KI-Managementsysteme erhalten haben. Diese Zertifizierung adressiert Aspekte wie Rechenschaftspflicht, Erklärbarkeit, Datenschutz und Zuverlässigkeit in KI-Systemen. Zusätzlich sind alle über Hugging Face vertriebenen Granite 4.0 Modell-Checkpoints kryptografisch signiert, was die Herkunft und Authentizität gewährleistet. IBM bietet zudem eine unbegrenzte Freistellung von Ansprüchen Dritter bezüglich des geistigen Eigentums für Inhalte, die mit Granite-Modellen auf IBM watsonx.ai generiert werden.

Die Granite 4.0 Modelle sind über verschiedene Plattformen zugänglich, darunter IBM watsonx.ai, Dell Pro AI Studio/Enterprise Hub, Docker Hub, Hugging Face, Kaggle, LM Studio, NVIDIA NIM, Ollama, OPAQUE und Replicate. Die Unterstützung für Amazon SageMaker JumpStart und Microsoft Azure AI Foundry wird in Kürze erwartet. Die hybriden Modelle sind mit AMD Instinct MI-300X GPUs kompatibel, was eine weitere Reduzierung des Speicherbedarfs ermöglichen kann. Optimierungen für Hexagon NPUs (über Qualcomm und Nexa AI) machen die Modelle auch für Smartphones und PCs nutzbar.

Ausblick und Implikationen für die KI-Landschaft

Die Einführung der IBM Granite 4.0 Familie markiert einen Schritt in Richtung effizienterer und vertrauenswürdigerer KI-Modelle. Durch die Reduzierung des Speicherbedarfs und der Hardwarekosten können Unternehmen leistungsstarke LLMs auf bestehender Infrastruktur oder mit geringeren Investitionen einsetzen. Dies könnte insbesondere kleinen und mittleren Unternehmen sowie Start-ups zugutekommen, für die die Rechenanforderungen bisher oft eine Hürde darstellten. Die Open-Source-Verfügbarkeit unter der Apache 2.0 Lizenz und die ISO 42001-Zertifizierung könnten eine breitere Entwicklergemeinschaft und Unternehmenskunden anziehen, die Wert auf Transparenz, Governance und Kosteneffizienz legen. Es wird erwartet, dass dies zu einer verstärkten Integration in bestehende Unternehmens-KI-Lösungen führen wird, insbesondere für Aufgaben, die eine hohe Effizienz und ein umfassendes Kontextverständnis erfordern.

Bibliography

- IBM. (n.d.). IBM Granite 4.0: Hyper-Efficient, High-Performance Hybrid Models. Retrieved from https://www.ibm.com/new/announcements/ibm-granite-4-0-hyper-efficient-high-performance-hybrid-models - IBM. (n.d.). Granite 4.0 Language Models. Hugging Face. Retrieved from https://huggingface.co/collections/ibm-granite/granite-40-language-models-6811a18b820ef362d9e5a82c - IBM. (n.d.). IBM watsonx.ai. Retrieved from https://www.ibm.com/products/watsonx-ai/foundation-models - Marktechpost. (2025, October 2). IBM Released new Granite 4.0 Models with a Novel Hybrid Mamba-2/Transformer Architecture Drastically Reducing Memory Use Without Sacrificing Performance. Retrieved from https://www.marktechpost.com/2025/10/02/ibm-released-new-granite-4-0-models-with-a-novel-hybrid-mamba-2-transformer-architecture-drastically-reducing-memory-use-without-sacrificing-performance/ - Infoworld. (n.d.). IBM launches Granite 4.0 to cut AI infra costs with hybrid Mamba-transformer models. Retrieved from https://www.infoworld.com/article/4067691/ibm-launches-granite-4-0-to-cut-ai-infra-costs-with-hybrid-mamba-transformer-models.html - The Decoder. (2025, October 3). IBM's Granite 4.0 family of hybrid models uses much less memory during inference. Retrieved from https://the-decoder.com/ibms-granite-4-0-family-of-hybrid-models-uses-much-less-memory-during-inference/ - Financial Content. (2025, October 2). IBM Unleashes Granite 4.0: A Hybrid AI Architecture Poised to Redefine Enterprise and Open-Source LLMs. Retrieved from https://markets.financialcontent.com/wral/article/tokenring-2025-10-3-ibm-unleashes-granite-40-a-hybrid-ai-architecture-poised-to-redefine-enterprise-and-open-source-llms