Granite Switch 4.1: IBM bündelt Chat, Entscheidungen und Spracherkennung

Ein Modellpaket für mehrere Aufgaben

IBM hat am 15. Oktober Granite Switch 4.1 vorgestellt. Die Varianten Granite-Switch-4.1-8B und -30B sollen natürliche Sprachdialoge mit allgemeinen und spezialisierten Entscheidungsaufgaben sowie Spracherkennung verbinden. Das Unternehmen beschreibt sie als ein Modell beziehungsweise einen gemeinsamen Endpunkt, über den sich zwischen diesen Aufgaben wechseln lässt. [1]

Konkret nennt IBM drei integrierte Komponenten: eine Decision-aLoRA für allgemeine Entscheidungsaufgaben, eine spezialisierte Guardian-aLoRA für sicherheitsbezogene Entscheidungen und Granite Speech 5.0 Turbo CTC für die Transkription. Die Produktankündigung verknüpft damit unterschiedliche Arbeitsschritte, die in einer Anwendung sonst über mehrere Modelle oder Dienste verteilt sein könnten. [1]

Die Meldung ist eine Anbieterankündigung. Sie beschreibt die vorgesehene Architektur und verweist auf eine Demonstration, enthält aber keine unabhängigen Tests, die Leistung, Kosten oder Zuverlässigkeit des Gesamtpakets unter realen Unternehmensbedingungen bestätigen. [1]

• Angekündigte Switch-Varianten: 8B und 30B. [1]
• Genannte Funktionen: Chat, allgemeine und spezialisierte Entscheidungen sowie Audio-Transkription. [1]
• Die als 3B Preview bezeichnete Variante wird in einer separaten Modellkarte dokumentiert; sie ist nicht mit den beiden in der Ankündigung hervorgehobenen 8B- und 30B-Modellen gleichzusetzen. [1][3]

Was „Decision“ und „Guardian“ hier bedeuten

Die Decision-aLoRA ist laut IBM für allgemeine Entscheidungsaufgaben gedacht. Der Guardian-Adapter zielt enger auf sicherheitsbezogene Prüfungen. Die zugehörige Modellkarte für die 3B-Vorschau beschreibt verwandte Adapterfunktionen, darunter Sicherheits- und Faktenprüfung, Richtlinienkontrolle, Antwortbarkeit im RAG-Kontext und Erkennung möglicher Halluzinationen. Das sind spezialisierte Prüfschritte; aus ihrer Verfügbarkeit folgt nicht, dass das Sprachmodell in jeder Anwendung automatisch sicher oder faktisch zuverlässig arbeitet. [1][3]

IBM beschreibt die Adapter als Activated LoRAs. In der 3B-Modellkarte erfolgt ihre Auswahl über Kontrolltokens, die über das Chat-Template gesetzt werden. Ein Switch-Layer erkennt diese Steuerung und wählt nach der Beschreibung die Adaptergewichte für die jeweiligen Tokenpositionen aus. Damit wird die Aufgabenwahl in den Inferenzablauf integriert, statt für jede Funktion zwingend ein getrenntes Modell bereitzustellen. [3]

Warum die Adapter-Architektur für den Betrieb relevant ist

Bei getrennten Modellen können Unternehmen mehrere Modellkopien und entsprechend mehr Speicher- und Rechenkapazität benötigen. IBM argumentiert, Granite Switch vermeide einen Teil dieses Aufwands, weil die Adapter zusammen mit dem Basismodell bereitgestellt werden und laut Ankündigung ungefähr denselben GPU-Speicher beanspruchen wie das Basismodell allein. Das ist eine Herstellerangabe; konkrete Speicherwerte für bestimmte GPUs, Präzisionen oder gleichzeitige Nutzer nennt die Meldung nicht. [1]

Die Modellkarte erläutert eine wichtige technische Grenze des Cache-Konzepts: Adapter sollen jeweils nur den KV-Cache des Basismodells verwenden und nicht die internen Cache-Zustände anderer Adapter. So können Adapter laut Dokumentation unabhängig entwickelt werden und ihre Ergebnisse in einem Ablauf aufeinander aufbauen, ohne dass ein Adapter die internen Aktivierungen eines anderen übernimmt. [3]

IBM zufolge lassen sich dadurch bei nachfolgenden adapterbasierten Entscheidungen Cache-Berechnungen der Basismodellgenerierung wiederverwenden. Zusätzlich nennt das Unternehmen Beiträge zur vLLM-Inferenz und einen gemeinsam angeordneten ASR-Encoder als Gründe für schnellere Wechsel zwischen Chat-, Entscheidungs- und Sprachaufgaben. Die Ankündigung quantifiziert den jeweiligen Beitrag dieser Maßnahmen jedoch nicht. [1]

Für Ihre Architekturplanung ist deshalb nicht allein die Zahl der Modellparameter entscheidend. Relevant sind auch die tatsächliche Speicherbelegung, die Zahl paralleler Anfragen, der Anteil der einzelnen Aufgaben und die Frage, ob der gemeinsame Ablauf tatsächlich weniger Infrastruktur benötigt als eine Kombination separater Modelle. Das ist eine betriebliche Prüffrage, kein durch die Ankündigung bereits belegtes Ergebnis. [1][3]

• Die 3B-Modellkarte führt Transformers und vLLM als unterstützte Inferenzwege auf. [3]
• Adapter werden in der beschriebenen 3B-Implementierung über das Chat-Template ausgewählt; das vermeidet laut Modellkarte Änderungen am Anwendungscode für die Adapterwahl, nicht aber die erforderliche Integration und Prüfung der Gesamtanwendung. [3]
• Die Modellkarte empfiehlt ausdrücklich Tests im jeweiligen Einsatzfall und laufende Überwachung, insbesondere bei sicherheitskritischen Anwendungen. [3]

„Ein Endpunkt“ ist nicht gleich ein verwalteter Unternehmensdienst

IBM verweist auf eine Speech-to-Decisions-Demonstration in einem Hugging-Face-Space. Dort soll Granite-Switch-4.1-8B Audio transkribieren, Zusammenfassungen erzeugen, schädliche Inhalte prüfen und weitere nutzerdefinierte Kriterien testen. IBM bezeichnet den Ablauf als Echtzeit-Demonstration über einen Endpunkt. [1]

Daraus lässt sich keine allgemeine Verfügbarkeit als verwalteter Unternehmensdienst ableiten. Die Ankündigung nennt in den vorliegenden Angaben weder Service-Level, regionale Bereitstellung, Datenschutzbedingungen noch Preise. Zudem weist die Modellkarte zur 3B-Vorschau darauf hin, dass dieses Modell nicht über einen Hugging-Face-Inference-Provider bereitgestellt wird; sie beschreibt stattdessen lokale beziehungsweise selbst betriebene Wege über Transformers oder vLLM. Die Aussagen beziehen sich auf unterschiedliche Varianten und Bereitstellungsarten. [1][3]

Benchmarks: gemischte Ergebnisse statt eines pauschalen Vorsprungs

IBM zufolge übertrifft der Guardian-Adapter im Durchschnitt mehrere andere Entscheidungsmodelle bei sicherheitsbezogenen Aufgaben. Die Ankündigung nennt Jev 1.13, Microsoft-Decision-1, GPT-Luna-Decisions und Clef-Flash als Vergleichsmodelle. Im selben Beitrag weist die dargestellte Ergebnistabelle jedoch sowohl positive als auch negative Abstände aus: Für Guardian Core werden etwa ein Vorsprung von 2,3 Punkten bei OOD Safety und ein Rückstand von 2,6 Punkten bei LM-AggreFact aufgeführt. [1]

Auch bei weiteren spezialisierten Adaptern zeigt die Tabelle kein einheitliches Bild. Beim Requirement Check nennt IBM beispielsweise einen deutlichen Vorsprung bei IFEval, aber einen Rückstand bei zwei InfoBench-Messungen. Die Zahlen sprechen damit für aufgabenspezifische Unterschiede, nicht für eine allgemeine Überlegenheit bei jeder Entscheidungsaufgabe. [1]

Die veröffentlichten Angaben reichen nicht aus, um die Ergebnisse unabhängig nachzuvollziehen: Der Beitrag bietet in der vorliegenden Fassung keine vollständige Beschreibung der Testbedingungen, Unsicherheitsintervalle oder einheitlichen Vergleichsgrundlage für alle Kennzahlen. Unternehmen sollten die Werte daher als IBM-eigene Benchmarkangaben behandeln und sie vor einer Modellauswahl mit eigenen Testfällen ergänzen. [1]

• IBM berichtet außerdem, Granite-Switch-4.1-30B habe einen fünfstufigen RAG-Ablauf schneller abgeschlossen als Jev-27B. Ein konkreter Zeitwert oder eine vollständige Messmethodik wird in der Ankündigung nicht angegeben. [1]
• Für ein angepasstes 3B-Modell nennt IBM 60 bis 100 Entscheidungen pro Sekunde in einer Doom-Demonstration und stellt dem eine von Jev berichtete Rate von 10 Entscheidungen pro Sekunde gegenüber. Auch dieser Vergleich ist eine Anbieterangabe und kein Nachweis für die Leistung typischer Unternehmens-Workloads. [1]

Was die ASR-Aussage belegt – und was nicht

IBM bezeichnet Granite Speech 5.0 Turbo CTC als das schnellste ASR-Modell auf dem OpenASR-Leaderboard. Die Switch-Ankündigung führt diese Ranglistenposition als Begründung für die Integration an. Die vorliegenden Quellen enthalten jedoch keine unabhängige Auswertung der Rangliste, keine konkreten Messwerte und keine Beschreibung, wie sich das Modell unter den Bedingungen eines bestimmten Unternehmens verhält. [1]

Für die Bewertung im Betrieb genügt ein Spitzenwert aus einem Benchmark nicht. Zu prüfen wären unter anderem die Erkennungsqualität bei den tatsächlich verwendeten Sprachen, Fachbegriffen und Aufnahmebedingungen sowie die Latenz und der Ressourcenbedarf im eigenen Durchsatzprofil. Das sind sinnvolle Evaluationsfragen; konkrete Antworten darauf liefert die Ankündigung nicht. [1]

Verfügbarkeit und Erweiterbarkeit

Die Ankündigung verweist auf Modellkarten für die Varianten 8B und 30B, eine Demonstration und den Granite-Switch-Code. Sie kündigt außerdem ein Adapter-SDK für das Training eigener Adapter in Mellea sowie weitere Tutorials an. Diese Formulierung beschreibt geplante nächste Schritte; ein Veröffentlichungsdatum für das SDK nennt IBM nicht. [1]

Eine separate Hugging-Face-Modellkarte dokumentiert bereits eine Granite-Switch-4.1-3B-Preview. Sie beschreibt ein Basismodell mit zwölf Adaptern aus den Granite-Libraries, nennt Apache 2.0 als Lizenz und führt Transformers sowie vLLM als unterstützte Backends auf. Die Modellkarte datiert die Vorschau auf den 5. Mai 2026. Das belegt die Dokumentation dieser Preview, nicht automatisch denselben Funktionsumfang oder Bereitstellungsstatus der in der Ankündigung beschriebenen 8B- und 30B-Versionen. [3][1]

Die 3B-Modellkarte warnt zudem, dass zusätzliche Guardian-Adapter keine Anwendungstests ersetzen. Für Deployments empfiehlt sie, das Verhalten im konkreten Einsatzfall zu prüfen, domänengerechte Inhaltsfilter einzusetzen und Ausgaben besonders bei sicherheitskritischen Aufgaben zu überwachen. [3]

• Für die dokumentierte 3B-Preview nennt die Modellkarte Apache 2.0 als Lizenz. [3]
• Die Modellkarte beschreibt ein einzelnes Checkpoint mit eingebetteten Adaptern und einer Zuordnung von Adaptern zu Kontrolltokens. [3]
• Die Ankündigung enthält keine konkreten Preise oder Angaben zu Service-Leveln für einen gehosteten Produktionsdienst. [1]

Einordnung für Unternehmen

Der Ansatz kann für Organisationen interessant sein, die mehrere klar umrissene Modellfunktionen in einer gemeinsamen Inferenzumgebung betreiben wollen. Die potenzielle Vereinfachung liegt in der gemeinsamen Modellbasis und der gezielten Auswahl spezialisierter Adapter. Wie groß ein möglicher Effizienzgewinn ausfällt, hängt jedoch von der konkreten Hardware, den Aufgabentypen und der Auslastung ab; die verfügbaren Quellen liefern hierfür keine unabhängigen Produktionsmessungen. [1][3]

Für eine belastbare Bewertung empfiehlt sich daher ein kontrollierter Vergleich mit dem bestehenden Aufbau: dieselben Eingaben, dieselben Qualitäts- und Sicherheitskriterien sowie Messungen von Latenz, Durchsatz und Ressourcenverbrauch. Bei Transkription und Sicherheitsprüfungen sollten Sie zusätzlich Fehlerfolgen und erforderliche menschliche Kontrolle berücksichtigen. Diese Einordnung folgt aus den in den Quellen beschriebenen spezialisierten Funktionen und den ausdrücklich empfohlenen Anwendungstests. [1][3]

Quellen

1. [1] Granite Switch 4.1: Chat, Decisions, and Speech from One Endpoint — https://huggingface.co/blog/ibm-granite/granite-switch-4-1 (abgerufen am 2026-10-15)
2. [3] ibm-granite/granite-switch-4.1-3b-preview · Hugging Face — https://huggingface.co/ibm-granite/granite-switch-4.1-3b-preview (abgerufen am 2026-10-15)