Gemma 4 von Google DeepMind: Fortschritte in multimodaler KI-Technologie

Googles Gemma 4: Eine neue Ära multimodaler KI-Modelle für alle Plattformen

Google DeepMind hat kürzlich die Veröffentlichung von Gemma 4 bekannt gegeben, der neuesten Generation seiner Open-Source-KI-Modellfamilie. Diese Entwicklung markiert einen bedeutenden Schritt in Richtung fortschrittlicher, multimodaler Intelligenz, die auf einer breiten Palette von Geräten – von Edge-Hardware bis hin zu leistungsstarken Workstations – eingesetzt werden kann. Als Senior Specialist Journalist und Analyst für Mindverse beleuchten wir die zentralen Aspekte und Implikationen dieser Veröffentlichung für die B2B-Zielgruppe.

Architektur und Fähigkeiten von Gemma 4

Die Gemma 4-Modelle bauen auf den Fortschritten ihrer Vorgänger auf und integrieren eine Reihe von Neuerungen, die ihre Leistungsfähigkeit und Flexibilität erheblich steigern. Ähnlich wie Gemma-3n unterstützen die neuen Modelle Text-, Bild- und Audioeingaben und generieren Textantworten. Die Text-Dekodierung basiert auf dem bewährten Gemma-Modell, wurde aber um die Unterstützung langer Kontextfenster erweitert. Der Bild-Encoder, ebenfalls eine Weiterentwicklung von Gemma 3, bietet zwei entscheidende Verbesserungen:

• Variable Seitenverhältnisse: Die Modelle können Bilder mit ihren ursprünglichen Seitenverhältnissen verarbeiten, was eine natürlichere und präzisere Interpretation ermöglicht.
• Konfigurierbare Bild-Token-Eingaben: Dies erlaubt die Abstimmung zwischen Geschwindigkeit, Speicherverbrauch und Bildqualität.

Gemma 4 ist in vier Größen erhältlich, die alle sowohl als Basis- als auch als instruktionsoptimierte Versionen vorliegen:

• Gemma 4 E2B: 2,3 Milliarden effektive Parameter (5,1 Milliarden mit Embeddings), 128K Kontextfenster.
• Gemma 4 E4B: 4,5 Milliarden effektive Parameter (8 Milliarden mit Embeddings), 128K Kontextfenster.
• Gemma 4 31B: 31 Milliarden dichte Parameter, 256K Kontextfenster.
• Gemma 4 26B A4B: Mixture-of-Experts (MoE) mit 4 Milliarden aktivierten und 26 Milliarden Gesamtparametern, 256K Kontextfenster.

Diese Modelle sind darauf ausgelegt, komplexe Argumentationen und agentische Workflows zu unterstützen. Sie bieten native Unterstützung für Funktionsaufrufe, strukturierte JSON-Ausgaben und Systemanweisungen, was den Aufbau autonomer Agenten ermöglicht. Darüber hinaus zeigen sie eine hohe Kompetenz in der Code-Generierung und -Korrektur.

Technische Innovationen im Detail

Die Architektur von Gemma 4 kombiniert bewährte Komponenten mit neuen Effizienzoptimierungen:

• Alternierende Aufmerksamkeits-Layer: Lokale Sliding-Window- und globale Full-Context-Aufmerksamkeits-Layer werden abwechselnd eingesetzt, um sowohl kurze als auch lange Abhängigkeiten effizient zu modellieren.
• Dual RoPE-Konfigurationen: Standard-RoPE für Sliding-Layer und proportionales RoPE für globale Layer ermöglichen längere Kontexte.
• Per-Layer Embeddings (PLE): Besonders in kleineren Modellen verbessert PLE die Schicht-spezifische Informationsverarbeitung, indem es jeder Dekodierschicht ein kleines, dediziertes Vektor-Signal zuführt.
• Shared KV Cache: Diese Optimierung reduziert Rechen- und Speicherbedarf während der Inferenz, indem die letzten N Schichten des Modells Key-Value-Zustände aus früheren Schichten wiederverwenden.
• Verbesserter Vision Encoder: Nutzt gelernte 2D-Positionen und multidimensionales RoPE, um das ursprüngliche Seitenverhältnis von Bildern zu bewahren und diese in verschiedene Token-Budgets zu kodieren.
• Audio Encoder: Basierend auf der USM-Stil Konformer-Architektur wie in Gemma-3n, mit Unterstützung für Audioeingaben in den kleineren Modellvarianten.

Multimodale Fähigkeiten und Anwendungsbereiche

Gemma 4 demonstriert umfassende multimodale Fähigkeiten direkt einsatzbereit. Die Modelle wurden erfolgreich für Aufgaben wie OCR, Spracherkennung, Objekterkennung und Zeigeaufgaben eingesetzt. Sie unterstützen ebenfalls textbasierte und multimodale Funktionsaufrufe, logisches Denken und Code-Vervollständigung.

Einige Beispiele für die Leistungsfähigkeit von Gemma 4 umfassen:

• Objekterkennung: Präzise Erkennung von GUI-Elementen und alltäglichen Objekten mit JSON-Ausgabe von Bounding Boxes.
• Multimodales Denken und Funktionsaufrufe: Fähigkeit, HTML-Code basierend auf einem Bild zu generieren und Wetterinformationen für einen Ort im Bild abzurufen.
• Video-Verständnis: Kleinere Gemma 4-Modelle können Videos mit Audio verarbeiten, größere auch ohne Audio, und liefern detaillierte Beschreibungen von Videoinhalten.
• Bildunterschriften: Alle Modelle erstellen detaillierte und nuancierte Bildunterschriften für komplexe Szenarien.
• Audio-Fragenbeantwortung und -Transkription: Die Modelle können Fragen zu Sprachinhalten in Audio beantworten und Audio transkribieren.

Einsatzmöglichkeiten und Ökosystem-Integration

Google hat Gemma 4 mit Day-0-Unterstützung für zahlreiche Open-Source-Inferenz-Engines und Bibliotheken veröffentlicht. Dies erleichtert die Implementierung und Nutzung der Modelle in verschiedenen Umgebungen:

• Hugging Face Transformers: Nahtlose Integration ermöglicht die Nutzung mit Bibliotheken wie bitsandbytes, PEFT und TRL für Fine-Tuning.
• Llama.cpp: Unterstützung für Bild- und Textverarbeitung auf lokalen Geräten, kompatibel mit lokalen Agenten und Apps wie llama-cpp server, LM Studio und Jan.
• MLX: Volle multimodale Unterstützung auf Apple Silicon-Geräten, inklusive TurboQuant für effiziente Inferenz bei geringem Speicherverbrauch.
• Mistral.rs: Rust-native Inferenz-Engine mit Day-0-Unterstützung für alle Modalitäten und integrierter Tool-Calling-Funktionalität.
• transformers.js: Ermöglicht die Ausführung von Gemma 4 direkt im Browser.

Darüber hinaus sind ONNX-Checkpoints verfügbar, die den Einsatz auf Edge-Geräten oder im Browser ermöglichen. Dies unterstreicht Googles Bestreben, KI-Modelle breit zugänglich zu machen und die Entwicklung zu fördern. Die Modelle können auf Google Cloud über Vertex AI und GKE bereitgestellt und trainiert werden.

Fine-Tuning und individuelle Anpassung

Gemma 4-Modelle sind für das Fine-Tuning auf verschiedenen Plattformen optimiert. TRL (Transformer Reinforcement Learning) wurde aktualisiert, um multimodale Tool-Antworten zu unterstützen, was es Modellen ermöglicht, während des Trainings Bilder von Tools zu empfangen. Ein Beispiel hierfür ist ein Trainingsskript, bei dem Gemma 4 lernt, in einem CARLA-Simulator zu fahren, indem es die Straße über eine Kamera wahrnimmt und entsprechend handelt.

Für Unternehmen, die eine Anpassung an spezifische Anwendungsfälle wünschen, bietet Google Cloud über Vertex AI die Möglichkeit, Gemma 4 mit SFT (Supervised Fine-Tuning) zu optimieren. Dies umfasst die Erstellung benutzerdefinierter Docker-Container mit den neuesten Tools und CUDA-Unterstützung.

Leistungsbenchmarks

Gemma 4-Modelle zeigen in verschiedenen Benchmarks herausragende Leistungen, darunter Argumentation, Kodierung, Bildverarbeitung und Langkontext-Aufgaben. Die Modelle bilden eine Pareto-Frontier, was bedeutet, dass sie im Verhältnis zu ihrer Größe eine sehr hohe Leistung erbringen. Das 31B Dense Modell erreicht beispielsweise einen geschätzten LMArena-Score von 1452 im Text-Modus, während das 26B MoE mit nur 4 Milliarden aktiven Parametern einen Score von 1441 erreicht.

Die Detailergebnisse der instruktionsoptimierten Modelle zeigen signifikante Verbesserungen gegenüber Gemma 3 in fast allen Kategorien, insbesondere bei Argumentations- und Kodierungsaufgaben sowie beim Umgang mit langen Kontexten.

Zum Beispiel:

• MMLU Pro: Gemma 4 31B erreicht 85,2 % gegenüber 67,6 % bei Gemma 3 27B.
• LiveCodeBench v6: Gemma 4 31B erzielt 80,0 % im Vergleich zu 29,1 % bei Gemma 3 27B.
• MRCR v2 8 needle 128k (Durchschnitt): Gemma 4 31B erreicht 66,4 % im Vergleich zu 13,5 % bei Gemma 3 27B.

Lizenzierung und Sicherheit

Gemma 4 wird unter einer kommerziell nutzbaren Apache 2.0 Lizenz veröffentlicht. Diese Open-Source-Lizenz bietet Entwicklern maximale Flexibilität und digitale Souveränität, indem sie volle Kontrolle über Daten, Infrastruktur und Modelle gewährt. Die Modelle unterliegen denselben strengen Sicherheitsstandards wie Googles proprietäre Modelle, was Unternehmen eine vertrauenswürdige und transparente Grundlage für ihre KI-Anwendungen bietet.

Fazit

Die Veröffentlichung von Gemma 4 durch Google DeepMind stellt einen wichtigen Meilenstein in der Entwicklung von Open-Source-KI dar. Mit ihrer multimodalen Fähigkeit, optimierten Architekturen, umfangreichen Einsatzmöglichkeiten und der kommerziell permissiven Lizenz bietet Gemma 4 eine leistungsstarke und zugängliche Lösung für eine Vielzahl von B2B-Anwendungen. Die umfassende Integration in das Open-Source-Ökosystem und die Möglichkeit des Fine-Tunings ermöglichen es Unternehmen, maßgeschneiderte KI-Lösungen zu entwickeln und die Grenzen der KI-Technologie weiter auszuschöpfen.

Wir bei Mindverse beobachten diese Entwicklungen genau und sind bestrebt, unseren Kunden stets die aktuellsten und relevantesten Informationen zur Verfügung zu stellen, um fundierte Entscheidungen im Bereich der Künstlichen Intelligenz zu treffen.

Bibliography: - Welcome Gemma 4: Frontier multimodal intelligence on device. Hugging Face Blog. - Gemma 4: Our most capable open models to date. Google Blog. - [AINews] Gemma 4: The best small Multimodal Open Models, dramatically better than Gemma 3 in every way. Latent.Space. - Announcing Gemma 4 on vLLM: Byte for byte, the most capable open models. vLLM Blog. - Frontier multimodal intelligence on device. BARD AI. - Welcome Gemma 3: Google's all new multimodal, multilingual, long context open LLM. Hugging Face Blog. - Welcome Gemma - Google’s new open LLM. Hugging Face Blog. - gemma4.md at main · huggingface/blog. GitHub. - Release v5.5.0. GitHub. - Welcome Gemma 2 - Google’s new open LLM. Hugging Face Blog.