Neueste Entwicklungen bei den multimodalen Gemma 4 Modellen von Google DeepMind

Einführung in Gemma 4: Eine neue Ära der multimodalen Open-Source-KI

Die Landschaft der Künstlichen Intelligenz (KI) entwickelt sich rasant, und mit der Veröffentlichung der vierten Generation der Gemma-Modelle durch Google DeepMind wird ein weiterer signifikanter Schritt in Richtung zugänglicherer und leistungsfähigerer multimodaler KI getan. Diese Modelle, die unter der kommerziell nutzbaren Apache 2.0 Lizenz veröffentlicht wurden, bieten eine breite Palette an Fähigkeiten, die für eine anspruchsvolle B2B-Zielgruppe von grossem Interesse sein dürften.

Architektur und Fähigkeiten: Mehr als nur Text

Gemma 4 baut auf den Fundamenten früherer Gemma-Versionen auf und erweitert deren Funktionalitäten erheblich. Im Gegensatz zu reinen Textmodellen sind die Gemma 4 Varianten von Grund auf als multimodale Systeme konzipiert. Sie unterstützen nicht nur Text- und Bildeingaben, sondern die kleineren Modelle, E2B (Effective 2B) und E4B (Effective 4B), integrieren auch Audiofunktionen. Dies ermöglicht eine umfassendere Interaktion mit der Welt und eröffnet neue Anwendungsmöglichkeiten.

Modellvarianten und ihre Einsatzgebiete

Die Gemma 4 Familie umfasst vier Hauptgrößen, die jeweils für spezifische Anwendungsfälle optimiert sind:

• Gemma 4 E2B: Mit 2.3 Milliarden effektiven Parametern (5.1 Milliarden mit Embeddings) und einem Kontextfenster von 128K ist dieses Modell ideal für den Einsatz auf Edge-Geräten und mobilen Anwendungen. Es ist besonders auf Effizienz bei Rechenleistung und Speichernutzung ausgelegt.
• Gemma 4 E4B: Mit 4.5 Milliarden effektiven Parametern (8 Milliarden mit Embeddings) und ebenfalls einem 128K Kontextfenster bietet es eine erhöhte Leistungsfähigkeit für mobile und IoT-Geräte.
• Gemma 4 26B A4B: Ein Mixture-of-Experts (MoE) Modell mit 26 Milliarden Gesamtparametern, von denen 4 Milliarden aktiv sind. Dieses Modell bietet ein Kontextfenster von 256K und ist auf niedrige Latenz bei gleichzeitig hoher Qualität ausgelegt. Es eignet sich für anspruchsvolle lokale Anwendungen auf Workstations.
• Gemma 4 31B: Das größte und dichteste Modell der Familie mit 31 Milliarden Parametern und einem 256K Kontextfenster. Es ist auf maximale Rohleistung und Qualität ausgelegt und bildet eine robuste Basis für spezialisiertes Fine-Tuning.

Architektonische Neuerungen

Einige der bemerkenswerten architektonischen Merkmale von Gemma 4 umfassen:

• Per-Layer Embeddings (PLE): Diese Funktion, die bereits in Gemma-3n eingeführt wurde, ermöglicht eine effizientere Verarbeitung von Token-Informationen, indem sie jedem Decoder-Layer einen kleinen, dedizierten Vektor zuführt. Dies minimiert den Overhead und erhöht die Spezialisierung pro Layer.
• Shared KV Cache: Eine Optimierung, die Rechenleistung und Speicher während der Inferenz reduziert, indem Key- und Value-Tensoren aus früheren Layern wiederverwendet werden. Dies ist besonders vorteilhaft für die Generierung langer Kontexte.
• Verbesserter Vision-Encoder: Der Bild-Encoder unterstützt variable Seitenverhältnisse und eine konfigurierbare Anzahl von Image-Token-Eingaben, was ein besseres Gleichgewicht zwischen Geschwindigkeit, Speicherverbrauch und Bildqualität ermöglicht.
• Dual RoPE Konfigurationen: Standard-RoPE für gleitende Schichten und proportionale RoPE für globale Schichten ermöglichen längere Kontexte.

Multimodale Fähigkeiten in der Praxis

Die multimodalen Fähigkeiten von Gemma 4 sind umfassend und umfassen unter anderem:

• Objekterkennung und -lokalisierung: Die Modelle können Objekte in Bildern erkennen und deren Begrenzungsrahmen im JSON-Format ausgeben, ohne dass spezifische Anweisungen oder grammatikalische Einschränkungen erforderlich sind.
• Multimodales Denken und Funktionsaufrufe: Gemma 4 kann HTML-Code basierend auf Bildeingaben generieren oder Wetterinformationen durch Funktionsaufrufe für einen in einem Bild gezeigten Ort abrufen.
• Videoverständnis: Kleinere Gemma 4 Modelle können Videos mit Audio verarbeiten, während größere Modelle Videos ohne Audio verstehen. Dies ermöglicht die Analyse von Videoinhalten und die Beantwortung von Fragen dazu.
• Bildunterschriftengenerierung: Die Modelle sind in der Lage, detaillierte Bildunterschriften für komplexe Szenarien zu erstellen.
• Audio-Fragenbeantwortung und Transkription: Speziell trainiert, um Fragen zu Sprachinhalten in Audioaufnahmen zu beantworten und Audio zu transkribieren.

Bereitstellung und Fine-Tuning: Flexibilität für Entwickler

Gemma 4 wurde mit dem Ziel entwickelt, maximale Flexibilität bei der Bereitstellung und Anpassung zu bieten. Es gibt eine breite Unterstützung für gängige Open-Source-Inferenz-Engines und Frameworks:

• Hugging Face Transformers: Bietet erstklassige Unterstützung für Gemma 4, einschliesslich Integrationen mit Bibliotheken wie bitsandbytes, PEFT und TRL für effizientes Fine-Tuning.
• Llama.cpp: Ermöglicht die Nutzung von Gemma 4 mit lokalen Anwendungen und Agenten, einschliesslich Support für Bild- und Texteingaben.
• MLX: Bietet vollständige multimodale Unterstützung für Gemma 4, einschliesslich TurboQuant für effiziente Inferenz auf Apple Silicon.
• Mistral.rs: Eine Rust-native Inferenz-Engine mit Day-0-Unterstützung für alle Modalitäten von Gemma 4 und integrierter Tool-Calling-Funktionalität.
• Fine-Tuning mit TRL: Die Modelle sind vollständig für das Fine-Tuning mit TRL optimiert, einschliesslich Unterstützung für multimodale Tool-Antworten. Dies wird durch Anwendungsbeispiele wie das Fahren in einem Simulator veranschaulicht.
• Vertex AI: Es existieren Anleitungen und Beispiele für das Fine-Tuning von Gemma 4 auf Vertex AI, einschliesslich des Einsatzes von SFT und benutzerdefinierten Docker-Containern.
• Unsloth Studio: Eine Benutzeroberfläche für das Fine-Tuning und die Ausführung von Gemma 4 Modellen lokal oder auf Google Colab.

Leistung und Benchmarks

Die Gemma 4 Modelle zeigen eine bemerkenswerte Leistung über verschiedene Benchmarks hinweg, die von Reasoning und Coding bis hin zu Vision und Long-Context-Aufgaben reichen. Die Modelle bilden eine Pareto-Grenze in Bezug auf Leistung und Größe. Insbesondere das 31B-Modell erzielt hohe Werte in Text-Leaderboards, und die kleineren Modelle definieren den Nutzen auf Edge-Geräten neu, indem sie multimodale Fähigkeiten, niedrige Latenz und nahtlose Ökosystemintegration priorisieren.

Detaillierte Benchmark-Ergebnisse (Auszug)

• Reasoning & Wissen: Gemma 4 31B erreicht 85.2% in MMLU Pro und 89.2% in AIME 2026 (ohne Tools).
• Coding: LiveCodeBench v6 zeigt 80.0% für Gemma 4 31B und 2150 ELO in Codeforces für das 31B-Modell.
• Vision: MMMU Pro liegt bei 76.9% für Gemma 4 31B und 85.6% in MATH-Vision.
• Audio: CoVoST erreicht 35.54 für Gemma 4 E4B und FLEURS (niedriger ist besser) 0.08 für E4B.
• Langer Kontext: MRCR v2 8 needle 128k (Durchschnitt) liegt bei 66.4% für Gemma 4 31B.

Fazit

Die Gemma 4 Modelle stellen eine bedeutende Weiterentwicklung im Bereich der Open-Source-KI dar. Ihre multimodalen Fähigkeiten, die breite Unterstützung für verschiedene Entwicklungs- und Bereitstellungsumgebungen sowie die beeindruckenden Leistungsbenchmarks positionieren sie als wertvolles Werkzeug für Unternehmen, die innovative KI-Lösungen entwickeln möchten. Die Apache 2.0 Lizenz unterstreicht das Engagement für Offenheit und Zugänglichkeit, was die Adoption und Weiterentwicklung in der B2B-Welt fördern dürfte.

Bibliography: - Welcome Gemma 4: Frontier multimodal intelligence on device (Hugging Face Blog) - Fine-tune Gemma 4 with TRL on Vertex AI - Hugging Face (Hugging Face Docs) - Fine-Tune Gemma-4 on Your Own Dataset Locally - YouTube (Fahd Mirza) - Gemma 4: Our most capable open models to date - Google Blog (Google Blog) - Fine-Tune Gemma using Hugging Face Transformers and QLoRA (Google AI for Developers) - Fine-Tuning Gemma Models in Hugging Face (Hugging Face Blog) - Gemma 3 · Hugging Face (Hugging Face Docs) - Gemma4 · Hugging Face (Hugging Face Docs) - gemma4.md at main · huggingface/blog (GitHub) - Gemma · Hugging Face (Hugging Face Docs)