Neues multimodales Sprachmodell MiniCPM-o 4.5 von OpenBMB vorgestellt

Die Landschaft der Künstlichen Intelligenz wird kontinuierlich durch die Einführung neuer und verbesserter Modelle erweitert. Ein aktuelles Beispiel hierfür ist die Veröffentlichung der Streaming-Anwendung für das MiniCPM-o 4.5 Modell auf der Plattform Hugging Face. Dieses Modell, entwickelt von OpenBMB, positioniert sich als ein fortschrittliches multimodales Sprachmodell (MLLM), das darauf ausgelegt ist, komplexe Interaktionen in Echtzeit zu ermöglichen.

Einführung in MiniCPM-o 4.5

MiniCPM-o 4.5 stellt die neueste Iteration der MiniCPM-o-Serie dar und integriert Fähigkeiten aus den Bereichen Vision, Sprache und Full-Duplex Multimodales Live-Streaming. Das Modell wurde auf der Basis von SigLip2, Whisper-medium, CosyVoice2 und Qwen3-8B entwickelt und umfasst insgesamt 9 Milliarden Parameter. Diese Architektur ermöglicht es dem Modell, gleichzeitig visuelle und auditive Eingabeströme zu verarbeiten und entsprechende Text- und Sprachausgaben zu generieren, ohne gegenseitige Blockaden.

Architektur und technische Grundlagen

Die Grundlage von MiniCPM-o 4.5 bildet eine End-to-End-Architektur. Dies bedeutet, dass die verschiedenen Modalitäten – Vision, Sprache und Text – nicht separat, sondern in einem integrierten System verarbeitet werden. Die Verwendung bekannter Komponenten wie SigLip2 für die Bildverarbeitung, Whisper-medium für die Spracherkennung und CosyVoice2 für die Sprachgenerierung, kombiniert mit dem Qwen3-8B Sprachmodell, bildet ein kohärentes System. Diese Integration zielt darauf ab, ein flüssiges und echtzeitfähiges omnimodales Konversationserlebnis zu schaffen.

Leistungsmerkmale und Fähigkeiten

MiniCPM-o 4.5 weist eine Reihe von Merkmalen auf, die seine Leistungsfähigkeit in verschiedenen Anwendungsbereichen unterstreichen:

Führende visuelle Fähigkeiten

Das Modell erzielt auf OpenCompass, einem umfassenden Bewertungsrahmen für acht gängige Benchmarks, einen Durchschnittswert von 77,6. Mit nur 9 Milliarden Parametern übertrifft es in den visuellen Sprachfähigkeiten proprietäre Modelle wie GPT-4o und Gemini 2.0 Pro und nähert sich der Leistung von Gemini 2.5 Flash an. Es unterstützt sowohl den Instruktions- als auch den Denkmodus in einem einzigen Modell, was eine Anpassung an unterschiedliche Nutzungsszenarien ermöglicht, die Effizienz und Leistung berücksichtigen.

Starke Sprachfähigkeiten

MiniCPM-o 4.5 unterstützt zweisprachige Echtzeit-Sprachkonversationen in Englisch und Chinesisch mit konfigurierbaren Stimmen. Es bietet eine natürliche, ausdrucksstarke und stabile Sprachkonversation. Darüber hinaus ermöglicht das Modell Funktionen wie Stimmklonung und Rollenspiele durch einfache Referenz-Audioclips, wobei die Klonierungsleistung Tools wie CosyVoice2 übertrifft.

Full-Duplex und proaktives multimodales Live-Streaming

Eine der hervorstechenden Neuerungen ist die Fähigkeit zu Full-Duplex und proaktivem multimodalen Live-Streaming. Das Modell kann kontinuierliche Video- und Audio-Eingabeströme gleichzeitig verarbeiten und parallel Text- und Sprachausgaben generieren. Dies ermöglicht es MiniCPM-o 4.5, gleichzeitig zu sehen, zu hören und zu sprechen. Über reaktive Antworten hinaus kann das Modell auch proaktive Interaktionen durchführen, wie das Initiieren von Erinnerungen oder Kommentaren basierend auf seinem kontinuierlichen Verständnis der Live-Szene.

OCR-Fähigkeiten und Effizienz

Das Modell verarbeitet hochauflösende Bilder (bis zu 1,8 Millionen Pixel) und Videos mit hoher Bildrate (bis zu 10 fps) effizient in jedem Seitenverhältnis. Es erreicht zudem eine hohe Leistung beim End-to-End-Parsing englischer Dokumente auf OmniDocBench, wobei es proprietäre Modelle wie Gemini-3 Flash und GPT-5 sowie spezialisierte Tools wie DeepSeek-OCR 2 übertrifft. Es unterstützt auch mehr als 30 Sprachen und zeigt vertrauenswürdiges Verhalten, das mit Gemini 2.5 Flash auf MMHal-Bench vergleichbar ist.

Einfache Nutzung und Implementierung

Die Entwickler haben darauf geachtet, die Nutzung von MiniCPM-o 4.5 vielseitig und zugänglich zu gestalten. Es kann auf verschiedene Weisen eingesetzt werden:

• Lokale Geräte: Unterstützung für llama.cpp und Ollama ermöglicht eine effiziente CPU-Inferenz auf lokalen Geräten.
• Quantisierte Modelle: Int4- und GGUF-formatierte quantisierte Modelle sind in 16 Größen verfügbar.
• Hoher Durchsatz: VLLM- und SGLang-Unterstützung für Inferenz mit hohem Durchsatz und effizientem Speicherverbrauch.
• Multi-Chip-Backend: FlagOS-Unterstützung für das vereinheitlichte Multi-Chip-Backend-Plugin.
• Feinabstimmung: Feinabstimmung auf neuen Domänen und Aufgaben mit LLaMA-Factory.
• Web-Demo: Eine Online-Web-Demo ist verfügbar. Ein leistungsstarkes llama.cpp-omni Inferenz-Framework in Kombination mit einer WebRTC-Demo ermöglicht das Full-Duplex multimodale Live-Streaming auf lokalen Geräten wie PCs (z.B. MacBook).

Anwendungsbeispiele

Das Modell bietet vielfältige Anwendungsmöglichkeiten, die von einfachen Konversationen bis hin zu komplexen multimodalen Szenarien reichen:

• Sprachkonversation: Die Fähigkeit zur Stimmklonung und Rollenwiedergabe ermöglicht interaktive Dialoge mit anpassbaren Stimmen und Charakterprofilen.
• Visuelle Analyse: Die Verarbeitung von Bildern und Videos eröffnet Möglichkeiten für visuelle Analyseaufgaben wie Objekterkennung, Szenenbeschreibung und OCR.
• Full-Duplex Interaktion: In Echtzeit können Nutzer Video- und Audio-Eingaben bereitstellen und sofortige, kohärente Antworten in Text- und Sprachform erhalten.

Fazit

Die Veröffentlichung der Streaming-Anwendung für MiniCPM-o 4.5 auf Hugging Face unterstreicht die fortschreitende Entwicklung im Bereich der multimodalen KI. Das Modell demonstriert eine Kombination aus fortschrittlichen visuellen und sprachlichen Fähigkeiten, die in Echtzeit und auf verschiedenen Hardware-Plattformen eingesetzt werden können. Die angebotenen Funktionen und die flexible Implementierung positionieren MiniCPM-o 4.5 als ein Werkzeug, das für B2B-Anwendungen im Bereich der KI-gestützten Kommunikation und Analyse von Bedeutung sein könnte.

Bibliografie:

- openbmb/MiniCPM-o-4_5 - Hugging Face. (n.d.). Abgerufen am 24. Juni 2024, von https://huggingface.co/openbmb/MiniCPM-o-4_5 - openbmb/MiniCPM-o-4_5 at a0b2878 - Hugging Face. (n.d.). Abgerufen am 24. Juni 2024, von https://huggingface.co/openbmb/MiniCPM-o-4_5/commit/a0b28789837801b80ca674a178cc5cb27843fba8 - MiniCPM-o 4.5 Demo - a Hugging Face Space by openbmb. (n.d.). Abgerufen am 24. Juni 2024, von https://huggingface.co/spaces/openbmb/MiniCPM-o-4_5-Demo - OpenBMB/MiniCPM-o: A Gemini 2.5 Flash Level MLLM for Vision, Speech, and Full-Duplex Mulitmodal Live Streaming on Your Phone. (n.d.). GitHub. Abgerufen am 24. Juni 2024, von https://github.com/OpenBMB/MiniCPM-o - openbmb/MiniCPM-V-4_5-int4. (n.d.). Hugging Face. Abgerufen am 24. Juni 2024, von https://huggingface.co/openbmb/MiniCPM-V-4_5-int4 - openbmb/MiniCPM-V-4_5. (n.d.). Hugging Face. Abgerufen am 24. Juni 2024, von https://huggingface.co/openbmb/MiniCPM-V-4_5 - openbmb/MiniCPM-V-4_5 at main. (n.d.). Hugging Face. Abgerufen am 24. Juni 2024, von https://huggingface.co/openbmb/MiniCPM-V-4_5/tree/main - openbmb/MiniCPM-V-4 · Hugging Face. (n.d.). Abgerufen am 24. Juni 2024, von https://huggingface.co/openbmb/MiniCPM-V-4 - Update README.md · openbmb/MiniCPM-o-4_5 at cdc2b36. (n.d.). Hugging Face. Abgerufen am 24. Juni 2024, von https://huggingface.co/openbmb/MiniCPM-o-4_5/commit/cdc2b3616c2ecb706d37b44f7b4603231577d8e9 - (n.d.). Abgerufen am 24. Juni 2024, von https://huggingface.co/openbmb/MiniCPM-o-2_6/raw/a5359502c25da987b8cac80771edfbe84cedc17b/README.md