Neues Forschungsprojekt verbessert offene multimodale Sprachmodelle durch hochwertige Trainingsdaten

Durchbruch bei offenen multimodalen Sprachmodellen: Das "Bee"-Projekt setzt neue Maßstäbe

Die Landschaft der Künstlichen Intelligenz wird zunehmend von multimodalen großen Sprachmodellen (MLLMs) geprägt, die in der Lage sind, Informationen aus verschiedenen Quellen wie Text und Bild zu verarbeiten. Während proprietäre MLLMs beeindruckende Fortschritte erzielen, stehen vollständig offene Modelle oft vor der Herausforderung, eine vergleichbare Leistungsfähigkeit zu erreichen. Eine aktuelle Forschungsarbeit, bekannt als das "Bee"-Projekt, adressiert diesen Engpass durch die Einführung eines hochwertigen Korpus und einer umfassenden Software-Suite, die darauf abzielt, fortschrittliche, vollständig offene MLLMs zu ermöglichen.

Die Herausforderung offener MLLMs: Datenqualität als Engpass

Bisherige Bemühungen, vollständig offene MLLMs zu entwickeln, wurden maßgeblich durch die Qualität der für das überwachte Fine-Tuning (SFT) verwendeten Daten limitiert. Bestehende Open-Source-Datensätze weisen häufig ein hohes Maß an Rauschen auf und mangeln an komplexen Schlussfolgerungsdaten, wie sie beispielsweise in "Chain-of-Thought" (CoT) Ansätzen zum Einsatz kommen. Diese Defizite behindern die Entwicklung fortschrittlicher Modellfähigkeiten und führen dazu, dass offene Modelle hinter ihren proprietären Pendants zurückbleiben.

"Honey-Data-15M": Ein neuer Standard für SFT-Datensätze

Im Zentrum des "Bee"-Projekts steht die Einführung von Honey-Data-15M, einem neuen Datensatz für das überwachte Fine-Tuning (SFT). Dieser Datensatz umfasst circa 15 Millionen Frage-Antwort-Paare, die mittels verschiedener Reinigungstechniken aufbereitet und durch eine innovative duale CoT-Anreicherungsstrategie (kurz- und langfristig) erweitert wurden. Die sorgfältige Kuratierung dieses Datensatzes zielt darauf ab, die Qualität der Trainingsdaten signifikant zu verbessern und somit eine robustere Grundlage für die Entwicklung von MLLMs zu schaffen.

"HoneyPipe" und "DataStudio": Transparenz und Anpassungsfähigkeit in der Datenkuratierung

Neben dem Datensatz präsentiert das Forschungsteam auch HoneyPipe, eine Datenkuratierungspipeline, und ihr zugrunde liegendes Framework DataStudio. Diese Suite bietet der Community eine transparente und anpassbare Methodik für die Datenkuratierung, die über die statische Veröffentlichung von Datensätzen hinausgeht. Dies ermöglicht es Forschenden und Entwicklern, eigene Daten effizient zu verwalten und aufzubereiten, um die spezifischen Anforderungen ihrer Modelle zu erfüllen.

"Bee-8B": Ein neues State-of-the-Art in offenen MLLMs

Zur Validierung des neuartigen Datensatzes und der Pipeline wurde das Modell Bee-8B trainiert, ein 8-Milliarden-Parameter-Modell, das auf Honey-Data-15M basiert. Experimentelle Ergebnisse zeigen, dass Bee-8B einen neuen State-of-the-Art (SOTA) für vollständig offene MLLMs etabliert. Seine Leistung erweist sich als wettbewerbsfähig und übertrifft in einigen Fällen sogar die von neueren semi-offenen Modellen wie InternVL3.5-8B. Dies unterstreicht die These der Forschenden, dass ein prinzipieller Fokus auf Datenqualität ein entscheidender Weg ist, um vollständig offene MLLMs zu entwickeln, die mit ihren semi-offenen Gegenstücken mithalten können.

Umfassende Ressourcen für die KI-Community

Das "Bee"-Projekt stellt der Community eine umfassende Sammlung an grundlegenden Ressourcen zur Verfügung. Dazu gehören:

• Der Honey-Data-15M Korpus
• Die Full-Stack-Suite bestehend aus HoneyPipe und DataStudio
• Trainingsrezepte
• Ein Evaluierungs-Harness
• Die Modellgewichte von Bee-8B

Diese Veröffentlichung soll die Entwicklung und Forschung im Bereich der vollständig offenen MLLMs aktiv fördern und eine Basis für zukünftige Innovationen schaffen.

Ausblick und Implikationen

Die Ergebnisse des "Bee"-Projekts deuten darauf hin, dass die Leistungsdifferenz zwischen offenen und proprietären MLLMs durch gezielte Investitionen in die Datenqualität und innovative Kuratierungsprozesse signifikant verringert werden kann. Für Unternehmen im B2B-Bereich, die auf KI-Lösungen setzen, bedeutet dies eine wachsende Verfügbarkeit leistungsfähiger und transparenter Open-Source-Modelle. Die Fähigkeit, Daten effizient zu kuratieren und Modelle auf Basis hochwertiger Datensätze zu trainieren, wird zu einem entscheidenden Wettbewerbsfaktor. Mindverse als Ihr KI-Partner verfolgt diese Entwicklungen genau, um Ihnen stets die aktuellsten Erkenntnisse und Tools zur Verfügung zu stellen, die Ihre Geschäftsziele unterstützen.

Bibliography

- "Bee: A High-Quality Corpus and Full-Stack Suite to Unlock Advanced Fully Open MLLMs". Yi Zhang, Bolin Ni, Xin-Sheng Chen, Heng-Rui Zhang, Yongming Rao, Houwen Peng, Qinglin Lu, Han Hu, Meng-Hao Guo, Shi-Min Hu. Veröffentlicht am 15. Oktober 2025. arXiv:2510.13795. - Hugging Face, "Daily Papers". Letzter Zugriff: 16. Oktober 2025. https://huggingface.co/papers/date/2025-10-16 - ChatPaper.ai, "Daily Papers - AI Learning Assistant: Chat, Summary & Generate". Letzter Zugriff: 16. Oktober 2025. https://chatpaper.ai/en/dashboard/papers