Skalierungsgesetze für den Vergleich von Open-Source-Modellen in der Bild- und Sprachverarbeitung

Skalierungsgesetze ermöglichen robusten Vergleich von Open-Source-Modellen für Bild- und Sprachverarbeitung

Die Entwicklung von großen Sprach- und Bildverarbeitungsmodellen (Large Language-Vision Models, LLVMs) schreitet rasant voran. Dabei stellt die vergleichende Bewertung verschiedener Modelle und Trainingsdaten eine Herausforderung dar. Eine neue Studie untersucht nun, wie Skalierungsgesetze für einen robusten Vergleich von Open-Source-LLVMs und Datensätzen eingesetzt werden können.

Skalierungsgesetze beschreiben den Zusammenhang zwischen der Modellleistung, der Modellgröße, der Menge der Trainingsdaten und dem Rechenaufwand. Sie erlauben Vorhersagen über die Performance von Modellen bei Vergrößerung dieser Faktoren. Die vorliegende Arbeit nutzt diese Gesetze nicht nur zur Performance-Prognose, sondern auch zum direkten Vergleich verschiedener Modelle und Datensätze.

Im Fokus der Studie stehen zwei prominente Open-Source-LLVMs: CLIP und MaMMUT. CLIP verwendet einen kontrastiven Lernansatz, während MaMMUT zusätzlich einen generativen Verlust für Bildunterschriften einsetzt. Die Forscher leiteten Skalierungsgesetze für beide Modelle ab, basierend auf umfangreichen Messungen über verschiedene Modellgrößen und Datenmengen hinweg.

Die Ergebnisse zeigen, dass MaMMUT im Vergleich zu CLIP eine stärkere Leistungsverbesserung mit zunehmender Skalierung und eine höhere Dateneffizienz aufweist. Diese Beobachtung bestätigte sich konsistent über verschiedene Downstream-Tasks wie Klassifizierung, Retrieval und Segmentierung sowie über verschiedene offene Datensätze wie DataComp, DFN und Re-LAION.

Um die Vergleichbarkeit zu gewährleisten, wurden die Skalierungsgesetze unter verschiedenen Bedingungen abgeleitet, darunter auch mit konstanter Lernrate, um den Rechenaufwand zu reduzieren. Die Ergebnisse blieben dabei konsistent.

Die Studie demonstriert, dass Skalierungsgesetze ein wertvolles Werkzeug für den systematischen Vergleich von Open-Source-LLVMs und Datensätzen darstellen. Sie ermöglichen eine fundierte Bewertung über verschiedene Skalierungen hinweg und vermeiden irreführende Schlussfolgerungen, die auf Messungen mit einzelnen Referenzgrößen basieren.

OpenMaMMUT-L/14: Ein neues Open-Source-Modell mit hoher Leistung

Basierend auf den Erkenntnissen der Skalierungsgesetze trainierten die Forscher openMaMMUT-L/14, eine Variante von MaMMUT, mit 12,8 Milliarden Samples aus dem DataComp-1.4B Datensatz. Dieses Modell erreicht eine Zero-Shot-Genauigkeit von 80,3% auf ImageNet-1k und übertrifft damit oder entspricht als vollständig Open-Source-Modell anderen Modellen derselben Rechenklasse.

Die Veröffentlichung der trainierten Modelle, Zwischencheckpoints und des Codes zur Reproduktion der Experimente unterstreicht den Open-Source-Charakter der Forschung und ermöglicht es der Community, auf diesen Ergebnissen aufzubauen und die Entwicklung von LLVMs weiter voranzutreiben.

Die Anwendung von Skalierungsgesetzen zur Modellbewertung und -entwicklung verspricht, die Forschung im Bereich der Bild- und Sprachverarbeitung zu beschleunigen und die Entwicklung noch leistungsfähigerer und effizienterer Modelle zu ermöglichen. Insbesondere für Unternehmen wie Mindverse, die sich auf KI-basierte Content-Erstellung und maßgeschneiderte KI-Lösungen spezialisiert haben, bieten diese Erkenntnisse wertvolle Anhaltspunkte für die Auswahl und Optimierung von Modellen.

Bibliographie:

1. http://www.arxiv.org/abs/2506.04598
2. http://paperreading.club/page?id=313774
3. https://huggingface.co/papers?q=Scaling%20Consistency
4. https://huggingface.co/JJitsev
5. https://arxiv.org/abs/2503.19551
6. https://papers.cool/arxiv/cs.AI?sort=1
7. https://openreview.net/forum?id=i9K2ZWkYIP
8. https://westai.de/publikationen/florenz-scaling-laws-for-systematic-generalization-in-vision-language-models/
9. https://hfday.ru/
10. https://papers.nips.cc/paper_files/paper/2022/hash/8c22e5e918198702765ecff4b20d0a90-Abstract-Conference.html