Fortschritte bei deutschsprachigen KI-Modellen: LLäMmlein als neues Sprachmodell von der JMU

Deutschsprachige KI-Modelle gewinnen an Bedeutung: LLäMmlein – ein kompaktes und wettbewerbsfähiges Sprachmodell
Die Entwicklung von großen Sprachmodellen (LLMs) schreitet rasant voran, und immer mehr spezialisierte Modelle für verschiedene Sprachen und Anwendungsbereiche entstehen.  Ein vielversprechendes Beispiel für die deutsche Sprache ist LLäMmlein, ein neues Sprachmodell, das von Forschern an der Julius-Maximilians-Universität Würzburg (JMU) entwickelt und am Center for Artificial Intelligence and Data Science (CAIDAS) trainiert wurde.  Dieses Projekt stellt einen wichtigen Meilenstein für deutschsprachige LLMs dar, da es sich um eines der ersten komplett in Deutsch trainierten Modelle handelt.
LLäMmlein steht in zwei verschiedenen Größen zur Verfügung: LLäMmlein 120M und LLäMmlein 1B, wobei letzteres über eine Milliarde Parameter verfügt.  Die Bereitstellung verschiedener Modellgrößen ermöglicht es Entwicklern und Forschern, die jeweils passende Variante für ihre spezifischen Bedürfnisse auszuwählen, sei es für ressourcenbeschränkte Umgebungen oder für Anwendungen, die maximale Leistung erfordern.
Ein besonderer Fokus bei der Entwicklung von LLäMmlein lag auf der Transparenz und der Nutzbarkeit für die deutsche NLP-Forschungsgemeinschaft.  Sowohl die Modelle selbst als auch die Trainingsdaten wurden veröffentlicht.  Dieser offene Ansatz fördert die Zusammenarbeit und ermöglicht es anderen Forschern, auf den Ergebnissen aufzubauen und die Entwicklung deutschsprachiger LLMs weiter voranzutreiben.
Der Trainingsprozess von LLäMmlein umfasste mehrere Schritte, darunter eine umfassende Datenvorverarbeitung, die Erstellung eines maßgeschneiderten deutschen Tokenizers und die eigentliche Modellschulung.  Um die Lerndynamik zu überwachen, wurden während des Trainings mehrere Checkpoints gespeichert und mit dem SuperGLEBer-Benchmark analysiert.  SuperGLEBer ist ein speziell für die Evaluierung deutschsprachiger LLMs entwickelter Benchmark, der 29 verschiedene Aufgaben umfasst.
Die Evaluierung mit SuperGLEBer zeigt, dass LLäMmlein im Vergleich zu anderen State-of-the-Art-Modellen mit ähnlicher Parametergröße wettbewerbsfähig ist und diese in einigen Fällen sogar übertrifft.  Es zeigte sich, dass die Modellqualität erwartungsgemäß mit der Größe skaliert, jedoch die Leistungssteigerung bei einigen Aufgaben frühzeitig ein Plateau erreichte.  Diese Erkenntnisse liefern wertvolle Hinweise für die Ressourcenallokation bei der zukünftigen Modellentwicklung.
Die Entwicklung von LLäMmlein ist nicht nur für die deutsche NLP-Forschung von Bedeutung, sondern auch für eine Vielzahl von praktischen Anwendungen.  Durch die Fokussierung auf die deutsche Sprache können spezifische Anforderungen und Besonderheiten der Sprache besser berücksichtigt werden, was zu einer höheren Genauigkeit und besseren Performance in Anwendungen wie Chatbots, Textgenerierung, Übersetzung und Sentimentanalyse führen kann.  Darüber hinaus eröffnet die Veröffentlichung der Modelle und Trainingsdaten neue Möglichkeiten für die Forschung und Entwicklung im Bereich der deutschen Sprachverarbeitung.
Die Rechenleistung für das Training von LLäMmlein wurde vom Alex-Cluster des NHR@FAU bereitgestellt.  Das Training des 1B-Modells benötigte etwa 50.000 Rechenstunden auf A100-GPUs mit 80 GB Speicher und dauerte rund fünf Wochen auf 64 GPUs.  Dieser hohe Rechenaufwand unterstreicht die Komplexität des Trainings großer Sprachmodelle und die Bedeutung leistungsstarker Recheninfrastrukturen für die Weiterentwicklung der KI-Forschung.
Die Entwicklung von LLäMmlein ist ein wichtiger Schritt in Richtung leistungsfähiger und spezialisierter Sprachmodelle für die deutsche Sprache.  Die transparente Veröffentlichung der Modelle und Daten legt den Grundstein für zukünftige Forschung und Innovation im Bereich der deutschen Sprachverarbeitung und trägt zur Stärkung des deutschen KI-Ökosystems bei.  Mindverse, als deutscher Anbieter von KI-Lösungen, verfolgt diese Entwicklungen mit großem Interesse und sieht in spezialisierten Sprachmodellen wie LLäMmlein ein enormes Potenzial für die Entwicklung innovativer Anwendungen.

Bibliographie:
- Pfister, J., Wunderle, J., & Hotho, A. (2024). LLäMmlein: Compact and Competitive German-Only Language Models from Scratch. arXiv preprint arXiv:2411.11171. - CAIDAS publishes first all-German large language model “LLäMmlein”. (2024, November 15).  https://hpc.fau.de/2024/11/15/caidas-trains-first-all-german-large-language-model-llaemmlein/ - deepset. (2019). Open Sourcing German BERT Model. https://www.deepset.ai/german-bert - Idrissi-Yaghir, A., et al. (2024). Comprehensive Study on German Language Models for Clinical and Biomedical Text Understanding. In Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024) (pp. 3654–3665). - Reimers, N., & Gurevych, I. (2023). Making Sense of Dense and Sparse BERT Derivatives. Findings of the Association for Computational Linguistics: ACL 2023, 826–840. - Reimers, N., & Gurevych, I. (2020). Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks. arXiv preprint arXiv:1908.10084. - Luo, H., Ge, J., Kim, Y., & Glass, J. (2023). Entailment as Robust Self-Learner.  https://paperreading.club/page?id=266683