Ein innovatives mehrsprachiges KI-Modell für die EU

Ein europäisches Sprachmodell für 24 Sprachen

Das EU-geförderte Forschungsprojekt OpenGPT-X hat sein großes Sprachmodell Teuken-7B veröffentlicht. Dieses 7-Milliarden-Parameter-Modell ist über Hugging Face verfügbar und unterstützt alle 24 offiziellen Sprachen der Europäischen Union. Im Gegensatz zu vielen anderen großen Sprachmodellen, die hauptsächlich auf Englisch trainiert wurden, wurde Teuken-7B von Grund auf multilingual entwickelt. Etwa die Hälfte der Trainingsdaten stammt aus nicht-englischen europäischen Sprachen. Die Entwickler betonen die stabile und zuverlässige Leistung des Modells in allen 24 EU-Sprachen.

Multilingualität im Fokus

Teuken-7B ist eines der wenigen großen Sprachmodelle, das von Beginn an multilingual trainiert wurde. Diese Herangehensweise unterscheidet es von vielen anderen Modellen, die meist zunächst auf Englisch trainiert und später für andere Sprachen angepasst werden. Durch den Fokus auf europäische Sprachen und die gleichmäßige Berücksichtigung von nicht-englischen Daten im Trainingsprozess soll Teuken-7B die sprachliche Vielfalt Europas besser abbilden.

Open Source und Gaia-X

Das Modell ist Open Source und unter der Apache-2.0-Lizenz verfügbar, was sowohl die Nutzung in der Forschung als auch die kommerzielle Anwendung ermöglicht. Unternehmen können Teuken-7B anpassen und für eigene Anwendungen einsetzen, ohne sensible Daten an externe Anbieter weitergeben zu müssen. Die Integration in die Gaia-X-Infrastruktur gewährleistet zudem die Einhaltung europäischer Datenschutzstandards.

Effizientes Training durch multilingualen Tokenizer

Ein wichtiger Aspekt des Projekts war die Entwicklung eines multilingualen Tokenizers. Tokenizer zerlegen Wörter in einzelne Komponenten (Tokens). Ein multilingualer Tokenizer optimiert die Effizienz des Trainingsprozesses und reduziert die Kosten, insbesondere bei Sprachen mit komplexen Wortstrukturen wie Deutsch, Finnisch oder Ungarisch. Im Vergleich zu anderen multilingualen Tokenizern, wie denen von Llama 3 oder Mistral, soll der von OpenGPT-X entwickelte Tokenizer zu deutlich geringeren Trainingskosten führen.

Europäische Supercomputer-Infrastruktur

Das Training von Teuken-7B erfolgte unter anderem auf dem JUWELS-Supercomputer am Forschungszentrum Jülich, einem der leistungsstärksten Rechner Deutschlands. Die im Projekt gewonnenen Erkenntnisse fließen auch in die Entwicklung des europäischen Exascale-Supercomputers JUPITER ein, der am Forschungszentrum Jülich entsteht und zukünftig noch leistungsfähigere Ressourcen für die Entwicklung komplexer KI-Modelle bieten soll.

Evaluierung und Ausblick

Zur Evaluierung von Teuken-7B und anderen multilingualen Sprachmodellen hat das OpenGPT-X-Team das European LLM Leaderboard entwickelt. Dieses Leaderboard ermöglicht den Vergleich der Leistung verschiedener Modelle in den europäischen Sprachen und geht damit über die bisher übliche, englischzentrierte Bewertung hinaus. Das Projekt OpenGPT-X läuft noch bis März 2025. In dieser Zeit sind weitere Optimierungen und Evaluierungen des Modells geplant.

Bibliography https://blogs.helmholtz.de/research-field-information/en/2024/11/27/multilingual-and-open-source-opengpt-x-releases-large-language-model/ https://idw-online.de/de/news?print=1&id=843616 https://opengpt-x.de/en/models/teuken-7b/ https://tu-dresden.de/tu-dresden/newsportal/news/mehrsprachig-und-open-source-forschungsprojekt-opengpt-x-veroeffentlicht-grosses-ki-sprachmodell?set_language=en https://www.fz-juelich.de/en/news/archive/announcements/2024/multilingual-and-open-source-opengpt-x-releases-large-language-model https://techxplore.com/news/2024-11-multilingual-source-opengpt-large-language.html https://www.chemistryviews.org/open-source-ai-language-model-with-a-distinctly-european-perspective/ https://www.it-daily.net/en/shortnews-en/teuken-7b-european-ai-model-challenges-us-giants https://huggingface.co/openGPT-X/Teuken-7B-instruct-commercial-v0.4 https://slator.com/first-large-language-model-supporting-all-eu-languages-is-here/