LG präsentiert neue Open-Source-Sprachmodelle der EXAONE 3.5-Serie

LG veröffentlicht Open-Source-Sprachmodelle EXAONE 3.5

LG AI Research hat drei Versionen seines großen Sprachmodells (LLM) EXAONE 3.5 als Open Source veröffentlicht. Die Modelle mit 2,4 Milliarden, 7,8 Milliarden und 32 Milliarden Parametern bieten verbesserte Leistung im Bereich der Instruktionsbefolgung und des Verständnisses langer Texte. Sie sind über Hugging Face, GitHub und die LG AI Research Website verfügbar.

Drei Modelle für unterschiedliche Anforderungen

Die drei Modelle richten sich an verschiedene Anwendungsfälle. Das 2,4-Milliarden-Parameter-Modell ist für den Einsatz auf Geräten mit begrenzten Ressourcen optimiert, während das 7,8-Milliarden-Parameter-Modell eine vielseitige Lösung für allgemeine Anwendungen darstellt. Das leistungsstärkste Modell mit 32 Milliarden Parametern zielt auf anspruchsvolle Aufgaben ab, die hohe Rechenleistung erfordern. Alle drei Modelle unterstützen die Verarbeitung von Texten mit bis zu 32.000 Token, was einem Kontext von etwa 100 Seiten entspricht.

Verbesserte Leistung und Fokus auf praktische Anwendung

EXAONE 3.5 wurde in Benchmarks als führend in Bezug auf die Instruktionsbefolgung und das Verständnis langer Texte bewertet. Die Modelle zeichnen sich durch verbesserte Fähigkeiten in den Bereichen Mathematik und Programmierung aus und unterstützen sowohl Englisch als auch Koreanisch. LG AI Research betont den Fokus auf reale Anwendungsfälle und die Nutzbarkeit der Modelle in verschiedenen Branchen. Der interne KI-Agent ChatEXAONE, der auf EXAONE 3.5 basiert, wird bereits von LG-Mitarbeitern eingesetzt, um die Produktivität und Effizienz zu steigern.

Open Source für Forschung und Innovation

Die Veröffentlichung von EXAONE 3.5 als Open Source unterstreicht das Engagement von LG AI Research für die Förderung eines offenen KI-Forschungsökosystems. Durch die Bereitstellung der Modelle für Forschungszwecke sollen Innovationen beschleunigt und die Zusammenarbeit innerhalb der KI-Community gestärkt werden. Für die kommerzielle Nutzung ist jedoch eine separate Lizenzvereinbarung mit LG AI Research erforderlich.

Training und Architektur

Die EXAONE 3.5-Modelle basieren auf der Decoder-only-Transformer-Architektur und wurden mit einem umfangreichen Datensatz trainiert. Durch die Anwendung von Supervised Fine-Tuning (SFT) und Direct Preference Optimization (DPO) wurde die Fähigkeit der Modelle verbessert, Anweisungen zu befolgen und menschliche Präferenzen zu berücksichtigen.

Zukünftige Entwicklungen

LG AI Research arbeitet bereits an der Weiterentwicklung von EXAONE und plant für 2025 die Entwicklung eines KI-Agenten basierend auf dem Large Action Model (LAM), das selbstständig planen und handeln kann. Das Unternehmen strebt die Entwicklung von KI-Modellen an, die im internationalen Vergleich führend sind und in realen industriellen Anwendungen eingesetzt werden können.

Bibliographie:

1. https://www.lgresearch.ai/blog/view?seq=507
2. https://github.com/LG-AI-EXAONE/EXAONE-3.5
3. https://www.mind-verse.de/news/fortschritte-lg-exaone-3-5-grosse-sprachmodelle-anwendungen
4. https://www.prnewswire.com/news-releases/lg-released-new-version-of-generative-ai-exaone-3-5--302325665.html
5. https://huggingface.co/LGAI-EXAONE/EXAONE-3.5-7.8B-Instruct
6. https://analyticsindiamag.com/ai-news-updates/lg-ai-unveils-exaone-3-5-models-for-industrial-use/
7. https://koreajoongangdaily.joins.com/news/2024-12-09/business/industry/LG-AI-Research-opensources-three-versions-of-its-Exaone-LLM/2196203