HyperCLOVA X und die Vision einer souveränen künstlichen Intelligenz in Südkorea

Künstliche Intelligenz (KI) hat sich in den letzten Jahren rasant entwickelt und ist zu einem integralen Bestandteil der digitalen Transformation weltweit geworden. Eine der jüngsten Entwicklungen in diesem Bereich ist HyperCLOVA X, ein umfangreiches Sprachmodell, das speziell für die koreanische Sprache und Kultur entwickelt wurde. Dieses Modell, das auch in Englisch, Mathematik und Programmierung wettbewerbsfähige Fähigkeiten aufweist, ist das Ergebnis einer ausgewogenen Mischung aus koreanischen, englischen und Code-Daten.

HyperCLOVA X stellt die dritte Generation hyperskalierbarer KI-Sprachmodelle dar, die der Öffentlichkeit zugänglich gemacht werden. Es ist das Ergebnis jahrelanger Forschung und Entwicklung durch NAVER Cloud, ein Tochterunternehmen der südkoreanischen Internet-Company NAVER. NAVER Cloud konzentrierte sich bei der Entwicklung von HyperCLOVA X auf vier Schlüsselaspekte: das Grundmodell, hochwertige Daten, Feinabstimmung/Anpassung und Supercomputing-Infrastruktur.

Das Grundmodell von HyperCLOVA wurde von NAVER bereits im Herbst 2020 entwickelt, wobei das Unternehmen in hyperskalierbare KI investierte und so zum dritten weltweiten Anbieter eines öffentlich zugänglichen großen Sprachmodells wurde. Durch kontinuierliche Investitionen in Forschung und Entwicklung konnte NAVER Cloud ein hochleistungsfähiges Grundmodell entwickeln und vor anderen globalen Technologieunternehmen ankündigen.

HyperCLOVA X wurde mit hochwertigen Daten trainiert, die über 20 Jahre hinweg mit Zustimmung der Nutzer auf den Plattformen wie NAVER Blog, Café und Knowledge-iN gesammelt wurden. Diese Trainingsdaten sind 6.500-mal größer als die von GPT-3 und enthalten relevante Informationen über koreanische Kultur und Lebensweise. Darüber hinaus wurde eine soziale Bias-Datenbank in koreanischer Sprache namens 'KoSBi' entwickelt, um sichere Satzklassifikatoren zu trainieren, die soziale Vorurteile in großen Sprachmodellen filtern und mildern können. Nach der Forschung sank das Verhältnis unsicherer Generationen um 16,47 % nach der Filterung basierend auf 'KoSBi'-Daten, und HyperCLOVA zeigte nach der Filterung eine bessere qualitative Leistung als GPT-3. Zusätzlich wurde ein koreanischer Bias-Benchmark-Datensatz namens 'KoBBQ' erstellt, um die kulturelle Relevanz der KI-Modelle in Bezug auf die koreanische Kultur zu verbessern. Diese Datensätze tragen auch dazu bei, HyperCLOVA X sicherer und vertrauenswürdiger zu machen.

Durch die Nutzung hochwertiger Daten kann HyperCLOVA X den Kontext besser verstehen und Fragen in koreanischer Sprache besser beantworten, was seine Nützlichkeit für koreanische Nutzer erhöht. NAVER Cloud verfügt über langjährige Erfahrung in der Entwicklung und dem Betrieb von Cloud-basierten Plattformen und beschäftigt Experten, die auf LLMOps spezialisiert sind. HyperCLOVA X wird kontinuierlich auf die Bedürfnisse der Kunden abgestimmt und angepasst.

Was die Infrastruktur betrifft, besitzt NAVER Cloud mehrere Supercomputer, die für das Training von LLMs mit mehr als 100 Milliarden Parametern ausreichend sind, und verfügt über jahrelange Betriebserfahrung in der Pflege dieser Infrastruktur. NAVER Cloud betreibt das größte KI-Datenzentrum in Korea und entwickelt optimale KI-Halbleiter, um eine sichere und hochwertige Infrastruktur bereitzustellen, die HyperCLOVA X effizient unterstützen kann.

Die Entwicklung von HyperCLOVA X ist ein Beispiel für den wachsenden Bedarf an "Sovereign AI", einer KI-Infrastruktur und -Modell, die es jedem Land oder Unternehmen ermöglicht, seine Daten vollständig zu besitzen und zu kontrollieren, anstatt globalen Standards oder spezifischen Unternehmen zu folgen. Dies steht im Einklang mit dem weltweiten Trend, die Abhängigkeit von kulturell voreingenommenen KI-Modellen, insbesondere solchen, die von großen globalen Tech-Unternehmen im Silicon Valley entwickelt wurden, zu reduzieren. Die wirtschaftliche Belastung für koreanische Kunden, die KI-Modelle verwenden müssen, deren Preismodelle auf Englisch (einer lateinbasierten Sprache) ausgelegt sind, ist deutlich höher als in englischsprachigen Ländern. Das liegt daran, dass englischzentrierte Modelle englisch-optimierte Tokenizer mit einer festgelegten Token-Vokabulargröße verwenden, während in nicht-lateinischen Sprachen ein Token durch ein Byte ersetzt wird, was die Kosten für die Verarbeitung in diesen Sprachen erhöht.

Ferner zeigen englischbasierte große Sprachmodelle (LLMs) oft ein geringeres Verständnis für die soziokulturellen Perspektiven und die Geschichte anderer nicht-englischsprachiger Länder. Um diese Probleme zu lösen, hat NAVER Cloud Jahre damit verbracht, sein unabhängiges auf Korea zugeschnittenes KI-Modell zu entwickeln.

Die kontinuierliche Entwicklung von HyperCLOVA X und die Implementierung von Maßnahmen zur Reduzierung sozialer Vorurteile zeigen das Engagement von NAVER Cloud, eine KI zu schaffen, die nicht nur technologisch fortgeschritten, sondern auch kulturell sensibel und sicher ist. Während HyperCLOVA X als ein Meilenstein in der Entwicklung der KI-Souveränität Südkoreas gilt, wird es interessant sein zu beobachten, wie sich solche Modelle weiterentwickeln und wie sie die globale KI-Landschaft beeinflussen werden.

Quellen:
- Twitter-Profil von @_akhaliq
- Futurium (Europäische KI-Allianz): Best Practices - HyperCLOVA X: Leading AI Sovereignty in South Korea
- Forschungsarbeit auf arXiv: "What Changes Can Large-scale Language Models Bring? Intensive Study on HyperCLOVA: Billions-scale Korean Generative Pretrained Transformers"