Innovatives multimodales KI-Modell Kimi k1.5 von Moonshot AI vorgestellt

Ein neuer Herausforderer im KI-Bereich: Moonshot AI präsentiert Kimi k1.5

Das chinesische Unternehmen Moonshot AI hat mit Kimi k1.5 ein neues multimodales KI-Modell vorgestellt, das im Bereich des komplexen Schlussfolgerns (Reasoning) vielversprechende Ergebnisse erzielt und etablierte Modelle wie OpenAI's o1 herausfordert. Kimi k1.5 tritt damit in direkte Konkurrenz zu anderen kürzlich veröffentlichten Modellen wie DeepSeek-R1.

Zwei Versionen für unterschiedliche Anforderungen

Moonshot AI bietet Kimi k1.5 in zwei Varianten an: Eine "Long-Chain-of-Thought" (long-CoT) Version für detaillierte, schrittweise Argumentationen und eine "Short-Chain-of-Thought" (short-CoT) Version für prägnante Antworten. Beide Versionen erreichen oder übertreffen laut Unternehmensangaben die Leistung führender Modelle wie o1 und DeepSeek-R1 in verschiedenen Benchmarks. Während die long-CoT-Version ihren Denkprozess transparent macht, zielt die short-CoT-Version auf kurze, prägnante Antworten ab und erzielt in einigen Benchmarks vergleichbare oder bessere Ergebnisse als Modelle wie GPT-4o und Claude 3.5 Sonnet.

Multimodalität als Schlüsselmerkmal

Im Gegensatz zu DeepSeek-R1 verarbeitet Kimi k1.5 sowohl Text als auch Bilder und kann so Schlussfolgerungen aus verschiedenen Eingabedaten ziehen. Besonders in multimodalen Benchmarks wie MathVista und MMMU schneidet das Modell gut ab. Es ist jedoch zu beachten, dass die Leistung in der Praxis von den Benchmark-Ergebnissen abweichen kann, wie es bei allen KI-Modellen der Fall ist.

Der Entwicklungsprozess: Von Pre-Training bis Reinforcement Learning

Der Entwicklungsprozess begann mit einem standardmäßigen Pre-Training auf einem umfangreichen Datensatz aus Text und Bildern, um ein grundlegendes Sprach- und Bildverständnis aufzubauen. Anschließend wurde das Modell mit einem sorgfältig ausgewählten, kleineren Datensatz feinabgestimmt (Supervised Fine-Tuning, SFT). Für Aufgaben mit eindeutigen richtigen oder falschen Antworten, wie z.B. mathematische Probleme, wurde "Rejection Sampling" verwendet, bei dem mehrere Antworten generiert und nur die korrekten für das Training verwendet werden. Zusätzlich wurden Trainingsdaten erstellt, die detaillierte, schrittweise Argumentationen zeigen.

In der letzten Phase kam Reinforcement Learning zum Einsatz, jedoch mit einem entscheidenden Unterschied zu herkömmlichen Ansätzen. Anstatt Wertfunktionen zur Bewertung von Zwischenschritten zu verwenden, konzentrierte sich das Team auf das Endergebnis. Dies gibt dem Modell mehr Freiheit, verschiedene Wege zur richtigen Antwort zu erforschen. Um die Effizienz der Antworten zu gewährleisten, wurde eine Bestrafung für zu lange Antworten eingeführt.

Effizienzsteigerung im Reasoning-Prozess

Da detailliertes Schlussfolgern (long-CoT) zwar gute Ergebnisse liefert, aber mehr Rechenleistung benötigt, entwickelte das Team Methoden, um dieses Wissen auf Modelle zu übertragen, die kürzere Antworten geben. Sie kombinierten verschiedene Techniken, darunter Modellfusion und "Shortest Rejection Sampling", das die prägnanteste korrekte Antwort aus mehreren Versuchen auswählt. Die Forschungsergebnisse zeigten auch, dass effektive Reasoning-Modelle keine komplizierten Komponenten wie Monte-Carlo Tree Search benötigen – ähnlich wie bei der Entwicklung von DeepSeek-R1.

Kontextlänge und Leistung

Das Team stellte fest, dass eine Erhöhung der Kontextlänge (bis zu 128.000 Token) die Leistung durch komplexeres Schlussfolgern konsistent verbessert. Dieser Erfolg bei der Übertragung von Wissen von längeren auf kürzere Modelle spiegelt einen breiteren Trend in der Branche wider. Ähnliche Knowledge-Distillation-Techniken wurden vermutlich auch bei der Entwicklung von Anthropics kleinerem, aber leistungsstarkem Claude 3.5 Sonnet verwendet.

Moonshot AI: Ein schnell wachsendes Unternehmen

Das 2023 gegründete Unternehmen Moonshot AI konnte im Februar 2024 über 1 Milliarde US-Dollar an Finanzmitteln unter der Führung von Alibaba sichern und erreichte eine Bewertung von 2,5 Milliarden US-Dollar. Bis August stieg dieser Wert nach weiteren Investitionen von Tencent und Gaorong Capital auf 3,3 Milliarden US-Dollar. Während Kimi k1.5 die Grundlage für den ChatGPT-Konkurrenten des Unternehmens bilden soll, hat Moonshot AI die Modelle noch nicht öffentlich zugänglich gemacht.

Bibliography:

1. https://the-decoder.com/moonshot-ai-unveils-kimi-k1-5-chinas-next-o1-competitor/
2. https://github.com/MoonshotAI/Kimi-k1.5
3. https://www.globaltimes.cn/page/202411/1323248.shtml
4. https://www.threads.net/@luokai/post/DFDZpiNT3mn?hl=de
5. https://ground.news/article/kimi-k15-the-first-non-openai-model-to-match-full-powered-o1-performance
6. https://www.therundown.ai/p/deepseek-releases-open-source-r1
7. https://cheatsheet.md/ai-news/kimi-ai
8. https://www.threads.net/@testingcatalog/post/DFDmZyRtlaL
9. https://datainnovation.org/2025/01/moonshot-ai-betting-big-on-long-context-confronting-the-challenges-of-scale-and-reliability/