Neueste Entwicklungen im Bereich offener Sprachmodelle GLM-4.5 von Z.ai

GLM-4.5: Ein neuer Akteur im Bereich offener Sprachmodelle

Die Landschaft der großen Sprachmodelle (LLMs) entwickelt sich rasant. Mit der Veröffentlichung von GLM-4.5 durch das chinesische Unternehmen Z.ai (vormals Zhipu) unter der MIT-Lizenz tritt ein neuer, vielversprechender Kandidat auf den Plan. Das Modell zeichnet sich durch seine Architektur und den innovativen Trainingsprozess aus und adressiert spezifische Herausforderungen im Umgang mit großen Sprachmodellen.

Architektur und Leistungsfähigkeit

GLM-4.5 ist ein LLM mit beeindruckenden 335 Milliarden Parametern. Seine Architektur basiert auf dem Mixture-of-Experts-Ansatz. Dieser Ansatz ermöglicht es, während der Inferenz – also der Generierung von Text – nur einen Teil der Parameter (32 Milliarden) aktiv zu halten. Dies führt zu einer signifikanten Beschleunigung der Token-Generierung im Vergleich zu Modellen, die alle Parameter gleichzeitig verarbeiten müssen. Das Modell verwendet 160 Experten, von denen jeweils acht gleichzeitig, zusammen mit einem stets aktiven Shared Expert, zur Textgenerierung herangezogen werden. Mit 96 Attention-Heads und 92 Transformer-Schichten weist GLM-4.5 eine deutlich höhere Tiefe auf als vergleichbare Modelle wie DeepSeek R1 oder Kimi K2.

Trotz der Möglichkeit der Quantisierung auf FP8-Werte bleibt GLM-4.5 ein ressourcenintensives Modell. Ein Betrieb auf Consumer-GPUs ist selbst in quantisierter Form für die meisten Nutzer nicht praktikabel. Aus diesem Grund bietet Z.ai eine kleinere Variante an: GLM-4.5-Air.

GLM-4.5-Air: Optimiert für schlankere Hardware

GLM-4.5-Air ist in seinen Fähigkeiten dem größeren Modell unterlegen, jedoch nicht gravierend. Mit 106 Milliarden Parametern (davon 12 Milliarden aktiv) ist es deutlich kleiner und kann mit 64 GByte RAM auf CPUs unter Verwendung einer Vier-Bit-Quantisierung betrieben werden. Auch der Einsatz auf einer A100-GPU ist möglich. Die Architektur ähnelt der von GLM-4.5, ist aber in ihren Dimensionen reduziert (128 Experten, 46 Layer). Detaillierte Informationen über die genauen Beziehungen zwischen GLM-4.5 und GLM-4.5-Air hält Z.ai jedoch zurück.

Der "slime"-Trainingsprozess

Z.ai beschreibt den Trainingsprozess von GLM-4.5 detailliert und präsentiert mit "slime" eine neue, Open-Source-Methode. "Slime" legt einen Schwerpunkt auf agentenorientiertes Design und nutzt verschiedene Phasen des Reinforcement Learnings, die von Reasoning über agentenbasiertes Training bis hin zum allgemeinen Training reichen. Ein wichtiger Aspekt von "slime" ist die flexible Nutzung der Infrastruktur und die Möglichkeit des asynchronen Trainings, um eine optimale Auslastung aller GPUs zu gewährleisten.

Benchmarking und Vergleich mit Konkurrenzmodellen

Umfangreiche Benchmarks zu GLM-4.5 fehlen derzeit noch. Erste Informationen von Z.ai deuten jedoch auf vielversprechende Ergebnisse hin, insbesondere im Bereich der Agenten-KI, wo das Modell den aktuellen State-of-the-Art-Modellen nicht deutlich unterlegen zu sein scheint. Ein direkter Vergleich mit anderen kürzlich veröffentlichten Modellen wie den verschiedenen Qwen-Modellen von Alibaba ist aufgrund der unterschiedlichen Architektur und des Fokus auf Reasoning bzw. Non-Reasoning schwierig.

Die Qwen-Modelle von Alibaba, beispielsweise Qwen3-Coder-30B-A3B, zeigen mit deutlich weniger aktiven Parametern eine hohe Effizienz, insbesondere im Bereich der Programmierunterstützung. Die schnelleren Antwortzeiten aufgrund der geringeren Anzahl generierter Tokens stellen einen erheblichen Vorteil dar. Auch methodisch zeichnet sich eine dynamische Entwicklung ab: Neben "slime" werden weitere innovative Trainingsmethoden wie das von Alibaba verfeinerte GRPO-Verfahren (GSPO) oder die Verwendung von Muon anstelle von AdamW bei Kimi K2 zur Gewichtsoptimierung eingesetzt. Diese Entwicklungen deuten auf eine steigende Frequenz verbesserter und neuer Sprachmodelle hin.

Fazit: Ein vielversprechender, aber noch zu evaluierender Beitrag

GLM-4.5 präsentiert sich als ein leistungsstarkes Sprachmodell. Ob es sich in der Flut neuer Modelle durchsetzen kann, hängt von weiteren Evaluierungen und der Akzeptanz in der Community ab. Die Verfügbarkeit der Modellgewichte unter Open-Source-Lizenz ermöglicht jedoch eine unabhängige Überprüfung und Weiterentwicklung, was die langfristige Bedeutung von GLM-4.5 positiv beeinflusst. Die rasante Entwicklung im Bereich der großen Sprachmodelle zeigt deutlich, dass die Zukunft von LLMs durch Innovation und offene Zusammenarbeit geprägt wird.

Bibliography - https://www.heise.de/news/GLM-4-5-Offenes-Sprachmodell-fuer-schlanke-Hardware-10507517.html - https://x.com/heisedc/status/1951528139944763877 - https://de.linkedin.com/posts/heiseonline_glm-45-offenes-sprachmodell-f%C3%BCr-schlanke-activity-7357302506583908352-v3JP - https://newstral.com/de/article/de/1269519937/glm-4-5-offenes-sprachmodell-f%C3%BCr-schlanke-hardware-glm-4-5-offenes-sprachmodell-f%C3%BCr-schlanke-hardware - https://www.paules-pc-forum.de/forum/thread/220423-glm-4-5-offenes-sprachmodell-f%C3%BCr-schlanke-hardware/?action=lastPost - https://mds-medical.de/site/ - https://www.heise.de/thema/Open-Source - https://glx-consulting.com/tag/goolag - https://ki-briefing-daily.podigee.io/581-ki-briefing-daily-vom-03-08-2025 - https://mds-medical.de/site/download/