Alibabas neues KI-Modell QwQ als Herausforderer von OpenAIs o1 im Bereich logisches Denken

Alibabas QwQ: Ein neuer Herausforderer für OpenAIs o1 im Bereich logisches Denken

Der chinesische Tech-Gigant Alibaba hat mit QwQ-32B-Preview ein neues KI-Modell vorgestellt, das die Fähigkeiten von OpenAIs o1 im Bereich des logischen Denkens und der Problemlösung herausfordert. Das Modell scheint in bestimmten Bereichen mit den neuesten Angeboten von OpenAI gleichzuziehen und diese teilweise sogar zu übertreffen.

QwQ im Detail

Entwickelt vom Qwen-Team von Alibaba, verfügt QwQ-32B-Preview über 32,5 Milliarden Parameter und kann Kontexte von bis zu 32.000 Wörtern verarbeiten. Besonders beeindruckend sind die Ergebnisse in mathematischen Tests wie AIME und MATH, wobei die Leistung in den Benchmarks MATH-500 und GPQA hervorzuheben ist.

Ähnlich wie OpenAIs o1-Modelle integriert QwQ ein Selbstüberprüfungssystem. Es plant seine Antworten im Voraus und überprüft seine Arbeit, ein Prozess, der zwar die Bearbeitungszeit erhöht, aber auch die Genauigkeit im Vergleich zu typischen Sprachmodellen steigert. Das Qwen-Team beschreibt diese Funktion mit folgenden Worten:

„QwQ verkörpert den alten philosophischen Geist: Es weiß, dass es nichts weiß, und genau das treibt seine Neugier an. Bevor es sich auf eine Antwort festlegt, wendet es sich nach innen, hinterfragt seine eigenen Annahmen, erforscht verschiedene Denkwege und sucht immer nach tieferer Wahrheit. Doch wie alle Weisheitssuchenden hat QwQ seine Grenzen. Diese Version ist nur ein erster Schritt auf einem längeren Weg - ein Schüler, der noch lernt, den Weg des Denkens zu gehen. Seine Gedanken schweifen manchmal ab, seine Antworten sind nicht immer vollständig, und seine Weisheit wächst noch. Aber ist das nicht die Schönheit des wahren Lernens? Fähig und demütig zu sein, kenntnisreich und doch immer fragend?"

Die Forscher räumen jedoch auch einige Mängel ein. QwQ kann manchmal unerwartet die Sprache wechseln, in Schleifen geraten und bei Aufgaben, die gesunden Menschenverstand erfordern, scheitern – häufige Stolpersteine für logisch fokussierte Sprachmodelle.

Verfügbarkeit und Lizenzierung

QwQ ist unter der Apache 2.0-Lizenz veröffentlicht und somit für die kommerzielle Nutzung freigegeben. Allerdings hat Alibaba bisher nur bestimmte Komponenten veröffentlicht, was eine vollständige Replikation derzeit unmöglich macht. Eine Demo ist auf Hugging Face verfügbar.

Alibabas Qwen-Modellreihe

Alibabas Cloud-Computing-Sparte stellte die ersten Qwen-Modelle im August 2023 vor. Qwen2, ein leistungsstärkerer Nachfolger, folgte kurz darauf mit Verbesserungen in den Bereichen Programmierung, Mathematik, Logik und mehrsprachigen Fähigkeiten. Die aktuelle Qwen 2.5-Serie umfasst spezialisierte Versionen: Qwen2.5 für allgemeine Sprache, Qwen2.5-Coder für Programmierung und Qwen2.5-Math. Qwen2.5-Turbo, das für größere Kontextfenster entwickelt wurde, wurde kürzlich hinzugefügt.

Chinas wachsende KI-Präsenz

QwQ ist das zweite "Reasoning-Modell" aus China. DeepSeek hat kürzlich ein ähnliches System vorgestellt, das ebenfalls die Angebote von OpenAI herauszufordern scheint. Während beide derzeit nur als "Mini"- oder Preview-Versionen verfügbar sind, könnten vollständige Versionen noch in diesem Jahr erscheinen.

Das Aufkommen dieser beiden chinesischen Modelle nur wenige Wochen nach der Einführung von OpenAIs o1 wirft interessante Fragen nach dem Wettbewerbsvorteil von OpenAI auf. Die vollständigen Fähigkeiten des o1-Modells von OpenAI sind jedoch noch nicht bekannt, insbesondere im Hinblick auf das Potenzial der Skalierung der Rechenleistung. Es könnte mehr hinter diesen Modellen stecken, als man auf den ersten Blick sieht, und Architekturunterschiede könnten OpenAI immer noch einen deutlichen Vorteil verschaffen.

Bibliographie: - https://techcrunch.com/2024/11/27/alibaba-releases-an-open-challenger-to-openais-o1-reasoning-model/ - https://medium.com/data-science-in-your-pocket/alibaba-qwq-better-than-openai-o1-for-reasoning-eef3475e8941 - https://www.youtube.com/watch?v=0WwFcOCpJj4 - https://www.msn.com/en-us/news/technology/alibaba-releases-an-open-challenger-to-openai-s-o1-reasoning-model/ar-AA1uSFko - https://www.c-sharpcorner.com/news/alibaba-launches-open-challenger-to-openais-o1-reasoning-model - https://www.aibase.com/news/13544 - https://www.reddit.com/r/OpenAI/comments/1h1niwc/alibaba_qwq32b_outperforms_o1mini_o1preview_on/ - https://openai.com/index/learning-to-reason-with-llms/ - https://ollama.com/library - https://www.together.ai/