Neuer Ansatz in der KI: Metas Coconut ermöglicht latentes Denken in Sprachmodellen

Denken ohne Worte: Metas "Coconut" ermöglicht Sprachmodellen, im latenten Raum zu operieren

Künstliche Intelligenz (KI) entwickelt sich rasant, und die Verarbeitung natürlicher Sprache (NLP) steht dabei im Zentrum vieler Innovationen. Ein Forschungsteam von Meta und der UC San Diego hat nun eine neue Methode namens "Coconut" entwickelt, die es Sprachmodellen ermöglicht, im latenten Raum zu "denken", anstatt einzelne Wörter zu verarbeiten. Dieser Ansatz verspricht Vorteile gegenüber herkömmlichen Methoden, insbesondere bei komplexen Aufgaben.

Die Funktionsweise von Coconut

Coconut, kurz für "Chain of Continuous Thought", ähnelt der Chain-of-Thought (CoT) Methode. Bei CoT denken KI-Modelle Schritt für Schritt in natürlicher Sprache, um Probleme zu lösen. Coconut hingegen formuliert diese Gedankenschritte nicht explizit in Wörtern, sondern arbeitet im latenten Raum – dem letzten verborgenen Zustand des Sprachmodells (LLM). Die Forscher argumentieren, dass viele Wörter in der Textgenerierung primär der Kohärenz dienen, aber nicht zwingend für den Denkprozess selbst erforderlich sind. Gleichzeitig stellen Schlüsselwörter hohe Anforderungen an die Planungskompetenz von KI-Modellen und können zu Herausforderungen führen.

Vergleich mit Chain-of-Thought (CoT)

Um die Leistungsfähigkeit von Coconut zu bewerten, verglichen die Forscher die neue Methode direkt mit CoT. Dabei wurden drei verschiedene Aufgabentypen verwendet: mathematische Textaufgaben (GSM8k), logisches Schlussfolgern (ProntoQA) und ein neu entwickelter Test namens ProsQA, der umfangreiche Planungsfähigkeiten erfordert.

Bei den mathematischen Aufgaben erreichte Coconut eine Genauigkeit von 34,1 Prozent, weniger als CoT mit 42,9 Prozent, aber deutlich über der Baseline ohne Gedankenschritte (16,5 Prozent). Beim logischen Schlussfolgern zeigte sich ein anderes Bild: In ProntoQA erzielte Coconut eine Genauigkeit von 99,8 Prozent und übertraf damit CoT (98,8 Prozent). In ProsQA, dem Test mit komplexen Planungsaufgaben, war der Unterschied noch deutlicher: Coconut erreichte 97 Prozent, während CoT nur auf 77,5 Prozent kam.

Bemerkenswert ist auch die Effizienz von Coconut: Die Methode benötigte deutlich weniger Token als CoT – nur 9 versus 92,5 in ProntoQA und 14,2 versus 49,4 in ProsQA. Diese Ergebnisse deuten darauf hin, dass Coconut bei komplexen logischen Aufgaben sowohl genauer als auch effizienter arbeitet.

Herausforderungen beim Training

Die Experimente zeigten auch Grenzen auf: Ohne spezielle Trainingsmethoden lernte das System nicht, effektiv im kontinuierlichen latenten Raum zu denken. Die Forscher verwendeten ein vortrainiertes GPT-2 Modell und entwickelten ein mehrstufiges Trainingsprogramm. In jeder Stufe wurde eine bestimmte Anzahl kontinuierlicher Gedanken integriert, während gleichzeitig sprachbasierte Gedankenschritte entfernt wurden. Im Laufe des Trainings erhöhte sich der Anteil des latenten Denkens, während das sprachliche Denken schrittweise abnahm.

Potenzial und Ausblick

Die Forscher sehen in den Ergebnissen ein erhebliches Potenzial für die Weiterentwicklung von KI-Systemen. Besonders vielversprechend sei die Beobachtung, dass Coconut selbstständig effektive Denkmuster entwickelte, die der Breitensuche ähneln, ohne explizit darauf trainiert worden zu sein.

Für die Zukunft sehen die Forscher großes Potenzial im Vortraining größerer Sprachmodelle mit kontinuierlichen Gedanken. Dies könnte dazu beitragen, dass Modelle ihre Denkfähigkeiten auf ein breiteres Aufgabenspektrum übertragen können. Obwohl die aktuelle Version von Coconut noch auf bestimmte Aufgabentypen beschränkt ist, glauben die Forscher, dass ihre Erkenntnisse zu fortschrittlicheren Systemen des maschinellen Denkens führen werden.

Bibliographie: - Wu, T., Lan, J., Yuan, W., Jiao, J., Weston, J., & Sukhbaatar, S. (2024). Thinking LLMs: General Instruction Following with Thought Generation. arXiv preprint arXiv:2410.10630v1. - You Don't Need Words To Think: Implications for LLMs. Reddit. https://www.reddit.com/r/ArtificialInteligence/comments/1g7f6jw/you_dont_need_words_to_think_implications_for_llms/ - Study Done By Apple AI Scientists Proves LLMs Have No Ability to Reason. Slashdot. https://apple.slashdot.org/story/24/10/13/2145256/study-done-by-apple-ai-scientists-proves-llms-have-no-ability-to-reason - Yang, H., Meng, F., Lin, Z., & Zhang, M. (2023). Explaining the Complex Task Reasoning of Large Language Models with Template-Content Structure. OpenReview. https://openreview.net/forum?id=qGaIMO8dqD - X1N. (2022). Entry #1: An Algorithmic Odyssey. Atom-TM. https://atom-tm.com/blog/2022/07/10/entry-1/ - Lakhotia, K., Kharitonov, E., Polyak, A., Adi, Y., Copet, J., Synnaeve, G., ... & Shlens, J. (2021). Textless NLP: Generating expressive speech from raw audio. Meta AI. https://ai.meta.com/blog/textless-nlp-generating-expressive-speech-from-raw-audio/ - Metaverse Fashion Council. (2024). Visual AI Models Might Not See Anything At All. LinkedIn. https://www.linkedin.com/posts/metaverse-fashion-council_ai-metaverse-fashion-activity-7217527542310703106-v5eI - Brown, B., & Watkins, S. C. (2024). Why AI’s Potential to Combat or Scale Systemic Injustice Still Comes Down to Humans. Brené Brown. https://brenebrown.com/podcast/why-ais-potential-to-combat-or-scale-systemic-injustice-still-comes-down-to-humans/ - Mindshare. Instagram. https://www.instagram.com/Mindshare/?api=postMessage - Google. (n.d.). Machine Learning Glossary. https://developers.google.com/machine-learning/glossary