Interne Muster der Denkprozesse in Künstlichen Intelligenz-Modellen

Die Art und Weise, wie Künstliche Intelligenz (KI) komplexe Probleme löst und ihre Schlussfolgerungen präsentiert, ist Gegenstand intensiver Forschung. Eine aktuelle Studie des Korea Advanced Institute of Science and Technology (KAIST) und des Naver AI Lab beleuchtet nun die Korrespondenz zwischen den schriftlich ausgegebenen Denkprozessen von KI-Modellen und deren internen neuronalen Aktivitäten. Die Untersuchung liefert Einblicke in die strukturelle Organisation des Denkens innerhalb von Large Language Models (LLMs) und könnte weitreichende Implikationen für das Verständnis und die Sicherheit dieser Systeme haben.

Interne Signaturen von Denkprozessen in KI-Modellen

Wenn ein KI-Modell eine Aufgabe schrittweise löst, wie beispielsweise mathematische Probleme, durchläuft es verschiedene operationale Phasen. Dazu gehören das Extrahieren von Daten, das Zerlegen des Problems, das Abrufen von Formeln oder das Durchführen von Berechnungen. Die zentrale Frage der Studie war, ob diese extern sichtbaren Denkphasen auch intern in den numerischen Repräsentationen des Modells voneinander abgrenzbar sind. Die Forscher konnten diese Frage bejahen und stellten fest, dass das Signal für diese Trennung in den mittleren Schichten der Modelle am stärksten ist.

Das Forschungsteam definierte acht wiederkehrende Denkoperationen, darunter Extraktion, Dekomposition, Formelabruf, Deduktion und Berechnung. Drei verschiedene LLMs (Qwen2.5-7B, Qwen3-8B und Gemma4-31B) wurden eingesetzt, um mathematische Aufgaben zu lösen. Die Lösungspfade wurden in Segmente unterteilt und anschließend mithilfe von GPT-5 mit einer der definierten Operationen beschriftet.

Trennbarkeit der Denkoperationen in den Modellrepräsentationen

Die Analyse ergab, dass die verschiedenen Denkoperationen in den internen Repräsentationen der Modelle zuverlässig voneinander unterschieden werden können. Diese Beobachtung galt für alle drei getesteten Modelle, wobei die Trennschärfe in den mittleren Schichten des neuronalen Netzes ihren Höhepunkt erreichte. Die Forscher untersuchten auch, ob eine einfache Wortwahl diesen Effekt erklären könnte. Ein Klassifikator, der lediglich die verwendeten Tokens berücksichtigte, zeigte jedoch eine schlechtere Leistung als jener, der die internen Repräsentationen analysierte. Auch die Position innerhalb des Lösungspfades konnte den Effekt nicht erklären. Dies deutet darauf hin, dass die internen Zustände der Modelle Informationen über die Art des Denkprozesses enthalten, die über die oberflächliche Formulierung hinausgehen.

Wortrepräsentationen und Kontextabhängigkeit

Interessanterweise zeigte die Studie, dass gebräuchliche Funktionswörter wie "ein", "ist" oder "der" in sehr unterschiedlichen Denkprozessen auftreten können. Während ihre Repräsentationen in den frühen Schichten noch vermischt sind, trennen sie sich in den mittleren und späteren Schichten entsprechend der umgebenden Operation. Dies bedeutet, dass dasselbe Wort je nach dem Denkprozess, zu dem es gehört, eine unterschiedliche interne Repräsentation erhält.

Die Forscher untersuchten zudem, ob ein Denkprozess isoliert entsteht. Durch eine gezielte Intervention, bei der die Aufmerksamkeit auf die vorhergehenden 30 Tokens blockiert wurde, schwächte sich das Signal für die jeweilige Operation ab. Dies legt nahe, dass Denkprozesse nicht eigenständig entstehen, sondern auf dem vorhergehenden Kontext aufbauen.

Implikationen für Fehleranalyse und KI-Sicherheit

Ein bemerkenswertes Ergebnis der Studie ist, dass selbst bei falsch gelösten Problemen die Art des vom Modell ausgeführten Schritts identifizierbar blieb – sei es Rechnen, Formelabruf oder Deduktion. Ein fehlerhafter Berechnungsschritt sah intern immer noch wie ein Berechnungsschritt aus, auch wenn das Ergebnis inkorrekt war. Diese Trennbarkeit konnte in weiteren Tests bestätigt werden, unter anderem mit Llama-3-8B. Für Qwen3-8B konnten die trainierten Klassifikatoren erfolgreich auf GPQA-Diamond und MATH-500 übertragen werden. Es ist jedoch zu beachten, dass die Experimente auf mathematische Aufgaben und eine begrenzte Anzahl von Modellen beschränkt waren. Ob diese Erkenntnisse zur Fehlererkennung oder zur Steuerung eines Modells während der Generierung genutzt werden können, bleibt eine offene Frage für zukünftige Forschungsarbeiten.

Die Beziehung zwischen Textausgabe und interner Berechnung ist von großer Bedeutung für die Sicherheit von KI-Systemen. Das Lesen der Gedankenkette ("Chain-of-Thought") gilt als eines der wenigen verfügbaren Überwachungsinstrumente, wie OpenAI betont. Studien von Anthropic haben jedoch gezeigt, dass Modelle ihre verwendeten Hinweise nur in 25 bis 39 Prozent der Fälle offenlegen. Methoden, die die internen Vektoren eines Modells in lesbaren Text übersetzen, haben gezeigt, dass Claude Opus 4.6 mehr verarbeitet, als in seiner ausgegebenen Argumentation sichtbar wird. Beim Astra-Modell von OpenAI verlagert die Recurrent Depth-Technik einen Teil der Argumentation in interne numerische Repräsentationen, genau den Bereich, den die KAIST-Studie untersucht.

Die Ergebnisse dieser Studie bieten wertvolle Einblicke in die internen Mechanismen von KI-Modellen und untermauern die Hypothese, dass die extern sichtbaren Denkprozesse eine tiefere, strukturelle Entsprechung in den internen Zuständen der Modelle haben. Dies ist ein wichtiger Schritt, um die Transparenz und Interpretierbarkeit von KI-Systemen zu erhöhen und somit auch deren Sicherheit und Zuverlässigkeit zu verbessern. Für Unternehmen, die auf KI-basierte Lösungen setzen, bedeuten diese Erkenntnisse eine potenzielle Möglichkeit, die Qualität und Nachvollziehbarkeit von KI-generierten Inhalten und Analysen zu optimieren.

Bibliographie

• Jeong, J. et al. (2026). LLM Reasoning as Trajectories: Step-Specific Representation Geometry and Correctness Signals. Proceedings of the 64th Annual Meeting of the Association for Computational Linguistics (ACL 2026).
• Kemper, J. (2026). AI models' written reasoning steps correspond to distinct internal patterns, a new study finds. The Decoder. Verfügbar unter: https://the-decoder.com/ai-models-written-reasoning-steps-correspond-to-distinct-internal-patterns-a-new-study-finds/
• TPS Report (2026). KAIST Study: LLM Reasoning Steps Have Internal Signatures. Verfügbar unter: https://tpsreport.news/news/ai-reasoning-steps-internal-patterns-study
• AITopTools Editorial Team (2026). AI models' written reasoning steps correspond to distinct internal patterns, a new study finds. Verfügbar unter: https://aitoptools.com/ai-news/ai-models-written-reasoning-steps-correspond-to-distinct-internal-patterns-a-new-study-fin/
• Sun, L. et al. (2026). LLM Reasoning as Trajectories: Step-Specific Representation Geometry and Correctness Signals. alphaXiv. Verfügbar unter: https://www.alphaxiv.org/abs/2604.05655
• Chang, R. et al. (2026). PRISM: A Dual View of LLM Reasoning through Semantic Flow and Latent Computation. arXiv. Verfügbar unter: https://arxiv.org/pdf/2603.22754
• Gnoppix Forum (2026). AI models' written reasoning steps correspond to distinct internal patterns, a new study finds. Verfügbar unter: https://forum.gnoppix.org/t/ai-models-written-reasoning-steps-correspond-to-distinct-internal-patterns-a-new-study-finds/7331
• Chen, H. et al. (2026). How Do Answer Tokens Read Reasoning Traces? Self-Reading Patterns in Thinking LLMs for Quantitative Reasoning. Findings of the Association for Computational Linguistics: ACL 2026.
• Hu, X. et al. (2025). Internal Chain-of-Thought: Empirical Evidence for Layer-wise Subtask Scheduling in LLMs. alphaXiv. Verfügbar unter: https://www.alphaxiv.org/abs/2505.14530