Integration mentaler Zustände in KI-Weltmodelle zur Verbesserung der Handlungsvorhersage

Die Grenzen aktueller Weltmodelle: Warum menschliche Überzeugungen entscheidend sind

Die Entwicklung autonomer KI-Agenten, die in komplexen Umgebungen agieren und menschliches Verhalten präzise vorhersagen können, stellt eine zentrale Herausforderung in der künstlichen Intelligenz dar. Weltmodelle sind dabei als grundlegende Komponenten konzipiert, um zu prognostizieren, wie sich eine Szene unter dem Einfluss einer Handlung verändern wird. Eine aktuelle Forschungsarbeit beleuchtet jedoch eine kritische Lücke in der aktuellen Generation dieser Systeme: die Vernachlässigung menschlicher mentaler Zustände.

Bestehende Weltmodelle, wie sie beispielsweise in Systemen wie Sora, Genie 3 oder JEPA zum Einsatz kommen, konzentrieren sich primär auf die Modellierung der physikalischen Ebene der Welt. Dazu gehören Objekte, deren Positionen, Bewegungen und Verdeckungen. Was in diesen Modellen oft unberücksichtigt bleibt, sind die inneren Zustände der beteiligten Menschen – deren Überzeugungen, Absichten, Ziele, Emotionen oder soziale Normen. Für Anwendungen in Dienstleistungsrobotik, medizinischen Assistenzsystemen oder kollaborativen Agenten ist dies eine signifikante Einschränkung, da menschliches Verhalten maßgeblich von diesen verborgenen mentalen Zuständen bestimmt wird.

Die duale Natur des nächsten Zustands: Physisch und mental

Um die Tragweite dieser Lücke zu verdeutlichen, führen die Forscher ein einfaches Beispiel an: Wird eine Tasse aus dem Blickfeld einer Person in einen Schrank gestellt, während diese nicht hinsieht, erscheint die Szene für ein rein physikalisches Weltmodell korrekt. Dennoch würde ein solches Modell die nachfolgende Aktion der Person wahrscheinlich falsch vorhersagen. Erst ein Modell, das auch die Überzeugung der Person über den Verbleib der Tasse berücksichtigt, kann das tatsächliche Verhalten erklären.

Das von den Forschenden entwickelte Framework, genannt "Mental World Modeling" (MWM), erweitert klassische Weltmodelle um mentale Variablen. Dazu zählen Überzeugungen, Aufmerksamkeit, Ziele, Absichten, Emotionen, Normen und soziale Beziehungen. Während der Zielagent lediglich eine egozentrische, partielle Ansicht erhält, hält das Weltmodell den vollständigen Zustand vor. Jede Handlung wird dabei in eine physikalische Komponente (z.B. Sprechen, Zeigen, Greifen) und eine mentale Komponente (z.B. Trösten, Täuschen, Ablehnen) zerlegt. Die gleiche Geste, etwa das Schieben einer Tasse über den Tisch, kann je nach mentalem Kontext eine Entschuldigung, eine Täuschung oder ein Akt der Fürsorge sein. Nur das erweiterte Weltmodell kann diese Unterscheidungen treffen.

Es ist wichtig zu betonen, dass die Autoren nicht behaupten, Bewusstsein zu simulieren. Mentale Zustände werden als Hypothesen betrachtet, die aus Verhalten und Kontext abgeleitet werden, nicht als direkte Messungen. Systeme, die auf diesem Framework basieren, sollen Unsicherheiten abbilden und ihre Annahmen transparent machen.

MENTIS: Eine trainingsfreie Referenzimplementierung

Zur Validierung ihrer Theorie entwickelten die Forschenden MENTIS, eine modulare Pipeline, die ohne zusätzliches Training auskommt. Der Prozess gliedert sich in sechs Schritte:

1. Analyse der Szene und Rendering der Ego-Perspektive.
2. Aufteilung der Handlungsoptionen in physikalische und mentale Komponenten.
3. Parallele Simulation der resultierenden Zustände.
4. Bewertung jedes Simulationszweigs nach drei Kriterien: physikalische Plausibilität, mentale Konsistenz und soziale Angemessenheit.
5. Eine deterministische Entscheidungsfindung basierend auf diesen Bewertungen.
6. Jede Stufe generiert maschinenlesbare Zwischenergebnisse, um Fehler nachvollziehbar zu machen.

Für die Evaluation wurde Menti-Bench erstellt, ein Datensatz mit 448 Entscheidungsszenen, bestehend aus Textbeschreibungen, Bildergeschichten und Sound-Video-Clips. Jede Szene umfasst sechs Handlungsoptionen und eine von Menschen erstellte Referenzlösung, die nicht nur die korrekte Handlung, sondern auch die zugrunde liegenden mentalen und physikalischen Zustände dokumentiert. Etwa 78 Prozent der Szenen beinhalten mindestens zwei Charaktere.

Mentale Modellierung übertrifft reine Rechenleistung

Die Forschungsgruppe testete acht Sprachmodelle, darunter fünf von OpenAI (wie GPT-5.6-Sol und GPT-4.1) und drei von Anthropic (wie Claude Fable 5, Claude Opus 4.8 und Claude Haiku 4.5). Als Genauigkeitsmetrik wurde der F1-Score verwendet, der Präzision und Recall für die gewählte Aktion kombiniert.

Die Ergebnisse zeigten eine klare Verbesserung des F1-Scores mit jeder zusätzlichen Modellierungsebene. Direkte Antworten erzielten einen Score von 63,3. Durch Selbstkonsistenz, bei der das Modell die gleiche Frage mehrfach beantwortet und die häufigste Antwort wählt, stieg der Score auf 77,9. Die vollständige MWM-Pipeline erreichte 87,9. Zum Vergleich: Menschen erzielten unter denselben Bedingungen 98,5.

Diese Verbesserungen lassen sich nicht durch bloßes Wiederholen direkter Antworten replizieren. Das schwächste Modell mit MWM (GPT-4.1, 84,9) übertraf das stärkste Modell, das direkte Antworten mit Selbstkonsistenz nutzte (GPT-5.6-Sol, 83,6). Zusätzliche Tests bestätigten die Kernannahmen des Frameworks: Ohne den mentalen Kanal fielen die Modelle durchschnittlich um 12,1 Punkte ab, ohne den physikalischen Kanal um 16,5 Punkte. Wenn beide Übergänge unabhängig statt gekoppelt vorhergesagt wurden, gingen 6,4 Punkte verloren.

Die mentale Modellierung zeigte den größten Einfluss dort, wo es die Theorie vorhersagte: In interpersonellen Szenen verbesserte sich der F1-Score um 26,4 Punkte, während der Gewinn in objektfokussierten Szenen nur 14,0 betrug. Schwächere Basismodelle profitierten stärker von der expliziten Struktur als stärkere Modelle.

Der Engpass liegt in der Simulationsphase

Um die verbleibende Lücke zur menschlichen Leistungsfähigkeit zu identifizieren, ersetzten die Autoren einzelne Pipeline-Stufen durch die menschliche Referenzlösung. Der größte einzelne Gewinn resultierte aus perfekten Zustandsübergängen (+3,5 Punkte), gefolgt von einem perfekten Anfangszustand (+2,8) und einer perfekten Beobachtung (+1,7). Wurden alle Zwischenschritte durch die Referenzlösung ersetzt, erreichte die Pipeline 97 Punkte.

Etwa 80 Prozent der verbleibenden Diskrepanz lassen sich auf Vorhersagefehler in den Zwischenstufen zurückführen, hauptsächlich in der Übergangssimulation. Zukünftige Verbesserungen sollten laut den Autoren hier ansetzen. Die Herausforderung besteht nicht in der Beschreibung des aktuellen Zustands, sondern in der Simulation, wie sich die gekoppelte physikalisch-mentale Welt verändert.

Eine Definitionssache: Weltmodelle im Diskurs

Weltmodelle werden als die nächste große Entwicklung nach reinen Sprachmodellen gehandelt. Persönlichkeiten wie Demis Hassabis, der ehemalige Betriebsleiter von Google DeepMind, sehen darin das Potenzial für einen "ChatGPT-Moment". Dennoch ist die genaue Definition eines Weltmodells weiterhin Gegenstand von Debatten. Ein internationales Team unter Führung der Peking University schlug kürzlich eine engere Definition vor, die Text-zu-Video-Modelle wie Sora ausschließt, da ihnen Rückkopplungsschleifen mit der realen Welt fehlen. Yann LeCun argumentiert seit Jahren, dass der generative Ansatz eine Sackgasse sei und favorisiert stattdessen abstrakte Repräsentationen. Die vorliegende Arbeit gruppiert Sora, Genie und JEPA in dieselbe Familie und kritisiert sie alle für dieselbe Auslassung.

Die Frage der mentalen Zustände führt zurück zu einem Forschungsbereich, in dem Sprachmodelle stets Schwierigkeiten hatten. Ein Team von Metas FAIR-Labor und den Universitäten Washington und Carnegie Mellon zeigte bereits, dass Modelle bei anspruchsvollen "Theory of Mind"-Tests versagen und noch schlechter darin sind, Weltzustände zu verfolgen, als Überzeugungen zuzuschreiben. Das MWM-Framework wendet diese Zustände extern über eine Vorverarbeitungspipeline an. Innerhalb der Modelle selbst scheint sich jedoch Ähnliches zu entwickeln. Anthropic entdeckte in Claude ein internes "scratchpad", das wortähnliche Gedanken enthält, die niemals ausgegeben werden, und ohne die mehrstufiges Denken zusammenbricht.

Fazit für die B2B-Anwendung

Für Unternehmen, die an der Entwicklung oder Implementierung von KI-Systemen arbeiten, die mit Menschen interagieren, sind die Erkenntnisse des Mental World Modeling von erheblicher Bedeutung. Die Integration mentaler Variablen in Weltmodelle ist nicht nur eine akademische Übung, sondern ein entscheidender Schritt zur Schaffung von KI-Agenten, die menschliches Verhalten nicht nur physikalisch, sondern auch psychologisch und sozial verstehen und antizipieren können. Dies ist unerlässlich für die Entwicklung von empathischeren Service-Robotern, effektiveren Assistenzsystemen und kollaborativen KI-Lösungen, die nahtlos in menschliche Arbeitsabläufe integriert werden können. Die präzise Modellierung von Übergängen zwischen physikalischen und mentalen Zuständen bleibt der zentrale Engpass, dessen Überwindung den Weg zu noch leistungsfähigeren und menschenzentrierteren KI-Anwendungen ebnen wird.

Bibliografie

• Fei, H., & Zhao, Y. (2026). Mental World Modeling. arXiv preprint arXiv:2607.27201.
• Kemper, J. (2026). World models that ignore human beliefs predict the wrong actions, new research shows. The Decoder.
• Dufresne, A. (2026). MENTIS Adds Beliefs and Intent to LLM World Models, Tests 8. AI Weekly.
• Pohl, S., Mehta, H., Mambayil, P., Ghafoor, A., Lesigang, F., Hou, Y., & Hilbe, C. (2026). LLMs struggle to simulate human belief updates in controlled environments. arXiv preprint arXiv:2607.28347v1.
• Leroy-Stone, T. (2026). Dreaming of Others: Latent Teammate Modeling in World Models for Multi-Agent Reinforcement Learning. arXiv preprint arXiv:2605.31361.
• GitHub Repository: mental-world/Mentis. (n.d.). Retrieved from https://github.com/mental-world/Mentis
• Project Page: Mental World Modeling. (n.d.). Retrieved from https://mental-world.github.io/