Modelle & Forschung 12.11.2026 · 07:32 Uhr 7 Min. Lesezeit

WMIP-Studie zeigt Grenzen bei kumulativer Zustandsverfolgung von Sprachmodellen

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 3 Quellen

KI-generierte Illustration: WMIP-Studie zeigt Grenzen bei kumulativer Zustandsverfolgung von Sprachmodellen — KI-generierte Illustration

Das Wichtigste in Kürze

Im WMIP-Test erreichten 18 Sprachmodelle bei einzelnen Rechenschritten im Mittel 84,9 Prozent Genauigkeit, bei Zustandsfolgen mit drei bis sieben Updates dagegen 31,7 Prozent. [1][2]
Ab Sequenzen mit 50 Updates lag kein untersuchtes Modell über zehn Prozent Genauigkeit; bei 100 Updates waren nur drei von 360 Antworten korrekt. [1][2]
Auf denselben Kernaufgaben stieg die Trefferquote mit der kombinierten Vorgabe, Rechenschritte auszugeben und die Antwort in die letzte Zeile zu setzen, auf 88 Prozent. [2][3]
Der Vergleich mit dem Berkeley Function Calling Leaderboard ergab einen positiven Zusammenhang, belegt aber weder eine Ursache-Wirkung-Beziehung noch eine eigenständige Vorhersage von Werkzeugnutzung. [2][3]
Die Autoren veröffentlichen Aufgaben-Generator, Items, Bewertungssoftware und Modellantworten; die Ergebnisse betreffen einen kontrollierten Test innerhalb einzelner Prompts, nicht unmittelbar reale Unternehmensabläufe. [1][2]

Inhalt · 9 Abschnitte

Einzelne Rechenschritte reichen als Zuverlässigkeitsmaß nicht aus
Der Test hält Aufgaben und Referenzwerte kontrollierbar
Antwortregeln verändern die gemessene Trefferquote erheblich
Längere Folgen lassen die Leistung weiter sinken
Die Modelle unterscheiden sich stark im Aufgabenprofil
Der Zusammenhang mit Werkzeugnutzung bleibt begrenzt
Was Unternehmen aus dem Test ableiten können
Grenzen der Übertragbarkeit und offene Fragen
Offene Materialien erleichtern eigene Vergleiche
Quellen

Einzelne Rechenschritte reichen als Zuverlässigkeitsmaß nicht aus

Ein Sprachmodell kann eine einfache Addition beherrschen und dennoch den Überblick über eine Folge aufeinander aufbauender Änderungen verlieren. Dieses Spannungsfeld steht im Zentrum von WMIP, einer programmierbaren Testumgebung für die kumulative Zustandsverfolgung in großen Sprachmodellen. In den untersuchten Aufgaben sollten Modelle den Wert eines von mehreren Objekten fortschreiben, nachdem sich dessen Zustand durch Gewinne, Verluste oder Übertragungen verändert hatte. [1][2]

Über 18 getestete Modelle hinweg betrug die Genauigkeit bei einer einzelnen Rechenoperation 84,9 Prozent. Bei den WMIP-Kernaufgaben, in denen ein Zahlenwert nach drei bis sieben Änderungen abgefragt wurde, sank sie auf 31,7 Prozent. Die Autoren berichten, dass jedes Modell bei den Kernaufgaben schlechter abschnitt als bei der separaten Einzelrechenaufgabe. [1][2]

Das Ergebnis ist kein allgemeiner Nachweis dafür, dass Sprachmodelle in sämtlichen mehrstufigen Aufgaben versagen. Es zeigt zunächst, wie stark die Leistung in dieser konkreten Versuchsanordnung davon abhängt, ob ein Modell mehrere Zustandsänderungen zusammenführen muss und welche Antwortregeln gelten. Für Unternehmen ist diese Unterscheidung relevant, wenn einzelne Kompetenzwerte als Stellvertreter für komplexere Arbeitsabläufe herangezogen werden. [1][2]

Der Test hält Aufgaben und Referenzwerte kontrollierbar

WMIP erzeugt Aufgaben mit drei benannten Entitäten und einem Anfangswert für jede Entität. Danach folgen geordnete Änderungen: Werte können steigen oder sinken, oder zwischen Entitäten übertragen werden. Die Zahl der Änderungen lässt sich von drei bis zu 100 variieren; ein Programm berechnet die erwarteten Antworten. [2]

Für die zentrale Auswertung verwendeten die Autoren 60 Kernaufgaben mit jeweils drei, fünf oder sieben Änderungen. Die Folgen blieben im Prompt vollständig sichtbar, obwohl die Anweisung dem Modell sagte, es solle nicht auf den Anfangszustand zurückgreifen. Im Kernprotokoll standen höchstens 16 Ausgabetoken zur Verfügung; als korrekt galt nur eine Antwort mit genau einer Zahl, die dem programmierten Referenzwert entsprach. [2]

Damit prüft die Versuchsanordnung nicht, ob ein Modell Informationen über lange Zeiträume außerhalb des aktuellen Kontexts speichern kann. Sie untersucht, ob es innerhalb einer einzelnen Anfrage mehrere Änderungen verarbeitet und den abgefragten Wert korrekt ausgibt. Die Bezeichnung „working-memory-inspired“ beschreibt die Motivation für den Test, nicht eine Gleichsetzung mit psychologischen Messungen des menschlichen Arbeitsgedächtnisses. [2]

Antwortregeln verändern die gemessene Trefferquote erheblich

Ein zentrales Ergebnis betrifft nicht nur die Aufgaben, sondern auch die Art der Antwort. Bei denselben 60 Kernaufgaben und denselben 18 Modellen ergaben sich insgesamt 1.080 Antworten. Im Kernprotokoll waren 342 davon korrekt, wenn genau eine Zahl verlangt und nach dieser Regel bewertet wurde. [2][3]

In einer Vergleichsbedingung blieb der Aufgabenbestand gleich, das Ausgabelimit stieg jedoch auf 512 Token und bewertet wurde die letzte ausgegebene Zahl. Unter diesen Bedingungen waren 550 Antworten korrekt. Die Autoren testeten außerdem eine weitere Bedingung mit demselben größeren Limit: Das Modell sollte Rechenschritte ausgeben und die abschließende Antwort in die letzte Zeile setzen. Hier stieg die Zahl korrekter Antworten auf 950 von 1.080, entsprechend 88,0 Prozent. [2][3]

Der Vergleich zwischen den beiden 512-Token-Bedingungen deutet darauf hin, dass die veränderte Anweisung wesentlich zum Leistungsanstieg beitrug. Er isoliert jedoch nicht den Effekt einzelner Bestandteile: Das Schreiben von Zwischenschritten und die Platzierung der Schlussantwort wurden gemeinsam verändert. Auch der Vergleich mit dem knappen Kernprotokoll ist nicht vollständig deckungsgleich, weil sich neben dem Ausgabelimit die Bewertungsregel unterscheidet. [2][3]

Für die Interpretation von Benchmarkwerten folgt daraus: Eine Zahl kann sowohl die Fähigkeit zur Aufgabenbearbeitung als auch die Vorgaben zur Darstellung der Antwort abbilden. Wer Modelle vergleicht, sollte deshalb Protokoll und Auswertung offenlegen und nicht allein die Prozentzahl betrachten. [2]

Längere Folgen lassen die Leistung weiter sinken

Die Forscher variierten die Sequenzlänge zusätzlich über die Kernaufgaben hinaus. Bei 50 Änderungen und mehr erreichte kein getestetes Modell eine Genauigkeit von über zehn Prozent. Für die Länge 100 enthielten von 360 Antworten drei die richtige Zahl; 326 Antworten enthielten zwar eine einzelne Zahl, diese war aber falsch. Weitere 31 Antworten erfüllten die Ein-Zahl-Vorgabe nicht. [1][2]

Dieser Befund grenzt eine mögliche Erklärung ein: Fehler bei den längsten Folgen lassen sich nicht allein darauf zurückführen, dass Modelle die verlangte Antwortform verfehlten. Bei der großen Mehrheit der Antworten mit genau einer Zahl war der Wert dennoch falsch. Zugleich ist der Rückgang kein sauberer Vergleich immer längerer Präfixe derselben Aufgabe: Für jede getestete Tiefe wurden neue Folgen erzeugt. [2][3]

Die Aufgaben umfassen auch Kontrollblöcke, darunter Einzelrechnungen, Folgen ohne Nettoveränderung sowie nicht-arithmetische Zuordnungs- und Mengenaufgaben. Solche Kontrollen helfen, die Ergebnisse in verschiedene Teilanforderungen einzuordnen. Sie machen aus der Kernaufgabe aber keinen umfassenden Test für alle Arten von Planung, Schlussfolgern oder Werkzeuggebrauch. [2]

Die Modelle unterscheiden sich stark im Aufgabenprofil

Die Untersuchung umfasst 18 Modelle unterschiedlicher Anbieter und Größen. Nach der im Paper dokumentierten Auswertung lagen die Kernwerte zwischen null und 56 richtigen Antworten von 60. Bei einzelnen Modellen standen hohe Werte bei der Einzelarithmetik sehr niedrigen Kernwerten gegenüber; Claude Sonnet 4.5 erzielte beispielsweise 90 von 90 Punkten bei der Einzelarithmetik und null von 60 bei den Kernaufgaben. [2]

Solche Unterschiede sprechen dafür, ein Modell nicht anhand einer einzelnen, vereinfachten Teilaufgabe zu beurteilen. Das WMIP-Paper berichtet außerdem getrennte Ergebnisse für weitere Aufgabenblöcke und Protokolle, statt diese zu einem Gesamtwert zusammenzufassen. Die Autoren geben an, alle Hauptbank-Anfragen für alle 18 Modelle abgeschlossen zu haben; die Auswertung berücksichtigt auch Antworten, die nicht dem geforderten Format entsprachen oder abgeschnitten wurden. [2]

Die Zahlen sind an die untersuchten Modellversionen, Einstellungen und Prompts gebunden. Das Paper nennt unter anderem den Einsatz von Temperatur null für die Modelle ohne ausgewiesenen Reasoning-Modus; für GPT-5.2 wurde eine Reasoning-Einstellung ohne Reasoning-Aufwand verwendet. Ergebnisse aus einer anderen Modellversion oder mit anderen Systemeinstellungen sind damit nicht automatisch vergleichbar. [2]

Der Zusammenhang mit Werkzeugnutzung bleibt begrenzt

Die Autoren setzen die WMIP-Ergebnisse mit öffentlichen Werten des Berkeley Function Calling Leaderboard (BFCL) in Beziehung. Für die Kernaufgaben berichten sie einen positiven Rangzusammenhang mit dem BFCL-Gesamtwert; der von der ergänzenden Zusammenfassung ausgewiesene Kendall-Koeffizient beträgt 0,449. Das Konfidenzintervall ist breit und reicht von 0,042 bis 0,836. [2][3]

Der Vergleich beruht auf einer öffentlichen BFCL-Auswertung aus einem historischen Snapshot vom 16. Dezember 2025, nicht auf einer erneuten BFCL-Messung unter identischen Bedingungen. Zudem lagen die Unterschiede zwischen den Zusammenhängen der Kernaufgabe und denen einfacher Kontrollaufgaben innerhalb der berichteten Unsicherheitsintervalle nicht eindeutig über null. Die Korrelation ist daher kein Beleg dafür, dass WMIP eine eigenständige oder kausale Messung von Werkzeugkompetenz liefert. [2][3]

Für den Unternehmenseinsatz ist das vor allem ein Hinweis auf eine mögliche Verbindung zwischen Fähigkeiten, nicht auf deren Austauschbarkeit. Ein gutes Ergebnis bei der Zustandsverfolgung ersetzt keine Prüfung realer Werkzeugaufrufe; umgekehrt lässt sich aus einem BFCL-Wert nicht direkt ablesen, ob ein Modell eine Folge numerischer Änderungen zuverlässig fortschreibt. [2][3]

Was Unternehmen aus dem Test ableiten können

Analyse: Wenn ein Sprachmodell in einer einzelnen Anfrage mehrere Statusänderungen, Mengenbewegungen oder Kontenwerte zusammenführen soll, bietet WMIP einen Anlass, genau diese Fähigkeit separat zu prüfen. Das Paper zeigt, dass gute Ergebnisse bei einzelnen Rechenoperationen nicht ausreichen, um die Genauigkeit bei kumulativen Folgen vorherzusagen. Ein Modellvergleich sollte daher Aufgaben enthalten, die dem tatsächlichen Umfang und der Antwortform eines konkreten Prozesses entsprechen. [1][2]

Analyse: In Anwendungen mit klaren Zustandsvariablen kann ein externer, deterministischer Rechenschritt eine prüfbare Alternative dazu sein, die gesamte Aktualisierung einem Sprachmodell zu überlassen. WMIP belegt nicht, dass ein solches Systemdesign in einer bestimmten Branche notwendig oder wirtschaftlich überlegen ist. Der Befund legt jedoch nahe, die Fehlerfolgen und die Möglichkeit einer unabhängigen Verifikation zu berücksichtigen, wenn Antworten aus mehreren aufeinanderfolgenden Änderungen entstehen. [2]

Analyse: Auch die Ausgaberegel sollte als Teil der Systemkonfiguration behandelt werden. Wenn ein Modell Zwischenschritte ausgeben darf, verändert sich die gemessene Trefferquote deutlich; zugleich bewertet die Studie damit eine andere Antwortbedingung als eine reine Endzahl-Ausgabe. Für Auswahl- und Abnahmetests sollten Sie deshalb die im späteren Einsatz geltenden Anweisungen und Antwortformate verwenden. [2][3]

Grenzen der Übertragbarkeit und offene Fragen

Die Autoren weisen darauf hin, dass die vollständige Folge im Kontext sichtbar blieb. Eine korrekte Endzahl zeigt außerdem nicht, ob ein Modell einen Zustand intern fortgeschrieben, die sichtbaren Angaben erneut ausgewertet oder einen anderen Lösungsweg genutzt hat. WMIP misst daher die beobachtbare Antwortgenauigkeit unter festgelegten Bedingungen, nicht den zugrunde liegenden Rechenprozess. [2]

Auch der Bezug zum menschlichen Arbeitsgedächtnis ist begrenzt: Menschen müssen in entsprechenden Aufgaben Informationen halten und aktualisieren, während WMIP eine textbasierte Modellantwort auf eine weiterhin sichtbare Folge bewertet. Die Studie belegt keine Gleichwertigkeit zwischen menschlicher Gedächtnisleistung und dem Verhalten der getesteten Modelle. [2]

Die Ergebnisse beschreiben kontrollierte Aufgaben und keine Erprobung in produktiven Unternehmenssystemen. Aussagen über tatsächliche Fehlerquoten, Kosten oder Auswirkungen in konkreten Arbeitsabläufen lassen sich daraus nicht ableiten. Für eine belastbare Übertragung wären Tests mit den eigenen Daten, Anweisungen und Kontrollmechanismen erforderlich; das ist eine praktische Folgerung aus dem begrenzten Testumfang, kein von der Studie gemessener Effekt. [2]

Offene Materialien erleichtern eigene Vergleiche

Die Autoren geben an, den Aufgaben-Generator, die erzeugten Items, den Bewertungs-Code und die Modellantworten bereitzustellen. Das soll Vergleiche über Aufgabentiefe, Abfragetypen und Antwortprotokolle hinweg nachvollziehbar machen. Die auf Hugging Face gelistete Paper-Seite führt dieselben Materialien als Teil des Projekts an. [1][2]

Für technische Teams liegt der praktische Nutzen damit weniger in einem universellen Ranking als in einer reproduzierbaren Prüfmethode: Sie können untersuchen, ob ein Modell unter einer bestimmten Ausgabevorgabe zuverlässig bleibt und ab welcher Sequenzlänge die Leistung nachlässt. WMIP stützt zugleich eine vorsichtige Schlussfolgerung: Leistungswerte sind nur dann aussagekräftig, wenn die getestete Aufgabe und das Antwortprotokoll zur späteren Nutzung passen. [1][2]

Quellen

[1] Paper page - WMIP: A Working-Memory-Inspired Programmable Probe of Cumulative State Tracking in Large Language Models — https://huggingface.co/papers/2603.27343 (abgerufen am 2026-11-12)
[2] WMIP: A Working-Memory-Inspired Programmable Probe of Cumulative State Tracking in Large Language Models — https://arxiv.org/html/2603.27343v3 (abgerufen am 2026-11-12)
[3] WMIP：受工作记忆启发的大语言模型累积状态跟踪可编程探针 | alphaXiv — https://www.alphaxiv.org/zh/abs/2603.27343 (abgerufen am 2026-11-12)