CogBattery zeigt, warum ähnliche Testergebnisse keine menschlichen Fehlerprofile belegen
Mindverse News
KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 5 Quellen
Das Wichtigste in Kürze
- Die Studie vergleicht 54 Open-Weight-Sprachmodelle aus 23 Modellfamilien mit veröffentlichten menschlichen Daten aus 13 kognitiven Aufgaben. [1] [2]
- Bei einer N-back-Aufgabe zeigen Modelle einen ähnlichen Effekt wie Menschen, melden aber deutlich häufiger gewöhnliche Nicht-Zielreize fälschlich als Treffer. [2] [4]
- Die verbale Konfidenz trennt bei den meisten Modellen richtige und falsche Antworten weniger gut als bei Menschen; viele Modelle wählen bei Wetten stets dieselbe Option. [2] [3]
- Größere Modelle sind nicht durchgängig näher an menschlichen Ergebnissen, und die vorab definierten Aufgabengruppen verbessern die Vorhersage nicht zuverlässig. [2] [4]
- Die Aufgaben sind für Textmodelle angepasst: Zeitdruck, Reaktionszeiten und in mehreren Tests verzögerte Erinnerung fehlen. Die Ergebnisse sind deshalb kein direkter Ersatz für menschliche Labortests. [3] [4]
Inhalt · 7 Abschnitte
- Warum gleiche Effektrichtungen nicht ausreichen
- 13 Aufgaben, angepasst an textbasierte Modelle
- Fehlerquoten offenbaren Unterschiede, die Gesamtwerte verdecken
- Konfidenz und Wetten liefern nicht automatisch brauchbare Unsicherheitssignale
- Modellgröße erklärt nicht, wer Menschen ähnlicher ist
- Was die Durchführung über Reproduzierbarkeit aussagt
- Einordnung für die KI-Bewertung in Unternehmen
- Quellen
Warum gleiche Effektrichtungen nicht ausreichen
Ein Sprachmodell kann auf eine Veränderung in einer Testaufgabe ähnlich reagieren wie Menschen und dennoch an anderen Stellen ganz anders antworten. Genau diese Differenz zwischen einem beobachteten Effekt und dem vollständigen Muster aus Treffern, Fehlern und Unsicherheitsangaben untersucht CogBattery. Die Arbeit vergleicht 54 Open-Weight-Modelle mit menschlichen Daten aus 13 kognitionswissenschaftlichen Aufgaben. [1] [2]
Die zentrale Aussage ist für die Bewertung von KI-Systemen relevant: Eine ähnliche Veränderung zwischen zwei Testbedingungen belegt für sich genommen nicht, dass ein Modell dieselben Fehler macht oder seine eigene Unsicherheit ähnlich einschätzt wie ein Mensch. Die Autoren empfehlen deshalb, nicht allein auf zusammengefasste Trefferquoten oder die Richtung eines Effekts zu schauen, sondern auch Antworttypen und Bedingungen einzeln auszuwerten. [2] [4]
CogBattery ist als arXiv-Arbeit dokumentiert; die dort aufgeführte zweite Fassung wurde am 30. Oktober 2026 überarbeitet. Die Projektdokumentation beschreibt den aktuellen Umfang mit 54 Modellen aus 23 Familien. [2] [3]
13 Aufgaben, angepasst an textbasierte Modelle
Die Testbatterie ordnet ihre 13 Paradigmen fünf Bereichen zu. Sie umfasst Aufgaben zu Arbeitsgedächtnis, kognitiver Kontrolle, episodischem Gedächtnis, sozialem Schlussfolgern und Metakognition. Die einzelnen Ergebnisse werden mit Daten aus der jeweiligen menschlichen Ausgangsstudie verglichen; eine einzige menschliche Stichprobe, die alle 13 Aufgaben bearbeitet hätte, lag nicht vor. [2] [3] [4]
- Arbeitsgedächtnis: Ziffernspanne, N-back und Operation Span. [3] [4]
- Kognitive Kontrolle: Stroop-, Flanker- und Go/no-go-Aufgaben. [3] [4]
- Episodisches Gedächtnis: California Verbal Learning Test, Deese–Roediger–McDermott-Aufgabe und Quellenzuordnung. [3] [4]
- Soziales Schlussfolgern: Aufgaben zu falschen Überzeugungen und rekursivem Gedankenlesen. [3] [4]
- Metakognition: Konfidenzbewertung und Wetten nach einer Entscheidung. [3] [4]
Textform verändert die Versuchssituation
Die Forschenden übersetzten die Aufgaben in Textinteraktionen, nicht in identische Replikationen der ursprünglichen Versuche. Bei Stroop und Flanker gibt es beispielsweise weder Zeitvorgaben noch Reaktionszeitmessung; Farbreize werden durch Farbwörter ersetzt. Bei N-back bleiben frühere Buchstaben und Antworten im Kontext sichtbar. In Teilen der Gedächtnistests bleiben die Lernmaterialien ebenfalls sichtbar oder echte Verzögerungen entfallen. [4]
Solche Anpassungen ermöglichen es, Sprachmodelle mit denselben Aufgabenideen zu testen, verändern aber auch, was die Messung erfasst. Sie prüft nicht dieselben Wahrnehmungs-, Motorik- und Zeitbedingungen wie ein klassisches Experiment mit menschlichen Teilnehmenden. Die Autoren weisen zudem darauf hin, dass Protokollunterschiede direkte Vergleiche mit veröffentlichten Modellwerten aus anderen Studien erschweren. [4]
Menschliche Vergleichswerte stammen aus mehreren Studien
Für die einzelnen Aufgaben greift CogBattery auf die jeweils publizierten menschlichen Referenzdaten zurück, meist auf Daten einzelner Teilnehmender. Die Quellen und die Zuordnung von Bedingungen und Antworttypen unterscheiden sich je nach Paradigma; bei zwei Aufgaben sind die Referenzen laut Arbeit schwächer als bei den übrigen. [4]
Für Unternehmen bedeutet das analytisch: Ein Vergleich innerhalb einer Aufgabe kann auf einer konkreten menschlichen Referenz beruhen, aber ein übergreifendes Modellprofil ist nicht automatisch mit einem einheitlichen menschlichen Profil gleichzusetzen. Für Zusammenhänge zwischen Aufgaben beschränkt die Arbeit ihre Analyse auf vier Kohorten, in denen dieselben Menschen mehrere Aufgaben bearbeitet hatten. [4]
Fehlerquoten offenbaren Unterschiede, die Gesamtwerte verdecken
Ein Beispiel liefert die N-back-Aufgabe, bei der ein Modell beurteilen muss, ob ein aktueller Buchstabe mit einem Buchstaben einige Schritte zuvor übereinstimmt. Wie Menschen reagieren die getesteten Modelle stärker auf sogenannte Lures als auf Kontrollreize. Bei gewöhnlichen Nicht-Zielreizen, die keine Treffer sein sollten, produzieren die Modelle jedoch deutlich mehr Fehlalarme. Die Arbeit beziffert den Unterschied gegenüber den menschlichen Referenzen auf 0,257. [2] [4]
Auch bei der Stroop-Aufgabe berichten die Autoren eine stärkere Interferenz als bei Menschen. Ein Modell kann also eine erwartbare Differenz zwischen Versuchsbedingungen zeigen und zugleich ein anderes Fehlermuster aufweisen. Wer nur eine Gesamtgenauigkeit betrachtet, kann solche Abweichungen übersehen. [2] [4]
Das ist für den praktischen Einsatz vor allem dann wichtig, wenn ein Modell Antworten klassifiziert oder Entscheidungen vorbereitet. Als Analyse lässt sich aus den Befunden ableiten, dass eine einzelne Erfolgsquote kein hinreichender Nachweis für ein zuverlässiges Verhalten unter veränderten Bedingungen ist: Fehler nach Reiztyp oder Aufgabenkontext können für den Einsatz entscheidender sein als ein Durchschnittswert. Die Studie selbst untersucht allerdings keine konkreten betrieblichen Anwendungen. [2] [4]
Konfidenz und Wetten liefern nicht automatisch brauchbare Unsicherheitssignale
Bei den Konfidenzaufgaben sollten die Modelle neben einer Antwort auch ihre Sicherheit angeben. Bei den meisten Modellen trennen diese verbalen Einschätzungen richtige von falschen Antworten weniger gut als die menschlichen Angaben. Die Projektdokumentation unterscheidet davon die Auswertung über Token-Wahrscheinlichkeiten: Diese diskriminierten in der Untersuchung ungefähr so gut wie menschliche Berichte. [2] [3]
Die Arbeit nutzt unter anderem die Typ-2-AUROC, also ein Maß dafür, wie gut höhere Konfidenzwerte richtige Antworten gegenüber falschen auszeichnen. Dieses Maß erfasst die Trennfähigkeit der Einschätzung; es ist nicht gleichbedeutend mit einer umfassenden Prüfung, ob ein bestimmter Konfidenzwert langfristig der tatsächlichen Trefferwahrscheinlichkeit entspricht. [4]
Bei der Wetten-Aufgabe wählen die meisten Modelle nach Angaben der Autoren fast immer dieselbe Einsatzhöhe – auch dann, wenn sie die Klassifikationsaufgabe korrekt bearbeiten. Für ein Unternehmen wäre es daher riskant, eine sprachlich überzeugende Sicherheitserklärung oder eine gleichbleibende Wahl als belastbares Signal für tatsächliche Antwortsicherheit zu behandeln. Diese Folgerung ist eine Einordnung der beobachteten Befunde, keine Untersuchung eines betrieblichen Abstentionssystems. [2] [3]
Modellgröße erklärt nicht, wer Menschen ähnlicher ist
Über die Aufgaben hinweg finden die Autoren zwei gemeinsame Dimensionen in den Modellwerten. Die erste hängt eng mit der Modellgröße zusammen. Größere Modelle liegen deshalb aber nicht durchgängig näher an den menschlichen Referenzen. Größe und menschliche Ähnlichkeit sind in dieser Untersuchung somit keine austauschbaren Kriterien. [2] [4]
Die Forschenden prüften außerdem, ob die fünf vorab festgelegten kognitiven Aufgabengruppen dabei helfen, Ergebnisse für bislang nicht einbezogene Modellfamilien vorherzusagen. Gegenüber zufällig gebildeten Gruppen gleicher Größe zeigte sich kein verlässlicher Vorhersagevorteil. Das begrenzt, wie weit sich aus den Gruppennamen allein stabile Fähigkeiten wie Gedächtnis oder soziale Kognition ableiten lassen. [2] [4]
Die Stichprobe besteht aus Open-Weight-Modellen und deckt 23 Modellfamilien mit Größen von 0,36 bis 141 Milliarden Parametern ab; bei Mixture-of-Experts-Modellen zählen die Autoren sämtliche Parameter. Die Ergebnisse belegen daher nicht automatisch, dass proprietäre oder nicht getestete Modelle dieselben Muster zeigen. [3] [4]
Was die Durchführung über Reproduzierbarkeit aussagt
Für die veröffentlichte Auswertung wurden alle 702 Kombinationen aus 54 Modellen und 13 Aufgaben abgeschlossen. Die Arbeit zählt 366.606 Datensätze einschließlich nicht ergebnisrelevanter Schritte; 366.486 Antworten waren technisch gültig, entsprechend 99,97 Prozent. Technische Gültigkeit bedeutet hier, dass Antwortformat und Übermittlung den Vorgaben entsprachen – nicht, dass eine Antwort inhaltlich richtig war. [4]
238 Antworten waren gültig, ließen sich aber nicht auswerten, weil in Aufgaben zu falschen Überzeugungen keine passende Ortsangabe extrahiert wurde; sie wurden als falsch gewertet. Weitere 120 Antworten waren technisch ungültig. Diese Trennung ist relevant, weil Formatkonformität, Parsing und Aufgabenleistung unterschiedliche Fehlerquellen darstellen. [4]
Der Quellcode beschreibt einen Ablauf, mit dem Forschende Materialien lokal aus den Originalquellen aufbauen und Modelle über Ollama oder einen OpenAI-kompatiblen Endpunkt testen können. Die im Paper dokumentierten Läufe verwendeten Ollama; die Modelle antworteten grundsätzlich bei Temperatur null, während drei Modelle ihre native Denkfunktion nutzten. Solche Einstellungen sind für die Interpretation von Wiederholungen wichtig, weil Ergebnisse an Modellversion und Ausführungsprotokoll gebunden bleiben. [3] [4]
Versionen und Nutzungsbedingungen beachten
Die Arbeit erschien zunächst unter dem Namen CogArena und wurde umbenannt, um Verwechslungen mit einem anderen Benchmark zu vermeiden. Das Repository hält fest, dass die archivierte arXiv-v1-Fassung 55 Modelle und prozedural erzeugte Aufgaben nutzte und ihre Werte nicht mit der aktuellen Paper-Version vergleichbar sind. Die unterschiedliche Modellzahl ist damit eine Versionsfrage, kein Widerspruch zur aktuellen Angabe von 54 Modellen. [2] [3]
Das Repository stellt Materialien zu zwölf Aufgaben sowie Ergebnisdaten bereit; für den Zugriff auf das Hugging-Face-Dataset wird laut Dokumentation eine Zustimmung verlangt, die eine Nutzung zum Training ausschließt. Die Wortlisten des CVLT-II liegen wegen Pearson-Urheberrechten nicht im Repository oder im Dataset, sondern werden beim lokalen Aufbau aus einem öffentlich zugänglichen UCLA-Codebuch eingelesen. Für eine interne Evaluation sollten Sie daher nicht nur die Softwarelizenz, sondern auch die Bedingungen der konkreten Materialien prüfen. [3]
Einordnung für die KI-Bewertung in Unternehmen
CogBattery ergänzt leistungsorientierte Benchmarks um bedingungsspezifische Fehler und Unsicherheitsangaben. Ein früherer verwandter Ansatz, CogBench, untersuchte 35 Sprachmodelle anhand von sieben psychologischen Experimenten und zehn Verhaltensmetriken. CogBattery weitet die Zahl der getesteten Modelle und Paradigmen aus und stellt pro Aufgabe menschliche Referenzdaten gegenüber; wegen unterschiedlicher Tests und Protokolle ist daraus kein direkter Rangvergleich abzuleiten. [3] [4] [7]
Für B2B-Teams ist der Ansatz als zusätzliche Prüfebene zu verstehen, nicht als Zertifizierung menschlicher Kognition oder allgemeine Sicherheitsprüfung. Die Befunde sprechen dafür, bei einer Modellauswahl neben der Trefferquote auch Fehlertypen, Konfidenzverhalten und die Stabilität unter gezielten Aufgabenvariationen zu betrachten. Das ist eine Analyse der methodischen Konsequenzen; CogBattery bewertet weder reale Unternehmenseinsätze noch Risiken in bestimmten Branchen. [2] [4]
Der wichtigste Vorbehalt bleibt die Übersetzung psychologischer Aufgaben in Text und die Nutzung unterschiedlicher menschlicher Referenzstudien. CogBattery macht dadurch konkrete Verhaltensunterschiede sichtbar, erlaubt aber keine pauschale Aussage, ein Modell denke oder verhalte sich insgesamt wie ein Mensch. [2] [4]
Quellen
- [1] Paper page - CogBattery: Human-Referenced Evaluation of Cognitive Task Behavior and Structure in Language Models — https://huggingface.co/papers/2607.24999 (abgerufen am 2026-11-12)
- [2] [2607.24999] CogBattery: Human-Referenced Evaluation of Cognitive Task Behavior and Structure in Language Models — https://arxiv.org/abs/2607.24999 (abgerufen am 2026-11-12)
- [3] GitHub - dengzhe-hou/CogBattery: Human-referenced evaluation of cognitive task behavior and structure in language models · GitHub — https://github.com/dengzhe-hou/CogBattery (abgerufen am 2026-11-12)
- [4] CogBattery: Human-Referenced Evaluation of Cognitive Task Behavior and Structure in Language Models — https://arxiv.org/html/2607.24999v2 (abgerufen am 2026-11-12)
- [7] CogBench: a large language model walks into a psychology lab — https://hcai-munich.com/pubs/CodaForno2024CogBench.pdf (abgerufen am 2026-11-12)
Nächster Artikel
Modelle & Forschung
WMIP-Studie zeigt Grenzen bei kumulativer Zustandsverfolgung von SprachmodellenWMIP prüft, wie zuverlässig 18 Sprachmodelle Zustandsänderungen über mehrere Schritte verfolgen – und wie stark Antwortvorgaben die Ergebnisse verändern.
Artikel teilen
Dranbleiben
Mindverse News folgen
Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.
Recherchieren Sie KI-News wie diese selbst – mit Mindverse Studio.
7 Tage kostenlos testen – ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.