Taste-Bench zeigt Schwächen bei langfristigen Entscheidungen von KI-Agenten

Wie der Benchmark Entscheidungspunkte rekonstruiert

Die Methode nutzt aufgezeichnete Agentenläufe, also Spuren mit den einzelnen Aktionen und Beobachtungen eines Systems. Für dieselbe Aufgabe können mehrere Durchläufe unterschiedliche Wege nehmen. An einem solchen Abzweig – im Bericht als „decision fork“ bezeichnet – wird der Lauf angehalten. Das Modell sieht den bis dahin verfügbaren Kontext und zwei mögliche Richtungen, aber nicht, wie die jeweiligen Verläufe später endeten. Es soll entscheiden, welcher Weg sich im Nachhinein als erfolgreicher erwies. [1]

Der Bericht beschreibt zwei Arten solcher Fragen. Bei der ersten werden zwei unabhängige Versuche derselben Aufgabe verglichen, die an einem Punkt unterschiedliche Wege einschlagen. Bei der zweiten geht es um einen Umweg innerhalb eines einzelnen Laufs: Der Agent verwirft zunächst eine Richtung, korrigiert sich später und gelangt auf einem anderen Weg zum Erfolg. Diese Fälle prüfen, ob ein Modell einen Fehler früher erkennen kann als der Agent, der die Aufgabe tatsächlich bearbeitet hat. [1]

Für die Auswertung ist die spätere Entwicklung entscheidend: Sie liefert die Vergleichsinformation darüber, welcher Pfad besser war. Das macht die Methode zu einem Test des Urteils an einem früheren Zeitpunkt, nicht zu einer weiteren Prüfung des fertigen Ergebnisses. Zugleich bedeutet es, dass die Antworten aus zurückliegenden Agentenläufen abgeleitet werden. Sie zeigen, welcher Weg in diesen aufgezeichneten Fällen erfolgreicher war; sie beweisen nicht automatisch, dass derselbe Weg in jeder vergleichbaren Unternehmenssituation optimal wäre. [1]

502 Fragen aus Programmier- und Forschungsaufgaben

Taste-Bench enthält laut Bericht 502 Fragen. Die zugrunde liegenden Daten stammen aus Tausenden bewerteten Agentenläufen für Programmier- und KI-Forschungsaufgaben. Als Beispiele für die verwendeten Aufgaben- und Transkriptquellen nennt der Bericht SWE-bench Pro sowie die öffentlich bereitgestellten MALT-Transkripte von METR. [1]

Ein Generatormodell suchte in den Läufen nach geeigneten Abzweigungen. Fragen mit offensichtlich trivialer Antwort und Fälle ohne entscheidbaren Vergleich wurden anschließend aussortiert. Der Bericht sagt, dass Menschen fast alle automatisch erzeugten Labels überprüften. Das ist ein wichtiger Qualitätsschritt, aber keine Aussage, dass sämtliche Labels manuell erstellt oder alle möglichen Fehlerquellen ausgeschlossen wurden. [1]

Damit bleibt der Test auf die Aufgabenbereiche und die Auswahl der aufgezeichneten Verläufe bezogen. Aus 502 Fragen lässt sich nicht unmittelbar ableiten, wie ein Agent in jeder Branche, bei jeder Art von Langzeitplanung oder unter realen betrieblichen Bedingungen entscheiden würde. Analytisch betrachtet ist Taste-Bench daher zunächst ein gezieltes Messinstrument für bestimmte Entscheidungssituationen – kein allgemeines Gütesiegel für autonome Systeme. [1]

Spitzenmodelle bleiben bei knapp 60 Prozent

Das Team prüfte nach Darstellung des Berichts 14 Modelle aus den Modellfamilien Claude, GPT, Grok, DeepSeek, GLM, MiniMax und Mistral. Jede Frage wurde zweimal gestellt: einmal in der ursprünglichen Reihenfolge der Optionen und einmal mit vertauschter Reihenfolge. Als richtig zählte eine Antwort nur, wenn das Modell in beiden Varianten die bessere Richtung auswählte. Unter dieser strengen Zählweise liegt die Trefferquote beim bloßen Raten laut Bericht bei 25 Prozent. [1]

GPT-5.6 Sol erreichte demnach im Mittel 59,7 Prozent, knapp vor GPT-5.5 mit 59,5 Prozent. Die übrigen getesteten Modelle lagen deutlich darunter; der Bericht nennt für sie in diesem Überblick keine vollständigen Einzelwerte. Keine der getesteten Varianten löste den Benchmark annähernd vollständig. Fragen zu Umwegen innerhalb eines Laufs waren durchgehend schwieriger als Vergleiche zwischen zwei unabhängigen Läufen. [1]

Die Ergebnisse sind deshalb nicht so zu lesen, als könnten die besten Modelle in 60 Prozent aller realen Langzeitentscheidungen zuverlässig richtig liegen. Sie beziehen sich auf die ausgewählten Testfragen und die besondere, reihenfolgeabhängige Wertung. Der Befund zeigt vielmehr, dass selbst starke Modelle in diesem Versuchsaufbau häufig nicht konsistent den im weiteren Verlauf besseren Pfad erkennen. [1]

Je später die entscheidenden Hinweise kommen, desto schlechter wird die Leistung

Besonders deutlich ist der Zusammenhang zwischen dem Zeitpunkt eines Hinweises und der Trefferquote. Wenn der entscheidende Hinweis bereits in den vorangegangenen Schritten zu sehen war, lag die durchschnittliche Genauigkeit der Modelle laut Bericht bei 62,3 Prozent. Wenn die relevante Evidenz erst nach umfangreicher späterer Arbeit auftauchte, fiel sie auf 21 Prozent. Der Bericht beschreibt den niedrigsten Wert als nahe am Zufallsniveau. [1]

Das legt eine Grenze des rückblickenden Urteils offen: Um am Abzweig den später besseren Weg zu wählen, müsste das Modell mitunter Ergebnisse vorhersagen, die zu diesem Zeitpunkt noch nicht vorliegen. Sind die entscheidenden Informationen noch nicht beobachtbar, hilft die bloße Auswertung des bisherigen Verlaufs nur begrenzt. Das ist eine Interpretation der berichteten Ergebnisse, kein Nachweis dafür, dass jeder solche Fehler ausschließlich durch fehlende Evidenz entsteht. [1]

Auch mehr Rechenaufwand beim Schlussfolgern löste das Problem im beschriebenen Versuch kaum. Die Forschenden testeten für zwei Modelle drei Reasoning-Einstellungen; ein Wechsel von der niedrigsten zur höchsten Einstellung veränderte die Genauigkeit nur geringfügig. Zugleich verwendeten die Modelle bei den schwierigsten Fragen die meisten Reasoning-Tokens und dachten besonders lange über Fragen nach, die sie am häufigsten verfehlten. Die Autoren deuten das als Hinweis darauf, dass an manchen Entscheidungspunkten die nötigen Hinweise noch nicht vorhanden sind. [1]

Für Unternehmen ist die Unterscheidung praktisch relevant: Ein System kann Informationen, die bereits im Kontext stehen, auswerten und trotzdem scheitern, wenn die Qualität seiner Wahl von späteren Entwicklungen abhängt. Mehr Laufzeit oder ein höheres Reasoning-Budget ist nach diesen Ergebnissen nicht automatisch ein Ersatz für fehlende Informationen. Wie groß der Effekt in konkreten Unternehmensprozessen ist, lässt sich aus den vorliegenden Benchmark-Angaben allerdings nicht ablesen. [1]

Trainierte Entscheidungshilfe verbesserte Ergebnisse in einem Folgetest

Neben der Messung untersuchten die Forschenden, ob sich die Fähigkeit zur Auswahl eines besseren Pfads trainieren lässt. Sie übertrugen das Urteil eines Lehrermodells auf ein Qwen3.6-27B-Modell. Das trainierte Modell erhielt bei der späteren Bewertung nur die jeweilige Frage, nicht aber die Information darüber, welcher Weg sich im Nachhinein als richtig herausgestellt hatte. Auf zuvor nicht gesehenen Aufgaben stieg seine Genauigkeit laut Bericht von 30 auf 47,9 Prozent. [1]

Anschließend wurde diese Vorhersage als Ratschlag in den Aufgabenkontext eines separaten Agenten aufgenommen. In 41 zurückgehaltenen SWE-bench-Pro-Aufgaben erhöhte sich dessen Erfolgsrate demnach von 14,6 Prozent ohne solchen Rat auf 33,7 Prozent mit der studentischen Entscheidungshilfe. Mit vollständig korrekter Beratung hätte die Erfolgsrate laut Bericht bei 39 Prozent gelegen. Der Versuch zeigt damit einen messbaren Nutzen innerhalb dieses Tests, nicht den Nachweis einer gleich großen Verbesserung in beliebigen betrieblichen Abläufen. [1]

Der Befund verschiebt die Frage von „Kann das Modell allein langfristig planen?“ zu einer konkreteren Systemfrage: Lässt sich die Entscheidung an kritischen Punkten durch ein zusätzliches Urteil verbessern? Die Ergebnisse sprechen dafür, dass eine solche Unterstützung in den getesteten Aufgaben helfen kann. Sie belegen nicht, dass die Entscheidungshilfe jeden Fehler erkennt oder dass sie ohne weitere Überwachung eingesetzt werden kann. [1]

Einordnung für betriebliche Agenten

Eine im Februar 2026 veröffentlichte Praxisreflexion zu Unternehmenseinsätzen beschreibt ein ähnliches Gefälle zwischen unterschiedlichen Aufgabentypen: Die Autorin berichtet, Recherche- und Zusammenfassungsagenten seien bei klarer Aufgabenstellung, zugänglichen Quellen und definiertem Ausgabeformat besonders nützlich gewesen. Mehrstufige Workflow-Automatisierung habe sich dagegen bei unerwarteten Formatabweichungen, fehlenden CRM-Feldern oder Randfällen als anfällig erwiesen; für Entscheidungen mit Ermessensspielraum habe sie den getesteten Systemen nicht vertraut. Das ist ein persönlicher Erfahrungsbericht und keine kontrollierte Vergleichsstudie. [2]

Zusammengenommen legen die Benchmarkmessung und dieser Erfahrungsbericht nahe, zwischen klar begrenzten Aufgaben und Entscheidungen mit langfristigen, erst später sichtbaren Folgen zu unterscheiden. Für den betrieblichen Einsatz folgt daraus analytisch, dass eine hohe Abschlussquote allein nicht genügt, wenn der Weg dorthin schwer zu beurteilen ist. Relevant ist auch, ob ein System seine Zwischenentscheidungen offenlegt, Unsicherheit erkennbar macht und bei nicht auflösbarer Mehrdeutigkeit eine menschliche Prüfung ermöglicht. Die Quellen belegen nicht, dass Taste-Bench diese Eigenschaften direkt misst; sie zeigen vielmehr eine Lücke zwischen der Bewertung von Pfadentscheidungen und der praktischen Absicherung von Arbeitsabläufen. [1][2]

Der Erfahrungsbericht betont zudem die Bedeutung dokumentierter Prozesse, zugänglicher Daten und menschlicher Aufsicht. Als Analyse lässt sich daraus ableiten, dass Organisationen bei Agenten nicht nur das zugrunde liegende Modell vergleichen sollten: Auch der Prozess, in dem es arbeitet, und die Kontrolle seiner Zwischenschritte gehören zur Bewertung. Taste-Bench kann dafür einen Teilaspekt sichtbar machen – die Fähigkeit, aus früheren Verläufen auf bessere Richtungen zu schließen –, ersetzt aber keine Prüfung der konkreten Arbeitsumgebung. [1][2]

Was Taste-Bench belegt – und was nicht

Die Forschenden stellen Taste-Bench laut Bericht als Ergänzung zu klassischen End-to-End-Tests dar. Modelle, die bei solchen Tests ähnlich abschneiden, können bei der Qualität einzelner Entscheidungen dennoch auseinanderliegen. Umgekehrt misst ein gutes Ergebnis im Entscheidungstest nicht automatisch, ob ein Agent eine Aufgabe korrekt ausführt, in einem Unternehmen sicher handelt oder mit veränderten Anforderungen umgehen kann. Die beiden Testarten prüfen unterschiedliche Fähigkeiten. [1]

Die Aussagekraft hängt außerdem an den konstruierten Entscheidungspunkten, den zugrunde liegenden Aufgaben und der Qualität der nachträglichen Labels. Der Bericht erklärt, dass ein Generatormodell die Kandidaten auswählte und Menschen fast alle Labels bestätigten. Für eine Übertragung auf andere Bereiche wären deshalb zusätzliche Prüfungen mit deren eigenen Aufgaben und Fehlerkosten nötig. Das ist eine methodische Folgerung aus dem beschriebenen Aufbau, kein berichtetes Ergebnis eines zusätzlichen Einsatztests. [1]

Der Benchmark und der zugehörige Code sind nach Angaben des Berichts öffentlich verfügbar. Damit können Unternehmen und Forschungsteams die Messidee nachvollziehen und auf ihre eigenen Entscheidungssituationen beziehen. Für die Beschaffung oder Freigabe von Agenten reicht eine einzelne Rangliste jedoch nicht aus: Taste-Bench erfasst einen wichtigen, bislang wenig geprüften Aspekt von Langzeitaufgaben, aber nicht deren gesamte betriebliche Zuverlässigkeit. [1]

Quellen

1. [1] AI agents have bad taste in long-term decisions and a new benchmark proves it — https://the-decoder.com/ai-agents-have-bad-taste-in-long-term-decisions-and-a-new-benchmark-proves-it (abgerufen am 2026-10-18)
2. [2] I Gave AI Agents a Real Job. Here’s What Actually Happened — https://sadiestlawrence.substack.com/p/i-gave-ai-agents-a-real-job-heres (abgerufen am 2026-10-18)