// Modelle & Forschung 29.10.2026 · 21:54 Uhr 7 Min. Lesezeit

Neue Kennzahl soll die Belastungsgrenzen von Sprachmodellen messbar machen

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 3 Quellen

KI-generierte Illustration: Neue Kennzahl soll die Belastungsgrenzen von Sprachmodellen messbar machen — KI-generierte Illustration

Das Wichtigste in Kürze

Ein Preprint schlägt vor, die Belastbarkeit von Sprachmodellen anhand einfacher, unabhängig konstruierter Wortersetzungsregeln zu messen. [1][2]
In 2.958 Anfragen an GPT-4o mini wertete der Autor 642.430 einzelne Ersetzungen aus. [2]
Die angegebene Instruction Capacity liegt bei etwa 37 bis 38 Regeln, wenn 95 Prozent der Ersetzungen korrekt sein sollen; bei voller Ersetzungsdichte sinkt sie auf etwa 18 bis 19 Regeln. [1][2]
Die Kennzahl beschreibt einen eng kontrollierten Test und ist noch kein nachgewiesener Maßstab für komplexe Unternehmensprompts. [1][2]
Der Autor stellt Messinstrument, Daten und Modellpass als offen und nachrechenbar dar; die bereitgestellten Quellen dokumentieren jedoch keine externe Replikation. [1][2]

// Inhalt · 7 Abschnitte

Ein kontrollierter Belastungstest statt eines allgemeinen Leistungsscores
Wie die Regeln den Test vereinheitlichen sollen
Die Kennzahl entsteht aus mehreren Belastungsachsen
Was die Messung an GPT-4o mini berichtet
Warum bestehende Tests den Vergleich erschweren können
Bedeutung für die Evaluation von Unternehmenssystemen
Offene Daten, aber begrenzte externe Absicherung
Quellen

Ein kontrollierter Belastungstest statt eines allgemeinen Leistungsscores

Ein Preprint von Hennadii Kutomanov schlägt eine neue Kennzahl vor, um zu beschreiben, wie die Fähigkeit eines Sprachmodells zum Befolgen von Anweisungen unter zunehmender Belastung abnimmt. Der Ansatz setzt nicht bei komplexen Aufgaben wie Programmierung oder Recherche an, sondern bei einer schlichten Operation: Ein Modell soll in einem bedeutungsfreien Text bestimmte einzelne Wörter durch vorgegebene andere Wörter ersetzen. So soll sich die Anzahl gleichzeitig geltender Regeln gezielt erhöhen lassen, ohne zugleich die inhaltliche Schwierigkeit der Aufgabe zu verändern. [1][2]

Für GPT-4o mini berichtet der Autor eine Instruction Capacity von etwa 37 bis 38 Regeln, wenn mindestens 95 Prozent der Ersetzungen korrekt sein sollen. Bei voller Ersetzungsdichte – wenn die Ersetzungen in der Aufgabe maximal dicht angesetzt sind – fällt der Wert auf etwa 18 bis 19 Regeln. Das sind Ergebnisse des beschriebenen Versuchs, keine unabhängig bestätigte Aussage über eine allgemeine Grenze des Modells. [1][2]

Die Studie umfasst laut Abstract 2.958 Anfragen und 642.430 einzelne Ersetzungsversuche. [2]
Die Kennzahl soll die Zahl gleichzeitig geltender Regeln bei einem festgelegten Anteil korrekter Ersetzungen ausdrücken. [1][2]
Gemessen wurde in der berichteten Untersuchung GPT-4o mini; ein Modellvergleich wird in den bereitgestellten Ergebnissen nicht ausgewiesen. [1][2]

Wie die Regeln den Test vereinheitlichen sollen

Die Grundidee ist, jede Anweisung als atomare Regel zu gestalten: Sie ersetzt ein einzelnes Wort, das der Aufgabenbeschreibung zufolge ein einzelnes Token bildet, durch ein anderes. Die Regeln sollen durch die Konstruktion der Aufgabe unabhängig voneinander sein. Weil der Text keinen inhaltlichen Sinn tragen soll, geht es nach der Anlage des Tests nicht darum, eine Bedeutung zu verstehen oder abzuwägen, sondern darum, eine vorgegebene Transformation korrekt auszuführen. [1][2]

Für jede Stelle, an der ein Wort ersetzt werden soll, lässt sich eine Referenzantwort programmatisch bestimmen. Der Autor behandelt jede solche Stelle als einzelnen Bernoulli-Versuch: Die Ersetzung ist entweder korrekt oder falsch, und ihre Position im Antworttext sowie die zugehörige Regel sind bekannt. Die Ausgabe wird laut Beschreibung zeilenweise mit der Referenz verglichen; das Instrument unterscheidet dabei drei Fehlerarten. Welche konkreten Kategorien das sind, erläutern die bereitgestellten Auszüge nicht. [2][4]

Diese Konstruktion soll einen methodischen Einwand gegen manche bisherige Tests adressieren: Wenn die Zahl der Anweisungen steigt, können gleichzeitig deren Inhalt, Schwierigkeit und Verknüpfung komplexer werden. Dann lässt sich eine sinkende Erfolgsquote nicht eindeutig der größeren Anzahl von Regeln zuschreiben. Kutomanov argumentiert, dass atomare, programmatisch prüfbare Regeln diese Vermischung reduzieren. Das ist die Begründung des Autors für sein Testdesign, nicht der Nachweis, dass damit sämtliche Probleme bestehender Benchmarks gelöst wären. [4]

Die Kennzahl entsteht aus mehreren Belastungsachsen

Das Verfahren reduziert die Auswertung nicht auf eine einzige rohe Erfolgsquote. Im statistischen Modell untersucht der Autor, wie sich die Wahrscheinlichkeit einer korrekten Ersetzung mit fünf Faktoren verändert: der Textlänge, der Position des Wortes in der Antwort, der Ersetzungsdichte, der Gesamtzahl der Regeln und der Position der jeweiligen Regel in der Liste. Anschließend beschreibt das Modell die beobachteten Zusammenhänge durch glatte mathematische Verläufe. [1][2]

Eine weitere Modellkomponente soll verhindern, dass die gemessene Grundlinie davon abhängt, wie die Beobachtungen in Referenzbereiche beziehungsweise Bins eingeteilt werden. Der Preprint beschreibt dafür eine Korrektur des durch die Approximation entstehenden Verschiebungseffekts. Die Instruction Capacity wird anschließend als inverse Frage formuliert: Wie viele Regeln entsprechen einem vorgegebenen Anteil korrekter Ersetzungen? Die Unsicherheit soll laut Abstract mit der Delta-Methode berechnet werden; außerdem berücksichtige das Verfahren Unterschiede in der Schwierigkeit einzelner Anfragen. [2][4]

Das ist für die Interpretation wichtig: Die Kapazität ist keine direkt beobachtete natürliche Konstante, sondern ein aus Messdaten und Modellannahmen abgeleiteter Schwellenwert. Seine Aussage hängt deshalb auch davon ab, wie die Aufgabe, die Belastungsachsen und der Zielwert definiert sind. Der Preprint stellt eine solche Modellierung ausdrücklich als Teil seines Instruments dar. [2][4]

Was die Messung an GPT-4o mini berichtet

Die Datenbasis des Versuchs umfasst nach Abstract 2.958 Anfragen und 642.430 Ersetzungsversuche. Daraus leitet der Autor die genannten Kapazitäten ab: ungefähr 37 bis 38 Regeln bei einem Zielanteil von 0,95 korrekten Ersetzungen und ungefähr 18 bis 19 Regeln bei voller Ersetzungsdichte. Die Zahl 0,95 bezeichnet hier den Anteil korrekter Ersetzungen, auf den die Kapazität bezogen wird. Sie ist nicht als 95-prozentiges Konfidenzniveau zu lesen. [1][2]

Die im Hugging-Face-Eintrag genannten Werte sind Näherungsangaben. Der Abstract sagt zwar, dass die Kennzahl mit einer Unsicherheit versehen wird, doch die bereitgestellten Zusammenfassungen nennen weder die konkreten Unsicherheitsintervalle noch deren jeweiliges Konfidenzniveau. Die Spannen 37 bis 38 beziehungsweise 18 bis 19 sollten daher nicht ohne Weiteres als formale Konfidenzintervalle interpretiert werden. [1][2]

Der Autor berichtet zudem, dass sich für die untersuchten Belastungsfaktoren regelmäßige Verläufe ergeben hätten. In einem Kommentar auf der Paper-Seite beschreibt er den Zusammenhang mit der Regelzahl als linear in deren Logarithmus, den Einfluss der Ersetzungsdichte als Sättigungsverlauf und den Einfluss der Regelposition als Potenzgesetz. Textlänge und Position eines Wortes wirkten demnach zusammen; für den Zusammenbruch einer gesamten Antwort beschreibt er eigene Verläufe. Diese Formangaben sind die Ergebnisdarstellung des Autors und in den bereitgestellten Quellen nicht durch eine unabhängige Nachmessung bestätigt. [1]

Warum bestehende Tests den Vergleich erschweren können

In seiner Literaturübersicht ordnet Kutomanov den Ansatz in eine breitere Forschung zu Instruktionsbefolgung, langen Eingaben und mehreren gleichzeitigen Anforderungen ein. Er beschreibt etwa Benchmarks, die unterschiedliche Arten von Vorgaben kombinieren oder die Antworten durch ein weiteres Modell bewerten lassen. Aus Sicht des Autors erschwert das einen Vergleich der reinen Belastung durch eine wachsende Regelzahl: Inhalt und Komplexität der Anforderungen sowie die Art der Bewertung können das Ergebnis mitbestimmen. [4]

Der Preprint verweist außerdem auf Arbeiten, in denen die Reihenfolge von Anforderungen, ihre Verteilung über längere Dialoge oder die Position relevanter Informationen in langen Eingaben eine Rolle spielt. Das macht deutlich, weshalb eine einzelne Gesamtquote für praktische Systeme nur begrenzte Erklärungskraft haben kann. Kutomanovs Test versucht, einen Teil dieser Faktoren getrennt zu erfassen, indem er Textlänge, Wortposition, Ersetzungsdichte, Regelzahl und Regelposition als eigene Achsen modelliert. [1][4]

Der Anspruch ist damit enger und zugleich messmethodisch anders gelagert als bei Aufgaben, die bewerten, ob ein Modell ein reales Anliegen vollständig erfüllt. Eine programmatisch bekannte Musterlösung ermöglicht präzise Fehlerzählung. Sie sagt jedoch zunächst nur etwas darüber aus, wie ein Modell die im Test definierten Ersetzungsregeln ausführt – nicht darüber, ob es etwa mehrere natürliche Sprachvorgaben korrekt interpretiert oder einen Arbeitsablauf zuverlässig plant. [1][2][4]

Bedeutung für die Evaluation von Unternehmenssystemen

Für Unternehmen liegt der mögliche Nutzen des Ansatzes zunächst in einer zusätzlichen, reproduzierbaren Belastungsprüfung. Wenn Aufgaben und Referenzantworten programmatisch erzeugt und geprüft werden, lässt sich eine Modellversion entlang klar definierter Belastungsstufen testen, statt nur eine einzelne Erfolgsquote für einen gemischten Aufgabenbestand zu vergleichen. Der Autor stellt den Modellpass als Kalibrierungsgrundlage für ein künftiges Messgerät dar, mit dem sich die Instruktionslast beliebiger Prompts in denselben Einheiten ausdrücken ließe. [1][2]

Diese praktische Anwendung ist im Preprint jedoch als Perspektive formuliert. Die berichtete Messung bezieht sich auf eine künstliche Wortersetzungsaufgabe und GPT-4o mini. Die verfügbaren Angaben zeigen nicht, dass die Kennzahl bereits für reale Unternehmensprompts validiert wurde, dass sich ein Modellpass auf andere Modellfamilien übertragen lässt oder dass eine bestimmte Kapazität mit einem bestimmten Erfolg in produktiven Abläufen korreliert. [1][2]

Analytisch wäre die Kennzahl daher am ehesten als kontrollierter Diagnosetest neben domänenspezifischen Prüfungen zu lesen. Sie könnte Hinweise darauf geben, wie schnell ein Modell bei einer standardisierten, wachsenden Regelmenge an Genauigkeit verliert. Für Entscheidungen über den Einsatz in Kundenservice, Dokumentenverarbeitung oder Agentensystemen wären zusätzlich Tests erforderlich, die die tatsächlichen Aufgaben, Abhängigkeiten und Fehlerfolgen des jeweiligen Betriebs abbilden. Diese Einordnung folgt aus dem engen Umfang des beschriebenen Experiments und ist keine bereits nachgewiesene Übertragungsleistung des Instruments. [1][2]

Offene Daten, aber begrenzte externe Absicherung

Der Abstract und die Paper-Seite geben an, dass Code, Messdaten und ein Modellpass öffentlich zugänglich seien; nach Darstellung des Autors lasse sich jede Zahl des Passes aus den veröffentlichten Punkten neu berechnen. Das erleichtert grundsätzlich die Nachvollziehbarkeit und eröffnet anderen Teams die Möglichkeit, die Auswertung zu prüfen oder das Instrument auf weitere Modelle anzuwenden. Die bereitgestellten Quellen belegen allerdings keine unabhängige Replikation dieser konkreten Messung. [1][2]

Die Quellenlage enthält zudem eine Datumsabweichung: Hugging Face nennt als Veröffentlichungsdatum den 25. Oktober und führt eine Einreichung durch den Autor am 29. Oktober auf; arXiv verzeichnet die erste Einreichung am 26. Oktober 2026. Ein eindeutiger Veröffentlichungstag lässt sich aus diesen Angaben nicht ableiten. arXiv führt den Beitrag als Version 1 in der Kategorie Machine Learning; die bereitgestellten Informationen weisen keinen begutachteten Zeitschriften- oder Konferenzbeitrag aus. [1][2]

Für eine belastbare Einordnung sind daher drei Ebenen auseinanderzuhalten: Das Instrument ist als methodischer Vorschlag beschrieben, die Kennzahl für GPT-4o mini ist ein berichtetes Versuchsergebnis, und der Einsatz als allgemeines Prompt-Messgerät bleibt eine angekündigte Perspektive. Die Trennung ist für die Bewertung im Unternehmenskontext entscheidend: Ein sauberer, reproduzierbarer Test kann nützlich sein, ersetzt aber nicht den Nachweis, dass seine Ergebnisse auf die konkrete Aufgabenlast und das jeweilige Fehlerrisiko übertragbar sind. [1][2]

Quellen

[1] Paper page - Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load — https://huggingface.co/papers/2610.36095 (abgerufen am 2026-10-29)
[2] [2610.36095] Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load — https://arxiv.org/abs/2610.36095 (abgerufen am 2026-10-29)
[4] Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load — https://arxiv.org/html/2610.36095v1 (abgerufen am 2026-10-29)