// Modelle & Forschung 01.11.2026 · 13:05 Uhr 7 Min. Lesezeit

Wenn die Genauigkeit stagniert, verändert sich das Modell weiter

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 2 Quellen

KI-generierte Illustration: Wenn die Genauigkeit stagniert, verändert sich das Modell weiter — KI-generierte Illustration

Das Wichtigste in Kürze

Ein kleines Mixture-of-Experts-Modell erreichte laut Saccadic nach rund 60.000 Trainingsschritten etwa 99 Prozent Genauigkeit auf zurückgehaltenen Testdaten; bis Schritt 120.000 änderte sich dieser Wert kaum. [1]
Während die Genauigkeit auf dem Plateau blieb, veränderten sich die von Saccadic gemessenen internen Kenngrößen weiter: Die effektiven Pfade nahmen ab, und die effektive Rangzahl der tiefsten Schicht sank. [1]
Die Messung stammt aus einem Community-Beitrag des Anbieters Saccadic AI. Die dort genannten Ergebnisse sind deshalb nicht als unabhängige Bestätigung der IRIS-Methode zu verstehen. [1]
Ein separates, nicht peer-reviewtes Preprint untersucht ebenfalls interne Repräsentationen neuronaler Netze, behandelt aber eine andere Aufgabe und bestätigt die berichteten IRIS-Messwerte nicht. [3]

// Inhalt · 7 Abschnitte

Ein Plateau ist nicht zwingend das Ende des Lernverlaufs
Ein kleines Modell löst fünf Rechenaufgaben
IRIS erfasst interne Kennzahlen neben der Testleistung
Auch nach dem Genauigkeitsplateau bewegen sich die Messwerte
Was der Bericht belegt – und was offenbleibt
Ein verwandter Ansatz, aber keine Bestätigung
Mögliche Folgen für Trainingskontrolle und Evaluation
Quellen

Ein Plateau ist nicht zwingend das Ende des Lernverlaufs

Ein Modell kann auf einem Testdatensatz kaum noch besser abschneiden und sich intern dennoch weiter verändern. Diesen Unterschied illustriert ein Bericht von Saccadic AI über einen Trainingslauf, in dem die Genauigkeit nach etwa 60.000 Schritten bei rund 99 Prozent lag. Das Training lief bis Schritt 120.000 weiter, während die Genauigkeitskurve laut Beitrag nahezu flach blieb. [1]

Saccadic setzte für den Versuch das eigene Instrumentierungswerkzeug IRIS ein. Die zentrale Aussage des Beitrags lautet nicht, dass das Modell nach dem Genauigkeitsplateau nachweislich leistungsfähiger wurde. Vielmehr bewegten sich einige der erfassten internen Größen weiter, obwohl die beobachtete Testgenauigkeit kaum noch zunahm. [1]

Das ist für die Bewertung von Trainingsläufen relevant: Eine einzelne Kennzahl bildet nur einen Ausschnitt ab. Sie zeigt, wie gut ein Modell eine bestimmte Aufgabe auf den verwendeten Testdaten löst, sagt für sich genommen aber nicht, ob sich interne Repräsentationen stabilisiert haben. Was eine solche Veränderung praktisch bedeutet, muss separat geprüft werden.

Die Genauigkeit überschritt laut Beitrag bei ungefähr Schritt 33.000 erstmals 50 Prozent und bei ungefähr Schritt 44.000 die Marke von 90 Prozent. [1]
Die fünf getesteten Operationen erreichten diese Lernstufen nicht gleichzeitig. Multiplikation und Division kamen zuerst über 90 Prozent, Addition und Subtraktion zuletzt. [1]

Ein kleines Modell löst fünf Rechenaufgaben

Der Versuch nutzte einen kleinen Mixture-of-Experts-Transformer mit vier Schichten und vier Experten pro Schicht. Saccadic gibt die Modellgröße mit etwa 1,4 Millionen Parametern an. Trainiert wurde auf fünf Operationen der modularen Arithmetik modulo 113: Addition, Subtraktion, Multiplikation, Division und Exponentiation. [1]

Bei modularer Arithmetik werden Ergebnisse auf den Zahlenraum von 0 bis 112 zurückgeführt. Damit testet der Aufbau klar abgegrenzte Rechenregeln über eine feste Menge von Symbolen. Die von Saccadic berichtete Genauigkeit bezieht sich auf zurückgehaltene Testdaten für diese Aufgaben; der Beitrag weist keine Ergebnisse zu allgemeinen Sprach-, Mathematik- oder Unternehmensanwendungen aus. [1]

Die Lernkurven verliefen je nach Operation unterschiedlich. Multiplikation und Division überschritten laut Beitrag bei Schritt 36.952 die 90-Prozent-Marke. Es folgten Exponentiation bei Schritt 42.952, Subtraktion bei Schritt 46.102 und Addition bei Schritt 47.302. Der Autor hebt hervor, dass Multiplikation vor Addition gelernt wurde – eine Reihenfolge, die sich nicht mit der üblichen schulischen Lernabfolge gleichsetzen lässt. [1]

Der Beitrag beschreibt eine Genauigkeit, die über zehntausende Schritte zunächst niedrig blieb, dann deutlich anstieg und sich schließlich abflachte. Nach Darstellung des Autors hätte ein übliches Dashboard für Verlustfunktion und Genauigkeit den Lauf um Schritt 60.000 als konvergiert eingestuft. Das ist eine Einschätzung des Beitrags, keine unabhängig überprüfte Aussage über eine konkrete Trainingsrichtlinie. [1]

IRIS erfasst interne Kennzahlen neben der Testleistung

Für die Innenansicht erfasste IRIS den Lauf nach Angaben des Beitrags 120-mal. Eine der dargestellten Größen nennt Saccadic „effective pathways“ – effektive Pfade. Der Beitrag beschreibt sie als zusammengefasste Messung der unabhängigen Richtungen, die das Signal über Verbindungen zwischen Gruppen von Einheiten hinweg tragen. Die Berechnung wird dabei für Texte zu den einzelnen Rechenoperationen ausgewiesen. [1]

Daneben zeigte die Abbildung eine Vorhersageverlustgröße für Probe-Texte; niedrigere Werte bedeuten laut Beitrag einen geringeren Verlust. Damit stellt IRIS eine interne Kennzahl und eine auf ausgewählten Eingaben gemessene Vorhersagegröße neben die Genauigkeit auf zurückgehaltenen Daten. Der Beitrag erläutert die Grundidee, liefert im vorliegenden Text jedoch nicht die vollständige formale Definition oder eine unabhängige Validierung der Messmethode. [1]

Schon vor dem deutlichen Anstieg der Genauigkeit unterschieden sich die effektiven Pfadwerte zwischen den Operationen: Bei Schritt 20.131 reichten sie laut Bericht von 1.050 für Exponentiation bis 1.715 für Division. Während die Genauigkeit anstieg, sanken die Werte für alle Operationen auf eine Spanne von 417 bis 655. Die internen Messkurven entwickelten sich demnach nicht parallel zur äußeren Leistungskennzahl. [1]

Auch nach dem Genauigkeitsplateau bewegen sich die Messwerte

Besonders auffällig ist der Zeitraum zwischen Schritt 60.000 und 120.000. Während die Genauigkeit laut Beitrag nahezu unverändert blieb, gingen die effektiven Pfadwerte weiter zurück. Sie endeten bei 97 für Addition und 96 für Subtraktion. Für Multiplikation, Division und Exponentiation lagen die Endwerte höher: bei 242, 229 und 214. Die Operationen entwickelten sich also auch in der späten Trainingsphase nicht einheitlich. [1]

Die im Beitrag ausgewiesenen Verlustwerte für Probe-Texte endeten ebenfalls in zwei Gruppen: bei 3,7 für Addition und 3,8 für Subtraktion sowie bei 5,0 für Multiplikation, 5,4 für Division und 8,4 für Exponentiation. Diese Zahlen sollte man nicht mit der Genauigkeit auf den zurückgehaltenen Testdaten gleichsetzen. Der Text beschreibt sie als separate Vorhersageverluste auf Probe-Texten. [1]

Als zweite interne Messung nennt Saccadic den effektiven Rang der tiefsten Schicht. Diese Kennzahl soll die Zahl der Richtungen abbilden, die 95 Prozent der Varianz der Aktivierungen tragen. Sie sank laut Beitrag von 44 bei Schritt 54.152 auf 32 am Ende des Laufs. Damit weist der Artikel auf mehrere fortlaufende Veränderungen hin, legt aber nicht dar, ob diese Größen für andere Modelle oder Trainingsaufgaben dieselbe Bedeutung haben. [1]

Die Befunde legen nahe, dass eine flache Genauigkeitskurve nicht automatisch bedeutet, dass alle beobachtbaren Eigenschaften eines Modells unverändert bleiben. Sie belegen für diesen einzelnen Versuch jedoch weder, dass die interne Veränderung nützlich war, noch dass sie die spätere Leistung bei anderen Aufgaben verbesserte. Eine solche Schlussfolgerung würde zusätzliche Tests erfordern.

Was der Bericht belegt – und was offenbleibt

Die Quelle ist ein Community-Beitrag von Saccadic AI. Das Unternehmen erklärt darin, IRIS für die Instrumentierung eingesetzt und die gezeigten Abbildungen erzeugt zu haben. Der Beitrag verweist außerdem auf ein internes Papier mit dem Titel „The Shape of a Grok“. Der vollständige Inhalt dieses Papiers, Rohdaten und eine unabhängige Replikation sind im bereitgestellten Artikeltext nicht enthalten. Die Zahlen sind daher als vom Anbieter berichtete Versuchsergebnisse einzuordnen, nicht als unabhängig bestätigte Messungen. [1]

Auch die Reichweite des Versuchs ist begrenzt: Beschrieben wird ein einzelner Trainingslauf mit einem kleinen Modell und einem eng umrissenen Satz modularer Rechenaufgaben. Der Beitrag nennt eine Laufzeit von etwa drei Stunden auf einem Mac mini, aber keine in diesem Text dokumentierten Vergleichsläufe oder Angaben dazu, wie stark die Messwerte bei anderen Zufallsstarts schwanken. [1]

Entsprechend sollten die Begriffe „effektive Pfade“ und „effektiver Rang“ nicht ohne weitere Prüfung als standardisierte Qualitätsindikatoren behandelt werden. Der Artikel skizziert, was die Größen erfassen sollen, macht aber nicht alle methodischen Details prüfbar. Für eine belastbare Bewertung wären unter anderem die vollständige Definition der Metriken, die Auswahl der Probe-Texte und der Zusammenhang mit unabhängigen Leistungs- oder Robustheitstests wichtig. Das sind offene Prüfpunkte, keine im Beitrag nachgewiesenen Mängel der Methode.

Ein verwandter Ansatz, aber keine Bestätigung

Ein separates Preprint auf bioRxiv zeigt, dass die Analyse interner Repräsentationen neben dem Verhalten auch in anderen KI-Forschungsarbeiten eine Rolle spielt. Die Autorinnen und Autoren untersuchten rekurrente Netze, die menschliche Reaktionszeitmuster bei drei Formen räumlicher Aufmerksamkeit nachbilden sollten. Sie analysierten unter anderem niedrigdimensionale Mannigfaltigkeiten und Aktivitätsmuster der Netze. Das Preprint war laut seiner Kennzeichnung nicht peer-reviewt. [3]

Diese Arbeit betrifft eine andere Fragestellung und ein anderes Modell. Sie ist weder eine Replikation des Saccadic-Versuchs noch eine Prüfung von IRIS oder der dort verwendeten effektiven Pfadwerte. Ihr begrenzter Vergleichswert liegt darin, dass sich in der Forschung verschiedene Verfahren finden, die Verhaltensleistung mit internen Zuständen neuronaler Netze in Beziehung setzen. [1][3]

Mögliche Folgen für Trainingskontrolle und Evaluation

Für Unternehmen ist der Bericht vor allem als Hinweis auf die Grenzen einer eindimensionalen Trainingsbeobachtung lesbar. Wenn Teams einen Lauf ausschließlich anhand einer Genauigkeitskurve bewerten, können Veränderungen in anderen Messgrößen unbemerkt bleiben. Ob diese Veränderungen wichtig sind, hängt jedoch vom jeweiligen Anwendungsfall ab und lässt sich nicht aus dem hier beschriebenen Rechenexperiment ableiten. [1]

Als Analyse ergibt sich daraus: Zusätzliche interne Kennzahlen können für Forschung und Fehlersuche nützlich sein, sofern ihre Definition transparent ist und sie mit relevanten externen Tests abgeglichen werden. Bei produktiven Modellen müssten solche Tests beispielsweise zeigen, ob eine beobachtete interne Veränderung mit einer Verbesserung, einer Verschlechterung oder keiner messbaren Änderung der tatsächlich benötigten Aufgaben verbunden ist. Der Saccadic-Beitrag führt diese Nachweise für seine Kennzahlen nicht an. [1]

Saccadic beziffert den zusätzlichen Aufwand für die IRIS-Messung auf etwa 0,7 Prozent der Laufzeit; die Aufzeichnung mit 120 Messzeitpunkten habe eine Datei von 80 Megabyte ergeben. Diese Werte stammen aus dem beschriebenen Lauf und sollten nicht ungeprüft auf andere Hardware, Modellgrößen oder Instrumentierungskonfigurationen übertragen werden. [1]

Der praktische Kern ist damit enger als eine allgemeine Aussage über „verborgene Fortschritte“ von KI-Modellen: In dem berichteten Experiment blieb die Testgenauigkeit nach rund 60.000 Schritten fast stehen, während bestimmte interne Kennzahlen bis Schritt 120.000 weiterliefen. Ob eine solche Entwicklung für ein Unternehmen entscheidungsrelevant ist, muss durch reproduzierbare Messungen und anwendungsbezogene Evaluation geklärt werden. [1]

Quellen

[1] Accuracy plateaued. The model kept changing. — https://huggingface.co/blog/Saccadic-AI/accuracy-plateaued-the-model-kept-changing (abgerufen am 2026-11-01)
[3] Sparse mixed codes on shared manifolds for human-like spatial attention in artificial neural networks | bioRxiv — http://biorxiv.org/cgi/content/full/2026.02.15.705979v1 (abgerufen am 2026-11-01)