Zum Inhalt springen
Coding 7 Min. Lesezeit

Coding-Agenten arbeiten oft weiter, obwohl der erste korrekte Patch bereits vorliegt

Mindverse News

KI-gestützt erstellt, vor Veröffentlichung redaktionell geprüft 4 Quellen

KI-generierte Illustration: Coding-Agenten arbeiten oft weiter, obwohl der erste korrekte Patch bereits vorliegt
KI-generierte Illustration

Das Wichtigste in Kürze

  • Eine Untersuchung von fünf Modellen erfasst für jeden Lauf Zwischenstände des Codes und prüft sie nachträglich mit den offiziellen Benchmark-Tests. [1] [3]
  • Unter den Läufen, die irgendwann einen korrekten Patch erreichen, ist der erste Code-Eingriff in 38 bis 82 Prozent der Fälle bereits korrekt. [1] [3]
  • Bei erfolgreichen Läufen entfallen in den untersuchten Kerneinstellungen median 35 bis 60 Prozent der Schritte auf die Zeit nach dem ersten korrekten Patch. [3]
  • In 1 bis 8 Prozent der Läufe wird ein zunächst korrekter Patch später beschädigt und am Ende nicht wiederhergestellt. [3]
  • Die Studie misst Schritte, nicht tatsächliche Kosten in Geld oder Energie; ein Verfahren, das den richtigen Abbruchzeitpunkt während des Laufs erkennt, entwickelt sie nicht. [3]
Inhalt · 7 Abschnitte
  1. Der Endstand verrät nicht, wann die Aufgabe gelöst war
  2. Viele erste Codeänderungen sind bereits korrekt
  3. Zwischen Lösung und Abgabe liegen oft viele Schritte
  4. Zusätzliche Arbeit besteht meist aus Prüfen und Erkunden
  5. Weiterarbeiten kann einen funktionierenden Patch beschädigen
  6. Schrittzahlen sind kein direkter Kostenbeleg
  7. Ein zuverlässiger Stopp bleibt eine offene technische Frage
  8. Quellen

Der Endstand verrät nicht, wann die Aufgabe gelöst war

Bei Coding-Agenten wird üblicherweise der Patch bewertet, den das System am Ende eines Laufs abgibt. Dieser Endwert zeigt jedoch nicht, ob der Agent die Lösung schon deutlich früher gefunden hatte und anschließend weiterarbeitete. Er vermischt damit zwei Fähigkeiten: einen Fehler zu beheben und zu erkennen, wann die Arbeit abgeschlossen ist. [3]

Eine Studie von Musa Cim, Burak Topcu und Mahmut Taylan Kandemir an der Pennsylvania State University untersucht diese Lücke unter dem Begriff „Termination Lag“. Gemeint ist die Zahl der Agentenschritte zwischen dem ersten Patch, der die offiziellen Tests besteht, und dem Ende des Laufs. Die Paper-Seite führt dieselben Autoren und beschreibt die Analyse über fünf Modelle, zwei Agent-Frameworks und drei SWE-bench-Datensätze. [1] [3]

Die Unterscheidung ist für den betrieblichen Einsatz relevant, weil jeder zusätzliche Schritt weitere Modellaufrufe und Werkzeuginteraktionen bedeuten kann. Zugleich kann eine späte Änderung einen zuvor funktionierenden Patch wieder unbrauchbar machen. Die Studie untersucht beide Effekte, weist aber keine konkreten finanziellen Einsparungen nach. [3]

Viele erste Codeänderungen sind bereits korrekt

Die Forschenden zeichnen den Codezustand während jedes Laufs auf und bewerten die unterschiedlichen Zwischenstände nachträglich. Unter den Läufen, in denen irgendwann ein korrekter Patch entsteht, ist bereits die erste Änderung am Quellcode in 38 bis 82 Prozent der Fälle korrekt. Die Spanne unterscheidet sich nach Modell und Benchmark: Qwen3-Coder erreicht 82 Prozent auf SWE-bench Verified und 66 Prozent auf Multilingual; bei Laguna-XS.2 sind es 70 beziehungsweise 48 Prozent. [1] [3]

Weitere ausgewiesene Werte liegen bei 80 Prozent für GPT-6 Luna auf Verified und 38 Prozent für Seed-OSS auf SWE-bench Pro. Im Durchschnitt erzeugen die untersuchten Systeme zwischen 1,3 und 3,6 verschiedene Patches, bevor erstmals einer die Benchmark-Tests besteht. Diese Kennzahlen beziehen sich auf Läufe, die überhaupt einen korrekten Patch erreichen – nicht auf alle gestarteten Aufgaben. [3]

Die Ergebnisse bedeuten nicht, dass der erste Vorschlag in vergleichbarem Umfang generell produktionsreif wäre. „Korrekt“ ist hier die Bewertung durch die offiziellen Tests des jeweiligen Benchmarks. Die Studie untersucht also die Patch-Korrektheit nach den Maßstäben dieser Testsets, nicht die langfristige Wartbarkeit oder Eignung einer Änderung für den produktiven Einsatz. [3]

Zwischen Lösung und Abgabe liegen oft viele Schritte

Bei erfolgreichen Läufen von Qwen3-Coder auf SWE-bench Verified entfallen median 35 Prozent der Schritte auf die Zeit nach dem ersten korrekten Patch; auf Multilingual sind es 37 Prozent. Für Laguna-XS.2 weist die Studie 60 Prozent auf Verified und 54 Prozent auf Multilingual aus. Die absoluten medianen Verzögerungen reichen in diesen vier Einstellungen von 16 bis 57 Schritten. [3]

Auch in den ergänzenden Einstellungen tritt das Muster auf: Bei Claude Haiku 5.5 auf Verified beträgt der mediane Anteil nach dem ersten korrekten Patch 54 Prozent, bei GPT-6 Luna 36 Prozent. Ein Test mit Qwen3-Coder unter dem Framework mini-SWE-agent ergibt 37 Prozent. Die Autorinnen und Autoren berichten somit ein ähnliches Phänomen über mehrere Modelle und ein zweites Framework hinweg, nicht aber einen universellen Wert für sämtliche Coding-Agenten. [3]

Die direkten Schrittzahlen zwischen Modellen sind nur eingeschränkt vergleichbar. In den Kernexperimenten erhielt Qwen3-Coder ein Limit von 100 Schritten und ein Kontextfenster von 131.000 Tokens; für Laguna-XS.2 waren es 250 Schritte und 256.000 Tokens. Die längere beobachtete Verzögerung bei Laguna-XS.2 ist deshalb nicht ohne Weiteres als reiner Modelleffekt zu interpretieren. [3]

Wie die Studie den Zeitpunkt bestimmt

Ein Logging-Proxy speichert nach jedem Agentenschritt den aktuellen Repository-Patch. Nach dem Ende des Laufs prüfen die Forschenden die verschiedenen Patch-Versionen in isolierten Umgebungen mit dem offiziellen Benchmark-Verfahren. Der Agent erhält die Ergebnisse dieser nachträglichen Tests nicht; sie verändern daher nicht sein Verhalten während des Laufs. [3]

Die erste Patch-Version, die die offiziellen Tests besteht, markiert den Zeitpunkt der ersten Korrektheit. Die Differenz zum letzten Schritt ist der Termination Lag; zusätzlich berechnet die Studie den Anteil dieser Schritte an der Gesamtlänge des Laufs. Damit lässt sich sichtbar machen, was eine Bewertung allein anhand des End-Patches nicht abbildet. [3]

Zusätzliche Arbeit besteht meist aus Prüfen und Erkunden

In den untersuchten erfolgreichen Läufen entfällt der größte Teil der Schritte nach dem ersten korrekten Patch auf Verifikation: je nach Modell und Benchmark 48 bis 63 Prozent. Dazu zählen etwa vorhandene Tests, zusätzliche Tests und Builds. Weitere 15 bis 29 Prozent ordnen die Forschenden der Erkundung zu, beispielsweise dem Lesen von Dateien, Suchen im Repository oder Prüfen von Änderungen mit Git. [3]

Weitere Änderungen am Quellcode sind bei den meisten untersuchten Einstellungen selten und machen 2 bis 6 Prozent der zusätzlichen Schritte aus. Eine Ausnahme ist Seed-OSS auf SWE-bench Pro mit 19 Prozent. Die Kategorien wurden anhand der verwendeten Werkzeuge und ihrer Argumente zugeordnet; sie sind keine vollständige qualitative Bewertung jedes einzelnen Agentenschritts. [3]

Das Nachprüfen ist nicht automatisch überflüssig. Die Agenten haben keinen Zugriff auf die verborgenen Benchmark-Tests und müssen ihre Einschätzung während des Laufs auf die verfügbaren Hinweise stützen. Die Messung zeigt daher eine Gelegenheit, unnötige Wiederholungen zu reduzieren, bestimmt aber nicht, welche einzelne Prüfung entfallen könnte, ohne das Risiko einer falschen Abgabe zu erhöhen. [3]

Weiterarbeiten kann einen funktionierenden Patch beschädigen

In 61 bis 96 Prozent der Läufe, die mindestens einmal einen korrekten Patch erreichen, bleibt dieser laut Studie bis zum Ende korrekt. In anderen Fällen wird die Korrektheit zwischenzeitlich verloren und später wiederhergestellt. Das geschieht beispielsweise bei Laguna-XS.2 auf Multilingual in 31 Prozent der betrachteten Läufe. [3]

In 1 bis 8 Prozent der Läufe endet der Agent dagegen mit einem falschen Patch, obwohl zuvor bereits eine Version die offiziellen Tests bestanden hatte. Ein Abbruch genau beim ersten korrekten Patch hätte diese Fälle in der nachträglichen Auswertung als erfolgreiche Läufe erhalten. Weshalb die Lösungen im Einzelnen beschädigt werden, untersucht die Studie nicht. [1] [3]

Die Autorinnen und Autoren berechnen außerdem ein hypothetisches Szenario: Ein allwissendes Verfahren stoppt jeden Lauf genau beim ersten korrekten Patch und lässt Läufe ohne korrekten Zwischenstand unverändert weiterlaufen. Unter dieser Annahme würden in den Kerneinstellungen 35 bis 60 Prozent der Schritte erfolgreicher Läufe entfallen, während deren bisherige Benchmark-Erfolge erhalten blieben. Das ist eine Obergrenze aus der rückblickenden Analyse, kein von der Studie entwickelter oder getesteter Abbruchmechanismus. [3]

Schrittzahlen sind kein direkter Kostenbeleg

Für Unternehmen ist die mögliche Effizienzrelevanz plausibel, aber die Messgröße verlangt Zurückhaltung. Die Untersuchung zählt Agentenschritte und ermittelt keine tatsächlichen Rechnungsbeträge oder Energieverbräuche. Da zusätzliche Schritte unterschiedliche Mengen an Eingabe- und Ausgabetokens beanspruchen können, lässt sich der Anteil der Schritte nach dem ersten Patch nicht direkt in einen gleich hohen Anteil an Kosten übersetzen. [3]

Die Studie berichtet ergänzend, dass der Modelleingabekontext zwischen erstem korrektem Patch und Ende des Laufs in den vier Kerneinstellungen je nach Modell um 28 bis 78 Prozent zunimmt. Das deutet darauf hin, dass spätere Aufrufe mit wachsendem Kontext arbeiten können. Auch daraus lässt sich ohne direkte Messung von Tokenverbrauch, Laufzeit und Abrechnung jedoch keine konkrete Einsparsumme ableiten. [3]

Als Analyse für den Unternehmenseinsatz folgt daraus: Endergebnisse allein reichen nicht, wenn Sie Effizienz und Zuverlässigkeit von Agentenläufen bewerten wollen. Protokolle, die Zwischenstände erfassen, könnten sichtbar machen, wie viel Arbeit nach einem erfolgreichen Patch anfällt und wie häufig ein korrekter Stand vor der Abgabe verloren geht. Ob eine solche Überwachung wirtschaftlich ist und welche Abbruchregeln sicher wären, belegt diese Studie nicht. [3]

Ein zuverlässiger Stopp bleibt eine offene technische Frage

Die nachträgliche Prüfung mit offiziellen Tests kann den exakten Moment der Korrektheit bestimmen, steht dem Agenten im laufenden Einsatz aber gerade nicht zur Verfügung. Eine praktische Stoppregel müsste mit den Informationen aus dem Agentenlauf entscheiden, ob weitere Prüfung nötig ist oder eine Abgabe vertretbar erscheint. Die Studie misst den möglichen Spielraum, liefert aber keine solche Regel. [3]

Andere Forschung verfolgt ein verwandtes, aber anderes Ziel. Die Arbeit zu AgentStop beschreibt einen Supervisor, der anhand leichter Ausführungssignale Läufe mit geringer Erfolgsaussicht vorzeitig beenden soll. Die Autoren berichten eine Verringerung verschwendeter Energie um 15 bis 20 Prozent bei weniger als fünf Prozent Rückgang der Aufgabenleistung auf ausgewählten Coding- und Web-Frage-Antwort-Benchmarks. Das ist kein Nachweis, dass AgentStop bereits einen korrekten Patch erkennt: Das System zielt laut Beschreibung auf aussichtslose Läufe, während die Termination-Lag-Studie den Zeitraum nach einer rückblickend festgestellten Lösung analysiert. [6] [3]

Auch ein weiterer Preprint mahnt bei frühen Eingriffen zur Vorsicht. In einer Analyse von 147.002 Ausführungsspuren lag die Unterscheidung zwischen erfolgreichen und erfolglosen Versuchen derselben Aufgabe anhand früher Laufabschnitte laut den Forschenden nahe am Zufallsniveau. In Replay-Experimenten unter gemeinsamen Tokenbudgets schnitt ununterbrochenes Weiterarbeiten in den meisten getesteten Konfigurationen besser ab als Neustarts. Diese Untersuchung behandelt Vorhersagen über Erfolg und Neustartentscheidungen, nicht das Erkennen eines bereits korrekten Patches; sie zeigt aber, weshalb eine Stoppregel nicht allein mit möglichen Einsparungen begründet werden kann. [8]

Die Befunde aus „Termination Lag“ sind daher vor allem eine Diagnose: Ein Agent kann die Lösung früher erreichen, als sein Endergebnis vermuten lässt, und die anschließende Aktivität kann Ressourcen beanspruchen oder eine erfolgreiche Änderung gefährden. Für belastbare Automatisierung müssen Unternehmen zusätzlich nachweisen, dass ein konkretes Stoppverfahren während des Laufs verlässlich arbeitet und die Qualität der abgegebenen Änderungen wahrt. [3] [6] [8]

Quellen

  1. [1] Paper page - Termination Lag: Coding Agents Solve Early but Stop Late — https://huggingface.co/papers/2611.14960 (abgerufen am 2026-11-17)
  2. [3] Termination Lag: Coding Agents Solve Early but Stop Late — https://arxiv.org/pdf/2611.14960 (abgerufen am 2026-11-17)
  3. [6] AgentStop: Terminating Local AI Agents Early to Save Energy in Consumer Devices | Proceedings of the ACM Conference on AI and Agentic Systems — https://dl.acm.org/doi/10.1145/3786335.3813163 (abgerufen am 2026-11-17)
  4. [8] (PDF) Continue or Restart? The Limits of Early Failure Prediction in Coding Agents — https://www.researchgate.net/publication/417008247_Continue_or_Restart_The_Limits_of_Early_Failure_Prediction_in_Coding_Agents (abgerufen am 2026-11-17)

Nächster Artikel

Coding

Sprachmodelle programmieren kleine EEG-Netze direkt über ihre Gewichte

Eine EPFL-Studie testet, ob Sprachmodelle EEG- und ECG-Netze ohne Gradienten trainieren können – mit ersten Erfolgen und klaren Grenzen.

Artikel teilen

Bei Google bevorzugen

Mehr zu KI-Coding

Alle Coding-News

Dranbleiben

Mindverse News folgen

Neue Meldungen erhalten Sie über unseren RSS-Feed oder auf LinkedIn.

Recherchieren Sie KI-News wie diese selbst – mit Mindverse Studio.

7 Tage kostenlos testen – ohne Kreditkarte, mit 200 Credits. Für Fragen zur Umsetzung buchen Sie eine persönliche Demo.