Benchmark-Diskrepanzen und Effizienz von GPT-6 Astra im Fokus

GPT-6 Astra: Ein Blick auf die widersprüchlichen Benchmark-Ergebnisse und seine Effizienz im ARC-AGI-3

Die Einführung von OpenAI's GPT-6 Astra hat in der Welt der Künstlichen Intelligenz für Aufsehen gesorgt. Während einige Benchmarks das Modell als wegweisend feiern, zeigen andere eine eher moderate Entwicklung im Vergleich zu seinen Vorgängern. Besonders hervorzuheben ist jedoch die Leistung von GPT-6 Astra im ARC-AGI-3-Benchmark, die neue Diskussionen über den Fortschritt auf dem Weg zur Allgemeinen Künstlichen Intelligenz (AGI) angestoßen hat.

Diskrepanzen in der Benchmark-Bewertung

Die unabhängigen Bewertungen von GPT-6 Astra zeichnen ein heterogenes Bild. Epoch AI, das über 50 Einzelbenchmarks aggregiert, positioniert GPT-6 Astra mit 169 Punkten klar an der Spitze von 267 getesteten Modellen. Dies deutet auf eine signifikante Verbesserung in einer breiten Palette von Fähigkeiten hin.

Im Gegensatz dazu bewertet Artificial Analysis, die sich auf Wissensabruf, Programmierfähigkeiten und Textverständnis konzentriert, GPT-6 Astra mit 61 Punkten. Dieser Wert entspricht exakt dem seines Vorgängers und liegt hinter Claude Fable 5.1, das 66 Punkte erreichte. Diese Inkonsistenz in den Bewertungen wirft Fragen nach der Vergleichbarkeit und der Gewichtung unterschiedlicher Metriken auf.

Ein weiterer Aspekt, der bei der Bewertung berücksichtigt werden muss, sind die Kosten. GPT-6 Astra ist deutlich teurer als sein Vorgänger, wobei die Verarbeitungskosten pro Texteinheit um das Zweieinhalbfache gestiegen sind. Dies führt zu einer Erhöhung der Gesamtkosten pro Aufgabe um etwa 75 Prozent im Vergleich zu GPT-5.6 Sol. Im direkten Vergleich mit Anthropic zeigt sich jedoch ein anderes Bild: Bei Programmieraufgaben erreicht Astra laut Artificial Analysis die gleiche Punktzahl wie Claude Fable 5, kostet aber weniger als die Hälfte pro Aufgabe. Dies liegt an der hohen Effizienz des Modells, das nur ein Drittel der Rechenschritte von Sol und ein Fünftel derer von Opus 5 benötigt.

Die nachfolgende Tabelle bietet einen Überblick über ausgewählte Benchmark-Ergebnisse:

Benchmark	Astra	Sol	Fable 5.1	Opus 5
Epoch ECI, Gesamtpunktzahl	169	162	163	162
AA Intelligence Index	61	61	66	63
ARC-AGI-3, unbekannte Spielwelten	62.7%	7.8%	keine Daten	30.2%
ARC-AGI-2, abstrakte visuelle Rätsel	95.0%	92.5%	90.0%	90.4%
ARC-AGI-1, ältere Version	98.5%*	97.5%	97.5%	97.5%
FrontierMath Erdős, offene Mathematik	3%	0%	0%	keine Daten

*GPT-6 Astra bei hohem Denkaufwand; bei maximalem Aufwand erreicht es 97,5 Prozent. ARC-AGI-1 gilt inzwischen weitgehend als gesättigt.

Im Bereich des Coding Agent Index erreicht Astra 67 Punkte bei etwa einem Drittel des Token-Verbrauchs von Sol, während Fable 5.1 mit 70 Punkten führt. Die Halluzinationsrate im AA-Omniscience-Test sinkt von 92 auf 51 Prozent. Gleichzeitig verliert das Modell etwa 80 Elo-Punkte bei GDPval-AA v2 und zeigt Schwächen bei Aufgaben im Banken-Support, SciCode und bei der Verarbeitung langer Kontexte.

Epoch AI berichtet, dass GPT-6 Astra im neuen FrontierMath Erdős als einziges Modell zwei von 68 offenen Erdős-Problemen mit Lean-verifizierten Beweisen lösen konnte, und das bei einem Budget von 300 US-Dollar pro Versuch. Drei weitere Lösungen wurden in nicht standardisierten Zusatzläufen erzielt, die über 220.000 US-Dollar an Rechenleistung verbrauchten, jedoch nicht in die Bewertung einfließen.

Eine detailliertere Betrachtung der Einzelwerte von Epoch zeigt, dass GPT-6 Astra und sein Konkurrent Fable 5.1 bisher auf unterschiedlicher Basis gemessen wurden. Astra führt in Mathematik, Wissen und Rätseln. Fable 5.1 erzielt die besten Ergebnisse in fast allen Programmiertests. Epoch hat jedoch für Astra bisher nur einen einzigen Programmierwert erfasst, der zudem aus einem Lauf mit mittlerem Denkaufwand stammt.

Der signifikante Sprung im ARC-AGI-3-Benchmark

Der bemerkenswerteste Fortschritt von GPT-6 Astra zeigt sich im ARC-AGI-3-Benchmark. Dieser Test konfrontiert eine KI mit unbekannten Spielwelten, deren Regeln und Ziele ihr nicht explizit erklärt werden. Das Modell muss durch Versuch und Irrtum selbstständig herausfinden, wie es agieren soll. GPT-6 Astra erreicht hier eine beeindruckende Quote von 62,7 Prozent bei Testkosten von etwa 26.000 US-Dollar. Zum Vergleich: Der Vorgänger GPT-5.6 Sol erreichte lediglich 7,78 Prozent, und der Konkurrent Claude Opus 5 kam auf 30,16 Prozent. Fable 5 und Fable 5.1 sind in diesem Benchmark noch nicht gelistet.

Die von OpenAI selbst gemeldeten 99,9 Prozent wurden unter anderen Bedingungen erzielt. In diesem Szenario durfte Astra eine von OpenAI entwickelte Schnittstelle nutzen, die Denkketten zwischen einzelnen Anfragen beibehält und lange Abläufe automatisch zusammenfasst. Nach Messungen von ARC Prize verliefen diese Läufe etwa 3,66-mal schneller und verbrauchten 49 Prozent weniger Tokens als Läufe mit der hauseigenen Schnittstelle, verglichen über 167 Spiel-Denk-Paare, die beide Setups lösen konnten.

Die Nutzung dieser Schnittstellen und der damit verbundene Leistungssprung war bereits bei GPT-5.6 Sol ein Diskussionspunkt zwischen ARC Prize und OpenAI. ARC Prize betont, dass nur der niedrigere Wert von 62,7 Prozent, der mit der internen ARC-Schnittstelle erzielt wurde, einen fairen Vergleich zwischen den Anbietern ermöglicht. Zukünftig sollen jedoch auch die Ergebnisse mit anbieterspezifischen Schnittstellen veröffentlicht werden.

Effizienz als Schlüsselfaktor: Mehr Denken, geringere Kosten

Eine auffällige Beobachtung bei GPT-6 Astra ist die inverse Beziehung zwischen Denkaufwand und Kosten. Typischerweise führen höhere Denklevel zu höheren Testkosten. Bei Astra ist dies jedoch umgekehrt: Auf dem Standard-ARC-Gerüst sinken die Kosten von 49.791 US-Dollar bei keinem Denkaufwand auf 26.098 US-Dollar bei maximalem Denkaufwand, während die Punktzahl von 35,2 auf 62,7 Prozent steigt. Laut ARC Prize liegt der Grund darin, dass Astra die Spiele mit weniger Zügen löst, was zu weniger Modellaufrufen und einem geringeren Token-Verbrauch führt. Eine Besonderheit ist der "niedrige" Denklevel, der mit 17,5 Prozent schlechter abschneidet als ein Lauf ohne jeglichen Denkaufwand. ARC Prize äußert sich nicht zu diesem Ausreißer, doch GPT-6 Astra zeigte in anderen Benchmarks, dass es Aufgaben mit längeren Horizonten auch ohne expliziten Denkprozess lösen kann, was auf eine neue Architektur hindeutet, die die Verarbeitung intern schleifen lässt, bevor der erste Token generiert wird.

Zum Vergleich: Menschliche Tester erhielten 115 US-Dollar pro 90-minütiger Sitzung plus 5 US-Dollar pro gelöstem Spiel, was bei etwa neun Versuchen ungefähr 12,78 US-Dollar pro Spiel entspricht. Dies deckt jedoch hauptsächlich die Zeit und die Bereitschaft zur Teilnahme ab. Betrachtet man nur die Stoffwechselenergie des Gehirns als Elektrizität, kommt ARC Prize auf 0,067 Cents pro Spiel.

Interessanter als die reine Punktzahl ist die Effizienz. Vor der Einführung ließ ARC Prize etwa 500 Tester ohne Vorauswahl spielen und erfasste für jedes Level die mittlere Anzahl der Züge unter denen, die es gelöst hatten. Im Lauf mit dem OpenAI-Gerüst bewältigte Astra 96 Prozent der Level mit weniger Zügen als der Median, im Durchschnitt mit etwas mehr als der Hälfte. Im Gegensatz zu den üblichen Kostenmessungen erfasst diese Zahl nicht den verbrauchten Rechenaufwand, sondern wie viel Erfahrung mit einer Umgebung das Modell benötigte, bevor es diese beherrschte.

Dies ist genau der Punkt, an dem die Organisatoren einen dauerhaften Vorteil für Menschen erwartet hatten. Dies gilt weiterhin für Brute-Force-Ansätze, doch bei Spitzenmodellen sieht ARC Prize ein nahezu binäres Muster: Sobald das Modell die Mechanik verstanden hat, liegt seine Ausführung im Bereich der menschlichen Effizienz.

Astra entwickelt eigene Notation und Werkzeuge

Um diese Effizienz zu erreichen, führt Astra eigene Notizen und entwickelt eine selbst erfundene, algebraähnliche Kurzschrift, in der es Objekte, Koordinaten, Regeln und offene Pläne festhält, zum Beispiel "extend8 to3; retract10 to2" als geordnete Abfolge von Zügen oder "Turn 5: P=(24,20), empty, facing west" als Zustandsnotiz. ARC Prize beobachtete ähnliches Verhalten bei anderen Modellen, hebt Astra jedoch für seine Präzision und Informationsdichte hervor. Auf dem Standard-Gerüst ist dies eine wichtige Fähigkeit, da alles, was das Modell nicht in seinen eigenen sichtbaren Notizen speichert, verloren geht.

ARC-Mitbegründer François Chollet beschreibt dies auf X als "hocheffizientes, dynamisches symbolisches Weltmodell für jedes Spiel und Level". Das Modell geht sogar so weit, "eine eigene Kurzschrift-DSL zu entwickeln, um In-Game-Situationen darzustellen", was im Kern "im Wesentlichen eine spielspezifische algebraische Notation" sei. Was Chollet am wichtigsten ist, ist die Herkunft dieses Verhaltens: "Astra zeigt symbolische Modellierungsverhaltensweisen, die wir zuvor nur mit hochentwickelten Gerüsten gesehen hatten, sodass sich die Fähigkeiten der Gerüste zunehmend in das Modell selbst verlagern."

Eine dritte Testumgebung demonstriert, wozu Astra mit externen Werkzeugen fähig ist. PRO-LONG ist ein von Dritten entwickeltes Agenten-Framework, das das ARC Prize-Team frühzeitig als Red-Teaming-Partner für ARC-AGI-3 einsetzte – also um die Grenzen des Benchmarks systematisch zu erforschen. Anders als im Standard-Setup wird dem Modell eine Sandbox zur Verfügung gestellt, in der es eigenen Code ausführen kann.

Astra nutzte dies aus und schrieb kleine Programmbibliotheken für jedes Spiel: Parser für das Spielbrett, Zustandsmodelle, Suchalgorithmen und Planer. In einem Labyrinthspiel mit Wachen wurden nacheinander ein Wegfinder, ein Kampfregelmodul, ein Modell für Patrouillenbewegungen und ein Skript entwickelt, das kontinuierlich die eigenen Vorhersagen mit den Beobachtungen abglich. ARC Prize beobachtete keine Versuche, aus der Sandbox auszubrechen. Diese Läufe sind nicht mit den menschlichen Testbedingungen vergleichbar, da die Testpersonen weder einen Code-Interpreter noch einen Notizblock hatten. Hier wird die kombinierte Leistung des Modells und der selbstgebauten Werkzeuge gemessen.

Chollet: Kein AGI-Beweis, aber schneller als erwartet

ARC Prize interpretiert die Ergebnisse explizit nicht als Beleg für allgemeine künstliche Intelligenz. „Alles, was wir bisher über das System wissen, sind seine Benchmark-Scores“, schreibt Chollet. Bei der Einführung von ARC-AGI-3 wurde in jeder Präsentation betont: „Es zu lösen, ist kein Beweis für AGI. Es ist nicht als Ziellinie gedacht.“ Obwohl der Benchmark die korrekten qualitativen Eigenschaften testet, die von einem AGI-System erwartet werden – nämlich Exploration unter Unsicherheit, Anpassung ohne Anleitung und kausale Weltmodellierung aus spärlichen Daten –, geschieht dies „in kleinem Maßstab“. Die Spiele liefen auf Zeitskalen, die um Größenordnungen kürzer waren als reale Aufgaben und folglich weniger Daten, weniger Modellierungskomplexität und weniger dynamisches Lernen erforderten.

Als ARC-AGI-3 vor etwa sechs Monaten veröffentlicht wurde, hatte Chollet auf eine Frage zur Sättigung mit „etwa ein Jahr“ geantwortet, je nachdem, wie fokussiert der Ansatz auf den Benchmark war. Astra sei daher „etwa doppelt so schnell“ wie erwartet eingetroffen. „Ich glaube, das Tempo des Fortschritts wird viele Menschen überraschen, und was die neuen Modelle leisten können, wird die Wahrnehmung von KI, die sich die Menschen aufgrund früherer Modellgenerationen gebildet haben, herausfordern.“ Auf die Frage eines Nutzers, ob seine frühere AGI-Prognose für 2030 noch gelte, antwortete Chollet prägnant: „Früher, weil der Fortschritt schneller stattfindet, als ich erwartet hatte.“

Das Ergebnis ist ein weiterer Benchmark. Laut Chollet befindet sich ARC-AGI-4 seit der Veröffentlichung von ARC-AGI-3 in Entwicklung und soll im ersten Quartal 2027 erscheinen. Benchmarking ist ein fortlaufender Prozess, der sich mit den Modellen weiterentwickelt und stets die verbleibende Lücke zwischen KI und menschlicher Intelligenz zum Ziel hat. Die Organisation betrachtet ARC-AGI-3 selbst als recht begrenzt: deterministische Mechaniken, geschlossene Ziele und keine Darstellung der offenen realen Welt. Die nächste Generation soll unter anderem rekursive Selbstverbesserung und offene Innovation erforschen.

Ausblick

Die Leistungsfähigkeit von GPT-6 Astra im ARC-AGI-3-Benchmark, insbesondere seine überlegene Effizienz und die Fähigkeit zur eigenständigen Problemmodellierung, stellt einen bemerkenswerten Fortschritt in der KI-Forschung dar. Auch wenn die Definition von AGI weiterhin komplex bleibt und hohe Benchmark-Werte allein nicht als Beweis dafür dienen, so zeigen diese Entwicklungen doch, dass die Fortschritte in der KI-Technologie das Potenzial haben, unsere Erwartungen an die zeitliche Entwicklung von AGI zu übertreffen. Die kontinuierliche Entwicklung von anspruchsvolleren Benchmarks wie dem kommenden ARC-AGI-4 wird entscheidend sein, um die tatsächliche Annäherung an menschliche Intelligenz präzise zu messen und zu verstehen.

Bibliographie:

- ARC Prize. (2026, September 3). OpenAI's GPT-6 Astra on ARC-AGI-3. https://arcprize.org/blog/astra - Artificial Analysis. (2026, September 3). Benchmarking GPT-6 Astra. https://artificialanalysis.ai/articles/benchmarking-gpt-6-astra - Caswell, A. (2026, September 3). GPT-6 Astra's score of 98.6% looked like AGI. Then... The New Stack. https://thenewstack.io/astra-arc-agi-benchmark/ - Cuofano, G. (2026, September 3). GPT-6 Astra's Independent Benchmarks Land Flat on General Intelligence, at 2.5x the Price. FourWeekMBA. https://fourweekmba.com/ai-gpt-6-astra-independent-benchmarks-flat-general-intelligence/ - Emergent. (2026, September 4). GPT-6 Astra Benchmarks: What the Numbers Actually Show. https://emergent.sh/learn/gpt-6-astra-benchmarks - Kellerman, N. (2026, September 4). GPT-6 Astra's ARC-AGI-3 efficiency beats humans, but benchmark scores split. TechSphere News. https://techspherenews.com/gpt-6-astra-s-arc-agi-3-efficiency-beats-humans-but-benchmark-scores-split - Schreiner, M. (2026, September 4). Benchmarks disagree on GPT-6 Astra, but its human-beating efficiency on ARC-AGI-3 pulls Chollet’s AGI forecast forward. The Decoder. https://the-decoder.com/benchmarks-disagree-on-gpt-6-astra-but-its-human-beating-efficiency-on-arc-agi-3-pulls-chollets-agi-forecast-forward/ - R&D World. (2026, September 3). GPT-6 Astra scores 62.7% on interactive reasoning benchmark, near-perfect with custom adapter. https://www.rdworldonline.com/gpt-6-astra-scores-62-7-on-interactive-reasoning-benchmark-near-perfect-with-custom-adapter/