Artificial Analysis erweitert KI-Index um private Tests – Ranglisten ändern sich

Neun Prüfungen, vier gleich gewichtete Bereiche

Der Index führt AA-Briefcase, AutomationBench-AA, Terminal-Bench 4.0, FrontierCode 2.0, AA-Omniscience v1.1, GDP.pdf, HLE-Diamond, CritPt v2 (Hard Subset) und Terminal-Bench-Science 0.1 zusammen. Artificial Analysis beschreibt den Gesamtwert als gewichteten Mittelwert von Benchmark-Ergebnissen auf einer Skala von 0 bis 100; die vier Bereiche Wissen beziehungsweise Wissensarbeit, Programmierung, Wissenschaft und Allgemeines tragen jeweils 25 Prozent bei. [2] [4]

Die Gleichverteilung gilt also für die vier Bereiche, nicht für alle neun Einzeltests. Innerhalb der Wissensarbeit entfallen laut Anbieter 15 Prozent auf AA-Briefcase und je fünf Prozent auf AutomationBench-AA und GDP.pdf. Programmierung verteilt sich auf 15 Prozent FrontierCode und zehn Prozent Terminal-Bench 4.0; Wissenschaft auf 15 Prozent Terminal-Bench-Science und zehn Prozent CritPt. Im allgemeinen Bereich zählen AA-Omniscience mit 15 Prozent und HLE-Diamond mit zehn Prozent. [4]

Diese Gewichtung ist für die Interpretation relevant: Ein hoher Gesamtwert steht nicht für eine einzelne Fähigkeit, sondern für eine festgelegte Zusammenführung unterschiedlicher Aufgaben. Die Platzierung hängt damit sowohl von den Einzelresultaten als auch von der Auswahl und Gewichtung der Tests ab. Das ist eine methodische Folge der veröffentlichten Indexstruktur, keine Aussage über die Qualität eines bestimmten Modells. [2] [4]

• AA-Omniscience erhält im allgemeinen Bereich zehn Prozent für Genauigkeit und fünf Prozent für das Vermeiden nicht belegter Antworten. [4]
• Die Tests umfassen unter anderem agentische Arbeitsabläufe, Programmieraufgaben und fachwissenschaftliche Probleme. [2] [4]

Was sich bei den überarbeiteten Tests ändert

HLE-Diamond ersetzt die bisherige Humanity’s Last Exam durch eine nach Angaben des Anbieters verfeinerte Fassung mit 1.000 Fragen, aufgeteilt in Wissens- und Schlussfolgerungsaufgaben. AA-Omniscience v1.1 entfernt laut Artificial Analysis gesättigte und öffentliche Fragen, ergänzt neue Aufgaben und überarbeitet als mehrdeutig oder fehlerhaft eingestufte Fragen. [4]

CritPt v2 geht mit einem privaten, 40 Fragen umfassenden schwierigen Teilset in den Index ein. Artificial Analysis beschreibt es als überarbeitete Auswahl aus 70 physikalischen Forschungsfragen; Aufgaben, die mehrere leistungsstarke Modelle bei der Einführung in allen fünf Versuchen gelöst hätten, seien herausgenommen worden. [4]

Rangfolgen hängen auch vom Zeitpunkt der Messung ab

Die bereitgestellten Quellen zeigen unterschiedliche Momentaufnahmen. In der Ankündigung von Artificial Analysis vom 28. Oktober führte Claude Opus 5.5 mit 58 Punkten, vor GPT-6 Astra mit 57 und GPT-6.1 Sol mit 55 Punkten. Die Indexseite nennt in ihrer aktuellen Darstellung dagegen Gemini 4 Carbon (High) mit 59 Punkten an der Spitze; Claude Opus 5.5 (Max, Default Fallback) folgt mit 58 Punkten. Heise berichtet ebenfalls, dass Gemini 4 Carbon Opus nach dessen zunächst führender Platzierung kurz darauf überholt habe. [1] [2] [4]

Die Angaben sind nicht zwingend widersprüchlich: Sie beziehen sich erkennbar auf unterschiedliche Veröffentlichungs- beziehungsweise Aktualisierungsstände. Der Index ist damit als laufende Rangliste zu lesen, nicht als unveränderlicher Tabellenstand. Für die Einordnung eines konkreten Vergleichs sollten Sie deshalb neben der Versionsnummer auch den Messzeitpunkt und die getestete Modellkonfiguration festhalten. [1] [2] [4]

Artificial Analysis erklärt, dass kein Modell in allen neun Prüfungen vorne liegt. In der Ankündigung führte Claude Opus 5.5 bei FrontierCode 2.0 und HLE-Diamond; GPT-6 Astra lag bei Terminal-Bench-Science und CritPt v2 vorn. Bei AA-Briefcase nannte der Anbieter Claude Sonnet 5.5 als Spitzenreiter, bei Terminal-Bench 4.0 Kimi K3.1 Pro und bei AutomationBench-AA Gemini 4 Argon. Diese Verteilung verdeutlicht, warum ein Gesamtwert nicht automatisch die Leistung für einen einzelnen betrieblichen Anwendungsfall abbildet. [4]

• Die Indexseite zeigt 59 Punkte für Gemini 4 Carbon (High) und 58 für Claude Opus 5.5 (Max, Default Fallback). [2]
• In der Ankündigung lag der Abstand zwischen Claude Opus 5.5 und GPT-6 Astra bei einem Punkt. [4]

Der Abstand offener Modelle ist differenziert zu betrachten

Artificial Analysis bezifferte den Abstand zwischen dem Indexführer und Kimi K3.1 Pro auf zwölf Punkte; in der vorherigen Indexversion habe die Lücke drei Punkte betragen. Zugleich vermerkt der Anbieter, dass die Gewichte von Kimi K3.1 Pro zum Zeitpunkt der Ankündigung noch nicht veröffentlicht waren. Für Modelle mit bereits veröffentlichten Gewichten nannte er DeepSeek V4.1 Flash 1017 und GLM-5.3 mit jeweils 32 Punkten. [1] [4]

Die Aussage über „offene“ Modelle sollte daher nicht mit der engeren Kategorie bereits verfügbarer Gewichte gleichgesetzt werden: Kimi wird in der Darstellung als bestplatziertes Modell dieser Gruppe geführt, obwohl seine Gewichte laut Ankündigung noch nicht vorlagen. Die Unterscheidung ist für Unternehmen relevant, die nicht nur Modellqualität, sondern auch lokale Bereitstellung oder Anpassbarkeit bewerten. [4]

Aufwand und Kosten variieren mit der Modellkonfiguration

Der Index misst nicht allein die Rangfolge. Artificial Analysis weist außerdem Tokenverbrauch, Bearbeitungszeit und geschätzte Kosten pro Aufgabe aus. Die Kostenberechnung berücksichtigt laut Indexseite Preise für Eingabe-, Cache-, Reasoning- und Antwort-Tokens und gewichtet die Benchmark-Aufgaben entsprechend ihrem Anteil am Index. Es handelt sich damit um eine modell- und aufgabenbezogene Kostenschätzung, nicht um einen universellen Preis für einen Unternehmenseinsatz. [2]

Die vom Anbieter genannten Werte unterscheiden sich deutlich: Claude Opus 5.5 (Max) wird mit 10,04 US-Dollar pro Indexaufgabe angegeben, GPT-6 Astra (Max) mit 6,24 US-Dollar und GPT-6.1 Sol (Max) mit 1,27 US-Dollar. Artificial Analysis zufolge liegt GPT-6.1 Sol im Gesamtwert weniger als vier Punkte hinter Opus 5.5, bei einem etwa achtmal niedrigeren Preis pro Aufgabe. Diese Werte sind Anbieterangaben und hängen von der getesteten Konfiguration sowie den zugrunde gelegten Tokenpreisen ab. [2] [4]

Auch die eingestellte Arbeitsintensität verändert Ergebnis und Kosten. Für Claude Opus 5.5 nennt Artificial Analysis einen Anstieg von 35 Punkten bei niedriger Intensität auf 58 bei maximaler Intensität; die ausgewiesenen Kosten steigen dabei von 0,98 auf 10,04 US-Dollar pro Indexaufgabe. Ein Ranking ohne Angabe der Effort-Einstellung kann daher einen wesentlichen Teil der Vergleichsgrundlage auslassen. [4]

Der Anbieter berichtet außerdem, dass der mediane Tokenverbrauch der gemessenen Modelle gegenüber Version 4.3 von 35.000 auf 59.000 Tokens pro Indexaufgabe gestiegen sei. Agentische Benchmarks machten laut seiner Aufstellung 55 Prozent des Indexgewichts, aber im Median 88 Prozent des Tokenverbrauchs aus. Diese Zahlen sprechen dafür, bei betrieblichen Tests nicht nur den Leistungswert, sondern auch Aufgabenlänge, Latenz und Kosten gemeinsam zu erfassen. [4]

• Ein Indexpunkt ist kein Kostenmaß: Kosten pro Aufgabe und Leistung müssen getrennt betrachtet werden. [2] [4]
• Die konkreten Ausgaben können je nach Modell, Effort-Einstellung und Tokenpreisen variieren. [2] [4]

Was Unternehmen aus dem Index ableiten können

Für Beschaffungs- und Architekturentscheidungen bietet v5 einen breiteren Vergleich über agentische Arbeitsabläufe, Programmierung, Wissenschaft und allgemeines Wissen. Die veröffentlichten Einzelbenchmarks können dabei helfen, Modelle nach einem konkreten Aufgabenprofil vorzusortieren; Artificial Analysis selbst weist darauf hin, dass Einzelresultate für bestimmte Einsatzfelder aussagekräftiger sein können als der aggregierte Gesamtwert. [2]

Als Analyse folgt daraus: Ein hoher Gesamtwert sollte als Screening-Signal behandelt werden, nicht als Nachweis, dass ein Modell Ihre Abläufe zuverlässig erfüllt. Für eine belastbare Auswahl müssen Sie die relevanten Aufgaben, Sicherheitsanforderungen und Kosten in Ihrer eigenen Umgebung prüfen. Der Index liefert dafür Vergleichsdaten, aber die hier verfügbaren Quellen belegen keine unmittelbare Übertragbarkeit seiner Resultate auf einzelne Unternehmensprozesse. [2] [4]

Ebenso sollten Sie Modellbezeichnungen, Konfigurationen und Stichtage dokumentieren. Die wechselnde Spitzenposition zwischen Ankündigung und aktueller Indexseite sowie die starken Effekte unterschiedlicher Effort-Stufen zeigen, dass ein Rang ohne diese Angaben leicht missverstanden werden kann. [1] [2] [4]

Mehr Schutz vor Benchmark-Anpassung, weniger externe Prüfbarkeit

Private Testsets können den Anreiz verringern, Modelle gezielt auf bekannte Aufgaben hin zu optimieren. Das ist der zentrale Vorteil, den Artificial Analysis für den höheren Anteil privater oder zurückgehaltener Prüfungen anführt. Zugleich sinkt die Möglichkeit externer Forschender und Unternehmen, Aufgaben, Bewertungsregeln und einzelne Ergebnisse unabhängig nachzustellen. [1] [4]

Der Index macht Angaben zu Zusammensetzung, Gewichtung und ausgewählten Aufgabenbeispielen öffentlich; Artificial Analysis erklärt außerdem, alle Evaluierungen unabhängig durchzuführen. Diese Transparenz über den Rahmen ist jedoch nicht gleichbedeutend mit einer vollständigen externen Prüfung der privaten Testinhalte. Für eine anspruchsvolle B2B-Bewertung bleiben deshalb sowohl die Leistungsdaten als auch die Grenzen ihrer Reproduzierbarkeit Teil der Entscheidungsgrundlage. [2] [4]

Quellen

1. [1] Artificial Analysis Index v5: Mehr geheime KI-Benchmarks | heise online — https://www.heise.de/news/Artificial-Analysis-Index-v5-Mehr-geheime-KI-Benchmarks-11504417.html (abgerufen am 2026-10-29)
2. [2] Artificial Analysis Intelligence Index v5.0 | Artificial Analysis — https://artificialanalysis.ai/evaluations/artificial-analysis-intelligence-index (abgerufen am 2026-10-29)
3. [4] Announcing Artificial Analysis Intelligence Index v5 ... — https://x.com/ArtificialAnlys/status/2115265133467635877 (abgerufen am 2026-10-29)