// Modelle & Forschung 22.09.2026 · 19:34 Uhr 13 Min. Lesezeit

AISI und EvalEval schaffen mehr Transparenz bei KI Evaluationen

Mindverse News

KI-gestützt erstellt 13 Quellen Arbeitsweise

AISI und EvalEval schaffen mehr Transparenz bei KI Evaluationen — Symbolbild

Das Wichtigste in Kürze

Das britische AI Security Institute (AISI) veröffentlicht ausgewählte Evaluationsergebnisse mithilfe der Infrastruktur der EvalEval Coalition in einer standardisierten Form.
Die Projekte Every Eval Ever und Evaluation Cards sollen dokumentieren, unter welchen Bedingungen ein Benchmark-Ergebnis entstanden ist.
Im Mittelpunkt stehen neben dem eigentlichen Score auch Prompts, Inferenzparameter, Modellversion, Testumgebung, Auswertungsmethode und weitere Angaben zur Durchführung.
Die Zusammenarbeit umfasst verifizierte Ergebnisse zu fünf Benchmarks und sechs modernen Sprachmodellen sowie zusätzliche Cybersecurity-Evaluationen.
Die Initiative adressiert ein zentrales Problem der KI-Branche: Ähnliche Punktzahlen sind häufig nicht direkt vergleichbar, wenn Testprotokolle und Ressourcenbudgets voneinander abweichen.
Für Unternehmen und Forschungseinrichtungen entsteht dadurch eine bessere Grundlage, um Modellleistungen, Risiken und Einsatzgrenzen belastbarer zu beurteilen.

// Inhalt · 13 Abschnitte

Warum einzelne Benchmark-Zahlen nicht ausreichen
Die neue Infrastruktur für nachvollziehbare Evaluationen
Evaluation Cards als interpretierbare Darstellungsebene
Welche Rolle das britische AISI übernimmt
Die veröffentlichten Benchmarks und Modelle
Inference-Time-Compute verändert die Vergleichbarkeit
Transparenz auf Ebene einzelner Trajektorien
Ergänzende methodische Arbeiten des AISI
Bedeutung für Unternehmen und professionelle Anwender
Relevanz für KI-Plattformen und Content-Workflows
Offene Fragen und verbleibende Herausforderungen
Ein möglicher Standard für die nächste Phase der KI-Entwicklung
Was Organisationen jetzt beachten sollten
Quellen

Warum einzelne Benchmark-Zahlen nicht ausreichen

Benchmark-Ergebnisse gelten in der Entwicklung und Auswahl von KI-Systemen als wichtige Orientierung. Eine Zahl wie „85 Prozent Genauigkeit“ oder „60 Prozent Erfolgsquote“ vermittelt auf den ersten Blick einen klaren Eindruck von der Leistungsfähigkeit eines Modells. In der Praxis lässt sich ein solcher Wert jedoch nur dann sinnvoll interpretieren, wenn bekannt ist, wie er zustande gekommen ist.

Entscheidend sind unter anderem die verwendeten Aufgaben, die Modellversion, die Prompt-Struktur, die Zahl der Versuche, das zulässige Inferenzbudget, der Einsatz externer Werkzeuge und die konkrete Bewertungsmethode. Auch scheinbar technische Details können die Ergebnisse beeinflussen. Dazu zählen beispielsweise Sampling-Einstellungen, Kontextlänge, Tool-Aufrufe, die Verwendung von Feedback oder die Frage, ob ein Modell mehrere Lösungsversuche unternehmen durfte.

Bei klassischen Prüfungen mit eindeutigem Lösungsschlüssel ist die Auswertung vergleichsweise überschaubar. Bei modernen KI-Systemen reicht dieses Modell jedoch oft nicht mehr aus. Frontier-Modelle beantworten nicht nur Fragen, sondern schreiben und testen Code, durchsuchen das Internet, verwenden externe Werkzeuge oder arbeiten über viele Schritte hinweg in einer simulierten Umgebung. In solchen Szenarien ist nicht allein die finale Antwort relevant. Ebenso wichtig ist die gesamte Handlungskette, also die sogenannte Trajektorie des Systems.

Ein Benchmark-Wert ohne diesen Kontext kann deshalb nur eingeschränkt als Beleg dienen. Zwei Modelle können dieselbe Erfolgsquote erreichen, obwohl eines mit deutlich mehr Rechenzeit, längeren Antworten oder wiederholten Versuchen gearbeitet hat. Umgekehrt kann ein niedrigerer Wert auf ein strengeres Testprotokoll zurückgehen und nicht zwingend auf eine geringere grundsätzliche Fähigkeit.

Die neue Infrastruktur für nachvollziehbare Evaluationen

Die EvalEval Coalition entwickelt mit Every Eval Ever ein gemeinsames Datenformat für Ergebnisse aus KI-Evaluationen. Ziel ist es, Resultate aus unterschiedlichen Quellen und Evaluations-Frameworks in einer einheitlichen Struktur abzulegen. Dazu können beispielsweise Ergebnisse aus wissenschaftlichen Veröffentlichungen, Leaderboards, Modellkarten oder eigenen Testläufen gehören.

Die Datenbank soll damit eine Verbindung zwischen bislang getrennten Ökosystemen schaffen. Evaluationen, die mit unterschiedlichen Werkzeugen wie HELM, EleutherAI-Frameworks, Inspect oder individuellen Skripten durchgeführt wurden, können in einem gemeinsamen Schema dokumentiert werden. Das reduziert den Aufwand für die spätere Zusammenführung und erleichtert systematische Vergleiche.

Ein Kernelement ist die Erfassung der sogenannten Provenienz. Gemeint ist die nachvollziehbare Herkunft eines Ergebnisses: Wer hat die Evaluation durchgeführt, mit welcher Software, auf welcher Modellversion und unter welchen technischen Bedingungen? Ergänzend werden Informationen zum Benchmark, zum Evaluationslauf und zum Modell erfasst.

Das Schema beschränkt sich daher nicht auf die Kennzahl selbst. Es soll auch die Informationen speichern, die für eine spätere Reproduktion oder Einordnung erforderlich sind. Dazu können unter anderem folgende Angaben gehören:

Benchmark und konkrete Aufgabenabdeckung
Modellname, Modellversion und Anbieter
Prompt-Vorlagen und Systemanweisungen
Inferenzparameter und verfügbare Token- oder Rechenbudgets
Verwendete Tools, Agenten-Scaffolds und externe Ressourcen
Sampling- und Wiederholungsstrategien
Scoring-Verfahren, Referenzlösungen und Bewertungsmodelle
Fehlerquoten, Standardfehler und weitere statistische Angaben
Softwareversionen, Laufzeitumgebung und relevante Systemzustände

Die Dokumentation dieser Faktoren verändert die Bedeutung eines Benchmark-Ergebnisses. Der Score bleibt zwar die zentrale Kennzahl, wird aber in einen überprüfbaren experimentellen Zusammenhang gestellt.

Evaluation Cards als interpretierbare Darstellungsebene

Auf dem standardisierten Datenmodell baut das Projekt Evaluation Cards auf. Dabei handelt es sich um eine offene Darstellungsschicht, die Benchmark-Metadaten, Informationen zum Evaluationslauf und Angaben zum Modell in einem gemeinsamen Datensatz zusammenführt.

Die Evaluation Card soll damit eine Art strukturierte Akte für einen konkreten Testlauf bilden. Nutzerinnen und Nutzer können nicht nur sehen, welchen Wert ein Modell erreicht hat, sondern auch, unter welchen Bedingungen dieser Wert ermittelt wurde. Die Darstellung ermöglicht zudem, ein Ergebnis mit anderen Einträgen für denselben Benchmark oder dasselbe Modell zu vergleichen.

Nach Angaben der EvalEval Coalition umfasste der zugrunde liegende Datenbestand am 9. Juni 2026 insgesamt 101.955 gemeldete Evaluationsergebnisse. Sie bezogen sich auf 638 Benchmarks, 5.816 Modelle und 31 Organisationen. Die Größenordnung verdeutlicht, vor welchem Problem standardisierte Auswertungssysteme stehen: Die Zahl der Ergebnisse wächst schnell, während die Berichtsformate weiterhin stark voneinander abweichen.

Die Evaluation Cards sollen diese Heterogenität sichtbar machen, statt sie durch eine scheinbar einheitliche Rangliste zu verdecken. Ein Ergebnis kann beispielsweise als nur eingeschränkt vergleichbar gekennzeichnet werden, wenn sich die Testbedingungen deutlich unterscheiden. Auf diese Weise wird nicht nur die Leistung eines Modells dargestellt, sondern auch die Aussagekraft des jeweiligen Vergleichs.

Welche Rolle das britische AISI übernimmt

Das UK AI Security Institute, kurz AISI, ist eine staatlich unterstützte Forschungseinrichtung innerhalb des britischen Department for Science, Innovation and Technology. Es untersucht fortgeschrittene KI-Systeme, ihre Fähigkeiten und potenzielle Risiken. Zu den Aufgaben gehören die Entwicklung von Testverfahren, die Analyse von Sicherheitsrisiken und die Bereitstellung wissenschaftlicher Grundlagen für Governance und Regulierung.

Das Institut arbeitet bereits seit mehreren Jahren an offenen Werkzeugen und Methoden für KI-Evaluationen. Im Jahr 2024 veröffentlichte es Inspect AI, ein Open-Source-Toolkit zur Untersuchung moderner KI-Modelle. Inspect wird unter anderem für komplexe Tests eingesetzt, bei denen Modelle Werkzeuge verwenden oder mehrstufige Aufgaben in kontrollierten Umgebungen bearbeiten.

Mit dem AISI Engineering Playbook stellt das Institut darüber hinaus Methoden und technische Praktiken bereit, die bei Evaluationen von Frontier-Modellen zum Einsatz kommen. Dazu gehören nicht nur die unmittelbaren Testskripte. Für Evaluationen in größerem Maßstab sind auch Infrastruktur für die Ausführung nicht vertrauenswürdigen Codes, die Verwaltung und Protokollierung von Modellaufrufen, Rechenressourcen sowie Systeme für Monitoring und Auditierung erforderlich.

Im Rahmen der Zusammenarbeit mit EvalEval stellt AISI nun ausgewählte öffentlich berichtete Methoden und Ergebnisse in der Evaluation-Cards-Infrastruktur bereit. Dadurch werden Resultate aus AISI-Untersuchungen mit anderen dokumentierten Evaluationen in Beziehung gesetzt.

Die veröffentlichten Benchmarks und Modelle

Die aktuelle Veröffentlichung bezieht sich auf Ergebnisse aus dem AISI-Papier How Inference Compute Shapes Frontier LLM Evaluation. Im Mittelpunkt stehen fünf Benchmarks:

HealthBench
FrontierMath
Humanity’s Last Exam
SWE-Bench Pro
Terminal-Bench 2.0

Die Ergebnisse decken sechs fortgeschrittene Sprachmodelle ab: Claude Opus 4, Claude Opus 4.5, Claude Opus 4.6, GPT-5, GPT-5.2 und GPT-5.4. Zusätzlich wurden Resultate zweier Cybersecurity-Evaluationen aufgenommen, die als Cyber CTFs und The Last Ones bezeichnet werden. Für diese Tests gilt ein teilweise abweichendes Modellset.

Die Veröffentlichung ist nicht als einfache neue Rangliste angelegt. Sie soll vielmehr zeigen, wie stark die gemessene Leistung von der Durchführung der Evaluation abhängen kann. Ein zentraler Untersuchungsgegenstand ist dabei das Inferenz-Compute, also die Rechenmenge, die ein Modell während der Bearbeitung einer Aufgabe verwenden darf.

Bei Aufgaben, die längere Denk- oder Handlungsketten erfordern, kann ein höheres Budget zusätzliche Lösungsversuche ermöglichen. Auch Rückmeldungen über die Richtigkeit eines Zwischenergebnisses können den Verlauf beeinflussen. Ein Modell, das nach einem erfolglosen Versuch Korrekturinformationen erhält, wird anders evaluiert als ein Modell, das nur eine einzige Antwort ohne Feedback abgeben darf.

Inference-Time-Compute verändert die Vergleichbarkeit

Die wachsende Bedeutung von Inference-Time-Compute stellt traditionelle Benchmark-Vergleiche vor neue Herausforderungen. Früher wurde häufig ein festes Prompt an ein Modell gesendet und die erste Antwort bewertet. Bei modernen Reasoning- und Agentensystemen können dagegen unterschiedliche Budgets für Suchprozesse, Reflexion, Tool-Nutzung oder wiederholte Versuche festgelegt werden.

Ein Beispiel aus der veröffentlichten Darstellung betrifft Humanity’s Last Exam. Die AISI-Auswertung verwendete größere Inferenzbudgets als Standardtests. Zusätzlich kamen in bestimmten Versuchsaufbauten Rückmeldungen eines sogenannten Orakels zur Korrektheit sowie erweiterte Budgets zum Einsatz. Die Ergebnisse zeigen, wie sich die kumulative Erfolgsquote verändern kann, wenn ein Modell mehr Tokens zur Verfügung hat und zusätzliche Versuche unternehmen darf.

Solche Resultate sind nicht ohne Weiteres mit einem veröffentlichten Wert vergleichbar, der unter einem festen und deutlich kleineren Budget ermittelt wurde. Die Evaluation Cards machen diese Unterschiede sichtbar. Sie stellen beispielsweise den niedrigsten beobachteten Token-Aufwand bis zum Erfolg und den Verlauf der Erfolgsquote über verschiedene Budgets dar.

Auch bei Terminal-Bench 2.0 werden unterschiedliche Testaufbauten nebeneinandergestellt. In der Darstellung können Ergebnisse aus der AISI-Studie mit anderen Einträgen aus Every Eval Ever verglichen werden. Dabei wird ausdrücklich kenntlich gemacht, dass sich die Läufe etwa hinsichtlich Scaffolds, Budgets, Aufgabenabdeckung und Einreichungsprotokollen unterscheiden können.

Für die Interpretation bedeutet das: Ein höherer Score ist nicht automatisch ein Beleg für ein leistungsfähigeres Modell unter allen Bedingungen. Er kann auch durch ein großzügigeres Budget, zusätzliche Werkzeuge oder ein anderes Bewertungsverfahren begünstigt worden sein. Umgekehrt lässt ein niedrigerer Score nicht zwingend auf eine geringere Fähigkeit schließen, wenn das Testprotokoll besonders restriktiv war.

Transparenz auf Ebene einzelner Trajektorien

Bei agentischen und interaktiven Systemen reicht die Veröffentlichung einer aggregierten Erfolgsquote häufig nicht aus. Eine Trajektorie kann zeigen, welche Schritte ein Modell unternommen hat, wann es ein Tool aufgerufen hat, welche Fehler aufgetreten sind und ob es seine Strategie angepasst hat.

Diese Informationen sind für die Reproduzierbarkeit und für die Fehlerdiagnose relevant. Ein Modell kann beispielsweise eine Aufgabe zwar erfolgreich abschließen, dabei aber einen ineffizienten oder sicherheitskritischen Weg wählen. In anderen Fällen kann eine scheinbar fehlerhafte Antwort auf einen Fehler in der Tool-Umgebung, auf ein unvollständiges Aufgabenformat oder auf eine problematische Bewertungsregel zurückgehen.

Die Offenlegung von Transkript- und Konfigurationsdaten ermöglicht es Forschenden, solche Ursachen voneinander zu unterscheiden. Sie kann außerdem helfen, Evaluationsdesigns weiterzuentwickeln. Wenn mehrere Ergebnisse zeigen, dass bestimmte Prompts, Scaffolds oder Feedbackmechanismen die Resultate systematisch verändern, lässt sich dies in zukünftigen Studien berücksichtigen.

Die Offenlegung hat zugleich Grenzen. Nicht jede Testumgebung lässt sich vollständig öffentlich bereitstellen. Gründe können der Schutz sensibler Aufgaben, Sicherheitsanforderungen, Datenschutz, Lizenzbedingungen oder der Missbrauchsschutz bei Cybersecurity-Benchmarks sein. Daher ist zwischen vollständiger Reproduktion und einer ausreichend detaillierten Nachvollziehbarkeit zu unterscheiden.

Ergänzende methodische Arbeiten des AISI

Die Zusammenarbeit mit EvalEval steht im Zusammenhang mit weiteren AISI-Projekten zur Verbesserung von Evaluationen. Dazu zählen Verfahren zur effizienteren Beendigung von Tests wie OptStop sowie statistische Methoden wie HiBayES, die hierarchische Bayes-Modelle für die Bewertung von Sprachmodellen verwenden.

OptStop befasst sich mit der Frage, wann eine Evaluation beendet werden kann, ohne unnötige Rechenressourcen einzusetzen. Das ist insbesondere bei aufwendigen Tests relevant, deren Kosten mit jedem zusätzlichen Modelllauf steigen. Ein methodisch begründeter Abbruch kann die Effizienz erhöhen, muss aber so dokumentiert werden, dass die daraus entstehenden Unsicherheiten nachvollziehbar bleiben.

HiBayES zielt auf eine statistisch belastbarere Auswertung von Evaluationsergebnissen. Hierarchische Modelle können dabei helfen, Informationen über mehrere Aufgaben, Modelle oder Testgruppen gemeinsam zu berücksichtigen. Die konkrete Aussagekraft hängt jedoch weiterhin von der Qualität der Daten, der Wahl des Modells und den Annahmen der Analyse ab.

Beide Ansätze zeigen, dass reproduzierbare Evaluationen nicht nur eine Frage der Veröffentlichung von Rohdaten sind. Ebenso wichtig sind klare Messdefinitionen, statistische Verfahren, dokumentierte Unsicherheiten und eine Infrastruktur, die Ergebnisse langfristig auffindbar und vergleichbar hält.

Bedeutung für Unternehmen und professionelle Anwender

Für Unternehmen, die generative KI einsetzen oder Modelle einkaufen, liefern Benchmark-Ranglisten allein nur eine begrenzte Entscheidungsgrundlage. Entscheidend ist, ob ein Test die eigene Anwendungssituation abbildet. Ein Modell, das in einer allgemeinen Wissensprüfung gut abschneidet, muss nicht automatisch für juristische Dokumentenanalyse, Softwareentwicklung, Kundenservice oder interne Recherche geeignet sein.

Standardisierte Evaluationsdaten können den Auswahlprozess dennoch verbessern. Sie helfen dabei, die Bedingungen hinter einem Ergebnis zu prüfen und Ergebnisse verschiedener Anbieter auf einer nachvollziehbareren Basis einzuordnen. Besonders relevant sind dabei folgende Fragen:

Wurde das Modell mit denselben oder mit unterschiedlichen Aufgaben getestet?
Welche Modellversion und welche Systemanweisungen wurden verwendet?
Wie viel Zeit, Rechenleistung und Token-Budget standen zur Verfügung?
Durfte das Modell externe Werkzeuge oder Wissensquellen nutzen?
Wurde nur der erste Versuch bewertet oder waren Wiederholungen zulässig?
Wie wurde die Qualität der Antworten gemessen?
Wie groß ist die statistische Unsicherheit des angegebenen Ergebnisses?
Sind die Testbedingungen mit dem geplanten Unternehmensbetrieb vergleichbar?

Für die Einführung in produktive Prozesse bleibt eine eigene, anwendungsnahe Evaluation erforderlich. Die Daten von AISI und EvalEval ersetzen keine Prüfung der individuellen Anforderungen, sondern liefern zusätzliche Informationen zur Einordnung externer Leistungsangaben.

Auch für Governance- und Risikoteams ist die Entwicklung relevant. Eine nachvollziehbare Dokumentation erleichtert es, die Aussagekraft von Sicherheits- und Leistungsnachweisen zu bewerten. Sie kann außerdem die Kommunikation zwischen technischen Teams, Einkauf, Compliance, Datenschutz und Management verbessern.

Relevanz für KI-Plattformen und Content-Workflows

In Plattformen, die KI-Text, Recherche, Bilderstellung und weitere Funktionen verbinden, entstehen unterschiedliche Anforderungen an Modelle und Evaluationsverfahren. Ein Textmodell wird beispielsweise nach Faktentreue, Stiltreue, Quellenverarbeitung und Befolgung von Anweisungen beurteilt. Bei Bildsystemen stehen andere Kriterien im Vordergrund, etwa semantische Übereinstimmung, Qualität oder die Einhaltung von Marken- und Sicherheitsvorgaben.

Ein gemeinsames Verständnis von Metadaten kann dabei helfen, Ergebnisse aus verschiedenen Arbeitsabläufen besser zu dokumentieren. Für Nutzerinnen und Nutzer bedeutet dies, dass nicht nur das fertige Resultat betrachtet wird, sondern auch der Prozess, der zu ihm geführt hat. Dazu können verwendete Modelle, Prompt-Versionen, Quellen, Bearbeitungsschritte und Qualitätsprüfungen gehören.

Für einen KI-Partner wie Mindverse ergibt sich daraus eine praktische Perspektive: Unternehmen benötigen zunehmend nicht nur leistungsfähige Modelle, sondern auch nachvollziehbare Informationen über deren Einsatzbedingungen. Transparente Evaluationsdaten können bei der Auswahl von Modellen, bei der Konfiguration von Workflows und bei der späteren Überprüfung von Ergebnissen unterstützen.

Das gilt insbesondere dann, wenn mehrere Modelle in einem Prozess zusammenwirken. Werden beispielsweise Recherche, Textentwurf, Übersetzung und Qualitätskontrolle von verschiedenen Systemen übernommen, sollte nachvollziehbar bleiben, welches System welche Aufgabe bearbeitet hat. Eine standardisierte Dokumentation kann dafür eine technische Grundlage schaffen.

Offene Fragen und verbleibende Herausforderungen

Die Projekte von AISI und EvalEval verbessern die Berichtsqualität, lösen jedoch nicht automatisch alle Probleme der KI-Evaluation. Eine standardisierte Struktur kann nur solche Informationen vergleichbar machen, die inhaltlich sinnvoll vergleichbar sind. Unterschiedliche Benchmarks messen weiterhin unterschiedliche Fähigkeiten. Ein gemeinsames Datenformat sagt daher nichts darüber aus, ob ein Benchmark für einen bestimmten Anwendungsfall geeignet ist.

Auch die Qualität der Metadaten bleibt entscheidend. Wenn Angaben unvollständig, ungenau oder nicht überprüfbar sind, kann die Evaluation Card die Unsicherheit zwar sichtbar machen, aber nicht beseitigen. Die Verifizierung gemeldeter Ergebnisse wird daher zu einem wichtigen Bestandteil des Systems.

Hinzu kommt die Frage nach der Aktualität. Modelle werden laufend aktualisiert, Benchmarks können öffentlich bekannt werden und Evaluationsframeworks verändern sich. Ein Ergebnis ist deshalb immer an einen bestimmten Zeitpunkt und eine bestimmte technische Konfiguration gebunden. Datenbanken müssen Versionen, Änderungen und Nachträge entsprechend abbilden.

Ein weiterer Punkt betrifft die Anreize in der Branche. Anbieter veröffentlichen häufig besonders gute Ergebnisse, während negative oder schwer interpretierbare Resultate weniger Aufmerksamkeit erhalten. Eine offene Infrastruktur kann die Sichtbarkeit der Daten verbessern, ersetzt aber keine vollständige Veröffentlichungspraxis und keine unabhängige Prüfung.

Schließlich bleibt die Reproduzierbarkeit bei sehr großen Modellen eine Kostenfrage. Selbst wenn alle Parameter dokumentiert sind, können der notwendige Rechenaufwand, der Zugang zu proprietären Modellen oder nicht öffentlich verfügbare Testumgebungen eine erneute Durchführung erschweren. Reproduzierbarkeit ist daher nicht immer gleichbedeutend mit einer sofortigen und vollständigen Wiederholung durch jede Organisation.

Ein möglicher Standard für die nächste Phase der KI-Entwicklung

Die Kooperation zwischen dem britischen AISI und der EvalEval Coalition verbindet zwei unterschiedliche Ebenen: AISI bringt Erfahrungen aus anspruchsvollen Sicherheits- und Frontier-Evaluationen ein, während EvalEval eine offene Struktur für Speicherung, Vergleich und Interpretation von Ergebnissen bereitstellt.

Der zentrale Beitrag der Zusammenarbeit liegt weniger in einer einzelnen neuen Kennzahl als in der Verbesserung der Dokumentationspraxis. Wenn Evaluationsresultate mit ausreichend Kontext veröffentlicht werden, können Forschende, Unternehmen und politische Institutionen besser beurteilen, welche Aussage ein Score tatsächlich besitzt.

Für die KI-Branche zeichnet sich damit ein Wandel ab. Benchmarking entwickelt sich von einer Sammlung isolierter Ranglisten zu einer umfassenderen Infrastruktur für Messung, Provenienz und Vergleichbarkeit. In dieser Umgebung wird es wichtiger, nicht nur zu fragen, welches Modell den höchsten Wert erreicht, sondern auch, unter welchen Bedingungen dieser Wert entstanden ist und ob diese Bedingungen zum geplanten Einsatz passen.

Die weitere Wirkung der Initiative wird davon abhängen, wie viele Modellanbieter, Benchmark-Entwickler und Forschungseinrichtungen die gemeinsamen Standards übernehmen. Je mehr Ergebnisse in einem konsistenten Format verfügbar sind, desto besser lassen sich Trends, methodische Unterschiede und systematische Verzerrungen untersuchen. Für professionelle Anwender entsteht dadurch eine belastbarere Grundlage für Modellentscheidungen und Risikobewertungen.

Reproduzierbare Evaluationen schaffen dabei keine absolute Gewissheit. Sie machen die Grenzen von Messergebnissen jedoch transparenter. Genau diese Unterscheidung ist für den verantwortungsvollen Einsatz künstlicher Intelligenz entscheidend: Ein Benchmark kann Hinweise auf bestimmte Fähigkeiten oder Risiken geben, aber erst die vollständige Dokumentation ermöglicht eine sachgerechte Interpretation.

Was Organisationen jetzt beachten sollten

Unternehmen, die KI-Systeme entwickeln, integrieren oder beschaffen, können aus der Entwicklung konkrete Anforderungen für ihre eigene Evaluationspraxis ableiten. Dazu gehört zunächst die Festlegung, welche Eigenschaften tatsächlich gemessen werden sollen. Anschließend sollten Testdaten, Prompts, Modellversionen und Bewertungsregeln versioniert und archiviert werden.

Für eine belastbare interne Dokumentation empfiehlt sich mindestens:

ein eindeutig definierter Evaluationszweck
eine Beschreibung der Aufgaben und Testdaten
die Angabe des eingesetzten Modells und seiner Version
eine vollständige Dokumentation der Prompts und Systemanweisungen
die Erfassung von Tools, Scaffolds und externen Datenquellen
die Festlegung von Budget, Laufzeit und Anzahl der Versuche
eine Beschreibung der Bewertungslogik einschließlich menschlicher oder automatisierter Prüfer
die Ausweisung statistischer Unsicherheiten und möglicher Einschränkungen
eine nachvollziehbare Ablage der Ergebnisse und Protokolle

Diese Maßnahmen sind unabhängig davon relevant, ob eine Organisation externe Benchmarks nutzt oder eigene Tests entwickelt. Sie erleichtern die spätere Fehlersuche, verbessern die Vergleichbarkeit zwischen Modellversionen und unterstützen die Kommunikation mit internen sowie externen Stakeholdern.

Die Arbeit von AISI und EvalEval zeigt, dass die Qualität einer KI-Evaluation nicht allein von der Auswahl des Benchmarks abhängt. Ebenso wichtig sind die technische Durchführung, die statistische Auswertung und die Transparenz der Berichterstattung. Für alle Organisationen, die KI professionell einsetzen, wird diese umfassendere Sicht auf Testergebnisse zunehmend an Bedeutung gewinnen.