Neuer Ansatz zur Bewertung von KI-Leistungen: Herausforderungen traditioneller Benchmarks

Neubewertung der KI-Leistung: Warum traditionelle Benchmarks die Fähigkeiten von KI-Agenten unterschätzen

Die schnelle Entwicklung im Bereich der Künstlichen Intelligenz (KI) stellt Forschende und Entwickler vor die Herausforderung, die tatsächlichen Fähigkeiten dieser Systeme adäquat zu bewerten. Jüngste Erkenntnisse, insbesondere vom britischen AI Security Institute (AISI), legen nahe, dass die gängigen, standardisierten Benchmarks die Leistungsfähigkeit von KI-Agenten systematisch unterschätzen. Diese Unterschätzung resultiert primär aus der Begrenzung der Rechenressourcen während der Evaluierung, was ein unvollständiges Bild der operativen Kapazitäten von KI-Systemen zeichnet.

Die Limitation statischer Benchmarks

Seit Jahren verlassen sich die KI-Forschung und -Industrie auf Benchmarks wie SWE-bench oder MMLU, um den Fortschritt von KI-Modellen zu messen. Diese Tests sind jedoch oft darauf ausgelegt, statisches Wissen und vorab definierte Aufgaben zu bewerten. Sie messen, was ein Modell mit einem festen "Token-Budget" oder einer begrenzten Rechenkapazität leisten kann. Das AISI hat in einer umfassenden Studie festgestellt, dass diese Herangehensweise die dynamische und adaptive Problemlösungsfähigkeit von KI-Agenten, die in realen Szenarien oft entscheidend ist, nicht ausreichend erfasst.

Signifikante Leistungssteigerung durch erhöhte Rechenressourcen

Die Forschungsergebnisse des AISI zeigen deutlich, dass die Erfolgsraten von KI-Modellen erheblich steigen, wenn ihnen mehr Rechenzeit zur Verfügung gestellt wird. Bei einigen Modellen konnten Leistungssteigerungen von bis zu 25 Prozent beobachtet werden. Dies gilt insbesondere für komplexe Aufgaben in Bereichen wie der Cybersicherheit und der Softwareentwicklung. Die Fähigkeit von KI-Modellen, mehrstufige Cyberangriffe auszuführen, verdoppelt sich laut aktuellen Schätzungen des AISI derzeit etwa alle 4,7 Monate. Dies verdeutlicht, dass die Modelle bei ausreichenden Ressourcen in der Lage sind, weitaus komplexere und autonomere Handlungssequenzen zu entwickeln und auszuführen, als es die herkömmlichen, ressourcenbeschränkten Tests vermuten lassen.

Auswirkungen auf die Bewertung von KI-Sicherheit und -Entwicklung

Die Implikationen dieser Erkenntnisse sind weitreichend. Wenn die aktuellen Bewertungsansätze die tatsächlichen Fähigkeiten von KI-Agenten nicht präzise widerspiegeln, könnten Entscheidungen über die Sicherheit, Regulierung und den Einsatz von KI auf unzureichender Datenbasis getroffen werden. Dies betrifft sowohl die Entwicklung neuer KI-Systeme als auch die Einschätzung potenzieller Risiken, beispielsweise im Kontext von Cyberbedrohungen. Eine genaue Messung der KI-Fähigkeiten ist entscheidend, um den Fortschritt in der KI-Forschung und -Entwicklung voranzutreiben und gleichzeitig die notwendigen Sicherheitsvorkehrungen zu treffen.

Der Bedarf an "Open-World"-Evaluierungen

Die Notwendigkeit neuer, adaptiverer Benchmark-Systeme wird immer deutlicher. Diese sollten in der Lage sein, die "Open-World"-Fähigkeiten von KI-Agenten zu bewerten, also deren Kapazität, in unstrukturierten und dynamischen Umgebungen Probleme zu lösen. Solche Evaluierungen würden nicht nur statisches Wissen abfragen, sondern auch die Fähigkeit der KI berücksichtigen, Werkzeuge zu nutzen, Informationen zu suchen und eigenständig komplexe, mehrstufige Aufgaben zu bewältigen. Das AISI arbeitet aktiv an der Entwicklung solcher fortschrittlicher Bewertungsmethoden, die eine realistischere Einschätzung der KI-Leistung ermöglichen.

Zukünftige Perspektiven

Die Forschung des AISI unterstreicht die Notwendigkeit, unsere Methoden zur Bewertung von KI-Systemen kontinuierlich anzupassen und zu verfeinern. Eine präzisere Einschätzung der Fähigkeiten von KI-Agenten ist nicht nur für die Forschung von Bedeutung, sondern auch für politische Entscheidungsträger und Unternehmen, die KI-Technologien verantwortungsvoll entwickeln und einsetzen möchten. Nur durch ein umfassendes Verständnis der tatsächlichen Leistungsfähigkeit können die Potenziale der KI voll ausgeschöpft und gleichzeitig potenzielle Risiken minimiert werden.

Bibliography: - The Decoder. "UK's AI Security Institute finds standard benchmarks systematically underestimate what AI agents can actually do." Published: 2026-07-03. - Singularity Moments. "AI benchmarks are hiding the real speed of agent progress." Published: 2026-07-03. - AI Pulse. "AI Benchmarks Fall Short." Published: 2026-07-03. - arXiv. "Measuring AI Agents’ Progress on Multi-Step Cyber Attack Scenarios." Published: 2026-03-11. - LinkedIn. "UK's AI Security Institute finds standard benchmarks systematically..." Published: 2026-07-03. - Gnoppix Forum. "Standard Benchmarks Systematically Underestimate What AI Agents..." Published: 2026-07-03. - GOV.UK. "AI Safety Institute approach to evaluations." Published: 2024-02-09. - arXiv. "Open-World Evaluations for Measuring Frontier AI Capabilities." - AISI. "Advanced AI evaluations at AISI: May update." - Kiteworks. "AI Cyberattack Capability Is Doubling Every 4.7 Months." Author: Marc ten Eikelder. Published: 2026-05-19.