Neuer Ansatz zur Evaluierung von KI-Modellen mit ONEBench

Ein Neuer Ansatz für die Bewertung von KI-Modellen: ONEBench

Die rasante Entwicklung von Foundation Models, insbesondere im Bereich der Künstlichen Intelligenz, stellt die Evaluierung ihrer Fähigkeiten vor neue Herausforderungen. Traditionelle, statische Testdatensätze reichen oft nicht aus, um das Potenzial dieser Modelle, die für vielfältige Aufgaben einsetzbar sind, umfassend zu bewerten. Ein neuer Ansatz, ONEBench (Open-Ended Benchmarking), verspricht hier Abhilfe.

Das Konzept von ONEBench

ONEBench basiert auf der Idee eines dynamischen und ständig wachsenden Pools von Beispielen. Anstatt auf fixe Testsets zurückzugreifen, können Nutzer aus diesem Pool maßgeschneiderte Benchmarks erstellen, die auf spezifische Fähigkeiten abzielen. Durch die Aggregation von Beispielen aus verschiedenen Datensätzen ermöglicht ONEBench die Bewertung von vielfältigen Fähigkeiten, die über die der ursprünglichen Testsets hinausgehen. Gleichzeitig wird das Risiko von Overfitting und Datensatzverzerrungen minimiert.

Herausforderungen und Lösungen

Die Umstellung von aufgabenspezifischen Benchmarks auf ONEBench bringt zwei zentrale Herausforderungen mit sich: Heterogenität und Unvollständigkeit. Heterogenität bezieht sich auf die Aggregation unterschiedlicher Metriken, während Unvollständigkeit die Schwierigkeit beschreibt, Modelle zu vergleichen, die auf verschiedenen Datensatz-Teilmengen evaluiert wurden.

Um diesen Herausforderungen zu begegnen, verwendet ONEBench spezielle Algorithmen, die lückenhafte Messungen zu zuverlässigen Modellbewertungen aggregieren. Diese Algorithmen gewährleisten Identifizierbarkeit (asymptotische Wiederherstellung der wahren Werte) und schnelle Konvergenz, was eine genaue Modellbewertung mit weniger Daten ermöglicht.

ONEBench in der Praxis

ONEBench wird bereits in zwei Varianten eingesetzt: ONEBench-LLM für Sprachmodelle und ONEBench-LMM für Vision-Language-Modelle. In Tests zeigte sich, dass die durch ONEBench erzeugten Rankings stark mit denen korrelieren, die durch durchschnittliche Bewertungen auf homogenen Datensätzen erzielt werden. Darüber hinaus erwies sich ONEBench als robust gegenüber fehlenden Messwerten (bis zu 95%), was die Evaluierungskosten deutlich senken kann, ohne die Genauigkeit der Modellbewertung signifikant zu beeinträchtigen.

Vorteile für Unternehmen wie Mindverse

Für Unternehmen wie Mindverse, die KI-gestützte Content-Tools und maßgeschneiderte KI-Lösungen entwickeln, bietet ONEBench eine wertvolle Möglichkeit, die Leistungsfähigkeit ihrer Modelle kontinuierlich und umfassend zu bewerten. Die Flexibilität von ONEBench erlaubt es, Benchmarks an die spezifischen Anforderungen der Kunden anzupassen und so die Qualität der angebotenen Lösungen zu optimieren.

Ausblick

ONEBench stellt einen vielversprechenden Ansatz für die Bewertung von Foundation Models dar. Durch die dynamische Aggregation von Beispielen und die Berücksichtigung heterogener Metriken ermöglicht ONEBench eine umfassendere und effizientere Evaluierung als traditionelle, statische Benchmarks. Die Weiterentwicklung von ONEBench und die Integration weiterer Datensätze werden dazu beitragen, die Leistungsfähigkeit von KI-Modellen noch präziser zu erfassen und die Entwicklung innovativer KI-Lösungen voranzutreiben.

Bibliographie

1. Ghosh, A., Dziadzio, S., Prabhu, A., Udandarao, V., Albanie, S., & Bethge, M. (2024). ONEBench to Test Them All: Sample-Level Benchmarking Over Open-Ended Capabilities. arXiv preprint arXiv:2412.06745.
2. Ghosh, A., Dziadzio, S., Prabhu, A., Udandarao, V., Albanie, S., & Bethge, M. (2024). Democratizing Evaluation with Infinity-Benchmarks: Sample-Level Heterogeneous Testing Over Arbitrary Capabilities. ICLR 2025 Conference Withdrawn Submission.
3. Liu, Y., Ma, Z., Qi, Z., Wu, Y., Shan, Y., & Chen, C. W. (2024). E.T. Bench: Towards Open-Ended Event-Level Video-Language Understanding. Advances in Neural Information Processing Systems, 37.
4. Hendrycks, D., Burns, C., Basart, S., Zou, A., Mazeika, M., Song, D., & Steinhardt, J. (2021). Measuring massive multitask language understanding. arXiv preprint arXiv:2009.03300.
5. Zellers, R., Bisk, Y., Schwartz, R., & Choi, Y. (2019). HellaSwag: Can a machine really finish your sentence?. arXiv preprint arXiv:1905.07830.
6. Suzgun, M., Scales, N., Lyzhov, A., Gabriel, I., Schärli, N., Bousquet, O., ... & Weber, T. (2022). TruthfulQA: Measuring how models mimic human falsehoods. arXiv preprint arXiv:2109.07958.
7. Vongthongsri, K. (2024, October 6). LLM Benchmarks Explained: Everything on MMLU, HellaSwag, BBH, and Beyond. Confident AI.