Ganzheitliche Bewertung von KI Modellen durch neues Leaderboard Feature bei LMSYS

Einführung neuer Modelle

Seit dem Start der Chatbot Arena wurden über 45 Modelle bereitgestellt und mehr als 130.000 gültige Stimmen von Benutzern gesammelt. Im November wurden rekordverdächtige neun neue Modelle mit Größen von 7B bis 70B eingeführt, darunter auch proprietäre Modelle. Diese neuen Modelle haben über 25.000 Stimmen gesammelt und zeigen vielversprechende Leistungen, die die Lücke zwischen proprietären und offenen Modellen verringern.

Die neuesten Leaderboards

Das neue "Überblick"-Feature für die Leaderboards ermöglicht es Benutzern nun, die Ranglisten der Modelle nach verschiedenen Kategorien zu überprüfen. Zu den neuesten Spitzenmodellen gehört "xAI’s Grok-2", das in allen Kategorien wie Mathematik, schwierige Aufforderungen, Codierung und Befolgen von Anweisungen ganz oben steht.

Beispielhafte Modelle und ihre Bewertungen

- GPT-4-Turbo: Arena Elo Bewertung 1217, Proprietär - Claude-2.1: Arena Elo Bewertung 1118, Proprietär - Tulu-2-DPO-70B: Arena Elo Bewertung 1105, AI2 ImpACT Low-risk - Yi-34B-Chat: Arena Elo Bewertung 1102, Yi License - OpenChat-3.5: Arena Elo Bewertung 1077, Apache-2.0

Verbesserungen bei kleineren Modellen

Auch 7B-Modelle haben signifikante Verbesserungen gezeigt. Durch das Feintuning des 7B Mistral-Modells sind beeindruckende Modelle wie Zephyr, OpenChat-3.5, Starling-lm-7b-alpha und OpenHermes-2.5-Mistral-7b entstanden, die trotz ihrer kleineren Größe eine beeindruckende Leistung zeigen.

Unterschiede zwischen GPT-4-Versionen

Seit dem Update von OpenAIs GPT-4 im Juni stellt sich die Frage, ob es Leistungsunterschiede zwischen den Versionen GPT-4-0314 und GPT-4-0613 gibt. Die Community hat signifikante Unterschiede zwischen den beiden Versionen festgestellt. Um dies genauer zu untersuchen, wurde die Version GPT-4-0314 wieder online gebracht, um neue Stimmen zu sammeln und direkt mit der neueren Version zu vergleichen.

Übergang von Elo- zu Bradley-Terry-Modell

Zu Beginn der Arena wurde das Elo-Bewertungssystem verwendet, um Modelle zu bewerten. Dieses System hat sich als nützlich erwiesen, um paarweise menschliche Präferenzen in Elo-Bewertungen zu transformieren. Um jedoch die Qualität der Bewertungen und deren Konfidenzintervalle zu verbessern, wurde auf das Bradley-Terry (BT)-Modell umgestellt. Dieses Modell ermöglicht die Berechnung der Modellbewertungen durch Maximum-Likelihood-Schätzung (MLE), was zu stabileren Bewertungen und präziseren Konfidenzintervallen führt.

Fazit

Die Einführung des "Überblick"-Features für die Leaderboards bei LMSYS markiert einen bedeutenden Fortschritt in der KI-Bewertung. Durch die ganzheitlichere Bewertung und die Einführung neuer Modelle wird ein besseres Verständnis dafür geschaffen, wie diese Modelle in realen Szenarien funktionieren. Die Umstellung auf das Bradley-Terry-Modell bietet zudem stabilere und präzisere Bewertungen.

Bibliographie:

1. https://chat.lmsys.org/
2. https://lmsys.org/blog/2023-12-07-leaderboard/
3. https://x.com/lmsysorg?lang=ta
4. https://twitter.com/lmsysorg?lang=de
5. https://www.reddit.com/r/LocalLLaMA/comments/1ean2i6/the_final_straw_for_lmsys/
6. https://www.linkedin.com/pulse/hr-ai-article-2-leaderboards-tim-gregory-6ylce
7. https://x.com/lmsysorg/highlights
8. https://arxiv.org/html/2403.04132v1