Die Entwicklung und Anwendung von Künstlicher Intelligenz (KI) schreitet mit beeindruckender Geschwindigkeit voran. Ein Bereich, der in den letzten Jahren zunehmend an Bedeutung gewonnen hat, ist das Feld der Großen Sprachmodelle (Large Language Models, LLMs). Diese Modelle haben die Fähigkeit, menschliche Sprache in einer Weise zu verarbeiten und zu generieren, die vielfach schon sehr nahe an das menschliche Verständnis heranreicht. Unternehmen und Forschungsinstitute weltweit nutzen LLMs für eine breite Palette an Anwendungen – von der Textgenerierung über die Übersetzung bis hin zur Beantwortung von Fragen.
Ein wesentlicher Aspekt bei der Entwicklung von LLMs ist die Bewertung ihrer Leistung. Hierfür werden oft sogenannte Leaderboards oder Bestenlisten eingesetzt, auf denen verschiedene Modelle miteinander verglichen werden können. Ein bekanntes Beispiel für ein solches Leaderboard ist das Open LLM Leaderboard von Hugging Face, das die Leistung von quelloffenen LLMs in verschiedenen Aufgaben vergleicht.
Im späten Jahr 2023 präsentierte das Unternehmen Vectara das Hughes Hallucination Evaluation Model (HHEM), ein Open-Source-Modell zur Messung des Ausmaßes, in dem ein LLM Halluzinationen erzeugt – also Text generiert, der sinnlos ist oder nicht treu zum bereitgestellten Quellinhalt. Dieses Modell deckt sowohl Open-Source-Modelle wie Llama 2 oder Mistral 7B als auch kommerzielle Modelle wie OpenAI's GPT-4, Anthropic Claude oder Google’s Gemini ab und hebt die deutlichen Unterschiede hervor, die derzeit zwischen den Modellen in Bezug auf ihre Neigung zu Halluzinationen bestehen.
Mit dem Ziel, eine Bestenliste für das HHEM-Modell zu verwalten und zu aktualisieren, hat sich Vectara kürzlich für eine Open-Source-Lösung entschieden: die Verwendung von Leaderboard-Vorlagen, die vom Hugging Face Leaderboard-Team bereitgestellt wurden. Diese Vorlagen sind vereinfachte Versionen des Open LLM Leaderboard, die quelloffen und einfacher zu verwenden sind als der ursprüngliche Code.
Der neue HHEM-Leaderboard wird durch die HF Leaderboard-Vorlage unterstützt. Um das Vectara HHEM Leaderboard einzurichten, mussten einige Schritte befolgt werden. Zunächst wurde das Space-Repository in die eigene Organisation geklont. Anschließend wurden zwei zugehörige Datensätze erstellt: „requests“ und „results“, die die von Benutzern eingereichten Anfragen für neue LLMs zur Bewertung sowie die Ergebnisse dieser Bewertungen enthalten. Die Ergebnisdatensätze wurden mit den Ergebnissen des ersten Launchs gefüllt und die Abschnitte „About“ und „Citations“ aktualisiert.
Die Anpassung der HF Leaderboard-Vorlage an die Bedürfnisse des HHEM-Leaderboards umfasste auch die Anpassung des Quellcodes. So enthält beispielsweise die Datei model_operations.py im Verzeichnis leaderboard/src/backend zwei Hauptklassen: SummaryGenerator und EvaluationModel. Der SummaryGenerator generiert Zusammenfassungen basierend auf dem privaten Bewertungsdatensatz des HHEM und berechnet Metriken wie Antwortrate und durchschnittliche Zusammenfassungslänge. Das EvaluationModel lädt das proprietäre Hughes Hallucination Evaluation Model (HHEM), um diese Zusammenfassungen zu bewerten, und liefert Metriken wie die Rate der faktischen Konsistenz und die Halluzinationsrate.
Weitere angepasste Dateien sind evaluate_model.py, das die Evaluator-Klasse definiert, die sowohl SummaryGenerator als auch EvaluationModel verwendet, um Ergebnisse im JSON-Format zu berechnen und zurückzugeben, und run_eval_suite.py, das eine Funktion run_evaluation enthält, die den Evaluator nutzt, um Bewertungsergebnisse zu erhalten und diese in das Ergebnisdatensatz hochzuladen, sodass sie im Leaderboard erscheinen.
Mit diesen Änderungen ist die Bewertungspipeline nun einsatzbereit und kann als Huggingface Space einfach bereitgestellt werden. Der finale Quellcode ist im Files-Tab des HHEM-Leaderboard-Repository verfügbar.
Das HHEM ist ein neuartiges Klassifizierungsmodell, das verwendet werden kann, um das Ausmaß zu bewerten, in dem LLMs Halluzinationen erzeugen. Die Nutzung der Hugging Face Leaderboard-Vorlage bot die dringend benötigte Unterstützung für ein gemeinsames Bedürfnis jeder Bestenliste: die Möglichkeit, neue Modellbewertungsanfragen zu verwalten und die Bestenliste zu aktualisieren, wenn neue Ergebnisse auftauchen.
Ein besonderer Dank gilt dem Hugging Face-Team, das diese wertvolle Rahmenstruktur Open-Source zur Verfügung gestellt hat und das Vectara-Team bei der Implementierung unterstützt hat. Es wird erwartet, dass dieser Code von anderen Community-Mitgliedern wiederverwendet wird, die andere Arten von LLM-Leaderboards veröffentlichen möchten.
Wenn Sie zum HHEM mit neuen Modellen beitragen möchten, können Sie diese auf dem Leaderboard einreichen – Vorschläge für neue Modelle zur Bewertung sind sehr willkommen.
Sollten Sie Fragen zum Hugging Face LLM Frontend oder zu Vectara haben, können Sie gerne in den Vectara- oder Huggingface-Foren nachfragen.
.png)