Einblicke in die MTEB Arena: Vergleich von Einbettungsmodellen in der KI-Forschung

In der dynamischen Welt der Künstlichen Intelligenz und des maschinellen Lernens stehen Text-Einbettungsmodelle im Zentrum vieler Anwendungen, von der semantischen Suche über die Textklassifikation bis hin zur Clusterbildung. Die Massive Text Embedding Benchmark (MTEB) Arena, eine Initiative von Hugging Face, bietet eine umfassende Plattform zur Bewertung und zum Vergleich dieser Modelle.

Was ist MTEB?

Die Massive Text Embedding Benchmark (MTEB) wurde entwickelt, um die Leistung von Text-Einbettungsmodellen auf einer Vielzahl von Aufgaben zu messen. Diese Benchmark umfasst 56 Datensätze über 8 Aufgaben und stellt mehr als 2000 Ergebnisse auf der Rangliste zusammen. MTEB bietet eine ganzheitliche Sicht auf die besten Text-Einbettungsmodelle und analysiert deren Leistung auf unterschiedlichen Aufgaben und Datensätzen.

Warum sind Texteingebungen wichtig?

Text-Einbettungen sind Vektorrepräsentationen von Texten, die semantische Informationen kodieren. Da Maschinen numerische Eingaben benötigen, um Berechnungen durchzuführen, sind Texteingebungen ein entscheidender Bestandteil vieler nachgelagerter NLP-Anwendungen. Google nutzt beispielsweise Texteingebungen, um ihre Suchmaschine zu betreiben. Texteingebungen können auch verwendet werden, um Muster in großen Textmengen zu finden oder als Eingaben für Textklassifikationsmodelle zu dienen.

Die Aufgaben und Datensätze in MTEB

MTEB umfasst acht verschiedene Aufgaben:

- Bitext Mining - Klassifikation - Paar-Klassifikation - Clustering - Reranking - Retrieval - Semantische Textähnlichkeit (STS) - Zusammenfassung

Jede Aufgabe ist so konzipiert, dass sie bestimmte Aspekte der Leistung eines Modells aufzeigt. Beispielsweise testet die Klassifikation die Fähigkeit eines Modells, Texte in vordefinierte Kategorien einzuordnen, während das Retrieval die Fähigkeit eines Modells misst, relevante Dokumente zu einer gegebenen Abfrage zu finden.

MTEB Rangliste und Modelle

Die MTEB Rangliste bietet eine Plattform, auf der die besten Text-Einbettungsmodelle miteinander verglichen werden können. Die Modelle werden basierend auf ihrer Leistung in verschiedenen Aufgaben bewertet. Einige der führenden Modelle sind:

- Glove: Hohe Geschwindigkeit, aber mangelnde Kontextbewusstsein - all-mpnet-base-v2: Gute Balance zwischen Geschwindigkeit und Leistung - ST5-XXL, GTR-XXL, SGPT-5.8B-msmarco: Maximale Leistung, aber größere Einbettungen

Die Leistung der Modelle variiert stark in Abhängigkeit von der Aufgabe und dem Datensatz. Daher wird empfohlen, die verschiedenen Registerkarten der Rangliste zu überprüfen, bevor man sich für ein Modell entscheidet.

Benchmarking Ihres Modells

Mit der MTEB-Bibliothek können Sie jedes Modell, das Einbettungen erzeugt, benchmarken und seine Ergebnisse zur öffentlichen Rangliste hinzufügen. Hier ist ein kurzes Beispiel:

Installieren Sie zunächst die Bibliothek:

pip install mteb

Dann benchmarken Sie ein Modell auf einem Datensatz, zum Beispiel Komninos-Worteinbettungen auf Banking77:

from mteb import MTEB
from sentence_transformers import SentenceTransformer

model_name = "average_word_embeddings_komninos"
model = SentenceTransformer(model_name)

evaluation = MTEB(tasks=["Banking77Classification"])
results = evaluation.run(model, output_folder=f"results/{model_name}")

Dies sollte eine results/average_word_embeddings_komninos/Banking77Classification.json Datei erzeugen! Nun können Sie die Ergebnisse zur Rangliste hinzufügen, indem Sie sie in die Metadaten der README.md jeder Modellseite im Hub einfügen.

Führen Sie unser automatisches Skript aus, um die Metadaten zu generieren:

python mteb_meta.py results/average_word_embeddings_komninos

Das Skript erzeugt eine mteb_metadata.md Datei, die wie folgt aussieht:

tags: - mteb
model-index: - name: average_word_embeddings_komninos
results: - task: type: Classification
dataset: type: mteb/banking77
name: MTEB Banking77Classification
config: default
split: test
revision: 0fd18e25b25c072e09e0d92ab615fda904d66300
metrics: - type: accuracy
value: 66.76623376623377
- type: f1
value: 66.59096432882667

Fügen Sie nun die Metadaten oben in eine README.md jeder Modellseite im Hub ein, und es wird nach dem Aktualisieren auf der Rangliste angezeigt!

Schlussfolgerung

Die MTEB Arena bietet eine umfassende Plattform zur Bewertung und zum Vergleich von Text-Einbettungsmodellen. Durch die Bereitstellung einer Vielzahl von Aufgaben und Datensätzen ermöglicht MTEB eine ganzheitliche Betrachtung der Leistung von Modellen und hilft Forschern und Praktikern, das beste Modell für ihre spezifischen Bedürfnisse zu finden.

Bibliographie

https://huggingface.co/blog/mteb https://huggingface.co/papers/2210.07316 https://arxiv.org/abs/2210.07316 https://huggingface.co/blog/lyon-nlp-group/french-mteb-datasets https://huggingface.co/Linq-AI-Research/Linq-Embed-Mistral https://ar5iv.labs.arxiv.org/html/2210.07316 https://huggingface.co/BAAI/bge-large-en-v1.5 https://huggingface.co/spaces/mteb/leaderboard