Optimierung der Retrieval-Performance durch Multi-Vektor-Einbettungsmodelle und Finetuning

Optimierung der Informationssuche: Training und Finetuning von Multi-Vektor-Einbettungsmodellen

In der Ära der datengesteuerten Entscheidungen und des rapiden Informationswachstums ist die Fähigkeit, präzise und relevante Informationen effizient abzurufen, von entscheidender Bedeutung. Multi-Vektor-Einbettungsmodelle stellen hierbei einen signifikanten Fortschritt dar, indem sie eine feinere Granularität bei der Textrepräsentation ermöglichen. Dieser Artikel beleuchtet die Mechanismen, Vorteile und praktischen Aspekte des Trainings und Finetunings dieser Modelle, insbesondere unter Verwendung der Sentence Transformers Bibliothek.

Was sind Multi-Vektor-Modelle?

Im Gegensatz zu traditionellen dichten Einbettungsmodellen, die einen gesamten Text in einem einzigen Vektor komprimieren, behalten Multi-Vektor-Modelle (auch bekannt als "Late-Interaction" oder ColBERT-Modelle) einen separaten, kleineren Vektor für jedes Token bei. Die Ähnlichkeit zwischen einer Abfrage und einem Dokument wird mittels des MaxSim-Operators berechnet. Dabei findet jedes Abfrage-Token das am besten passende Dokument-Token, und die resultierenden Ähnlichkeitswerte werden summiert. Dieser Ansatz ermöglicht eine token-spezifische Übereinstimmung, die feinkörnige Signale bewahrt, welche bei der Komprimierung in einen Einzelvektor verloren gehen könnten. Das Ergebnis ist in der Regel eine stärkere Retrieval-Performance, wenngleich zu Kosten eines größeren Index.

Warum ist Finetuning entscheidend?

Das Finetuning von Multi-Vektor-Modellen führt zu einer erheblichen Verbesserung der Retrieval-Performance in spezifischen Domänen. Jede Domäne – sei es Web-Suche, juristische Recherche, Code-Suche oder wissenschaftliche Literaturanalyse – weist ein einzigartiges Vokabular, Abfragestile und Relevanzkriterien auf. Durch die token-weise Übereinstimmung sind Multi-Vektor-Modelle in der Lage, diese feinkörnigen domänenspezifischen Signale aufzunehmen, die bei Single-Vektor-Modellen oft gemittelt werden. Sie reagieren bereits auf moderate Mengen an domäneninternen Finetuning-Daten sehr positiv.

Ein weiterer wichtiger Aspekt ist die Dokumentenlänge. Viele bestehende Retrieval-Modelle wurden für kurze Passagen konfiguriert und truncaten Dokumente bei 180, 300, 256 oder 512 Tokens. Für längere Dokumente bedeutet dies, dass ein Großteil des Inhalts vor der Bewertung stillschweigend verworfen wird. Durch das Training eigener Modelle kann die Dokumentenlänge an die spezifischen Anforderungen der Daten angepasst werden, was signifikante Qualitätsverbesserungen mit sich bringen kann. Dies ist besonders relevant für Branchen wie Medizin, Recht oder Finanzen, in denen umfangreiche Dokumente die Norm sind und keine spezifisch trainierten Modelle zur Verfügung stehen.

Bestandteile des Trainingsprozesses

Das Training von MultiVectorEncoder-Modellen umfasst mehrere Schlüsselkomponenten, die sorgfältig konfiguriert werden müssen:

• Modell: Die Auswahl des Ausgangsmodells oder der Architektur für den Neuaufbau.
• Datensatz: Die Daten, die für Training und Evaluation verwendet werden.
• Verlustfunktion: Eine Funktion zur Messung der Modellleistung und zur Steuerung des Optimierungsprozesses.
• Trainingsargumente (optional): Parameter, die die Trainingsleistung, das Tracking und das Debugging beeinflussen.
• Evaluator (optional): Eine Klasse zur Bewertung des Modells vor, während oder nach dem Training.
• Trainer: Fügt alle Trainingskomponenten zusammen.

Die Wahl des Startpunkts: Eine kritische Entscheidung

Die Auswahl des Startpunkts für das Training eines Multi-Vektor-Modells hat einen größeren Einfluss, als oft angenommen wird. Es gibt zwei Hauptansätze:

Finetuning eines bestehenden Multi-Vektor-Modells

Wenn Sie ein vorhandenes Multi-Vektor-Modell weiter finetunen möchten, entfällt die Sorge um die Architektur. Bestehende Checkpoints bringen bereits ihre eigene Konfiguration mit, einschließlich Abfrage- und Dokument-Marker-Tokens, Projektionskopf und Scoring-Skiplist. Für das Finetuning ist es in der Regel ratsam, diese Einstellungen beizubehalten und nur das zu ändern, was Ihre Daten erfordern. Ein wichtiger Punkt ist die Überprüfung und gegebenenfalls Anpassung der Längenkonfiguration, da viele veröffentlichte Checkpoints Dokumente auf 180 bis 512 Tokens begrenzen, was für längere Texte unzureichend sein kann.

Aufbau eines Modells aus einem Basis-Transformer

Alternativ können Sie einen `MultiVectorEncoder` auf jeden Basis-Transformer anwenden. Dabei wird eine frische, zufällig initialisierte token-basierte Projektion angehängt. Dieser Ansatz entspricht der klassischen ColBERT-Pipeline: ein Transformer erzeugt kontextualisierte Token-Embeddings, eine Dense-Schicht projiziert diese auf eine kleinere Dimension, ein MultiVectorMask entscheidet, welche Tokens beim Scoring berücksichtigt werden, und eine Normalize-Schicht. Da die Projektion zufällig beginnt, ist ein vollständiges Training erforderlich, bevor das Modell nützlich ist.

Empfehlung für den Startpunkt

Empirische Studien haben gezeigt, dass "unsupervised" Checkpoints, die nach einem großangelegten kontrastiven Vortraining, aber vor dem überwachten Finetuning auf allgemeine Retrieval-Aufgaben erstellt wurden, sich oft besser an neue Domänen anpassen. Diese Modelle tragen die späte Interaktionsstruktur, ohne die allgemeine Zweckabstimmung, die beim Domänentraining wieder rückgängig gemacht werden müsste. Vollständig trainierte Checkpoints hingegen zeigen bei der Domänenanpassung oft nur geringe oder gar negative Veränderungen. Wenn keine "unsupervised" Checkpoints verfügbar sind, ist eine frische Projektion auf einem starken, für Retrieval vortrainierten Backbone eine gute Alternative.

Datensatz und Formatierung

Der `MultiVectorEncoderTrainer` verwendet `datasets.Dataset` oder `datasets.DatasetDict` Instanzen für Training und Evaluation. Daten können sowohl vom Hugging Face Datasets Hub geladen als auch lokale Daten in verschiedenen Formaten (CSV, JSON, Parquet, Arrow, SQL) verwendet werden.

Die korrekte Formatierung des Datensatzes ist entscheidend und muss zur gewählten Verlustfunktion passen. Wenn die Verlustfunktion ein Label erfordert, muss der Datensatz eine Spalte namens "label" oder "score" enthalten. Alle anderen Spalten werden als Inputs betrachtet, wobei die Reihenfolge der Spalten wichtig ist, nicht deren Namen.

Verlustfunktionen für Multi-Vektor-Modelle

Verlustfunktionen quantifizieren die Modellleistung und leiten den Optimierungsprozess. Für typische Frage-Antwort- oder Frage-Passagen-Paare ist das Training mit In-Batch-Negativen unter Verwendung von `MultiVectorMultipleNegativesRankingLoss` die gängige Methode. Hierbei fungiert jedes andere Dokument im Batch als Negativbeispiel für jede Abfrage. Größere Batches bedeuten mehr Negativbeispiele und ein stärkeres Training. Die `CachedMultiVectorMultipleNegativesRankingLoss` Variante ist hierbei vorteilhaft, da sie die effektive Batch-Größe von der GPU-Speicherkapazität entkoppelt.

Ein wichtiger Hinweis für Multi-Vektor-Modelle ist, dass die kontrastiven Verluste standardmäßig `scale=1.0` verwenden, im Gegensatz zu dichten Einbettungen, die oft `scale=20.0` nutzen. Dies liegt daran, dass ein MaxSim-Score bereits einen größeren Wertebereich abdeckt (ungefähr [0, query_length]), wohingegen eine Kosinus-Ähnlichkeit im Bereich \[-1, 1\] liegt. Eine Skalierung von `20.0` würde bei MaxSim-Scores die Softmax-Funktion sättigen und die Gradienten zerstören.

Trainingsargumente und Evaluatoren

Die Klasse `MultiVectorEncoderTrainingArguments` ermöglicht die Anpassung des Trainingsprozesses durch Parameter, die die Trainingsgeschwindigkeit beeinflussen und Einblicke in den Trainingsverlauf geben. Wichtige Argumente umfassen `num_train_epochs`, `per_device_train_batch_size`, `learning_rate` und `prompts`, um die Konsistenz zwischen Training und Inferenz zu gewährleisten.

Zur Überwachung der Modellleistung während des Trainings sind konkrete Retrieval-Metriken aussagekräftiger als die reine Evaluations-Loss. Sentence Transformers bietet verschiedene integrierte Evaluatoren für Multi-Vektor-Modelle, darunter der `MultiVectorInformationRetrievalEvaluator`, der für das domänenspezifische Finetuning von besonderer Bedeutung ist. Es ist ratsam, ein ausreichend anspruchsvolles Korpus für die Evaluation zu verwenden, um Modelle differenzieren zu können, gegebenenfalls durch Hinzufügen von Distraktor-Passagen.

Der Trainer und seine Anwendung

Der `MultiVectorEncoderTrainer` integriert alle zuvor genannten Komponenten. Ein typisches Trainingsskript beinhaltet das Laden eines vortrainierten Checkpoints, die Anpassung der Längenbeschränkungen, die Konfiguration der Verlustfunktion, das Laden des Trainingsdatensatzes, die Einrichtung eines Evaluators und die Definition der Trainingsargumente. Dieses umfassende Setup ermöglicht ein effizientes und zielgerichtetes Training.

Die Implementierung von Callbacks, wie `WandbCallback` oder `TensorBoardCallback`, ermöglicht das Logging von Trainingsmetriken und die Überwachung des Prozesses. Darüber hinaus unterstützt der Trainer das Training mit mehreren Datensätzen gleichzeitig, was für die Entwicklung leistungsstarker, allgemeiner Modelle von Vorteil ist.

Leistungsbewertung und Indexoptimierung

Die Finetuning-Ergebnisse zeigen, dass domänenspezifisch trainierte Multi-Vektor-Modelle generische Retriever auf den jeweiligen Daten deutlich übertreffen können. Die Architektur von Late-Interaction-Modellen erweist sich bei langen Dokumenten als überlegen gegenüber Single-Vektor-Modellen, selbst bei vergleichbarem Training und Backbones.

Ein häufig genannter Nachteil von Multi-Vektor-Retrieval ist die Indexgröße. Diese kann jedoch durch verschiedene Optimierungstechniken erheblich reduziert werden:

• Token-Pooling: Durch Clustering der Token-Embeddings jedes Dokuments und Speichern der Cluster-Mittelwerte kann die Anzahl der Vektoren reduziert werden, was die Indexgröße verringert, ohne die Qualität wesentlich zu beeinträchtigen.
• Quantisierung: Techniken wie 1-Bit-Residualquantisierung können die Größe jedes Vektors drastisch reduzieren. Dies ist oft der erste Schritt zur Indexoptimierung.
• Pruning: Das Entfernen weniger relevanter Token-Vektoren kann die Indexgröße weiter verkleinern.

Durch die Kombination dieser Methoden kann ein Multi-Vektor-Index auf eine Größe reduziert werden, die mit dichten Indizes vergleichbar ist, während gleichzeitig eine überlegene Retrieval-Qualität beibehalten wird. Die Optimierung des Index sollte daher ebenso viel Aufmerksamkeit erhalten wie die Auswahl und das Training des Modells.

Fazit

Das Training und Finetuning von Multi-Vektor-Einbettungsmodellen mit Sentence Transformers bietet ein leistungsstarkes Werkzeug zur Verbesserung der Informationssuche in spezifischen Domänen. Durch die fein granulierte Verarbeitung von Texten auf Token-Ebene und die Möglichkeit zur Anpassung an domänenspezifische Anforderungen können diese Modelle eine signifikant höhere Retrieval-Qualität erreichen. Obwohl die Indexgröße eine Herausforderung darstellen kann, bieten moderne Optimierungstechniken effektive Lösungen, um diese Modelle auch in ressourcenbeschränkten Umgebungen effizient einzusetzen. Für Unternehmen, die auf präzise und relevante Informationsabrufe angewiesen sind, stellt die Investition in das Verständnis und die Anwendung dieser Technologien einen klaren Wettbewerbsvorteil dar.

Bibliographie

- Aarsen, T. (2026, August 26). Training and Finetuning Multi-Vector Embedding Models with Sentence Transformers. Hugging Face Blog. - Aarsen, T., & Chaffin, A. (2026, August 18). Multi-Vector (Late Interaction) Embedding Models with Sentence Transformers. Hugging Face Blog. - Sentence Transformers Documentation. (n.d.). Loss Overview. - Sentence Transformers Documentation. (n.d.). MultiVectorEncoder. - Sentence Transformers Documentation. (n.d.). Training Overview. - Sentence Transformers Documentation. (n.d.). SentenceTransformers. - Sentence Transformers GitHub Repository. (n.d.). - Aarsen, T. (2024, May 28). Training and Finetuning Embedding Models with Sentence Transformers. Hugging Face Blog. - Sentence Transformers Documentation. (n.d.). Training Overview.