Der Einfluss von fiktiven synthetischen Daten auf die Faktengenauigkeit von LLMs durch Prerequisite Learning

Künstliche Intelligenz (KI) hat in den letzten Jahren enorme Fortschritte gemacht, insbesondere im Bereich der Sprachmodelle (LLMs). Diese Modelle, die auf riesigen Datenmengen trainiert werden, können menschenähnlichen Text generieren, Fragen beantworten und komplexe Aufgaben ausführen. Ein Problem, das LLMs jedoch noch immer plagt, sind Halluzinationen - die Generierung von plausibel klingendem, aber sachlich falschem Text.

Wissensinkonsistenz als Ursache für Halluzinationen

Aktuelle Forschungsergebnisse deuten darauf hin, dass eine der Hauptursachen für Halluzinationen in LLMs die sogenannte Wissensinkonsistenz ist. Diese tritt auf, wenn das Wissen, das ein LLM während des Vortrainings auf einem riesigen Datensatz erlangt hat, nicht mit dem Wissen übereinstimmt, das ihm während des Finetunings auf einem spezialisierten Datensatz für eine bestimmte Aufgabe vermittelt wird.

Ein Beispiel: Ein LLM wird zunächst auf einem riesigen Textkorpus vortrainiert, der Informationen über eine Vielzahl von Themen enthält, darunter auch die Geschichte des Zweiten Weltkriegs. Anschließend wird das Modell auf einem kleineren Datensatz feinabgestimmt, der sich auf die Geschichte der Luftfahrt konzentriert. Dieser Datensatz enthält jedoch möglicherweise widersprüchliche Informationen über den Zweiten Weltkrieg, beispielsweise über die Rolle bestimmter Flugzeugtypen. Diese Inkonsistenz kann dazu führen, dass das LLM bei Fragen zum Zweiten Weltkrieg falsche oder widersprüchliche Antworten generiert.

Prereq-Tune: Ein neuer Ansatz zur Verbesserung der Faktengenauigkeit

Um dieses Problem anzugehen, haben Forscher eine neue Feinabstimmungsstrategie namens "Prereq-Tune" entwickelt. Im Wesentlichen trennt Prereq-Tune das Erlernen von Fähigkeiten und Wissen, sodass das Modell nur die für eine Aufgabe erforderlichen Fähigkeiten erlernt, ohne von der Wissensinkonsistenz beeinflusst zu werden.

Dies wird durch eine zusätzliche Lernphase erreicht, die vor dem eigentlichen Finetuning stattfindet. In dieser "Prerequisite Learning"-Phase wird dem LLM das notwendige Wissen für die spezifische Aufgabe vermittelt. So kann sich das Modell während des eigentlichen Finetunings auf das Erlernen der Aufgabenfertigkeiten konzentrieren, ohne durch widersprüchliche Informationen verwirrt zu werden.

Fiktive synthetische Daten zur Verbesserung der internen Wissensgrundlage

Prereq-Tune kann mit fiktiven synthetischen Daten kombiniert werden, um die interne Wissensgrundlage des LLMs zu verbessern und die Ergebnisse besser an das bereits vorhandene Wissen zu binden. Synthetische Daten sind künstlich generierte Daten, die die Eigenschaften realer Daten nachahmen. Im Kontext von Prereq-Tune könnten synthetische Daten verwendet werden, um dem LLM in der Prerequisite Learning-Phase zusätzliches Wissen zu vermitteln, das auf dem spezifischen Wissen des Vortrainingsdatensatzes basiert.

Beispielsweise könnte man synthetische Texte generieren, die die Geschichte des Zweiten Weltkriegs aus der Perspektive eines Piloten erzählen, der in der Luftwaffe diente. Diese Texte könnten dann verwendet werden, um das LLM in der Prerequisite Learning-Phase mit spezifischem Wissen über die Rolle von Flugzeugen im Zweiten Weltkrieg zu versorgen.

Experimentelle Ergebnisse und Ausblick

Erste Experimente zeigen, dass Prereq-Tune die Faktengenauigkeit von LLMs in verschiedenen Aufgaben, wie z. B. der Beantwortung von Fragen und der Generierung von Langtexten, deutlich verbessert. Die Kombination von Prereq-Tune mit fiktiven synthetischen Daten eröffnet neue Möglichkeiten für die Generierung von Text, der besser kontrolliert und an das interne Wissen des Modells gebunden ist.

Obwohl Prereq-Tune vielversprechend ist, ist es wichtig zu beachten, dass die Generierung von qualitativ hochwertigen synthetischen Daten eine Herausforderung darstellt. Die synthetischen Daten müssen realistisch, konsistent und frei von Verzerrungen sein, um die Leistung des LLMs nicht negativ zu beeinflussen. Zukünftige Forschung wird sich auf die Entwicklung robusterer Methoden zur Generierung und Bewertung synthetischer Daten konzentrieren müssen.

Bibliographie

J. Doe, "Titel der Publikation," in *Name der Zeitschrift*, Bd. X, Nr. Y, S. Z--W, Monat Jahr. - https://openreview.net/forum?id=UyU8ETswPg - https://openreview.net/pdf/638bdd3a7ca07acfceebace6df9d246e262ae2e0.pdf - https://arxiv.org/html/2404.07503v1 - https://arxiv.org/html/2404.07503v2 - https://www.mdpi.com/2079-9292/13/17/3509 - https://github.com/dair-ai/ML-Papers-of-the-Week - https://collections.unu.edu/eserv/UNU:9480/Use-of-Synthetic-Data-to-Train-AI-Models.pdf - https://www.researchgate.net/publication/368361574_Machine_Learning_for_Synthetic_Data_Generation_a_Review - https://dl.acm.org/doi/10.1145/3544548.3580688 - https://unece.org/sites/default/files/2023-12/HLGMOS%20LLM%20Paper_Preprint_1.pdf