Auf dem Weg zu einer allgemeinen Ausrichtung auf das Befolgen von Anweisungen für Retrieval-Augmented Generation

Die Verfolgung natürlicher Anweisungen ist entscheidend für den effektiven Einsatz von Retrieval-Augmented Generation (RAG) -Systemen. Trotz der jüngsten Fortschritte bei großen Sprachmodellen (LLMs) ist die Forschung zur Bewertung und Verbesserung der Ausrichtung auf das Befolgen von Anweisungen (IF) im RAG-Bereich nach wie vor begrenzt.

Herausforderungen und Ansätze zur Verbesserung der Anweisungsausrichtung in RAG-Systemen

Retrieval-Augmented Generation (RAG) hat sich als vielversprechend erwiesen, um die Genauigkeit und Faktengenauigkeit von Sprachmodellen zu verbessern. Der Ansatz kombiniert die Stärken großer Sprachmodelle mit der Leistungsfähigkeit externer Wissensdatenbanken. Dabei entstehen jedoch Herausforderungen, da abgerufene Inhalte irrelevante oder fehlerhafte Informationen enthalten können.

Bisherige RAG-Systeme konzentrierten sich hauptsächlich darauf, trotz potenziell verrauschter Eingaben direkt die endgültigen Antworten vorherzusagen. Dieser implizite Entrauschungsprozess ist schwer zu interpretieren und zu verifizieren. Die Einholung expliziter Überwachung der Entrauschung ist jedoch oft kostspielig und mit erheblichem menschlichen Aufwand verbunden.

VIF-RAG: Eine neue Ära der Anweisungsausrichtung

Um diese Herausforderungen zu bewältigen, wurde VIF-RAG entwickelt, eine automatisierte, skalierbare und überprüfbare synthetische Pipeline für die Ausrichtung auf das Befolgen von Anweisungen in RAG-Systemen. Der Kern von VIF-RAG besteht darin, LLMs durch selbsterstellte Begründungen explizit den Entrauschungsprozess erlernen zu lassen.

Der Prozess beginnt mit der manuellen Erstellung eines minimalen Satzes von atomaren Anweisungen und der Entwicklung von Kombinationsregeln zur Synthese und Verifizierung komplexer Anweisungen für einen Seed-Satz. Anschließend werden überwachte Modelle für das Umschreiben von Anweisungen verwendet und gleichzeitig Code generiert, um die Überprüfung der Anweisungsqualität über einen Python-Executor zu automatisieren. Schließlich werden diese Anweisungen in umfangreiche RAG- und allgemeine Datensätze integriert und durch automatisierte Prozesse auf einen hochwertigen VIF-RAG-QA-Datensatz skaliert.

FollowRAG Benchmark: Bewertung der Anweisungsausrichtung

Um die Lücke bei der automatischen Auswertung des Befolgens von Anweisungen für RAG-Systeme zu schließen, wurde der FollowRAG Benchmark eingeführt. Dieser Benchmark umfasst eine Vielzahl von Testbeispielen, die verschiedene Kategorien allgemeiner Anweisungsbeschränkungen und mehrere wissensintensive QA-Datensätze abdecken.

FollowRAG ist so konzipiert, dass es sich nahtlos in verschiedene RAG-Benchmarks integrieren lässt und ermöglicht so eine umfassende Bewertung der Anweisungsausrichtung.

Ergebnisse und Erkenntnisse

Die Bewertung von VIF-RAG unter Verwendung von FollowRAG und anderen etablierten Benchmarks zeigt eine deutliche Verbesserung der Leistung von LLMs über verschiedene allgemeine Anweisungsbeschränkungen hinweg. Darüber hinaus zeigt VIF-RAG die Fähigkeit, die Möglichkeiten in RAG-Szenarien effektiv zu nutzen.

Die Analyse der Ergebnisse liefert wertvolle Erkenntnisse für das Erreichen einer effektiven IF-Ausrichtung in RAG-Systemen und ebnet den Weg für zukünftige Forschungen in diesem Bereich.

Fazit

VIF-RAG stellt einen bedeutenden Fortschritt bei der Verbesserung der Ausrichtung auf das Befolgen von Anweisungen in RAG-Systemen dar. Durch die Nutzung der Leistungsfähigkeit selbsterstellter Begründungen und eines umfassenden Bewertungsschemas bietet VIF-RAG einen soliden Rahmen für die Entwicklung von RAG-Systemen, die natürliche Anweisungen effektiv verstehen und befolgen können. Da RAG-Systeme immer ausgefeilter werden, wird die Sicherstellung einer klaren und effektiven Anweisungsausrichtung entscheidend für die Erschließung ihres vollen Potenzials in verschiedenen Anwendungen sein.

Bibliographie

- https://arxiv.org/html/2406.13629v1 - https://arxiv.org/pdf/2312.10997 - https://www.promptingguide.ai/research/rag - https://www.informatik.uni-wuerzburg.de/fileadmin/1003-lwda24/LWDA_Paper/KM_LWDA_CRC_175.pdf - https://www.researchgate.net/publication/384084692_P-RAG_Progressive_Retrieval_Augmented_Generation_For_Planning_on_Embodied_Everyday_Task - https://direct.mit.edu/coli/article/50/3/1053/121669/Large-Language-Model-Instruction-Following-A - https://downloads.webis.de/theses/papers/torky_2024.pdf - https://aclanthology.org/2023.findings-emnlp.242.pdf - https://www-i6.informatik.rwth-aachen.de/publications/download/1250/ThulkeDavidGaoYingboPelserPetrusBruneReinJalotaRrichaFokFlorisRamosMichaelWykIanvanNasirAbdallahGoldsteinHaydenTragemannTaylorNguyenKatieFowlerArianaStancoAndrewGabrielJonTaylorJordanMoroDeanTsymbalovEvgeniiWaalJuliettedeMatusovEvgenyYaghiMudarShihadahMohammadNeyHermannDugastChristianDotanJonathanErasmusDaniel--ClimateGPTTowardsAISynthesizingInterdisciplinaryResearchonClimateChange--2024.pdf - https://openreview.net/pdf?id=XwnABAdH5y