RAGU: Fortschrittliche Open-Source-Engine für effiziente Wissensgraphen und LLM-Integration

RAGU: Eine modulare GraphRAG-Engine für präzisere Wissensgraphen und effizientere LLM-Anwendungen

Die Integration von strukturiertem Wissen in große Sprachmodelle (LLMs) durch Retrieval-Augmented Generation (RAG) hat die Leistungsfähigkeit von KI-Systemen erheblich erweitert. Insbesondere die Graph Retrieval-Augmented Generation (GraphRAG) verspricht, LLMs mit reichhaltigen, vernetzten Daten zu versorgen. Bestehende GraphRAG-Systeme stehen jedoch oft vor Herausforderungen wie der Generierung von verrauschten Entitäten und einer anfälligen Wissensabfrage, da sie Wissensgraphen in einem einzigen Extraktionsdurchgang erstellen. Eine neue Entwicklung namens RAGU, eine Open-Source-Engine, adressiert diese Problematik durch einen innovativen, mehrstufigen Ansatz.

Die Kerninnovation: Trennung von Extraktion und Konsolidierung

RAGU, entwickelt von einem Team der ITMO University und der Novosibirsk State University, zeichnet sich durch die grundlegende Trennung des Extraktionsprozesses von der Konsolidierung aus. Dieser modulare Ansatz ermöglicht eine präzisere und robustere Konstruktion von Wissensgraphen. Entitäten und Relationen durchlaufen eine zweistufige, typisierte Extraktion, gefolgt von einer DBSCAN-gestützten Deduplizierung. Ergänzt wird dies durch LLM-Zusammenfassungen und die Erkennung von Communities mittels des Leiden-Algorithmus. Dieser detaillierte Prozess minimiert das Rauschen und die Fehleranfälligkeit, die oft bei einstufigen Extraktionsmethoden auftreten.

Meno-Lite-0.1: Ein kompakter, domänenadaptierter LLM als Schlüsselkomponente

Ein entscheidender Aspekt von RAGU ist der Einsatz eines kompakten, domänenadaptierten LLM namens "Meno-Lite-0.1". Dieses 7B-Modell wurde speziell für sprachbezogene Aufgaben wie Verständnis, Extraktion und kontextuelles Denken optimiert. Eine zentrale Erkenntnis der Entwickler ist, dass die für solche Aufgaben erforderlichen Sprachfertigkeiten nur geringfügig mit der Modellgröße skalieren, im Gegensatz zum faktischen Weltwissen. Dies steht im Kontrast zu vielen bestehenden GraphRAG-Systemen, die oft sehr große Modelle (32B–72B) für die Extraktion verwenden, was zu unnötigem Rechenaufwand führt. Meno-Lite-0.1 übertrifft Qwen2.5-32B bei der Wissensgraphenkonstruktion um 12,5 % (relative harmonische Mittel) und erreicht bei englischen GraphRAG-Aufgaben vergleichbare Ergebnisse. Dies belegt, dass eine präzise Anpassung kleinerer Modelle erhebliche Effizienz- und Leistungsvorteile bieten kann.

Architektur und Funktionalität von RAGU

RAGU ist als modulare und Open-Source-Engine konzipiert und bietet eine umfassende Pipeline zum Aufbau, zur Speicherung und zur Abfrage von Wissensgraphen aus Textdaten. Die Kernkomponenten umfassen:

• Chunking: Rohdokumente werden in stabile "Chunk"-Objekte zerlegt.
• LLM-basierte Extraktion: Entitäten und Relationen werden mittels LLM extrahiert.
• Graphenkonstruktion und -konsolidierung: Dies beinhaltet Deduplizierung, optionale Zusammenfassung von Beschreibungen und Leiden-Community-Detektion.
• Speicher-Backends: Unterstützung für Graphen-, Schlüssel-Wert- und Vektorspeicher-Backends (z.B. NetworkX oder Neo4j, NanoVDB oder Qdrant).
• Abrufstrategien: Implementierung von Abrufstrategien für lokale Daten.

Leistungsbewertung und Benchmarking

Die Leistungsfähigkeit von RAGU wurde anhand verschiedener Benchmarks evaluiert:

• Auf dem GraphRAG-Bench (Medical) erreicht RAGU die vollständigste Kontextabfrage auf jeder Faktorebene, mit einem Evidenz-Recall von bis zu 84 % im Vergleich zu maximal 76 % bei Wettbewerbern.
• Bei Syntheseaufgaben übertrifft RAGU den Konkurrenten HippoRAG2.
• Eine detaillierte Analyse zeigte, dass ein scheinbarer Vorteil von HippoRAG2 bei Multi-Hop-Factoid-QA primär auf Artefakte im Antwortformat zurückzuführen war. Bei Kontrolle dieser Faktoren erzielt RAGU vergleichbare Ergebnisse.
• RAGU erreicht diese Ergebnisse mit einem lokal betriebenen 7B-Modell, während HippoRAG2 einen 20B-Extraktor verwendet.

Kosten- und Effizienzaspekte

Ein wesentlicher Vorteil von RAGU liegt in seiner Kosteneffizienz. Die Ausführung auf einer einzigen Consumer-GPU und die Nutzung eines kleineren, optimierten LLM reduzieren die Betriebskosten erheblich. Die Entwickler schätzen die Kosten auf etwa 0,001 US-Dollar pro Dokument auf gemieteten GPUs, im Vergleich zu etwa 0,10 US-Dollar pro Dokument für API-basierte Alternativen. Bei 100.000 Dokumenten bedeutet dies eine Kostenersparnis von 10.000 US-Dollar gegenüber 100 US-Dollar.

Praktische Anwendung und Verfügbarkeit

RAGU ist als Open-Source-Projekt unter der MIT-Lizenz verfügbar und kann über pip install graph_ragu installiert werden. Der Quellcode ist auf GitHub öffentlich zugänglich, und das Modell Meno-Lite-0.1 kann über Hugging Face bezogen werden. Die Implementierung umfasst umfangreiche Tests und unterstützt verschiedene Speicher-Backends, was die Flexibilität und Anpassungsfähigkeit für unterschiedliche Anwendungsfälle unterstreicht.

Fazit

RAGU stellt einen signifikanten Fortschritt in der GraphRAG-Technologie dar. Durch die Trennung von Extraktion und Konsolidierung sowie den Einsatz eines kompakten, domänenadaptierten LLM bietet es eine leistungsstarke, präzise und kosteneffiziente Lösung für die Wissensgraphenkonstruktion und die Verbesserung von LLM-Anwendungen. Für Unternehmen im B2B-Bereich, die auf genaue und effiziente KI-gestützte Wissensverarbeitung angewiesen sind, eröffnet RAGU neue Möglichkeiten, komplexe Datenstrukturen zu nutzen und die Qualität ihrer KI-Modelle zu steigern.

Bibliography: - Komarov, M., Bondarenko, I., Shtuka, S., Sedukhin, O., Shuvalov, R., Dementyeva, Y., Solovyov, M., & Nikitin, N. O. (2026). RAGU: A Multi-Step GraphRAG Engine with a Compact Domain-Adapted LLM. arXiv preprint arXiv:2607.11683. - RaguTeam. (n.d.). RaguTeam/RAGU. GitHub. Retrieved from https://github.com/RaguTeam/RAGU - Bondarenko, I. (n.d.). bond005/meno-lite-0.1. Hugging Face. Retrieved from https://huggingface.co/bond005/meno-lite-0.1