Neuer Ansatz zur Nutzung von HTML in Retrieval-Augmented Generation

HTML statt Klartext: Ein neuer Ansatz für Retrieval-Augmented Generation

Retrieval-Augmented Generation (RAG) hat sich als effektive Methode erwiesen, um die Wissensbasis von großen Sprachmodellen (LLMs) zu erweitern und Halluzinationen zu reduzieren. Viele kommerzielle Systeme wie ChatGPT und Perplexity nutzen Websuchmaschinen als primäre Retrieval-Systeme. Dabei werden Suchergebnisse abgerufen, der HTML-Quellcode heruntergeladen und anschließend Klartext daraus extrahiert. Dieser Klartext wird den LLMs dann als zusätzliche Information zur Verfügung gestellt. Allerdings gehen bei dieser Methode strukturelle und semantische Informationen, die im HTML-Code enthalten sind, wie Überschriften oder Tabellenstrukturen, verloren.

Um dieses Problem zu beheben, wurde HtmlRAG vorgeschlagen, ein Ansatz, der HTML anstelle von Klartext als Format für das abgerufene Wissen in RAG-Systemen verwendet. Die Hypothese dahinter ist, dass HTML mehr Informationen enthält als reiner Text und die meisten LLMs in der Lage sind, HTML robust zu verarbeiten.

Die Nutzung von HTML bringt jedoch auch Herausforderungen mit sich. HTML-Code enthält zusätzliche Elemente wie Tags, JavaScript und CSS-Spezifikationen, die zu zusätzlichen Input-Token und somit zu mehr "Rauschen" im RAG-System führen können. Um dem entgegenzuwirken, wurden Strategien zur Bereinigung, Komprimierung und Beschneidung von HTML entwickelt. Ziel ist es, den HTML-Code zu verkürzen, ohne dabei wichtige Informationen zu verlieren. Ein zweistufiges, blockbasiertes Verfahren entfernt irrelevante HTML-Blöcke und behält nur die relevanten Teile des Codes.

Die Vorteile von HTML in RAG-Systemen

Die Verwendung von HTML in RAG-Systemen bietet mehrere potenzielle Vorteile:

Erhaltung von Struktur und Semantik: HTML ermöglicht die Beibehaltung von strukturellen Informationen wie Überschriften, Listen und Tabellen, die für das Verständnis des Kontextes und der Bedeutung des Textes wichtig sind. Verbesserte Genauigkeit und Relevanz: Durch die Berücksichtigung der HTML-Struktur können RAG-Systeme relevantere Informationen abrufen und genauere Antworten generieren. Reduzierung von Halluzinationen: Die zusätzliche Kontextinformation, die durch die HTML-Struktur bereitgestellt wird, kann dazu beitragen, Halluzinationen zu reduzieren, indem die generierten Antworten stärker an den tatsächlichen Inhalt der abgerufenen Dokumente gebunden werden. Effizientere Verarbeitung: Moderne LLMs sind in der Lage, HTML effizient zu verarbeiten, sodass die zusätzliche Komplexität des HTML-Codes im Vergleich zu Klartext keinen signifikanten Mehraufwand darstellt.

Herausforderungen und Lösungsansätze

Trotz der Vorteile birgt die Verwendung von HTML in RAG-Systemen auch Herausforderungen:

Verarbeitung von zusätzlichem Code: HTML enthält Tags, JavaScript und CSS, die die Inputlänge für LLMs erhöhen und die Verarbeitung verlangsamen können. Relevanz von HTML-Elementen: Nicht alle HTML-Elemente sind für die Beantwortung einer Anfrage relevant. Die Identifizierung und Filterung irrelevanter Elemente ist entscheidend. Bereinigung und Komprimierung: Die Bereinigung von HTML-Code von unnötigen Elementen und die Komprimierung des Codes sind notwendig, um die Effizienz des RAG-Systems zu gewährleisten.

Um diesen Herausforderungen zu begegnen, wurden verschiedene Techniken entwickelt, darunter:

HTML-Bereinigung: Entfernung von irrelevantem Code wie JavaScript und CSS. HTML-Komprimierung: Verkürzung des HTML-Codes durch Entfernung von Leerzeichen und unnötigen Attributen. HTML-Beschneidung: Identifizierung und Entfernung irrelevanter HTML-Blöcke. Blockbasierte Beschneidung: Ein zweistufiges Verfahren, das HTML-Blöcke anhand ihrer Relevanz für die Anfrage bewertet und irrelevante Blöcke entfernt.

Fazit

HtmlRAG bietet einen vielversprechenden Ansatz zur Verbesserung von RAG-Systemen durch die Nutzung der in HTML enthaltenen Struktur- und Semantik-Informationen. Die Bewältigung der damit verbundenen Herausforderungen durch effiziente Bereinigungs- und Beschneidungsstrategien ermöglicht es, das Potenzial von HTML in RAG-Systemen voll auszuschöpfen und die Qualität und Genauigkeit der generierten Antworten zu verbessern.

Bibliographie: https://huggingface.co/papers https://arxiv.org/html/2312.10997v5 https://medium.com/intel-tech/four-data-cleaning-techniques-to-improve-large-language-model-llm-performance-77bee9003625 https://www.digitalocean.com/resources/articles/rag https://arxiv.org/html/2409.14924v1 https://medium.com/@mayankchugh.jobathk/retrieval-augmented-generation-rag-702c5e978274 https://www.reddit.com/r/LocalLLaMA/comments/16cbimi/yet_another_rag_system_implementation_details_and/ https://docs.langchain4j.dev/tutorials/rag/ https://www.200ok.ai/blog/rag-vs-tag-a-deep-dive/ https://www.ibm.com/docs/en/watsonx/saas?topic=solutions-retrieval-augmented-generation