FocusLLM: Skalierung des Kontextes von LLMs durch paralleles Dekodieren

Einführung

Die Bedeutung der Erweiterung der Kontextlänge von Large Language Models (LLMs) kann nicht genug betont werden. In zahlreichen Anwendungen, von der Analyse komplexer Dokumente bis zur Erzeugung kohärenter Langformtexte, ist die Fähigkeit, erweiterten Kontext effektiv zu nutzen, entscheidend. Beispielsweise ermöglicht ein umfangreicherer Kontext in Aufgaben wie der Dokumentenzusammenfassung und der Beantwortung von Fragen über lange Artikel ein umfassenderes Verständnis und genauere Antworten. Allerdings stellt die Nutzung langer Kontexte in LLMs mehrere Herausforderungen dar.

Herausforderungen der Kontextverlängerung

Die konventionelle Transformer-Architektur, die für LLMs verwendet wird, weist eine quadratische Komplexität in Bezug auf die Sequenzlänge auf, was das Training und die Inferenz sehr ressourcenintensiv macht. Zudem zeigen LLMs eine schlechte Extrapolationsleistung für längere Sequenzen, selbst nach zusätzlichem Feintuning. Die Beschaffung von qualitativ hochwertigen Langtext-Datensätzen, die für das Training und Feintuning erforderlich sind, ist ebenfalls äußerst schwierig.

Das FocusLLM-Framework

Um diese Herausforderungen zu bewältigen, wurde das FocusLLM-Framework entwickelt, das darauf abzielt, die Kontextlänge eines jeden dekodierungsbasierten LLMs zu erweitern. FocusLLM verarbeitet lange Texteingaben, indem es diese in Abschnitte unterteilt, die auf der ursprünglichen Kontextlänge des Modells basieren, um das Problem der Aufmerksamkeitsablenkung zu mildern. Anschließend wird der lokale Kontext jedem Abschnitt als Prompt hinzugefügt, um wesentliche Informationen aus jedem Abschnitt basierend auf einem neuartigen parallelen Dekodierungsmechanismus zu extrahieren und letztendlich die extrahierten Informationen in den lokalen Kontext zu integrieren.

Merkmale von FocusLLM

• Längenskalierung: FocusLLM überwindet die inhärenten Positionsbeschränkungen und ermöglicht es dem Modell, Textlängen zu verarbeiten, die um das Zehn- oder sogar Hundertfache erweitert sind.
• Trainingseffizienz: Im Gegensatz zum vollständigen Feintuning bleiben die ursprünglichen Modellparameter eingefroren und es werden nur wenige trainierbare Parameter hinzugefügt. Der Trainingsprozess kann innerhalb eines Trainingsbudgets von 0,5 Milliarden Tokens abgeschlossen werden, was erheblich geringer ist als bei früheren Arbeiten.
• Vielseitigkeit: FocusLLM glänzt nicht nur in nachgelagerten Aufgaben mit klaren Anweisungen, wie z.B. der Beantwortung von Fragen, sondern zeigt auch starke Sprachmodellierungsfähigkeiten bei langen Dokumenten.

Evaluation und Ergebnisse

Um die Wirksamkeit von FocusLLM zu validieren, wurde es auf eine Vielzahl von Aufgaben angewendet. Zunächst wurde die Sprachmodellierungsfähigkeit von FocusLLM bewertet. Trainiert mit einer Eingabelänge von nur 8K, behält FocusLLM eine niedrige Perplexität bei Dokumenten mit 128K Tokens und sogar längeren Sequenzen bei. Anschließend wurde die Anwendbarkeit von FocusLLM in realen Szenarien anhand von zwei weit verbreiteten Benchmarks evaluiert: Longbench und ∞-Bench. Longbench umfasst eine Vielzahl von Aufgaben, während ∞-Bench Modelle erfordert, die Inferenz auf extrem langen Sequenzen (>100K Tokens) durchführen. Die experimentellen Ergebnisse zeigen, dass FocusLLM auf beiden Benchmarks eine überlegene Leistung erzielt hat und alle Baselines übertrifft.

Schlussfolgerung

FocusLLM ist ein trainings-effizientes Framework, das in der Lage ist, bei minimalen Kosten ein effektives Verständnis und eine effektive Argumentation über lange Sequenzen zu erreichen. Wir hoffen, dass FocusLLM zur Forschung im Zusammenhang mit der Entwicklung leicht implementierbarer Langkontext-Fähigkeiten beitragen kann.

Methodik

Architektur

Die Gesamtarchitektur von FocusLLM ist einfach und intuitiv. Jeder Decoder teilt dasselbe Modell (z.B. LLaMA-2). Zusätzlich wird der ursprüngliche Decoder um eine kleine Anzahl neuer Parameter erweitert, um das Modell mit der Fähigkeit auszustatten, Kandidaten-Tokens zu generieren.

Training

Im Trainingsprozess bleiben die ursprünglichen Modellparameter eingefroren, und es werden nur wenige neue Parameter trainiert. Dies ermöglicht eine effiziente Verarbeitung und Integration der Informationen aus den verschiedenen Textabschnitten.

Quellen

- https://arxiv.org/abs/2408.11745 - https://huggingface.co/papers/2408.11745 - https://arxiv.org/html/2408.11745v1 - https://huggingface.co/papers?date=2024-08-22 - https://paperreading.club/page?id=247405 - https://aclanthology.org/2023.acl-long.352.pdf - https://x.com/_akhaliq?lang=de - https://github.com/AIoT-MLSys-Lab/Efficient-LLMs-Survey - https://aclanthology.org/2024.lrec-main.401.pdf