Die Steuerung der Wissensauswahl in großen Sprachmodellen durch SAE-basiertes Representation Engineering

Große Sprachmodelle (LLMs) speichern enorme Mengen an Faktenwissen in ihren Parametern. Dieses parametrische Wissen kann jedoch im Widerspruch zu den im Kontext bereitgestellten Informationen stehen. Dieses Phänomen, bekannt als Kontext-Gedächtnis-Wissenskonflikt, kann zu unerwünschtem Modellverhalten führen, wie z.B. dem Rückgriff auf veraltete oder falsche Informationen. Analysen der internen Aktivierungen von LLMs zeigen, dass diese in der Lage sind, Signale von Wissenskonflikten in mittleren Schichten intern zu registrieren. Diese Signale ermöglichen es, das Auftreten von Wissenskonflikten zu erkennen und Strategien zur Konfliktlösung während der Inferenz anzuwenden. Dieser Artikel befasst sich mit SpARE (Sparse Auto-Encoder-based Representation Engineering), einer trainingsfreien Methode des Representation Engineering, die vortrainierte Sparse Auto-Encoder (SAEs) nutzt, um das Wissensauswahlverhalten von LLMs zu steuern. SpARE identifiziert die funktionalen Merkmale, die das Wissensauswahlverhalten kontrollieren, und verwendet diese, um die internen Aktivierungen von LLMs während der Inferenz zu modifizieren.

Wissenskonflikte und ihre Auswirkungen

Wissenskonflikte entstehen, wenn das in den Modellparametern gespeicherte Wissen im Widerspruch zu den Informationen im Kontext steht. Dies kann dazu führen, dass das LLM falsche oder inkonsistente Antworten generiert. Ein Beispiel hierfür wäre ein LLM, das trainiert wurde, bevor ein bestimmtes Ereignis stattfand. Wenn der Kontext Informationen über dieses Ereignis enthält, kann das LLM dennoch auf sein veraltetes, parametrisches Wissen zurückgreifen.

SpARE: Ein neuer Ansatz zur Steuerung der Wissensauswahl

SpARE bietet einen innovativen Ansatz zur Lösung dieses Problems. Anstatt das Modell neu zu trainieren, nutzt SpARE vortrainierte SAEs, um die internen Repräsentationen des Modells zu analysieren und zu modifizieren. SAEs zerlegen die komplexen, mehrdeutigen Aktivierungen von LLMs in eine Vielzahl von monosemantischen Merkmalen. Dies ermöglicht eine präzisere Steuerung der Aktivierungen, ohne andere, unabhängige semantische Merkmale zu beeinflussen.

Funktionsweise von SpARE

SpARE arbeitet in zwei Schritten: 1. **Identifizierung relevanter SAE-Aktivierungen:** SpARE analysiert die SAE-Aktivierungen und identifiziert diejenigen, die mit bestimmten Wissensauswahlverhalten korrelieren. 2. **Extraktion und Anwendung funktionaler Merkmale:** SpARE extrahiert die funktionalen Merkmale, die die Nutzung von Kontext- bzw. Parameterwissen steuern, und wendet diese an, um das Verhalten des LLM während der Inferenz zu lenken.

Experimentelle Ergebnisse und Vorteile von SpARE

Experimente im Bereich Open-Domain Question Answering zeigen, dass SpARE das Wissensauswahlverhalten effektiv steuern kann. Dabei nutzt SpARE nur einen kleinen Teil der SAE-Aktivierungen, was die Effizienz des Verfahrens unterstreicht. SpARE übertrifft bestehende Methoden des Representation Engineering sowie kontrastive Dekodierungsmethoden in Bezug auf die Genauigkeit der generierten Antworten. Die Vorteile von SpARE lassen sich wie folgt zusammenfassen: * **Trainingsfrei:** SpARE benötigt kein zusätzliches Training des LLM. * **Effizient:** SpARE nutzt nur einen Bruchteil der SAE-Aktivierungen. * **Präzise Steuerung:** Die Verwendung von SAEs ermöglicht eine präzise Modifikation der internen Repräsentationen. * **Verbesserte Genauigkeit:** SpARE führt zu genaueren Antworten in Open-Domain Question Answering Aufgaben.

Fazit

SpARE stellt einen vielversprechenden Ansatz zur Steuerung der Wissensauswahl in LLMs dar. Durch die Nutzung von SAEs ermöglicht SpARE eine präzise und effiziente Intervention während der Inferenz, ohne ein erneutes Training des Modells zu erfordern. Die experimentellen Ergebnisse bestätigen die Wirksamkeit von SpARE und eröffnen neue Möglichkeiten für die Entwicklung robusterer und zuverlässigerer LLMs. Bibliographie https://arxiv.org/abs/2410.15999 https://arxiv.org/html/2410.15999 https://www.alignmentforum.org/posts/ioPnHKFyy4Cw2Gr2x/mechanistically-eliciting-latent-behaviors-in-language-1 https://2024.aclweb.org/program/main_conference_papers/ https://openreview.net/pdf/150c4e247526904b6417f97848cc047f12b57461.pdf https://www.lesswrong.com/posts/3ghj8EuKzwD3MQR5G/an-introduction-to-representation-engineering-an-activation https://events.gwdg.de/event/615/timetable/?view=standard_inline_minutes https://ai.ethz.ch/research/publications.html https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf https://github.com/ICTMCG/Awesome-Machine-Generated-Text