Kontinuierliche Wissensaktualisierung in Sprachmodellen ohne Leistungsverlust

Kontinuierliche Wissensaktualisierung in großen Sprachmodellen ohne Leistungsverlust

Große Sprachmodelle (LLMs) haben die Verarbeitung natürlicher Sprache revolutioniert. Ihre Fähigkeit, menschenähnlichen Text zu generieren, Übersetzungen durchzuführen und Fragen zu beantworten, basiert auf dem immensen Wissen, das sie während des Trainings aus riesigen Datensätzen extrahiert haben. Doch dieses Wissen ist statisch und kann schnell veralten. Die Aktualisierung dieses Wissens, also das sogenannte Knowledge Editing, ist daher ein entscheidender Faktor für die langfristige Nutzbarkeit von LLMs.

Bisherige Ansätze zur Wissensaktualisierung, insbesondere solche, die die Modellparameter direkt modifizieren, stoßen bei sequentieller Anwendung auf Schwierigkeiten. Nach einer Reihe von Aktualisierungen kann die Leistung des Modells in anderen Bereichen, die nicht direkt von den Änderungen betroffen sind, signifikant abnehmen. Dieses Phänomen wird als "Model Degradation" oder Modelldegradierung bezeichnet.

Eine aktuelle Forschungsarbeit untersucht die Ursachen dieser Degradierung und präsentiert einen neuen Ansatz, der sequentielle Wissensaktualisierung im großen Maßstab ermöglicht, ohne die allgemeine Modellleistung zu beeinträchtigen. Die Studie zeigt, dass gängige "Locate-then-Edit"-Methoden, die zunächst die relevanten Parameter lokalisieren und dann modifizieren, zu einer Überanpassung an die neu hinzugefügten Fakten führen. Außerdem führt die kontinuierliche Anwendung dieser Methoden zu einem unverhältnismäßigen Wachstum der Norm der bearbeiteten Matrizen innerhalb des Modells.

Die Forscher identifizieren dieses Normenwachstum als einen Mechanismus, durch den die bearbeiteten Schichten einen überproportional großen Einfluss auf die Modellausgabe erhalten. Diese "Importance Hacking" führt dazu, dass das Modell zwar die neuen Fakten lernt, aber gleichzeitig die Balance im gesamten Netzwerk verliert, was letztlich die Degradierung erklärt.

Um diese Probleme zu lösen, schlagen die Autoren ENCORE (Early stopping and Norm-Constrained Robust knowledge Editing) vor. ENCORE kombiniert zwei Strategien: Erstens wird ein frühzeitiges Stoppen des Trainingsprozesses angewendet, um die Überanpassung an die neuen Fakten zu verhindern. Zweitens wird das Normenwachstum der bearbeiteten Matrizen durch eine spezielle Beschränkung kontrolliert. Durch diese Maßnahmen kann ENCORE bis zu 10.000 sequentielle Wissensaktualisierungen durchführen, ohne dass die Leistung des Modells in anderen Bereichen nachlässt.

Zusätzlich zu der verbesserten Stabilität bietet ENCORE auch einen erheblichen Geschwindigkeitsvorteil gegenüber bestehenden Methoden wie MEMIT und AlphaEdit. In Experimenten mit dem Llama3-8B-Modell erwies sich ENCORE als 61% bzw. 64% schneller.

Diese Forschungsergebnisse eröffnen neue Möglichkeiten für die kontinuierliche Anpassung von LLMs an sich ändernde Wissensbestände und tragen dazu bei, die Lücke zwischen statischem, trainiertem Wissen und der Dynamik der realen Welt zu schließen. Die Fähigkeit, große Sprachmodelle effizient und ohne Leistungsverlust zu aktualisieren, ist ein wichtiger Schritt in Richtung robusterer und zuverlässigerer KI-Systeme.

Bibliographie: Gupta, A., Prateepamornkul, P., Lu, M., Alaa, A., Hartvigsen, T., & Anumanchipalli, G. (2025). Lifelong Sequential Knowledge Editing without Model Degradation. *arXiv preprint arXiv:2502.01636*. Akyürek, A., Yazıcı, E., & Özkaya, S. I. (2024). Prompt-based Knowledge Editing for Large Language Models: A Comprehensive Survey. *arXiv preprint arXiv:2405.03279*. Zhu, S., Dong, L., Li, J., Shan, X., & Wu, F. (2024). Lifelong Knowledge Editing for Vision-Language Models with Low-Rank Mixture-of-Experts. *arXiv preprint arXiv:2402.10987*. Dai, D., Dong, L., Tang, Y., Huang, J., Sui, Z., Chen, W., ... & Han, J. (2024). Model Editing at Scale leads to Gradual and Catastrophic Forgetting. *arXiv preprint arXiv:2405.03279*. Mitchell, E., Lin, C. Y., Lee, A., Wallace, E., & Zettlemoyer, L. (2024). Fast Model Editing at Scale. *Findings of the Association for Computational Linguistics: EMNLP 2024*, 7416-7439. De Cao, N., Burns, S., Swayamdipta, S., & Gardner, M. (2024). Knowledge Editing with Recursive Prompt Augmentation. *Proceedings of the 17th International Conference on Computational Semantics (IWCS)*. Zhu, S., Zhu, C., Dong, L., Huang, J., Tang, Y., Sui, Z., ... & Han, J. (2024, July). KnowledgeEditor: A Modular Toolkit for Knowledge Editing. *In Proceedings of the Language Resources and Evaluation Conference (pp. 1235-1244)*. Zjunlp. (n.d.). *KnowledgeEditingPapers*. GitHub. Retrieved from https://github.com/zjunlp/KnowledgeEditingPapers Sinha, K., Bhatia, S., Singh, S. P., & Jain, N. (2023). A survey of knowledge editing techniques for pre-trained language models. *Expert Systems with Applications*, *228*, 120269.