Verbesserte Interpretierbarkeit von KI-Modellen durch output-zentrierte Methoden

Automatisierte Interpretierbarkeit von KI-Modellen: Output-zentrierte Feature-Beschreibungen für verbesserte Verständlichkeit

Die Interpretierbarkeit von großen Sprachmodellen (LLMs) ist ein zentrales Thema der aktuellen KI-Forschung. Es geht darum, die Funktionsweise dieser komplexen Modelle nachvollziehbarer zu gestalten und Einblicke in ihre Entscheidungsfindung zu gewinnen. Ein gängiger Ansatz zur automatisierten Interpretierbarkeit besteht darin, die Konzepte, die durch einzelne Features im Modell repräsentiert werden, mit natürlichsprachlichen Beschreibungen zu versehen. Diese Beschreibungen basieren in der Regel auf Input-Daten, die das jeweilige Feature aktivieren. Ein Feature kann dabei eine Dimension oder eine Richtung im Repräsentationsraum des Modells sein.

Aktuelle Verfahren zur automatisierten Interpretierbarkeit generieren Beschreibungen anhand von Input-Daten, die ein Feature maximal aktivieren. Dieser Input-zentrierte Ansatz hat jedoch einige Nachteile. Die Identifizierung der aktivierenden Inputs ist rechenintensiv und die resultierenden Beschreibungen erfassen oft nicht die kausale Wirkung eines Features auf den Model-Output. Die mechanistische Rolle eines Features im Modellverhalten wird jedoch sowohl durch die Art und Weise bestimmt, wie Inputs die Aktivierung eines Features verursachen, als auch dadurch, wie die Feature-Aktivierung die Outputs beeinflusst.

Neue Forschungsergebnisse legen nahe, dass Output-zentrierte Methoden die automatisierte Interpretierbarkeit verbessern können. Diese Methoden konzentrieren sich auf die Auswirkungen der Feature-Aktivierung auf die Model-Outputs. Ein Ansatz besteht darin, die Token zu analysieren, deren Gewichtungen nach der Feature-Stimulation am höchsten sind. Ein anderer Ansatz betrachtet die Token mit den höchsten Gewichtungen nach Anwendung des "Unembedding"-Kopfes des Vokabulars direkt auf das Feature. Diese Output-zentrierten Beschreibungen erfassen die kausale Wirkung eines Features auf den Model-Output besser als Input-zentrierte Beschreibungen.

Studien haben gezeigt, dass die Kombination von Input- und Output-zentrierten Methoden zu den besten Ergebnissen führt. Die Kombination beider Ansätze ermöglicht eine umfassendere und genauere Beschreibung der Features und ihrer Rolle im Modellverhalten. Output-zentrierte Beschreibungen können auch dazu verwendet werden, Inputs zu finden, die Features aktivieren, die bisher als "tot" galten, da keine aktivierenden Inputs gefunden wurden.

Die Forschung zur Interpretierbarkeit von LLMs ist noch im Gange, aber Output-zentrierte Methoden bieten vielversprechende Möglichkeiten, die Verständlichkeit und Transparenz dieser komplexen Modelle zu verbessern. Diese Fortschritte sind entscheidend für den verantwortungsvollen Einsatz von KI in verschiedenen Anwendungsbereichen.

Für Mindverse, ein deutsches Unternehmen, das sich auf KI-gestützte Content-Erstellung, Bildgenerierung und Forschung spezialisiert hat, sind diese Entwicklungen von besonderem Interesse. Mindverse bietet eine All-in-One-Content-Plattform und entwickelt maßgeschneiderte KI-Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme. Die verbesserte Interpretierbarkeit von KI-Modellen ist für Mindverse und seine Kunden von großer Bedeutung, da sie dazu beiträgt, das Vertrauen in KI-Systeme zu stärken und ihre Akzeptanz in verschiedenen Branchen zu fördern.

Bibliographie: Gur-Arieh, Y., Mayan, R., Agassy, C., Geiger, A., & Geva, M. (2025). Enhancing Automated Interpretability with Output-Centric Feature Descriptions. arXiv preprint arXiv:2501.08319v1. Belle, V., & Papantonis, I. (2021). Interpretable and explainable machine learning: A methods-centric overview with concrete examples. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery, 11(5), e1421. Mollas, I., Bassiliades, N., & Tsoumakas, G. (2023). Truthful meta-explanations for local interpretability of machine learning models. Applied Intelligence, 53, 26927-26948. Samek, W., Wiegand, T., & Müller, K. R. (2023). Explainable artificial intelligence: Understanding, visualizing and interpreting deep learning models. Springer. ChatPaper. Enhancing Automated Interpretability with Output-Centric Feature Descriptions. https://www.chatpaper.com/chatpaper/fr?id=3&date=1736870400&page=1 Moosbauer, J. (2019). Explainable AI: Evaluating the Explainability of Machine Learning Models. Sokol, K., & Flach, P. (2020). Towards user-centric explanations for explainable models: A review. arXiv preprint arXiv:2010.07881. van der Schaar, M., & Maxfield, N. (2021). Making machine learning interpretable: a dialog with clinicians. Atanasova, P., Simons, M., Mussmann, S., & Werkmeister, T. (2023). Evaluating xai: A comparison of rule-based and example-based explanations. arXiv preprint arXiv:2309.01029. Gilpin, L. H., Bau, D., Yuan, B. Z., Bajwa, A., Specter, M., & Kagal, L. (2018). Explaining explanations: An overview of interpretability of machine learning. In 2018 IEEE 5th International Conference on data science and advanced analytics (DSAA) (pp. 80-89). IEEE.