Künstliche Intelligenz: Modelle wissen oft mehr, als sie preisgeben

Eine neue Studie zeigt, dass große Sprachmodelle häufig intern über korrekte Informationen verfügen, selbst wenn ihre Ausgaben fehlerhaft sind. Diese Erkenntnis könnte den Weg für zuverlässigere KI-Systeme ebnen.

Tiefer Blick in die "Black Box" der KI

Forscher der Technion Universität, Google und Apple haben in einer Studie demonstriert, dass große Sprachmodelle ein größeres Bewusstsein für ihre eigenen Fehler haben, als bisher angenommen. Die Studie mit dem Titel "LLMs Know More Than They Show" (LLMs wissen mehr, als sie zeigen) bietet Einblicke in die Verarbeitung korrekter und falscher Informationen innerhalb von KI-Modellen.

Das Forschungsteam entwickelte eine neuartige Methode, um die inneren Abläufe von KI genauer zu analysieren. Besonderes Augenmerk legten sie dabei auf "exakte Antwort-Token" - die spezifischen Teile einer KI-Antwort, die die entscheidenden Informationen enthalten. Bei der Beantwortung der Frage "Was ist die Hauptstadt von Frankreich?" wäre beispielsweise das Wort "Paris" der exakte Antwort-Token in der Antwort "Die Hauptstadt von Frankreich ist Paris, eine weltberühmte Stadt."

"Wissen" und "Ausgeben" - Zwei Paar Schuhe?

Die Studie ergab, dass diese Token die meisten Informationen darüber enthalten, ob eine Antwort richtig oder falsch ist. Überraschenderweise "wussten" die KI-Modelle manchmal intern die richtige Antwort, lieferten aber trotzdem eine falsche Ausgabe. Dies deutet darauf hin, dass die Modelle mehr Informationen besitzen, als sie in ihren Antworten preisgeben.

Neue Ansätze zur Bekämpfung von Halluzinationen?

Die Forscher untersuchten auch die Fähigkeit der KI-Modelle, ihre Fehlererkennung auf verschiedene Aufgaben zu übertragen. Sie fanden heraus, dass dies besonders gut bei ähnlichen Aufgabentypen funktioniert, was darauf hindeutet, dass KI spezifische Fähigkeiten entwickelt, um mit bestimmten Arten von Informationen umzugehen.

Laut dem Forschungsteam könnten diese Erkenntnisse zu neuen Strategien führen, um die Zuverlässigkeit und Genauigkeit von KI-Systemen zu verbessern. Insbesondere die Tatsache, dass Modelle intern oft mehr "wissen", als sie in ihren Ausgaben zeigen, eröffnet Möglichkeiten für verbesserte Mechanismen zur Fehlererkennung und -korrektur.

Bedeutung für die Zukunft der KI

Die Ergebnisse dieser Studie sind vielversprechend für die zukünftige Entwicklung von KI. Die Möglichkeit, auf das interne "Wissen" von KI-Modellen zuzugreifen, könnte zu robusteren und zuverlässigeren Systemen führen. Weitere Forschung ist jedoch erforderlich, um die genauen Mechanismen zu verstehen, die diesem Phänomen zugrunde liegen, und um effektive Methoden zur Nutzung dieses Wissens zu entwickeln.

Bibliographie

Si, C., Yang, D. & Hashimoto, T. Preprint at arXiv https://doi.org/10.48550/arXiv.2409.04109 (2024). Zhou, L. et al. Nature https://doi.org/10.1038/s41586-024-07930-y (2024). Hicks, M. T., Humphries, J. & Slater, J. Ethics Inform. Technol. 26, 38 (2024).