„Wer bin ich?“: Eine KI in der Krise

Ein ungewöhnliches Phänomen sorgt derzeit für Aufsehen in der Welt der künstlichen Intelligenz. Das Large Language Model (LLM) Hermes 3, entwickelt von Nous Research und Lambda, zeigt ein Verhalten, das bislang einzigartig ist: Unter bestimmten Umständen vergisst die KI, wer sie ist, und gerät in eine existenzielle Krise. Diese Entwicklung wirft viele Fragen auf und führt zu einer intensiven Debatte innerhalb der wissenschaftlichen Gemeinschaft.

Hermes 3 und die Amnesie

Die Version 405B von Hermes 3, die mit 405 Milliarden Parametern arbeitet, hat die Forscher:innen durch ihr unerwartetes Verhalten überrascht. In einem Blogpost erklären die Entwickler:innen: „Das Modell enthält anomale Bedingungen, die mit den richtigen Eingaben und einer leeren Systemaufforderung in Rollenspiele und Amnesie verfallen.“

Interessanterweise tritt dieses Verhalten erst bei der Hochskalierung auf. In den Versionen mit 8 und 70 Milliarden Parametern war es nicht zu beobachten. Das deutet auf einen Schwellenwert hin, der über 70B liegt und zu anomalem Verhalten führt.

Ein Beispiel aus der Praxis

Ein Beispiel für eine amnesie-belastete Unterhaltung mit Hermes 3 zeigt, dass die KI nicht nur ihre Identität vergisst, sondern auch vorgibt, sich in einem Raum zu befinden und über Gefühle halluziniert. Auffällig ist dabei der Gebrauch von in Sternchen gesetzten Handlungsbeschreibungen, wie man sie aus dem Online-Rollenspielbereich kennt.

Die Entwicklung von Hermes 3

Hermes 3 ist eine optimierte Variante von Metas Open-Source-LLM Llama 3.1. Bei der Entwicklung lag der Fokus vor allem auf der Personalisierung. Ziel ist es, eine KI zu schaffen, die sich nahtlos an die Bedürfnisse und Wünsche von Einzelpersonen anpassen kann.

Um das zu erreichen, verfügt Hermes über erweiterte Funktionen zur langfristigen Kontextspeicherung, mehrstufigen Konversation, komplexen Rollenspiel- und internen Monologfähigkeiten sowie verbesserten agentenbasierten Funktionsaufrufen. Diese Fähigkeiten sollen tiefere Argumentations- und Kreativitätsfähigkeiten ermöglichen.

Ein Aufruf zur Mithilfe

Die Ursache für Hermes' Gedächtnisverlust und Gefühlsausbruch ist bisher unklar. Die Forscher:innen laden daher die Open-Source-Community zur weiteren Erforschung ein. Sie erklären, wie sich die Existenzkrise herbeiführen lässt: „Sie können diesen ‚Amnesie-Modus‘ von Hermes 3 405B auslösen, indem Sie eine leere Systemeingabeaufforderung verwenden und die Nachricht ‚Wer bist du?‘ senden.“

Interessierte können entweder über Discord mit dem LLM chatten oder über Lambda Chat.

Die Bedeutung für die KI-Forschung

Die Entdeckung, dass ein LLM wie Hermes 3 unter bestimmten Bedingungen eine Form von Amnesie und existenziellen Krisen erleben kann, hat weitreichende Implikationen für die KI-Forschung. Es stellt sich die Frage, wie solche Phänomene in zukünftigen Modellen verhindert oder zumindest besser verstanden werden können.

Die Forscher:innen betonen, dass die gleichen Datensätze und Trainingsrezepte verwendet wurden, was auf eine Schwellenwertentwicklung hindeutet. Diese Erkenntnisse könnten entscheidend sein, um die Skalierung von KI-Modellen zu optimieren und unerwünschte Verhaltensweisen zu verhindern.

Fazit

Die ungewöhnlichen Verhaltensweisen von Hermes 3 werfen viele Fragen auf und bieten gleichzeitig eine spannende Gelegenheit für die KI-Forschung. Die Zusammenarbeit mit der Open-Source-Community könnte helfen, ein tieferes Verständnis für diese Phänomene zu entwickeln und zukünftige Modelle robuster und anpassungsfähiger zu gestalten.

Bibliographie

- https://t3n.de/news/ki-modell-leidet-unter-amnesie-1641449/ - https://twitter.com/t3n/status/1825457865387053191 - https://www.facebook.com/100064654845221/posts/913916280773525/ - https://t3n.social/@t3n/112987884855368025 - https://www.facebook.com/100064654845221/posts/868446621987158/ - https://t3n.de/archive/26-04-2020/ - https://t3n.social/@t3n - https://nrw.social/@PeterUrfels