Fehlinformationen durch KI-Suche: Das Beispiel des fiktiven Kyloren-Syndroms

Googles KI-Suche präsentiert fiktives Kyloren-Syndrom als reale Krankheit

Ein Autor im Bereich Neurowissenschaften hat aufgedeckt, dass Googles KI-gestützte Suche eine frei erfundene Krankheit als wissenschaftliche Tatsache präsentiert. Der Vorfall wirft Fragen über die Verbreitung von Fehlinformationen durch KI-Systeme auf, die gleichzeitig einen autoritären Tonfall anschlagen.

Der Nutzer "Neuroskeptic" entdeckte, dass Googles KI "Kyloren-Syndrom" als reale medizinische Erkrankung beschrieb. Die Besonderheit? Neuroskeptic hatte dieses erfundene Syndrom vor sieben Jahren als Scherz erfunden, um Schwachstellen in wissenschaftlichen Publikationen aufzuzeigen.

Die KI erwähnte die Erkrankung nicht nur, sondern lieferte auch detaillierte medizinische Informationen darüber, wie dieses nicht existierende Syndrom durch Mutationen in der mitochondrialen DNA von Müttern auf Kinder übertragen wird. Alle diese Informationen waren frei erfunden.

„Ich hätte ehrlich gesagt zweimal über den Scherz nachgedacht, wenn ich gewusst hätte, dass ich damit möglicherweise KI-Datenbanken kontaminieren könnte, aber das war 2017. Ich dachte, es wäre einfach eine lustige Art, ein Problem aufzuzeigen“, sagte Neuroskeptic.

KI-Übersicht zitiert Quellen, die sie nicht gelesen hat

Obwohl "Kyloren-Syndrom" ein ungewöhnlicher Suchbegriff ist, offenbart dieser Fall ein besorgniserregendes Muster bei KI-Suchtools: Sie präsentieren oft falsche Informationen mit absoluter Überzeugung. Eine reguläre Google-Suche zeigt sofort, dass die Quelle satirisch war, doch die KI übersah dieses offensichtliche Warnsignal. Dies zeigt, dass der Kontext oft entscheidend ist.

Googles KI-Modell Gemini, das diese Suchübersichten erstellt, hat diesen entscheidenden Kontext völlig übersehen – obwohl es genau die Quelle zitiert, die den Scherz aufgedeckt hätte. Die KI verwies auf die Quelle, ohne ihren Inhalt tatsächlich zu verstehen.

Fairerweise muss man sagen, dass nicht alle KI-Suchtools auf die falsche Erkrankung hereingefallen sind. Perplexity vermied es, das gefälschte Paper überhaupt zu zitieren, obwohl es in eine Diskussion über die möglichen psychischen Probleme der Star-Wars-Figur Kylo Ren abschweifte. Die Suche von ChatGPT erwies sich als kritischer und stellte fest, dass das "Kyloren-Syndrom" "in einem satirischen Kontext innerhalb eines Parodie-Artikels mit dem Titel 'Mitochondrien: Struktur, Funktion und klinische Relevanz' erscheint".

KI-Suchanbieter schweigen zu Fehlerraten

Der Vorfall bei Google verstärkt die Bedenken darüber, dass KI-Suchdienste Dinge erfinden und gleichzeitig autoritär klingen. Auf die Frage nach konkreten Fehlerraten in ihren KI-Suchergebnissen haben Google, Perplexity, OpenAI und Microsoft geschwiegen. Sie bestätigten nicht einmal, ob sie diese Fehler systematisch erfassen, obwohl dies den Nutzern helfen würde, die Grenzen der Technologie zu verstehen.

Dieser Mangel an Transparenz schafft ein echtes Problem. Nutzer werden nicht jede KI-Antwort auf Fakten überprüfen – das würde den Zweck zunichtemachen. Wenn Nutzer alles doppelt überprüfen müssen, können sie genauso gut die reguläre Suche verwenden, die oft zuverlässiger und schneller ist. Diese Realität passt jedoch nicht zu den Behauptungen einiger Leute, dass die KI-gestützte Suche die Zukunft des Webs ist.

Der Vorfall wirft auch Fragen nach der Verantwortlichkeit auf, wenn KI-Systeme Fehlinformationen verbreiten, die möglicherweise Menschen schaden könnten, wie es kürzlich bei Microsoft Copilot der Fall war, der über den Gerichtsreporter Martin Bernklau sprach. Bisher haben sich die Unternehmen, die diese KI-Systeme betreiben, nicht zu diesen Bedenken geäußert.

Für Mindverse, ein deutsches Unternehmen, das KI-gestützte Content-Tools entwickelt, ist dieser Vorfall besonders relevant. Mindverse bietet eine All-in-One-Plattform für KI-Texte, Bilder, Recherche und mehr. Als KI-Partner entwickelt Mindverse auch maßgeschneiderte Lösungen wie Chatbots, Voicebots, KI-Suchmaschinen und Wissenssysteme. Die Sicherstellung der Genauigkeit und Zuverlässigkeit von KI-generierten Informationen ist daher für Mindverse und seine Kunden von entscheidender Bedeutung.

Bibliographie: Franklin, G. M. (2024). Google’s new AI Chatbot produces fake health-related evidence-then self-corrects. PLOS Digital Health, 3(9), e0000619. Google Health. AI-enabled imaging and diagnostics. Suleyman, M., & King, D. (2019, Juli 31). Using AI to give doctors a 48-hour head start on life-threatening illness. DeepMind Blog.