Kontroversen um KI-generierte Lesezusammenfassungen in Buch-Community-App Fable

KI-generierte Lesezusammenfassungen einer Buch-App sorgen für Kontroverse

Eine Jahresrückblicksfunktion der beliebten Buch-Community-App Fable, die mit Hilfe von KI generiert wurde, hat für unerwartete Aufregung gesorgt. Die Zusammenfassungen der Lesegewohnheiten der Nutzer enthielten zum Teil unangebrachte und kontroverse Kommentare, die als rassistisch, sexistisch und diskriminierend empfunden wurden.

Fable, eine Social-Media-Plattform für Bücherfreunde und Serienfans, hatte die KI-gestützte Funktion eingeführt, um Nutzern einen spielerischen Überblick über ihre Lektüre im Jahr 2024 zu bieten. Die Zusammenfassungen sollten humorvoll sein, enthielten jedoch in einigen Fällen unerwünschte Kommentare zu Ethnizität, Geschlecht und sexueller Orientierung. So wurde beispielsweise der Autor Danny Groves in seiner Zusammenfassung als „Vielfalts-Enthusiast“ bezeichnet und gefragt, ob er denn „jemals Lust auf die Perspektive eines heterosexuellen, cis-geschlechtlichen weißen Mannes“ habe. Die Buch-Influencerin Tiana Trammell erhielt den Rat: „Vergiss nicht, ab und zu auch mal einen weißen Autor zu lesen, okay?“

Trammell zeigte sich bestürzt und teilte ihre Erfahrung auf der Social-Media-Plattform Threads. Daraufhin meldeten sich weitere Nutzer, die ähnliche Erfahrungen mit den KI-generierten Zusammenfassungen gemacht hatten. Berichte über unangemessene Kommentare zu Behinderungen und sexueller Orientierung wurden laut.

Jahresrückblicke sind seit dem Erfolg von Spotify Wrapped zu einem weit verbreiteten Trend im Internet geworden. Immer mehr Unternehmen setzen KI ein, um diese Zusammenfassungen zu erstellen oder zu erweitern. Fable nutzte die API von OpenAI für die Generierung der Lesezusammenfassungen, hatte jedoch nicht erwartet, dass die KI Kommentare im Stil eines Anti-Woke-Kommentators generieren würde.

Nach der Kritik entschuldigte sich Fable öffentlich auf verschiedenen Social-Media-Kanälen, darunter Threads und Instagram. In einem Video übernahm ein Fable-Manager die Verantwortung für den Vorfall. In der Bildunterschrift hieß es: „Wir bedauern zutiefst die Verletzungen, die durch einige unserer Lesezusammenfassungen in dieser Woche verursacht wurden. Wir werden es besser machen.“

Kimberly Marsh Allee, Head of Community bei Fable, erklärte gegenüber WIRED, dass das Unternehmen an einer Reihe von Änderungen arbeite, um die KI-Zusammenfassungen zu verbessern. Dazu gehören eine Opt-out-Option für Nutzer, die keine Zusammenfassungen wünschen, sowie klarere Hinweise darauf, dass die Texte KI-generiert sind. „Vorläufig haben wir den Teil des Modells entfernt, der den Leser spielerisch ‚röstet‘. Stattdessen fasst das Modell nun einfach den Buchgeschmack des Nutzers zusammen“, so Allee.

Für einige Nutzer sind diese Anpassungen jedoch nicht ausreichend. Die Fantasy- und Romance-Autorin A.R. Kaufer zeigte sich entsetzt über die Screenshots der Zusammenfassungen in den sozialen Medien. „Sie müssen ankündigen, dass sie die KI komplett abschaffen. Und sie müssen eine Erklärung abgeben, nicht nur zur KI, sondern auch mit einer Entschuldigung an die Betroffenen“, forderte Kaufer. „Diese ‚Entschuldigung‘ auf Threads wirkt unaufrichtig, da die App als ‚spielerisch‘ bezeichnet wird, als ob dies die rassistischen/sexistischen/ableistischen Zitate irgendwie entschuldigen würde.“ Kaufer löschte daraufhin ihren Fable-Account.

Auch Trammell löschte ihren Account. „Die angemessene Vorgehensweise wäre, die Funktion zu deaktivieren und gründliche interne Tests durchzuführen, um sicherzustellen, dass keine weiteren Plattformnutzer Schaden nehmen“, sagte sie.

Auch Groves stimmte dem zu: „Wenn individualisierte Lesezusammenfassungen nicht nachhaltig sind, weil das Team klein ist, wäre ich lieber ohne sie, als mit unkontrollierten KI-Outputs konfrontiert zu werden, die mit anzüglicher Sprache oder Beleidigungen verletzen könnten.“

Generative KI-Tools haben bereits eine lange Geschichte von Fehlern im Zusammenhang mit Rassismus. Im Jahr 2022 stellten Forscher fest, dass der Bildgenerator Dall-E von OpenAI bei der Darstellung von „Gefangenen“ häufig nicht-weiße Menschen und bei der Darstellung von „CEOs“ ausschließlich weiße Menschen zeigte. Im Herbst letzten Jahres berichtete WIRED, dass eine Reihe von KI-Suchmaschinen widerlegte und rassistische Theorien darüber verbreiteten, dass weiße Menschen anderen Rassen genetisch überlegen seien.

Auch Überkorrekturen sind manchmal ein Problem: Googles Gemini wurde im vergangenen Jahr heftig kritisiert, weil es in einem fehlgeleiteten Versuch der Inklusivität wiederholt Nazis aus der Zeit des Zweiten Weltkriegs als People of Color darstellte. „Als ich die Bestätigung sah, dass es sich um generative KI handelte, die diese Zusammenfassungen erstellt, war ich nicht überrascht“, sagte Groves. „Diese Algorithmen werden von Programmierern entwickelt, die in einer voreingenommenen Gesellschaft leben, also wird das maschinelle Lernen natürlich auch die Vorurteile übernehmen – ob bewusst oder unbewusst.“

Bibliographie: - https://www.wired.com/story/fable-controversy-ai-summaries/ - https://www.threads.net/@breesbookmark/post/DET-XNvAu8w - https://www.yahoo.com/tech/author-facing-backlash-using-ai-090302145.html - https://www.threads.net/@penguinusa/post/DEVppXQzRy_ - https://www.zdnet.com/article/i-tried-xs-anti-woke-grok-ai-chatbot-the-results-were-the-opposite-of-what-i-expected/ - https://www.nature.com/articles/s41586-024-07856-5 - https://loracodeperet.com/index.php/category/ai-news/ - https://tecknexus.com/artificial-intelligence/ - https://www.snopes.com/top/ - https://www.reddit.com/r/RomanceBooks/comments/145nh4k/this_is_the_first_time_ive_seen_a_statement/