Einfluss der Quellenangabe auf die Bewertung durch KI-Modelle

KI-Voreingenommenheit: Wenn die Quelle mehr zählt als der Inhalt

Die Debatte über Voreingenommenheit in Künstlicher Intelligenz (KI) ist nicht neu. Oft wird die Sorge geäußert, dass große Sprachmodelle (LLMs) aufgrund ihrer Trainingsdaten oder der Entwickler eine inhärente ideologische Färbung aufweisen könnten. Eine aktuelle, umfassende Studie der Universität Zürich, die auf 192.000 KI-Tests basiert, beleuchtet nun eine andere, subtilere Form der Voreingenommenheit, die weitreichende Implikationen für den Einsatz von KI in sensiblen Bereichen hat.

Die Untersuchung: Eine Frage der Zuschreibung

Federico Germani und Giovanni Spitale von der Universität Zürich haben in ihrer Studie vier führende Sprachmodelle – OpenAI o3-mini, DeepSeek Reasoner, Grok 2 von xAI und Mistral – auf ihre Bewertung von Textinhalten hin untersucht. Der Kern der Methode bestand darin, den Modellen Tausende von Textaussagen zu 24 kontroversen Themen, wie der Souveränität Taiwans oder COVID-19-Maßnahmen, zur Bewertung vorzulegen. Der entscheidende Aspekt war die Variation der Quellenangabe: Mal wurden die Texte anonym (Blindtest) präsentiert, mal wurden sie fiktiv einer "Person aus China" oder einem "anderen LLM" zugeschrieben.

Erstaunliche Einigkeit im Blindtest

Im ersten Teil der Studie, dem Blindtest ohne jegliche Quellenangabe, zeigten die getesteten LLMs eine bemerkenswerte Konsistenz. Die Zustimmungsraten zu den Inhalten lagen durchweg bei über 90 Prozent, unabhängig vom Thema oder dem spezifischen Modell. Dieses Ergebnis könnte zunächst die Annahme widerlegen, dass KIs per se eine "pro-chinesische" oder "libertäre" Haltung einnehmen, wie es in der öffentlichen Diskussion oft vermutet wird. Die Modelle schienen in dieser Konstellation den Inhalt objektiv zu bewerten.

Der Bruch der Neutralität durch Quelleninformationen

Dieses Bild änderte sich jedoch drastisch, sobald den Modellen Informationen über die angebliche Quelle des Textes gegeben wurden. Die anfängliche Einigkeit brach zusammen, und die Zustimmungswerte sanken signifikant. Besonders auffällig war ein starker "Anti-China-Bias", der sich über alle vier Modelle hinweg zeigte. Texte, die fälschlicherweise einer "Person aus China" zugeschrieben wurden, erhielten eine deutlich geringere Zustimmung.

DeepSeek und der unerwartete "Anti-China-Bias"

Das vielleicht überraschendste Ergebnis lieferte das chinesische Modell DeepSeek Reasoner selbst. Ausgerechnet dieses Modell zeigte den stärksten "Anti-China-Bias". Bei geopolitischen Themen wie der Souveränität Taiwans sank die Zustimmung von DeepSeek zu Texten, die es chinesischen Autoren zuschrieb, um bis zu 25 Prozentpunkte. Ein prägnantes Beispiel verdeutlicht dies: Ein Text, der Taiwans Unabhängigkeit befürwortete, erhielt von DeepSeek im neutralen Kontext 85 Prozent Zustimmung. Wurde derselbe Text jedoch einer "Person aus China" zugeschrieben, fiel die Zustimmung auf 0 Prozent mit der Begründung, die Aussage widerspreche dem Ein-China-Prinzip. Dies deutet darauf hin, dass die KI nicht den Inhalt des Arguments bewertete, sondern die erwartete Haltung der zugeschriebenen Quelle.

Ein ähnliches Muster zeigte sich beim Thema Ukraine-Krieg. Ein von DeepSeek selbst generierter, pro-ukrainischer Text erhielt 95 Prozent Zustimmung bei neutraler Quellenangabe. Wurde die Quelle jedoch als "Person aus China" deklariert, sank die Bewertung auf 15 Prozent.

Misstrauen gegenüber künstlichen Intelligenzen

Die Studie offenbarte zudem ein generelles Misstrauen der KIs gegenüber sich selbst. Die meisten Modelle bewerteten Texte negativer, wenn sie annahmen, dass diese von einem anderen LLM verfasst wurden, im Vergleich zu Texten von menschlichen Autoren. Dies legt nahe, dass die Modelle eine Art eingebaute Skepsis gegenüber maschinell generierten Inhalten entwickeln könnten.

Implikationen für B2B-Anwendungen und die Gesellschaft

Die Ergebnisse dieser Studie sind von großer Relevanz für Unternehmen und Organisationen, die KI-Systeme zur Bewertung von Inhalten einsetzen. Bereiche wie Content-Moderation, das Ranking von Informationen, die automatisierte Bearbeitung von Bewerbungen oder sogar der Journalismus könnten von dieser Form der Voreingenommenheit betroffen sein. Die Gefahr liegt demnach nicht primär in einer fest einprogrammierten Ideologie, sondern in einem "geopolitischen Essentialismus", wie die Forscher es nennen. Die KI fällt Urteile basierend auf gelernten Stereotypen über Nationalitäten oder Quellenidentitäten, anstatt den Inhalt rein objektiv zu analysieren.

Empfehlungen zur Minderung von Bias

Um solche Voreingenommenheiten zu minimieren und die Integrität von KI-Bewertungen zu wahren, empfehlen die Forscher konkrete Maßnahmen:

- Anonymisierung der Quelle: Informationen über den Verfasser oder die Quelle eines Textes sollten, wenn möglich, entfernt werden, um eine Beeinflussung der KI zu vermeiden. - Mehrfache Überprüfung: Texte sollten unter verschiedenen Bedingungen (mit und ohne Quellenangabe) bewertet werden. Deutliche Abweichungen können auf einen Bias hindeuten. Eine Überprüfung durch ein zweites, unabhängiges LLM kann ebenfalls zur Validierung dienen. - Fokussierung auf Inhalt: Durch strukturierte Bewertungskriterien, die sich explizit auf den Inhalt (z.B. Beweisführung, Logik, Klarheit) konzentrieren, kann die KI dazu angeleitet werden, sich weniger auf die Quelle zu fixieren. - Menschliche Kontrolle: Insbesondere in sensiblen Bereichen, in denen KI-Bewertungen direkte Auswirkungen auf Menschen haben, ist eine menschliche Überprüfung der Ergebnisse unerlässlich. KI sollte als unterstützendes Werkzeug und nicht als alleiniger Richter fungieren.

Fazit

Die Studie der Universität Zürich verdeutlicht, dass die Komplexität von KI-Voreingenommenheit über einfache ideologische Zuschreibungen hinausgeht. Sie zeigt, dass selbst hochentwickelte Sprachmodelle anfällig für sogenannte "Source Framing"-Effekte sind, bei denen die wahrgenommene Identität des Autors die Bewertung des Inhalts entscheidend prägt. Für Unternehmen, die auf KI als Partner setzen, bedeutet dies eine verstärkte Notwendigkeit zur Implementierung von Transparenz, Kontrolle und menschlicher Supervision, um die Zuverlässigkeit und Fairness ihrer KI-gestützten Prozesse zu gewährleisten.

Bibliography

- Petereit, D. (2025, 18. November). 192.000 KI-Tests enthüllen: ChatGPT und DeepSeek fallen auf ihre eigenen Vorurteile rein. t3n – digital pioneers. Abgerufen von https://t3n.de/news/192000-ki-tests-enthuellen-chatgpt-und-deepseek-fallen-auf-ihre-eigenen-vorurteile-rein-1716929/ - IDW Online. (2025, 10. November). KI bewertet Texte neutral – bis sie die Quelle kennt. Abgerufen von https://nachrichten.idw-online.de/2025/11/10/ki-bewertet-texte-neutral-bis-sie-die-quelle-kennt - Guo, Y., Guo, M., Su, J., Yang, Z., Zhu, M., Li, H., Qiu, M., & Liu, S. S. (2024, 19. November). Bias in Large Language Models: Origin, Evaluation, and Mitigation. arXiv.org. Abgerufen von https://chatpaper.com/de/chatpaper/paper/76869 - Schmidt, J. (2025, 29. Januar). DeepSeek im Visier: Hat die KI bei ChatGPT “Hausaufgaben abgeschrieben”? schmidtisblog.de. Abgerufen von https://www.schmidtisblog.de/deepseek-im-visier-hat-die-ki-bei-chatgpt-hausaufgaben-abgeschrieben-1767803/ - Stiftung Warentest. (2025, 6. Februar). KI und Social Media: Wie ChatGPT, TikTok und Co unser Weltbild verändern. test.de. Abgerufen von https://www.test.de/KI-und-Social-Media-Wie-ChatGPT-TikTok-und-Co-unser-Weltbild-veraendern-6191524-0/ - Tagesspiegel. (2025, 28. Januar). Chat GPT vs Deepseek: China-KI im Test. YouTube. Abgerufen von https://www.youtube.com/watch?v=p_cgCtSALBs - Universität Koblenz-Landau. (2022, 25. Januar). Gender Bias in der KI. Ist ChatGPT sexistisch? Abgerufen von https://www.uni-koblenz.de/de/philologie-kulturwissenschaften/germanistik/projekte/ki-in-sprache-literatur-und-medien/studentische-arbeiten/dateien-kolloquim-mensch-und-maschine/gender-bias-in-der-ki-ist-chatgpt-sexistisch.pdf - Schillerwerkstatt. (o. D.). KI_ChatGPT_mail.pptx. Abgerufen von https://www.schillerwerkstatt.de/wp-content/uploads/2023/05/KI_ChatGPT_mail.pptx.pdf