Maschinelle Übersetzung und Gender Bias: Eine neue Studie untersucht die konkreten Auswirkungen

Maschinelle Übersetzung (MT) hat sich zu einem unverzichtbaren Werkzeug im digitalen Zeitalter entwickelt. Ob bei der Übersetzung von Websites, der Kommunikation über Sprachgrenzen hinweg oder dem Zugriff auf Informationen in anderen Sprachen – MT-Systeme erleichtern unseren Alltag in vielerlei Hinsicht. Doch wie bei vielen anderen KI-basierten Technologien ist auch bei MT die Gefahr von Verzerrungen, sogenannten Biases, gegeben. Ein besonders kritischer Aspekt ist dabei der Gender Bias, der zu Diskriminierung und Ungleichbehandlung von Frauen führen kann.

Die Herausforderung: Gender Bias in der MT

MT-Systeme werden mit großen Mengen an Textdaten trainiert, um grammatikalisch korrekte und sinngemäße Übersetzungen zu erstellen. Diese Trainingsdaten spiegeln jedoch oft gesellschaftliche Vorurteile und Stereotype wider, die sich dann in den Übersetzungen manifestieren können. So kann es beispielsweise vorkommen, dass Berufe mit männlichen Personen assoziiert werden oder Frauen in stereotypischen Rollen dargestellt werden.

Bisherige Ansätze zur Bewertung von Gender Bias in MT-Systemen beschränken sich oft auf automatisierte Metriken. Diese liefern zwar Hinweise auf bestehende Verzerrungen, lassen aber oft die konkreten Auswirkungen auf die Nutzer außer Acht. Um diese Lücke zu schließen, haben Forschende der Fondazione Bruno Kessler (FBK) in Italien eine umfangreiche Studie durchgeführt, die die konkreten Auswirkungen von Gender Bias in MT auf die Nutzer untersucht.

Eine neue Studie rückt die Nutzer in den Mittelpunkt

Die Studie der FBK-Forschenden konzentrierte sich auf die sogenannte Post-Editing-Aufgabe, bei der menschliche Übersetzer die Ergebnisse von MT-Systemen korrigieren und verbessern. An der Studie nahmen 90 Personen teil, die MT-Ausgaben in Bezug auf die korrekte Übersetzung von Gender-Informationen bearbeiteten. Dabei wurden verschiedene Datensätze, Sprachen und Nutzergruppen berücksichtigt.

Die Ergebnisse: Höherer Aufwand bei der Übersetzung von Inhalten mit Bezug auf Frauen

Die Ergebnisse der Studie zeigen, dass die Nachbearbeitung von Übersetzungen mit weiblichem Bezug signifikant mehr Zeit und Aufwand erfordert als bei männlichem Bezug. Dies gilt sowohl für den technischen Aufwand, also die Anzahl der notwendigen Korrekturen, als auch für die benötigte Zeit. Die Forschenden führen dies auf die in den MT-Systemen verankerten Gender-Stereotype zurück, die zu fehlerhaften oder ungenauen Übersetzungen führen.

Die Studie der FBK-Forschenden verdeutlicht die Notwendigkeit, Gender Bias in MT-Systemen nicht nur zu erkennen, sondern auch seine konkreten Auswirkungen auf die Nutzer zu verstehen. Die Ergebnisse unterstreichen die Bedeutung von nutzerzentrierten Ansätzen bei der Entwicklung und Bewertung von KI-Systemen, um Diskriminierung und Ungleichbehandlung zu vermeiden.

Ausblick: Für eine inklusive und faire maschinelle Übersetzung

Die Bekämpfung von Gender Bias in MT ist eine komplexe Herausforderung, die ein gemeinsames Engagement von Forschern, Entwicklern und Nutzern erfordert. Einige Ansätze, die zur Mitigierung von Gender Bias in MT-Systemen beitragen können, sind:

- Entwicklung von Trainingsdatensätzen, die frei von Gender-Stereotypen sind - Integration von Gender-spezifischen Informationen in MT-Modelle - Entwicklung von Bewertungsmetriken, die die Auswirkungen von Gender Bias auf die Nutzer berücksichtigen - Sensibilisierung von Entwicklern und Nutzern für das Thema Gender Bias

Die Forschung im Bereich der Gender-fairen MT steckt noch in den Kinderschuhen. Die Studie der FBK-Forschenden liefert jedoch wichtige Impulse für die zukünftige Entwicklung und den Einsatz von MT-Systemen. Nur durch eine gemeinsame Anstrengung aller Beteiligten können wir sicherstellen, dass maschinelle Übersetzung zu einem Werkzeug wird, das allen Menschen gleichermaßen zugutekommt.

Bibliographie

Savoldi, B., Papi, S., Negri, M., Guerberof, A., & Bentivogli, L. (2024). What the Harm? Quantifying the Tangible Impact of Gender Bias in Machine Translation with a Human-centered Study. arXiv preprint arXiv:2410.00545. https://paperreading.club/page?id=255853 https://mt.fbk.eu/ https://mt.fbk.eu/speech-massive/ https://twitter.com/fbk_mt/status/1837040048941789641 https://www.researchgate.net/publication/350853175_Gender_Bias_in_Machine_Translation https://direct.mit.edu/tacl/article/doi/10.1162/tacl_a_00401/106991/Gender-Bias-in-Machine-Translation https://arxiv.org/abs/2104.06001 https://www.researchgate.net/publication/332030363_Assessing_gender_bias_in_machine_translation_a_case_study_with_Google_Translate https://arxiv.org/pdf/2203.10675 https://www.sciencedirect.com/science/article/pii/S0268401223000233