Fortschritte und Herausforderungen in der mehrsprachigen maschinellen Übersetzung mit großen Sprachmodellen

Die mehrsprachige maschinelle Übersetzung (MMT) hat durch die Fortschritte großer Sprachmodelle (Large Language Models, LLMs) eine bemerkenswerte Entwicklung erfahren. Dennoch bleiben Herausforderungen wie eine umfassende Sprachabdeckung, konsistente Übersetzungsqualität über alle Sprachen hinweg und eine inhärente englischzentrierte Verzerrung bestehen. Aktuelle Forschung konzentriert sich darauf, diese Limitationen zu überwinden und inklusivere sowie skalierbarere Lösungen für die MMT zu entwickeln.

Die Evolution der mehrsprachigen maschinellen Übersetzung

Seit ihren Anfängen hat die maschinelle Übersetzung verschiedene Paradigmen durchlaufen. Von regelbasierten Systemen über statistische Ansätze bis hin zu neuronalen Netzen, die mit dem Transformer-Modell einen Höhepunkt erreichten. Die Integration von LLMs in die MMT markiert einen weiteren Wendepunkt, der das Potenzial birgt, die Fähigkeiten von Übersetzungssystemen grundlegend zu erweitern. Frühe Ansätze der MMT waren oft englischzentriert, was bedeutete, dass Übersetzungen typischerweise über Englisch als Brückensprache erfolgten. Dies führte zu einer suboptimalen Leistung für Sprachpaare, die nicht Englisch involvierten, und schloss viele ressourcenarme Sprachen von hochwertigen Übersetzungsdiensten aus.

Aktuelle Herausforderungen und Forschungsansätze

Trotz der beeindruckenden Fortschritte von LLMs in hochressourcenzentrierten Sprachaufgaben bleibt ihre Leistung in ressourcenarmen Sprachen oft unzureichend. Dies ist hauptsächlich auf den Mangel an ausreichend mehrsprachigen Daten während des Vortrainings zurückzuführen. Um diese Diskrepanz zu beheben, werden verschiedene Strategien verfolgt:

• Kontinuierliches multilinguales Vortraining: Hierbei werden bestehende LLMs auf großen Korpora von Textdaten aus Zielsprachen weiter trainiert, um ihre mehrsprachigen Fähigkeiten zu erweitern.
• Vokabular-Erweiterung und Datenaugmentation: Die Erweiterung des Vokabulars von LLMs um neue, sprachspezifische Token und die Nutzung von Datenaugmentationstechniken, insbesondere für ressourcenarme Sprachen, sind entscheidend. Studien zeigen jedoch, dass eine naive Erweiterung des Vokabulars die bestehende Leistung beeinträchtigen kann, was die Beibehaltung des ursprünglichen Vokabulars als oft kosteneffizienteste Strategie erscheinen lässt.
• Strategisches Downsampling und Parallel Multilingual Prompting (PMP): Ein Phänomen der "direktionalen Degeneration", bei dem symmetrische Feinabstimmungsdaten umgekehrte Richtungen (z.B. X nach Englisch/Chinesisch) überbetonen, kann durch strategisches Downsampling gemildert werden. PMP nutzt typologisch verwandte Hilfssprachen, um den sprachübergreifenden Transfer zu verbessern.

"Selective Pre-Translation" als Optimierungsstrategie

Eine vielversprechende Methode zur Verbesserung der Übersetzungsleistung ist die "Selective Pre-Translation". Hierbei wird nicht der gesamte Prompt vor der Modellabfrage übersetzt, sondern nur bestimmte, strategisch ausgewählte Komponenten. Dies ermöglicht eine nuanciertere Steuerung der Modelle und kann die Qualität der Ausgaben signifikant verbessern, insbesondere in mehrsprachigen Kontexten.

Analyse der Prompt-Komponenten

Prompts in LLMs bestehen typischerweise aus vier funktionalen Teilen:

• Anweisung (Instruction): Gibt dem Modell Anweisungen zur auszuführenden Aufgabe.
• Kontext (Context): Stellt die Daten dar, auf denen das Modell operiert.
• Beispiele (Examples): Optionale Illustrationen von Kontext-Ausgabe-Paaren für In-Context Learning.
• Ausgabe (Output): Die gewünschte Sprache oder das Format der Modellantwort.

Die Entscheidung, welche dieser Komponenten in die Ausgangssprache (Quellsprache) und welche in die Zielsprache übersetzt werden, hat einen direkten Einfluss auf die Modellleistung. Für extraktive Aufgaben, wie zum Beispiel die Beantwortung von Fragen (Question Answering, QA) oder die Erkennung benannter Entitäten (Named Entity Recognition, NER), korreliert die Wahl der Quellsprache für den Kontext stark mit einer besseren Leistung, insbesondere bei ressourcenarmen Sprachen. Bei generativen Aufgaben, wie der Zusammenfassung von Texten (Summarization), kann die Generierung der Ausgabe in Englisch vorteilhaft sein, selbst wenn eine Rückübersetzung erforderlich ist, da die Modelle oft stärkere Fähigkeiten in Englisch aufweisen.

Einflussfaktoren auf die Übersetzungsqualität

Mehrere Faktoren beeinflussen die Effektivität von "Selective Pre-Translation":

• Größe der Vortrainingsdaten: Modelle, die auf umfangreicheren Daten trainiert wurden, zeigen tendenziell bessere Ergebnisse. Dennoch kann "Selective Pre-Translation" dazu beitragen, dass ressourcenarme Sprachen die Ergebnisse von ressourcenreicheren Sprachen in spezifischen Aufgaben erreichen.
• Linguistische Ähnlichkeit zu Englisch: Eine moderate Korrelation besteht zwischen der syntaktischen Ähnlichkeit einer Sprache zu Englisch und der Übersetzungsleistung, insbesondere bei der Zusammenfassung und NER.
• Qualität der Vorübersetzung: Die Qualität der maschinellen Vorübersetzung ist ein kritischer Faktor. Höhere Übersetzungsqualität führt zu einer verbesserten Aufgabenleistung. Die "Selective Pre-Translation"-Methode kann die negativen Effekte minderwertiger Übersetzungen abmildern, indem sie strategisch auswählt, welche Prompt-Komponenten übersetzt werden.

Neue Modelle und deren Leistungsfähigkeit

Modelle wie LMT (Large-scale Multilingual Translation) demonstrieren das Potenzial, durch sorgfältige Datenkuration und verfeinerte Adaptionsstrategien Spitzenleistungen in der MMT zu erzielen. LMT, das sich auf Chinesisch und Englisch konzentriert und 60 Sprachen sowie 234 Übersetzungsrichtungen abdeckt, übertrifft selbst viel größere Modelle wie Aya-101-13B und NLLB-54B mit einem 4B-Parameter-Modell (LMT-60-4B). Dies unterstreicht, dass nicht allein die Modellgröße, sondern auch die Qualität der Trainingsstrategien und Datenoptimierung entscheidend sind.

Ein weiteres Beispiel ist LLaMAX, das durch umfangreiches kontinuierliches Vortraining auf LLaMA-Modellen die Übersetzungsfähigkeiten auf über 100 Sprachen erweitert. LLaMAX erreicht eine vergleichbare Leistung mit spezialisierten Übersetzungsmodellen wie M2M-100-12B auf dem Flores-101-Benchmark und zeigt eine durchschnittliche Verbesserung von über 10 spBLEU-Punkten im Vergleich zu Basismodellen in ressourcenarmen Sprachen. Diese Modelle können als robuste mehrsprachige Grundlagenmodelle dienen.

Demokratisierung von Sprachen

Ein wichtiges Ziel der aktuellen Forschung ist die "Demokratisierung von Sprachen" in LLMs, was bedeutet, die Leistungsunterschiede zwischen verschiedenen Sprachen zu verringern. Dies beinhaltet die Verbesserung der "Understanding Capability" (Fähigkeit, Anweisungen in verschiedenen Sprachen zu verstehen) und der "Generating Capability" (Fähigkeit, korrekte Antworten in der Zielsprache zu generieren). Studien zeigen, dass Modelle, die mit mehrsprachigen Anweisungssätzen und sprachübergreifenden Feedback-Datensätzen trainiert wurden, eine signifikante Verbesserung in beiden Bereichen aufweisen, insbesondere für ressourcenarme Sprachen.

Fazit und Ausblick

Die mehrsprachige maschinelle Übersetzung mit LLMs steht an einem Wendepunkt. Während traditionelle Ansätze oft an der Dominanz von Englisch und dem Mangel an Daten für ressourcenarme Sprachen scheiterten, zeigen neue Strategien wie "Selective Pre-Translation", strategisches Downsampling und Parallel Multilingual Prompting vielversprechende Wege auf, diese Herausforderungen zu überwinden. Die Entwicklung von Modellen wie LMT und LLaMAX, die durch innovative Trainingsansätze eine hohe Leistung über eine breite Palette von Sprachen erzielen, ist ein klares Indiz für die zukünftige Richtung.

Die Forschung wird sich weiterhin darauf konzentrieren, die mehrsprachigen Fähigkeiten von LLMs zu skalieren, die Übersetzungsqualität zu verbessern und die sprachliche Demokratisierung voranzutreiben. Dies erfordert nicht nur die Entwicklung neuer Modelle und Trainingsmethoden, sondern auch eine kontinuierliche Verfeinerung der Datenkuration und der Bewertungsmetriken, um die tatsächliche Leistung und die Übertragbarkeit auf reale Anwendungen präzise zu erfassen. Die Integration von LLMs in MT-Systeme verspricht nicht nur eine höhere Effizienz und breitere Abdeckung, sondern auch eine interaktivere und anpassbarere Übersetzungserfahrung, die den Bedürfnissen einer globalisierten Welt gerecht wird.

Bibliographie

• Luo, Y., Xu, Z., Ouyang, Y., Yang, M., Lin, D., Chang, K., Zheng, T., Li, B., Feng, P., Du, Q., Xiao, T., Zhu, J. (2025). Beyond English: Toward Inclusive and Scalable Multilingual Machine Translation with LLMs. arXiv preprint arXiv:2511.07003.
• Mondshinea, I., Paz-Argamana, T., Tsarfatya, R. (2025). Beyond English: The Impact of Prompt Translation Strategies across Languages and Tasks in Multilingual LLMs. Proceedings of the Eighth Workshop on Technologies for Machine Translation of Low-Resource Languages (LoResMT 2025), pages 81–104.
• Fan, A., Bhosale, S., Schwenk, H., Ma, Z., El-Kishky, A., Goyal, S., Baines, M., Celebi, O., Wenzek, G., Chaudhary, V., Goyal, N., Birch, T., Liptchinsky, V., Edunov, S., Auli, M., Joulin, A. (2021). Beyond English-Centric Multilingual Machine Translation. Journal of Machine Learning Research, 22(107):1−48.
• Fraser, A. (2023). Research - Prof. Dr. Alexander M. Fraser.
• Lu, Y., Zhu, W., Li, L., Qiao, Y., Yuan, F. (2024). LLaMAX: Scaling Linguistic Horizons of LLM by Enhancing Translation Capabilities Beyond 100 Languages. arXiv preprint arXiv:2407.05975.
• Qin, L., Chen, Q., Zhou, Y., Chen, Z., Li, Y., Liao, L., Li, M., Che, W., Yu, P. S. (2025). A survey of multilingual large language models. Patterns, 6(1), 101118.
• Ataman, D., Birch, A., Habash, N., Federico, M., Koehn, P., Cho, K. (2025). Machine Translation in the Era of Large Language Models: A Survey of Historical and Emerging Problems. Information, 16(9), 723.
• Rei, R., Guerreiro, N. M., Pombal, J., Alves, J., Teixeirinha, P., Farajian, A., Martins, A. F. T. (2024). Tower+: Bridging Generality and Translation Specialization in Multilingual LLMs. arXiv preprint arXiv:2506.17080v1.
• Lai, W., Mesgar, M., Fraser, A. (2024). LLMs Beyond English: Scaling the Multilingual Capability of LLMs with Cross-Lingual Feedback. Findings of the Association for Computational Linguistics: ACL 2024, pages 8186–8213.