Mathematische Fähigkeiten großer Sprachmodelle im Fokus einer neuen Studie

Die Grenzen künstlicher Intelligenz: Aktuelle Sprachmodelle scheitern an mathematischen Olympiaden

Die rasanten Fortschritte im Bereich der großen Sprachmodelle (Large Language Models, LLMs) haben in den letzten Jahren beeindruckende Fähigkeiten in verschiedenen Domänen offenbart. Von der Textgenerierung über die Übersetzung bis hin zur Beantwortung komplexer Fragen scheinen diese Modelle eine immer größere Bandbreite menschlicher kognitiver Aufgaben zu bewältigen. Eine aktuelle Studie, bekannt als "AMO-Bench", beleuchtet jedoch eine spezifische Herausforderung, die selbst die fortschrittlichsten LLMs weiterhin vor erhebliche Schwierigkeiten stellt: die Lösung von Mathematikaufgaben auf dem Niveau von High-School-Olympiaden, die eine rigorose Beweisführung erfordern.

Der Hintergrund: Warum ein neuer Benchmark nötig ist

Bestehende Benchmarks zur Bewertung mathematischer Fähigkeiten von LLMs, wie beispielsweise jene, die auf nationalen Mathematikwettbewerben basieren, zeigen oft eine Sättigung der Leistung bei den Top-Modellen. Dies bedeutet, dass die besten LLMs bei diesen Aufgaben bereits ein Niveau erreichen, das dem menschlicher Top-Teilnehmer entspricht. Allerdings konzentrieren sich viele dieser Wettbewerbe hauptsächlich auf die Bereitstellung korrekter numerischer Antworten, ohne eine detaillierte, schrittweise Beweisführung zu verlangen. Diese Lücke adressiert der AMO-Bench-Datensatz.

Der AMO-Bench-Datensatz besteht aus 50 von Menschen erstellten Problemen, deren Schwierigkeitsgrad mindestens dem der Internationalen Mathematik-Olympiade (IMO) entspricht. Ein entscheidender Aspekt dieser Probleme ist ihre Originalität, um eine mögliche Leistungssteigerung durch Datengedächtnis zu verhindern. Im Gegensatz zu vielen anderen Benchmarks, bei denen eine detaillierte Beweisführung bewertet wird, verlangt AMO-Bench lediglich eine endgültige Antwort, was eine automatisierte und robuste Bewertung ermöglicht. Die Intention der Studie war es, die grundlegenden mathematischen Denkfähigkeiten der Modelle zu testen, die über bloße Mustererkennung oder auswendig gelernte Lösungen hinausgehen.

Ergebnisse der Evaluation: Eine ernüchternde Bilanz

Die Studie evaluierte 26 verschiedene LLMs, darunter bekannte Modelle wie GEMINI-2.5-PRO, GROK 3 und CLAUDE 3.7. Die Ergebnisse zeigen ein klares Bild: Die mathematischen Fähigkeiten dieser Modelle im Bereich der rigorosen Argumentation sind weiterhin stark begrenzt. Selbst das leistungsstärkste Modell, GEMINI-2.5-PRO, erreichte eine durchschnittliche Genauigkeit von lediglich 52,4% auf dem AMO-Bench. Die meisten anderen LLMs erzielten sogar weniger als 40% der Punkte. Im Kontext einer ähnlichen Studie, die sich auf die USAMO 2025 konzentrierte, erreichte GEMINI-2.5-PRO sogar nur 25% der Gesamtpunktzahl, während andere Modelle unter 5% blieben.

Diese Zahlen verdeutlichen, dass die aktuellen LLMs, obwohl sie in vielen anderen Bereichen beeindruckende Leistungen zeigen, bei Aufgaben, die tiefgehendes mathematisches Verständnis, Kreativität und eine präzise, logische Beweisführung erfordern, noch erhebliche Defizite aufweisen. Die Fähigkeit, eine korrekte numerische Antwort zu finden, ist dabei nicht gleichbedeutend mit der Fähigkeit, den Weg zu dieser Antwort logisch und nachvollziehbar zu begründen.

Analyse der Fehlermodi: Wo die Modelle straucheln

Die detaillierte Analyse der Fehlermodi durch menschliche Gutachter offenbarte mehrere wiederkehrende Schwachstellen in den Lösungsansätzen der LLMs:

• Logikfehler: Ein Großteil der Fehler resultierte aus fehlerhaften logischen Schlussfolgerungen, unbegründeten Argumentationsschritten oder falschen Interpretationen des Problemkontexts. Modelle neigten dazu, wichtige Beweisschritte als "trivial" abzutun, selbst wenn deren Validität für die Korrektheit der Lösung entscheidend war.
• Unbegründete Annahmen: Oft führten die Modelle Annahmen ein, die weder bewiesen noch im Problemkontext gegeben waren, was die gesamte Beweisführung untergrub.
• Mangelnde Kreativität: Viele Modelle verfolgten über alle Versuche hinweg dieselbe (oft falsche) Lösungsstrategie und zeigten kaum die Fähigkeit, alternative Ansätze zu erkunden. Dies steht im Gegensatz zur menschlichen Problemlösung, bei der Flexibilität und das Ausprobieren verschiedener Wege oft zum Erfolg führen.
• "Answer Boxing" und Übergeneralisierung: Aktuelle Optimierungstechniken, die darauf abzielen, eine klare Endantwort zu extrahieren (oft durch das "Boxen" der Antwort), führten zu unerwünschten Artefakten. Modelle gaben beispielsweise auch dann eine "geboxte" Endantwort, wenn dies nicht erforderlich war, oder ignorierten, dass eine Lösung aus einer Menge von Zahlen statt einer einzelnen bestehen sollte. Zudem neigten sie dazu, Muster aus kleinen Zahlenbeispielen auf größere Fälle zu übertragen, ohne dies formal zu beweisen.
• Halluzinationen von Referenzen: Ein besonders besorgniserregender Befund war die Tendenz einiger Modelle, insbesondere GEMINI-2.5-PRO, nicht existierende Referenzen oder Zitate zu erzeugen, um ihre Argumente zu stützen. Dies geschah vor allem bei Problemen, bei denen das Modell Schwierigkeiten hatte, eine korrekte Lösung zu finden. Diese "halluzinierten" Zitate, die oft plausibel klangen, unterstreichen die Notwendigkeit einer kritischen Überprüfung der von LLMs generierten Inhalte.

Die Herausforderung der automatischen Bewertung

Die Studie untersuchte auch die Machbarkeit, menschliche Gutachter durch LLM-basierte Evaluatoren zu ersetzen. Modelle wie O3-MINI und CLAUDE 3.7 wurden mit Bewertungsschemata und verifizierten Lösungen ausgestattet. Es zeigte sich jedoch, dass diese Modelle die Qualität der Lösungen systematisch überschätzten und oft Punkte für inkorrekte oder unbegründete Argumentationen vergaben. Dies deutet darauf hin, dass die Entwicklung zuverlässiger, automatischer Bewertungssysteme für komplexe, beweisbasierte Aufgaben eine eigene, noch ungelöste Herausforderung darstellt.

Ausblick und Implikationen für die KI-Forschung

Die Ergebnisse der AMO-Bench-Studie verdeutlichen, dass trotz erheblicher Fortschritte in der Entwicklung von LLMs noch ein langer Weg vor uns liegt, um Maschinen mit den Fähigkeiten auszustatten, die für rigoroses mathematisches Denken auf hohem Niveau erforderlich sind. Die identifizierten Fehlermodi – von logischen Schwächen bis hin zu mangelnder Kreativität und Halluzinationen – zeigen, dass die aktuellen Architekturen und Trainingsmethoden noch nicht ausreichen, um die Nuancen menschlicher mathematischer Intelligenz vollständig zu erfassen.

Für Unternehmen wie Mindverse, die sich auf die Entwicklung und Anwendung von KI-Lösungen konzentrieren, sind solche Erkenntnisse von entscheidender Bedeutung. Sie weisen auf Bereiche hin, in denen weitere Forschung und Entwicklung notwendig sind, um die Robustheit und Verlässlichkeit von LLMs in analytischen und beweisbasierten Domänen zu verbessern. Die Fähigkeit, komplexe Probleme logisch und nachvollziehbar zu lösen, ist ein Schlüssel zur breiteren Akzeptanz und zum Vertrauen in KI-Systeme, insbesondere in kritischen B2B-Anwendungen, die Präzision und Verifikation erfordern.

Die Studie schließt mit der Feststellung, dass die mathematischen Denkfähigkeiten in aktuellen LLMs noch erheblich verbessert werden müssen. Dies erfordert möglicherweise nicht nur Anpassungen in den Modellarchitekturen und Trainingsdaten, sondern auch innovative Ansätze, die über die derzeitigen Optimierungsstrategien hinausgehen, um eine wirklich menschenähnliche logische Argumentation und Beweisführung zu ermöglichen.

Bibliographie

- An, S., Cai, X., Cao, X., Li, X., Lin, Y., Liu, J., Lv, X., Ma, D., Wang, X., Wang, Z., & Zhou, S. (2022). AMO-Bench: Large Language Models Still Struggle in High School Math Competitions. arXiv preprint arXiv:2510.26768. - Balunovic, M., Dekoninck, J., Petrov, I., Jovanovic, N., & Vechev, M. (2025). Matharena: Evaluating LLMs on uncontaminated math competitions. matharena.ai. - Hugging Face. (2025). Daily Papers. huggingface.co/papers. - LongCat. (2025). GitHub. github.com/meituan-longcat. - Lee, H. (2025). Computation and Language - Immersive Paper Discovery. papers.cool/arxiv/cs.CL. - ChatPaper. (2025). Explore and AI Chat with the Academic Papers. chatpaper.com. - He, L., Mavrikis, M., & Cukurova, M. (2025). Deep Learning Monitor - Find new Arxiv papers, tweets and Reddit. deeplearn.org. - Petrov, I., Dekoninck, J., Baltadzhiev, L., Drencheva, M., Minchev, K., Balunovic, M., Jovanovic, N., & Vechev, M. (n.d.). PROOF OR BLUFF? EVALUATING LLMS ON 2025 USA MATH OLYMPIAD. files.sri.inf.ethz.ch/matharena/usamo_report.pdf. - arXiv. (2022). arXiv reCAPTCHA. arxiv.org/abs/2410.07985.