Neue Maßstäbe in der KI-Bewertung durch die First Proof-Herausforderung

Die rapide Entwicklung künstlicher Intelligenz (KI) stellt die wissenschaftliche Gemeinschaft vor die Frage, wie die Fähigkeiten dieser Systeme objektiv und umfassend bewertet werden können. Insbesondere in Bereichen wie der reinen Mathematik, die logisches Denken und die Generierung neuer Erkenntnisse erfordern, sind herkömmliche Benchmarks oft unzureichend. Vor diesem Hintergrund wurde die "First Proof"-Herausforderung ins Leben gerufen – ein neuartiger Ansatz, um die Grenzen der aktuellen KI-Modelle in der mathematischen Forschung auszuloten.

Die "First Proof"-Initiative: Ein neuer Ansatz zur KI-Bewertung

Die "First Proof"-Herausforderung wurde von einer Gruppe von elf renommierten Mathematikern initiiert, darunter ein Fields-Medaillen-Gewinner. Ihr Ziel war es, einen Test zu entwickeln, der über die bisherigen Bewertungsmethoden hinausgeht und die Fähigkeit von KI-Systemen zur autonomen Lösung von Forschungsproblemen misst. Der Kernansatz besteht darin, Probleme zu stellen, die:

• Neu und ungelöst sind: Die zehn ausgewählten Aufgaben sind "Lemmata" – kleinere Theoreme, die im Zuge größerer Forschungsprojekte der beteiligten Mathematiker entstanden sind. Ihre Lösungen waren zum Zeitpunkt der Herausgabe nicht öffentlich zugänglich oder Teil der Trainingsdaten gängiger Large Language Models (LLMs).
• Originalität erfordern: Die Probleme sind so konzipiert, dass ihre Lösung nicht durch das bloße Durchsuchen bestehender mathematischer Literatur gefunden werden kann, sondern ein gewisses Maß an originellem Denken erfordert.
• Überprüfbar sind: Obwohl die Probleme neu sind, existieren bereits menschliche Beweise für ihre Lösungen, die es den Initiatoren ermöglichen, die Korrektheit der KI-generierten Lösungen zu überprüfen.

Die Herausforderung wurde am 5. Februar 2026 veröffentlicht, und die KI-Systeme hatten eine Woche Zeit, um Lösungen zu generieren. Die menschlichen Lösungen wurden verschlüsselt hinterlegt und am 13. Februar freigegeben, um eine Kontamination der KI-Modelle zu vermeiden.

Die Rolle von neuartiger Forschung bei der KI-Bewertung

Die Initiatoren der "First Proof"-Herausforderung betonen die Bedeutung von neuartiger Forschung als Weg zur Bewertung der Fähigkeiten der nächsten Generation von KI-Modellen. Andrew Sutherland, ein Mathematiker vom Massachusetts Institute of Technology, der nicht an der Erstellung der Prüfung beteiligt war, bezeichnete "First Proof" als ein "viel besseres Experiment als alle bisher gesehenen", da es die Schwierigkeit des Testens mathematischer Fähigkeiten von KI-Systemen direkt adressiert. Die reine Mathematik bietet hierbei einen idealen Prüfstein, da mathematische Beweise einer überprüfbaren Abfolge logischer Schritte folgen und ihre Schlussfolgerungen objektiv wahr oder falsch sind.

In der Vergangenheit gab es bereits Erfolge von KI in der Mathematik, wie die gold-level Leistung von Googles Gemini Deep Think bei der International Mathematical Olympiad oder die Lösung einiger "Erdős-Probleme". Diese Tests waren jedoch keine kontrollierten Experimente und es bestand die Möglichkeit, dass LLMs bereits existierende Beweise aus ihren Trainingsdaten abrufen und als originär präsentieren. "First Proof" versucht, diese Unklarheiten zu beseitigen, indem nur brandneue Probleme verwendet werden.

OpenAIs Beteiligung und erste Ergebnisse

OpenAI, ein führendes Unternehmen im Bereich der KI-Entwicklung, reagierte auf die Herausforderung und setzte sein internes Modell mit begrenzter menschlicher Aufsicht auf die zehn Probleme an. Jakub Pachocki, Chefwissenschaftler bei OpenAI, gab in einem Social-Media-Beitrag bekannt, dass sechs der zehn Lösungen eine hohe Wahrscheinlichkeit hätten, korrekt zu sein. Diese Aussage deutet auf eine signifikante Leistung hin, erfordert jedoch eine detaillierte Überprüfung.

Die ersten Auswertungen der "First Proof"-Initiatoren zeigten ein gemischtes Bild:

- Die KI-Systeme konnten selbstbewusst Beweise für jedes Problem liefern. - Lediglich zwei der von den Initiatoren selbst getesteten KI-Lösungen waren korrekt. - Eine dieser korrekten Lösungen (für Problem 9) ähnelte einem bereits existierenden Beweis auffallend. - Problem 1 war "kontaminiert", da ein Skizzenbeweis des Autors bereits archiviert war, doch die LLMs konnten die Lücken dennoch nicht schließen. - Mohammed Abouzaid, Mathematikprofessor an der Stanford University und Mitglied des "First Proof"-Teams, bemerkte, dass die korrekten KI-Lösungen oft den "Geschmack von Mathematik des 19. Jahrhunderts" hatten, während das Ziel die Entwicklung der Mathematik des 21. Jahrhunderts sei.

Die Herausforderung zeigte auch, dass die Unterscheidung zwischen menschlicher und maschineller Leistung schwierig sein kann, insbesondere wenn menschliche Eingaben oder Anstöße involviert sind, was die "First Proof"-Regeln ausdrücklich ausschließen.

Limitierungen und zukünftige Perspektiven

Die Ergebnisse der "First Proof"-Herausforderung unterstreichen sowohl das Potenzial als auch die aktuellen Grenzen von KI in der mathematischen Forschung. Während KI-Modelle in der Lage sind, komplexe logische Strukturen zu verarbeiten und überzeugende Texte zu generieren, bleibt die Fähigkeit zur originären, nicht-trivialen Problemlösung eine signifikante Hürde. Es wird angenommen, dass die Modelle noch Schwierigkeiten mit der eigentlichen Generierung neuer Ideen und dem "Forschungsgeschmack" haben, der für die Identifizierung vielversprechender Lösungswege entscheidend ist.

Die Initiatoren planen bereits eine zweite Runde der "First Proof"-Herausforderung mit strengeren Kontrollen, um die Autonomie der KI-Lösungen noch besser zu gewährleisten und die Bewertung zu verfeinern. Dies beinhaltet auch die Berücksichtigung von Aspekten wie:

• Zusammenarbeit zwischen Mensch und KI: Wie kann der Beitrag von KI als konzeptioneller Partner bewertet werden, wenn Menschen an der Problemlösung beteiligt sind?
• Vorhandene Literatur: Wie wird sichergestellt, dass KI-Lösungen tatsächlich neu sind und nicht auf bereits bekannten, aber schwer zugänglichen Ergebnissen basieren?
• Rechenleistung: Inwieweit könnten brute-force-Methoden mit enormer Rechenleistung zu Lösungen führen, die weniger mathematische Einsicht erfordern?

Trotz der gemischten Ergebnisse sehen viele Mathematiker in KI ein vielversprechendes Werkzeug zur Beschleunigung von Routineaufgaben und zur Unterstützung bei der Entdeckung neuer mathematischer Zusammenhänge. Die "First Proof"-Herausforderung ist somit ein wichtiger Schritt, um die Fähigkeiten von KI-Systemen in der Grundlagenforschung präziser zu messen und ihre Entwicklung in Richtung einer echten Unterstützung für die wissenschaftliche Entdeckung voranzutreiben.

Die Debatte um die Fähigkeit von KI, mathematische Probleme auf Forschungsniveau zu lösen, wird sich voraussichtlich fortsetzen und durch Initiativen wie "First Proof" weiter an Tiefe gewinnen. Für Unternehmen, die im Bereich der KI-Entwicklung tätig sind, bieten solche Benchmarks wertvolle Einblicke in die Stärken und Schwächen ihrer Modelle und leiten die weitere Forschung und Entwicklung.

Bibliography 1stproof.org. (n.d.). First Proof | Research-Level Math for AI Evaluation. Retrieved from https://1stproof.org/ 1stproof.org. (n.d.). First Proof | Research-Level Math for AI Evaluation (FAQ). Retrieved from https://1stproof.org/faq.html Howlett, J. (2026, February 9). Mathematicians launch First Proof, a first-of-its-kind math exam for AI | Scientific American. Scientific American. Retrieved from https://www.scientificamerican.com/article/mathematicians-launch-first-proof-a-first-of-its-kind-math-exam-for-ai/ Howlett, J. (2026, February 14). First Proof is AI's toughest math test yet. The results are mixed | Scientific American. Scientific American. Retrieved from https://www.scientificamerican.com/article/first-proof-is-ais-toughest-math-test-yet-the-results-are-mixed/ OpenAI. (2025, December 16). Evaluating AI’s ability to perform scientific research tasks | OpenAI. Retrieved from https://openai.com/index/frontierscience/ Reddit. (n.d.). OpenAI's internal model is claimed to have solved (with limited human supervision) 6/10 "First Proof" problems, a set of challenging research-level open problems published last week : r/accelerate. Retrieved from https://www.reddit.com/r/accelerate/comments/1r4aq2g/openais_internal_model_is_claimed_to_have_solved/ Submitted on 7 Nov 2024 (v1), last revised 28 Aug 2025 (this version, v6). (n.d.). FrontierMath: A Benchmark for Evaluating Advanced Mathematical Reasoning in AI. Retrieved from https://arxiv.org/abs/2411.04872 Epoch AI & various writers. (2026, January 27). Introducing FrontierMath: Open Problems. Retrieved from https://epochai.substack.com/p/introducing-frontiermath-open-problems Epoch AI. (n.d.). Benchmarking AI on unsolved math problems. Retrieved from https://epoch.ai/frontiermath/open-problems/about cafiac.com. (n.d.). Anthony Zador | cafiac.com. Retrieved from https://www.cafiac.com/?q=fr%2FIAExpert%2Fanthony-zador