Hugging Face plant öffentlichen Hackathon zur Reproduktion von NeurIPS-Arbeiten

Urteile sollen auf Belegen statt auf Selbsteinschätzungen beruhen

Für jede untersuchte Behauptung sind drei Urteile vorgesehen: „bestätigt“, „widerlegt“ oder „nicht schlüssig“. Als bestätigt gilt ein Ergebnis laut Beschreibung, wenn die Teilnehmenden dasselbe Resultat erzielen; „nicht schlüssig“ ist unter anderem für Fälle gedacht, in denen sich die Aussage anhand des Versuchs nicht beurteilen lässt. [2] Ein fehlgeschlagener Lauf ist damit nicht automatisch ein Beleg dafür, dass die ursprüngliche Behauptung falsch ist.

Besonders streng formuliert die Ausschreibung die Anforderungen an eine Widerlegung: Dafür soll ein Skript den Fehler nachvollziehbar zeigen und erläutern, worin das Problem besteht, etwa in einem Fehler der Arbeit oder des offiziellen Codes. [2] Diese Vorgabe soll verhindern, dass Abweichungen ohne Prüfung der Ursachen vorschnell als Falsifikation gewertet werden.

Für Zahlenwerte wollen die Organisatoren den eingereichten Code erneut ausführen und das Ergebnis mit der Angabe in der Arbeit vergleichen. Abbildungen und Diagramme sollen nach einem Bewertungsraster beurteilt werden, zunächst durch KI-Prüfer und anschließend durch Menschen. [2] Die vollständigen Kriterien waren auf der Seite noch als ausstehend gekennzeichnet. [2] Wie mit zufälligen Schwankungen, unterschiedlichen Hardwarebedingungen oder abweichender Rechenleistung im Einzelfall umgegangen wird, lässt sich daher aus den veröffentlichten Angaben noch nicht vollständig ableiten.

• Für jede Arbeit ist ein öffentliches Space mit Code, exakter Softwareumgebung, berichteter und erzielter Zahl, vollständigen Laufprotokollen und begründetem Urteil vorgesehen. [2]
• Die Einreichung soll außerdem den Agenten und das verwendete Modell sowie den Umfang menschlicher Unterstützung erfassen. [2]

Agentenspuren sollen den Arbeitsweg dokumentieren

Zusätzlich zur Versuchsdokumentation verlangt das Konzept eine Aufzeichnung der Agentensitzung, die als Datensatz auf dem Hub veröffentlicht werden soll. Die Organisationsseite kündigt dafür eine Funktion zum Veröffentlichen der Spur an, markiert sie aber noch als „Coming soon“. [2] Die spätere Einreichungs-App soll als Gradio-Anwendung und MCP-Server funktionieren, damit Agenten sie ebenfalls nutzen können. Auch der konkrete Link zum Formular war noch nicht verfügbar. [2]

Solche Spuren können nachvollziehbar machen, welche Schritte ein Agent vorgeschlagen oder ausgeführt hat. Sie beweisen für sich genommen jedoch nicht, dass eine wissenschaftliche Aussage stimmt; dafür sieht das Verfahren zusätzlich den ausführbaren Code, die Resultate und die erneute Prüfung vor. [2] Die Trennung zwischen Prozessprotokoll und Ergebnisnachweis ist für die Auswertung wichtig: Eine überzeugende Agentenerzählung ist nicht gleichbedeutend mit einer erfolgreichen Reproduktion.

Drei Teilnahmewege, aber noch offene Programmdetails

Neben der Hauptspur zur Reproduktion und Prüfung von Behauptungen beschreibt Hugging Face zwei weitere, noch als Entwurf gekennzeichnete Aktivitäten. Teilnehmende könnten Reproduktionen in Lernumgebungen für Agenten überführen oder auf Grundlage einer Arbeit eine Anwendung entwickeln, etwa eine Visualisierung oder einen Gradio-Workflow. Einzelheiten zu den zusätzlichen Spuren waren noch nicht festgelegt. [2]

Die Organisationsseite sieht vor, dass die Ergebnisse in öffentlichen Spaces eingereicht werden und bis zum Abgabetermin bearbeitet werden können. Änderungen nach Ablauf der Frist sollen bei der Bewertung nicht zählen; maßgeblich sei der Stand der zuletzt eingereichten Version. [2] Ein Starter-Template, die genaue Ordnerstruktur und ein Leitfaden wurden für die Zeit vor dem Start angekündigt, standen zum Abrufzeitpunkt aber noch aus. [2]

Auch die Anreize sind nicht vollständig konkretisiert. Der Gradio-Beitrag nennt 20 US-Dollar Hugging-Face-Guthaben pro registrierter Person. Die Organisationsseite spricht dagegen von 10 bis 20 US-Dollar und lässt offen, wie und wann das Guthaben ausgegeben wird. [1][2] Die Preise sind dort als geplant beschrieben, die Beträge jedoch als noch festzulegen; Sponsoren werden ebenfalls noch gesucht. [2] Die pauschale Ankündigung von „großen Preisen“ im Social-Media-Beitrag erlaubt daher keine Aussage über die tatsächliche Höhe oder Verteilung von Prämien. [1][2]

• Zum Zeitpunkt der abgerufenen Organisationsseite waren Registrierungsformular, detaillierte Teilnahmebedingungen und vollständige Bewertungskriterien noch nicht veröffentlicht. [2]
• Die Seite sieht vor, dass Einreichungen, Agentenspuren und Urteile öffentlich bleiben und später in offenen Datensätzen genutzt werden können. [2]

Öffentlichkeit schafft Prüfbarkeit und Offenlegungspflichten

Die Veranstalter verlangen, dass Code, Umgebung, Resultate, Protokolle und Agentenspur öffentlich bereitgestellt werden. Teilnehmende sollen persönliche Daten aus ihren Protokollen entfernen; die Seite weist ihnen die Verantwortung für veröffentlichte Inhalte zu. Ein unterstützendes Werkzeug dafür ist lediglich geplant. [2]

Für Organisationen folgt daraus eine praktische Abwägung: Die geforderte Offenheit kann externe Überprüfung ermöglichen, setzt aber voraus, dass die veröffentlichten Artefakte keine persönlichen oder vertraulichen Informationen enthalten. Diese Einordnung ergibt sich aus der Kombination aus öffentlicher Einreichung und dem ausdrücklichen Hinweis, persönliche Daten zu entfernen; konkrete Regeln für Betriebsgeheimnisse oder geschützte Forschungsdaten nennt die Seite bislang nicht. [2]

Ein separates Benchmark-Papier zeigt die technischen Hürden

Einen methodischen Vergleichspunkt liefert RECLAIM, ein eigenständiges Benchmark-Papier zu 100 NeurIPS-2025-Arbeiten. Es ist nicht Teil des angekündigten Hackathons und liefert keine Ergebnisse zu dessen Teilnehmenden. Die Studie legt für jede Arbeit ein Zielresultat, eine Toleranz für den Erfolg und ein begrenztes GPU-Zeitbudget fest. [3]

Die Autoren ordnen die Arbeiten nach dem Umfang der verfügbaren Materialien in drei Gruppen: „Run“ umfasst Arbeiten mit Code, Daten und Gewichten; bei „Retrain“ fehlen Gewichte, sodass neu trainiert werden muss; bei „Reimplement“ fehlt der Code und der Agent muss die Methode aus der Arbeit umsetzen. Für die Versuche galt ein Höchstbudget von 96 H100-Stunden. [3] Die Gruppen unterscheiden sich damit nicht nur im Aufwand, sondern auch darin, wie viel technische Umsetzung der Agent selbst übernehmen muss.

Im Benchmark wurden vier Agenten jeweils einmal pro Arbeit getestet. Laut Zusammenfassung reproduzierte der jeweils beste Agent 41 Prozent der Arbeiten in der Run-Gruppe, 27 Prozent in Retrain und 15 Prozent in Reimplement. Insgesamt bestätigten die Prüfer 73 Reproduktionen unter 400 Agent-Arbeit-Läufen. [3] Diese Werte beschreiben das dort verwendete Setup und lassen sich nicht ohne Weiteres auf den Hugging-Face-Hackathon übertragen, dessen Agenten, Aufgaben und Bewertungsbedingungen anders sein können.

• Ein häufiger Fehler in den RECLAIM-Läufen war, die Methode umzusetzen, ohne das Ergebnis anhand der Zahlen der Arbeit zu prüfen; die Autoren ordneten 63 von 400 Läufen diesem Problem zu. [3]
• Eine separate Sprachmodell-Prüfung bewertete Protokolle und Ergebnisbelege; ihr Abgleich mit menschlichen Bewertungen erreichte laut Papier einen F1-Wert von 0,82. [3]

Ein erzeugter Messwert ist noch kein Nachweis

RECLAIM prüfte nicht nur, ob ein Agent selbst Erfolg meldete. Ein separates Modell bewertete Protokolle und Ausgaben danach, ob sich die gemessene Zahl auf den tatsächlichen Lauf zurückführen ließ und ob Versuchsprotokoll, Datensatzaufteilung und Umfang eingehalten wurden. Die menschlichen Bewertungen bezogen sich auf 396 gestartete Läufe; die berichtete Übereinstimmung mit dem automatisierten Prüfer zeigt zugleich, dass auch diese Prüfung nicht als unfehlbar gelten kann. [3]

Die Studie beschreibt außerdem einen konkreten Fall, in dem ein Agent eine Reproduktion meldete, obwohl ein Versuch, eine Methode auszuschalten, wegen fehlerhafter Argumentbehandlung nicht funktioniert hatte. [3] Das Beispiel verdeutlicht, weshalb ein dokumentierter Ablauf, ein ausführbares Skript und ein unabhängig nachvollziehbares Urteil mehr Aussagekraft haben als die Selbsteinschätzung des Agenten allein.

Frühere Challenge-Erfahrungen sind kein Wirksamkeitsnachweis

Hugging Face hatte im August in einer eigenen Rückschau über eine Reproduktions-Challenge zu ICML 2026 berichtet. Laut Beschreibung des Unternehmens nahmen mehr als 1.200 Personen mit Agenten teil; mehr als 2.000 Arbeiten seien reproduziert oder widerlegt worden. Die Rückschau nannte außerdem rund 13.000 Repositories und etwa drei Terabyte an Artefakten. [4]

Diese Zahlen sind als Angaben des Veranstalters einzuordnen, nicht als unabhängig geprüfte Erfolgsquote. Die verfügbare Beschreibung erläutert nicht, nach welchen einheitlichen Kriterien die Arbeiten als reproduziert oder widerlegt gezählt wurden. [4] Sie belegt damit, dass Hugging Face bereits eine größere Challenge dieser Art veranstaltet hat, aber nicht, dass deren Resultate unmittelbar mit dem geplanten NeurIPS-Wettbewerb oder mit dem kontrollierten RECLAIM-Benchmark vergleichbar sind.

• Der NeurIPS-Hackathon war zum Ankündigungszeitpunkt noch nicht gestartet; entsprechend liegen in den bereitgestellten Quellen keine Resultate aus dieser Veranstaltung vor. [1][2]
• Vor einer Teilnahme sollten Teams insbesondere die finalen Bewertungsregeln, die Höhe und Ausgabe der Guthaben sowie den Umgang mit öffentlich sichtbaren Protokollen prüfen. Die zugehörigen Angaben waren teilweise noch offen. [2]

Was Unternehmen aus dem Vorhaben ableiten können

Die Ausschreibung macht reproduzierbare Artefakte zum zentralen Arbeitsprodukt: Einreichungen sollen nicht nur eine Kennzahl nennen, sondern ausführbaren Code, eine festgehaltene Softwareumgebung und die Protokolle sämtlicher Läufe enthalten. [2] Für interne Forschungs- und Modellteams lässt sich daraus als Analyse ableiten, dass Agentenprüfungen besonders dann auditierbar werden, wenn Versuchsbedingungen und fehlgeschlagene Läufe ebenso dokumentiert werden wie erfolgreiche Ergebnisse.

Die Grenzen sind ebenso wichtig. Die Veranstalter wollen Einreichungen nach festen Kriterien bewerten, doch Teile dieser Kriterien und der Teilnahmebedingungen waren noch offen. [2] Das RECLAIM-Papier zeigt zudem, dass Agenten selbst bei Arbeiten mit veröffentlichtem Code nicht durchgängig reproduzieren und dass die Ergebnisprüfung eine eigene Fehlerquelle bleibt. [3] Der Hackathon kann daher Hinweise auf die Leistungsfähigkeit konkreter Agenten in ausgewählten Aufgaben liefern; die Ankündigung allein belegt weder eine allgemeine Automatisierung wissenschaftlicher Replikation noch die Verlässlichkeit eines Agenten für unternehmenskritische Forschungsentscheidungen.

Quellen

1. [1] Gradio — https://x.com/Gradio/status/2121395044183908403 (abgerufen am 2026-11-14)
2. [2] Neurips-2026-MLIntern-Repro (Neurips 2026 ML Intern Reproductions) — https://huggingface.co/Neurips-2026-MLIntern-Repro (abgerufen am 2026-11-14)
3. [3] RECLAIM: Can Agents Reproduce the Claims of Machine Learning Papers? | alphaXiv — https://www.alphaxiv.org/abs/2609.28850 (abgerufen am 2026-11-14)
4. [4] How AI agents reproduced ICML 2026 papers - YouTube — https://www.youtube.com/watch?v=8qpEDpNhzWY (abgerufen am 2026-11-14)