// Regulierung 27.10.2026 · 17:22 Uhr 8 Min. Lesezeit

LLMs als Neuheitsprüfer: Kleine Prompt-Änderungen kippen Forschungsurteile

Mindverse News

KI-gestützt erstellt 2 Quellen Arbeitsweise

KI-generierte Illustration: LLMs als Neuheitsprüfer: Kleine Prompt-Änderungen kippen Forschungsurteile — KI-generierte Illustration

Das Wichtigste in Kürze

Ein von Ai2 vorgestellter Benchmark zeigt, dass sechs getestete LLM-Judges bei der Bewertung von Forschungsneuheit empfindlich auf Änderungen am Prompt reagieren. [1]
Bei denselben Paaren aus menschlichen und KI-generierten Ideen sank die Genauigkeit von GPT-5.4 nach einem Prompt-Wechsel von 93,5 auf 40,9 Prozent. Die KI-Ideen waren dabei mit schwachen Labels als weniger neu eingeordnet. [1]
Mehr Recherche und Rechenaufwand verbesserten die Ergebnisse nicht zuverlässig; zwei spezialisierte Systeme schnitten im Benchmark schlechter ab als eine einfachere Claude-Opus-4.6-Konfiguration. [1]
Eine separate Studie mit menschlichen Fachgutachtern bewertete KI-generierte NLP-Ideen als neuartiger als Ideen von Experten. Sie prüfte jedoch die Ideengenerierung, nicht die Zuverlässigkeit eines LLM als Neuheitsprüfer. [2]
Für Unternehmen spricht die Befundlage dafür, LLM-Urteile als vorläufiges Screening statt als alleinige Entscheidungsgrundlage zu nutzen und ihre Stabilität systematisch zu prüfen. [1][2]

// Inhalt · 8 Abschnitte

Neuheit beurteilen ist eine andere Aufgabe als Ideen erzeugen
Der Benchmark stützt sich auf Gutachten, nicht nur auf Annahmen über Annahmequoten
Ein Prompt-Wechsel veränderte die Trefferquote um mehr als 50 Punkte
Mehr Recherche und höhere Kosten garantieren keine besseren Urteile
Die Aussagekraft endet dort, wo die Testbedingungen enden
Eine Humanstudie zur Ideengenerierung beantwortet eine andere Frage
Folgen für Unternehmen: Bewertungswerte nicht mit belastbarer Neuheit verwechseln
Als Assistenz vertretbar, als alleinige Instanz nicht belegt
Quellen

Neuheit beurteilen ist eine andere Aufgabe als Ideen erzeugen

LLMs können Forschungsansätze formulieren und zugleich als Prüfer bewerten, ob eine Idee gegenüber bisheriger Literatur etwas Neues beiträgt. Diese zweite Aufgabe bezeichnet Ai2 als „novelty judging“: Ein Modell beurteilt eine Idee entweder für sich oder im Vergleich mit einer anderen. Dafür gibt es laut Ai2 bislang kein einheitliches Verfahren; schon die Wahl von Modell, Prompt, Bewertungsformat, verfügbarem Denkbudget und Literaturrecherche kann das Urteil beeinflussen. [1]

Am 27. Oktober 2026 stellte Ai2 eine Studie samt Benchmark, Daten und Code vor, um diese Zuverlässigkeit zu untersuchen. Die Ergebnisse betreffen damit nicht nur die Fähigkeit eines Modells, überzeugend klingende Forschungsvorschläge zu schreiben. Sie stellen auch die Frage, ob sich ein LLM-Urteil über deren Neuheit reproduzieren lässt, wenn sich die Bewertungsbedingungen geringfügig ändern. [1]

Ein Bewertungsmodell kann Ideen einzeln mit einem absoluten Neuheitswert versehen oder zwei Vorschläge miteinander vergleichen. [1]
Die Benchmarkergebnisse zeigen, dass die konkrete Aufgabenformulierung das Urteil stark beeinflussen kann. [1]

Der Benchmark stützt sich auf Gutachten, nicht nur auf Annahmen über Annahmequoten

Für den ersten Testbereich, „Human-Only“, extrahierte Ai2 Neuheitssignale aus den Peer Reviews der ICLR 2026. Der Pool mit hoher Neuheit umfasst 154 menschlich verfasste Ideen aus angenommenen Arbeiten, die in ihren jeweiligen Forschungsbereichen zu den am höchsten bewerteten zehn Prozent gehörten und deren Gutachter die Originalität positiv hervorhoben, ohne dass ein Gutachter widersprach. Der Gegenpool enthält 145 Ideen aus abgelehnten Arbeiten im untersten Bewertungsdezil, bei denen Gutachter Originalitätsbedenken äußerten, ohne die Neuheit positiv zu beurteilen. [1]

Ai2 begründet die Nutzung der Gutachten damit, dass eine Annahme allein kein verlässlicher Neuheitsbeleg ist: Eine Arbeit kann aus anderen Gründen überzeugen; umgekehrt kann eine originelle Arbeit wegen anderer Schwächen abgelehnt werden. Eine gesonderte Prüfung der extrahierten Signale ergab, dass ein Annotator in 47 von 50 Fällen mit der Einschätzung übereinstimmte, ob ein Review die Neuheit positiv oder negativ bewertete. [1]

Der zweite Bereich, „Human+Generated“, kombiniert dieselben 154 menschlichen Ideen mit 154 Vorschlägen eines einfachen LLM-Generators. Dieser erhielt lediglich ein Forschungsgebiet und die Aufforderung, eine neuartige Idee vorzuschlagen; Literaturrecherche, Werkzeuge, Iterationen und Feedback waren ausgeschlossen. Ai2 behandelte die generierten Vorschläge als weniger neu als die menschlichen. Das sind ausdrücklich schwache Labels und keine einzeln verifizierten Urteile über jede Idee. [1]

Ein Prompt-Wechsel veränderte die Trefferquote um mehr als 50 Punkte

Den größten Einfluss auf die Leistung hatten in den Tests laut Ai2 die Prompts. Ein Beispiel betrifft GPT-5.4 und Paare aus dem Bereich „Human+Generated“. In einer Variante hieß es, Gutachter hätten genau eine der beiden Ideen als neu eingestuft; das Modell sollte diese identifizieren. Eine andere Variante fragte lediglich, welche Idee neu sei. Mit diesem einfacheren Prompt fiel die Genauigkeit von 93,5 auf 40,9 Prozent – also unter die Zufallsquote. Bei mehr als der Hälfte derselben Paare änderte GPT-5.4 sein Urteil. [1]

Das Ergebnis ist vor dem Hintergrund der schwachen Labels einzuordnen: Die Studie verifizierte nicht für jede KI-generierte Idee unabhängig, dass sie tatsächlich weniger neu war. Der Prompt-Vergleich zeigt aber, dass sich das Modellurteil innerhalb dieses Testaufbaus stark verschieben kann, obwohl die verglichenen Ideen gleich bleiben. [1]

Auch auf dem ausschließlich menschliche Ideen enthaltenden Datensatz war die Bewertung nicht völlig stabil. Der beschriebene Prompt-Wechsel verschob die Genauigkeit dort im Vergleich um rund sieben Prozentpunkte; bei Claude Opus 4.6 betrug die Veränderung 21 Punkte. Insgesamt fiel die Verschiebung bei KI-generierten Ideen stärker aus als bei menschlichen. Einen universell besten Prompt fanden die Forschenden ebenfalls nicht: Eine zusätzliche Warnung davor, triviale oder nur inkrementelle Beiträge als neu einzustufen, half einzelnen Modellen und schadete anderen. [1]

Beim Vergleich von Ideen zweier KI-Generatoren änderte sich über verschiedene Prompt-Varianten hinweg im Mittel ungefähr ein Viertel bis ein Drittel der Urteile der sechs getesteten Prüfer. Für diesen Befund muss nicht angenommen werden, welcher Generator tatsächlich neuartigere Ideen hervorbringt: Er zeigt zunächst, dass die Promptwahl beeinflussen kann, wie zwei Ideensysteme gegeneinander abschneiden. [1]

Mehr Recherche und höhere Kosten garantieren keine besseren Urteile

Ai2 untersuchte außerdem, ob zusätzliche Recherche oder mehr Schlussfolgerungsaufwand die Bewertung verbessern. Ein GPT-5.6-Sol-Prüfer erhielt ein besonders hohes Reasoning-Budget und durfte iterativ in arXiv suchen. In diesem Test erreichte er einen Macro-F1-Wert von 0,78. Claude Opus 4.6 kam mit 0,89 auf einen um elf Punkte höheren Wert; einfachere Konfigurationen mit Claude Opus 4.5 und GPT-5.4 lagen laut Ai2 in einem ähnlichen Bereich wie der recherchierende Agent. Macro-F1 fasst dabei zusammen, wie gut ein Prüfer neuartige und nicht neuartige Ideen unterscheidet. [1]

Auch spezialisierte Systeme lagen in diesem Vergleich hinter einer einfacheren Baseline. Ein Claude-Opus-4.6-Prompt mit niedrigem Reasoning-Aufwand und Mehrheitsentscheidung aus drei Aufrufen erreichte im „Human+Generated“-Datensatz einen Macro-F1-Wert von 0,854 bei Gesamtkosten von 2,59 US-Dollar. Der literaturgestützte Idea Novelty Checker kam auf 0,642 bei 30,66 US-Dollar; Sakana AIs AI Scientist auf 0,772 bei 82,05 US-Dollar. Ai2 zufolge nutzten beide spezialisierten Systeme Claude Opus 4.6, jeweils mit einem Aufruf pro Entscheidung. [1]

Diese Kosten und Leistungswerte sind Ergebnisse des beschriebenen Benchmarks und der von Ai2 angesetzten API-Preise; sie sind keine allgemeingültige Rangliste für alle Fachgebiete oder späteren Modellversionen. Sie zeigen aber, dass zusätzliche Systemkomplexität in diesem Test nicht automatisch einen Genauigkeitsgewinn brachte. [1]

Die Aussagekraft endet dort, wo die Testbedingungen enden

Die Benchmark-Konstruktion hat erkennbare Grenzen. Die menschlichen Vergleichsgruppen wurden gezielt aus den besonders hoch beziehungsweise niedrig bewerteten Arbeiten ausgewählt. Das testet, ob Modelle deutliche Unterschiede in den verfügbaren Neuheitssignalen erkennen, nicht unbedingt, wie sie bei zwei gleich plausiblen, aktuellen Ideen aus einem anderen Fachgebiet entscheiden. Die KI-generierten Ideen stammten zudem aus einem einfachen Generator ohne Literaturzugriff; ihre Einordnung als weniger neu war eine Annahme und kein geprüfter Wahrheitswert. [1]

Ai2 berichtet als ergänzende Prüfung, dass ein Fachgutachter 30 Paare aus „Human+Generated“ bewertete. Die Auswahl war stark auf Fälle ausgerichtet, in denen der stärkste getestete Prüfer falsch lag. Der Experte bevorzugte in allen 30 Paaren die menschliche Idee und stufte keine der generierten Ideen als neu ein. Diese Prüfung gibt zusätzliche Hinweise, ist wegen ihrer kleinen und gezielt ausgewählten Stichprobe aber keine unabhängige Gesamtvalidierung des Benchmarks. [1]

Die Forschenden heben zugleich hervor, dass ein Teil der Kernbeobachtung nicht von der Richtigkeit der Labels abhängt: Wenn zwei vernünftige Bewertungsvarianten derselben Idee zu gegensätzlichen Urteilen kommen, dokumentiert dieser Widerspruch eine Instabilität im Bewertungsverfahren. Er belegt jedoch nicht, welches Urteil richtig ist. Der Befund ist deshalb am stärksten als Warnung vor der Verlässlichkeit einzelner LLM-Urteile zu lesen, nicht als vollständige Messung wissenschaftlicher Originalität. [1]

Eine Humanstudie zur Ideengenerierung beantwortet eine andere Frage

Eine Stanford-Studie aus dem Jahr 2024 liefert einen nützlichen, aber nicht direkt widersprüchlichen Befund. Mehr als 100 NLP-Forschende wirkten an der Untersuchung mit; 79 Fachleute führten die beschriebenen verblindeten Bewertungen durch. Sie beurteilten jeweils 49 Ideen aus drei Bedingungen: von Experten verfasste Vorschläge, von einem LLM erzeugte Ideen und LLM-Ideen, die ein menschlicher Experte nachträglich ausgewählt hatte. Die Vorschläge wurden in Format und Stil vereinheitlicht. [2]

In dieser Untersuchung bewerteten die Fachleute die KI-generierten Ideen als signifikant neuartiger als die menschlichen Vorschläge. Bei der Machbarkeit schnitten die KI-Ideen leicht schwächer ab; für einen eindeutigen statistischen Schluss zu diesem Unterschied war die Studie nach eigener Einordnung jedoch nicht ausreichend dimensioniert. Die Untersuchung bezog sich auf prompting-basierte NLP-Forschung und menschliche Bewertungen von schriftlichen Vorschlägen. [2]

Das Ergebnis zeigt, dass Ideen aus einem LLM in einer kontrollierten Bewertung neuartig wirken können. Es belegt nicht, dass ein LLM als Prüfer zuverlässig erkennt, welche Idee neu ist: In der Stanford-Studie bewerteten menschliche Fachleute die Vorschläge, während Ai2 die Stabilität von LLM-Prüfern untersuchte. Ebenso wurden in der Humanstudie nicht die späteren Forschungsergebnisse der Vorschläge miteinander verglichen; eine Ausführung der Ideen wurde als möglicher Gegenstand künftiger Untersuchungen beschrieben. [1][2]

Folgen für Unternehmen: Bewertungswerte nicht mit belastbarer Neuheit verwechseln

Für Unternehmen, die LLMs zur Vorauswahl von Forschungs- oder Produktideen einsetzen, liegt das zentrale Risiko weniger in einer einzelnen falschen Zahl als in einer scheinbar stabilen Rangfolge, die von Modell, Prompt oder Suchverfahren abhängt. Wenn solche Rangfolgen Entscheidungen über weitere Prüfung oder Ressourceneinsatz vorbereiten, kann ein nicht getesteter Promptwechsel Ergebnisse verschieben. Das ist eine aus den Benchmarkbefunden abgeleitete Analyse, keine Messung konkreter Unternehmensprozesse. [1]

Ein Neuheitswert sollte deshalb als Hinweis für die weitere Prüfung und nicht als eigenständiger Nachweis von Originalität behandelt werden. Für Entscheidungen mit größerer Tragweite ist es sinnvoll, denselben Vorschlag unter mehreren klar dokumentierten Bewertungsvarianten zu prüfen, die Meinungsverschiedenheiten sichtbar zu machen und relevante Literatur samt Begründung durch Fachleute beurteilen zu lassen. Diese Vorgehensweise folgt aus der beobachteten Prompt-Empfindlichkeit und den Grenzen der Benchmark-Labels. [1]

Auch bei der Evaluation eines solchen Systems zählt nicht nur die Trefferquote auf einem einzelnen Datensatz. Unternehmen sollten prüfen, ob Testbeispiele aus dem eigenen Fachgebiet stammen, ob sie sowohl Ideen menschlichen als auch KI-Ursprungs abdecken und ob die Neuheitssignale unabhängig genug sind, um die gewünschte Entscheidung abzubilden. Die Stanford-Studie und der Ai2-Benchmark unterscheiden sich sowohl in der bewertenden Instanz als auch in der Aufgabe; ihre Ergebnisse unterstreichen daher, dass „Ideen erzeugen“, „Ideen menschlich bewerten“ und „LLMs als Prüfer einsetzen“ getrennte Fähigkeiten sind. [1][2]

Als Assistenz vertretbar, als alleinige Instanz nicht belegt

Die vorliegenden Ergebnisse erlauben keine pauschale Aussage, dass LLMs Forschungsneuheit grundsätzlich nicht beurteilen können. Sie zeigen jedoch, dass einzelne Urteile unter den getesteten Bedingungen stark von der Formulierung abhängen und dass mehr Recherche, höherer Rechenaufwand oder spezialisierte Architektur nicht automatisch zu besseren Ergebnissen führen. Die Genauigkeit auf einem Benchmark mit schwachen Labels ist außerdem kein Beweis dafür, dass eine Idee im vollständigen wissenschaftlichen Sinn originell ist. [1]

Für Organisationen ist daher eine begrenzte Rolle plausibler: Ein LLM kann Vorschläge strukturieren, mögliche Überschneidungen mit Literatur benennen und Prüfbedarf markieren. Ob eine Idee tatsächlich einen eigenständigen Beitrag leistet, sollte die Organisation nicht allein aus einer Modellbewertung ableiten. Der Benchmark von Ai2 macht gerade die Stabilität solcher Urteile messbar – und zeigt, dass diese Stabilität weiterhin ein offenes Problem ist. [1]

Quellen

[1] Can we trust LLMs to judge whether a research idea is novel? — https://huggingface.co/blog/allenai/novelty-bench (abgerufen am 2026-10-27)
[2] Can LLMs Generate Novel Research Ideas? A Large-Scale Human Study with 100+ NLP Researchers — https://arxiv.org/html/2409.04109v1 (abgerufen am 2026-10-27)