PatEx-Gym macht die iterative Patentrecherche zum Test für KI-Agenten

Benchmark mit Patent- und Fachliteraturbeständen

Das erste Bauteil, PatEx-Bench, umfasst nach Darstellung der Autoren 1.000 realistische Prüfungsaufgaben. Hinzu kommen zwei große Suchkorpora mit insgesamt mehr als einer Million Patenten und 52.000 wissenschaftlichen Arbeiten. Die bereitgestellte Beschreibung nennt jedoch weder die einzelnen Datenbestände noch deren Abdeckung nach Ländern, Fachgebieten, Sprachen oder Veröffentlichungszeiträumen. [1]

Die Laufzeitumgebung soll mehrere Aktionen abbilden: iteratives Suchen, den Besuch einzelner Dokumente, schrittweises Schlussfolgern und die Erstellung von Office Actions. Damit können Benchmark-Aufgaben nicht nur danach beurteilt werden, ob die abschließende Neuheitsentscheidung stimmt, sondern auch danach, wie ein Agent zu ihr gelangt. Welche konkreten Werkzeuge, Suchschnittstellen oder Bewertungsregeln der Harness bereitstellt, geht aus dem verfügbaren Abstract allerdings nicht hervor. [1]

Die Größe des Suchraums ist dabei ein Bestandteil des Tests, aber für sich genommen kein Nachweis umfassender Abdeckung. Das Europäische Patentamt weist darauf hin, dass relevanter Stand der Technik nicht auf vermarktete Produkte oder Patentdokumente beschränkt ist; auch andere frühere Beschreibungen können eine Rolle spielen. Für die Einordnung von PatEx-Gym ist deshalb wichtig, welche Quellen die Korpora tatsächlich enthalten und welche außerhalb des Benchmarks liegen. [1][4]

PASS erzeugt Trainingsverläufe aus Dokumentbesuchen

Das zweite Bauteil heißt PASS, kurz für „Prior-Art Agentic Search Trajectory Synthesis“. Die Autoren beschreiben das Verfahren als annotierungsfrei: Es verwendet Dokumentbesuche als implizite Hinweise auf Relevanz und als Anker für die Aufnahme von Belegen. Daraus erzeugt es PatEx-SynData, einen Bestand synthetischer Rechercheverläufe. [1]

PASS soll dabei unterschiedliche Ebenen des Suchprozesses modellieren: das Verhalten bei der Formulierung von Suchanfragen innerhalb eines Arbeitsschritts, die Entwicklung der Recherche über mehrere Schritte sowie die Qualität der gesammelten Belege und des Gesamtergebnisses. Das soll Trainingsdaten nicht nur für einzelne passende Dokumente, sondern für zusammenhängende Suchstrategien liefern. [1]

Analytisch liegt der Vorteil darin, dass ein Rechercheverlauf mehr Informationen enthalten kann als ein einzelnes Richtig-oder-falsch-Label. Ein Agent kann etwa zu einem relevanten Dokument gelangen, obwohl einzelne Zwischenschritte wenig ergiebig sind; umgekehrt kann eine korrekte Endentscheidung auch ohne gründliche Suche zustande kommen. Dokumentbesuche als Relevanzsignal bleiben jedoch indirekt: Aus der Beschreibung ist nicht ersichtlich, wie PASS Fehlbesuche, übersehene Quellen oder unterschiedliche Qualität der Begründungen behandelt. [1]

Ein 4B-Modell als kompakte Vergleichsbasis

Auf Grundlage der kuratierten Verläufe trainieren die Autoren PatEx-Agent im Maßstab von vier Milliarden Parametern mittels überwachter Feinabstimmung. Das Modell soll als kompakte Baseline für Recherche und Patentprüfung dienen. Die Autoren berichten, es erreiche eine wettbewerbsfähige Leistung gegenüber deutlich größeren Allzweck-Agenten. [1]

Die Aussage ist als Ergebnisbehauptung der Forschungsgruppe zu lesen, nicht als unabhängig bestätigter Leistungsvergleich. Das bereitgestellte Abstract nennt weder konkrete Genauigkeitswerte noch die verglichenen Modelle, die verwendeten Prompts, die Zahl der Testläufe oder die Bedingungen, unter denen die Systeme Zugriff auf Suchwerkzeuge hatten. Eine belastbare Einschätzung, wie groß der Abstand ist oder in welchen Teilaufgaben PatEx-Agent Vorteile erzielt, lässt sich daraus nicht ableiten. [1]

Die Autoren berichten außerdem, dass selbst leistungsstarke Frontier-Modelle Schwierigkeiten haben, den relevanten Stand der Technik aufzuspüren. Zugleich reiche die Genauigkeit der abschließenden Entscheidung allein nicht aus, um die Qualität einer Prüfung abzubilden. Damit setzen die Ergebnisse einen wichtigen Akzent: Für den praktischen Einsatz ist nicht nur entscheidend, ob ein System ein Urteil ausgibt, sondern auch, ob es die relevanten Quellen auffindet und seine Bewertung daran nachvollziehbar ausrichtet. [1]

Abgrenzung zu früheren Tests der Neuheitsbewertung

Eine frühere Forschungsarbeit untersuchte bereits, ob Sprachmodelle Patentansprüche mit konkret zitierten Passagen aus früheren Dokumenten vergleichen können. Sie stellte die Aufgabe sowohl mit Patentanspruch und zitiertem Text als auch mit dem Anspruch allein. Die Daten stammten aus US-Prüfungsfällen, bezogen sich auf Anmeldungen aus den Jahren 2014 und 2015 und waren auf das technische Gebiet IPC G06F begrenzt. [5]

In dieser Studie erreichte Llama 3 70B mit wenigen Beispielen und erklärender Antwort bei der Kombination aus Anspruch und zitiertem Text laut einer späteren Zusammenfassung 62,4 Prozent Genauigkeit; GPT-4o kam im Zero-Shot-Test auf 58 Prozent. Die menschliche Vergleichsleistung beruhte auf einer einzelnen bewertenden Person und 20 Beispielen. Die Zahlen illustrieren daher die Schwierigkeit dieser eng abgegrenzten Aufgabe, sind aber kein direkter Vergleich mit PatEx-Gym: Die älteren Tests bewerteten vorgegebene Anspruch-Dokument-Paare, während PatEx-Gym die Suche und den mehrstufigen Verlauf in den Mittelpunkt stellt. [3][5]

Der Unterschied ist für Unternehmen und Forschungsteams wesentlich. Ein Modell, das einen bereitgestellten Beleg gut auswertet, muss nicht ebenso gut darin sein, diesen Beleg in einem großen und heterogenen Korpus selbst zu finden. PatEx-Gym soll gerade diese Lücke adressieren. Ob es das zuverlässig tut, hängt jedoch auch von der Qualität der Aufgaben, der Datenabdeckung und den konkreten Kriterien für Recherche und Begründung ab – Details, die der verfügbare Abstract nicht ausführt. [1][5]

Neuheit ist nicht dasselbe wie erfinderische Tätigkeit

Die rechtliche Einordnung setzt Grenzen dafür, was eine automatisierte Neuheitsbewertung aussagen kann. Das Europäische Patentamt unterscheidet Neuheit von erfinderischer Tätigkeit: Eine technische Lösung kann gegenüber Bekanntem neu sein und dennoch für Fachleute naheliegend sein. Zudem kann früherer Stand der Technik auch dann relevant sein, wenn eine Idee nie als Produkt auf den Markt kam. [4]

Eine verwandte Studie zur US-amerikanischen Prüfung operationalisierte Neuheit anhand der Frage, ob jedes Element eines Anspruchs ausdrücklich oder implizit in den zitierten Texten beschrieben ist. Ihr Datensatz verwendete Prüfungsbescheide, in denen Prüfer auf bestimmte Absätze früherer Dokumente verwiesen. Das verdeutlicht, wie stark eine solche Modellaufgabe von den zugrunde gelegten Prüfungsunterlagen und der Definition des Labels abhängt. Daraus folgt nicht, dass eine einzelne automatisierte Bewertung sämtliche rechtlichen Fragen einer Patentanmeldung erfasst. [5]

PatEx-Gym sieht die Erstellung von Office Actions als Teil seiner Umgebung vor. Das bedeutet zunächst, dass der Benchmark die Erzeugung eines entsprechend dokumentierten Ergebnisses testen kann. Es belegt weder, dass ein Modell eine behördliche Entscheidung trifft, noch dass ein generierter Text ohne fachliche Prüfung für ein amtliches Verfahren geeignet ist. Diese Unterscheidung ist gerade für Unternehmen wichtig, die Rechercheunterstützung nicht mit einer abschließenden Rechtsbewertung gleichsetzen sollten. [1]

Mögliche Bedeutung für betriebliche IP-Arbeit

Für IP-Abteilungen, Patentverantwortliche und externe Kanzleien liegt der potenzielle Nutzen eines solchen Ansatzes vor allem in der Vorarbeit: Ein System könnte Kandidatendokumente recherchieren, Suchschritte dokumentieren und Textstellen für eine menschliche Prüfung zusammentragen. Das ist eine Analyse der beschriebenen Funktionen, kein in den verfügbaren Quellen belegter Produkt- oder Praxiseinsatz. [1]

Ein solcher Workflow wäre nur dann hilfreich, wenn die Belege prüfbar bleiben und die Recherchegrenzen sichtbar sind. Das EPO betont, dass keine Recherche – auch keine amtliche Prüfung – als abschließender Beweis für Neuheit gilt. Es empfiehlt außerdem, Patentquellen nicht mit einer vollständigen Suche gleichzusetzen und gefundene Dokumente fachkundig zu interpretieren. Für betriebliche Prozesse folgt daraus: KI-Ausgaben sollten als Recherche- und Prüfungsunterstützung behandelt werden, nicht als Garantie dafür, dass relevante Vorveröffentlichungen gefunden wurden. [4]

Die im Abstract hervorgehobene Trennung zwischen Suchleistung und Endentscheidung bietet dafür einen brauchbaren Prüfmaßstab. Unternehmen könnten bei künftigen Evaluationen nicht nur fragen, ob das Modell die erwartete Klassifikation liefert, sondern auch, welche Suchwege es genutzt, welche Belege es ausgewählt und welche relevanten Quellen es ausgelassen hat. PatEx-Gym soll solche Prozessleistungen messbarer machen; ob sein Benchmark diese Fragen ausreichend abbildet, lässt sich anhand der vorliegenden Angaben noch nicht bewerten. [1]

Was sich aus den verfügbaren Angaben noch nicht ableiten lässt

Die bereitgestellte Paper-Seite enthält den Abstract, verweist aber zugleich darauf, dass der Paperinhalt nicht verfügbar ist. Daher fehlen in den vorliegenden Materialien unter anderem eine detaillierte Beschreibung der Aufgaben und Datenaufteilung, die genaue Bewertungsmethodik, quantitative Resultate sowie Fehleranalysen für einzelne Fachgebiete oder Suchschritte. Auch Angaben zu Laufzeit, Rechenaufwand und Stabilität im praktischen Einsatz sind dort nicht ausgewiesen. [1]

Für eine B2B-Bewertung wären außerdem Fragen zur Quellenabdeckung, Aktualisierung der Korpora und Nachvollziehbarkeit einzelner Belege relevant. Ebenso wichtig wäre zu erfahren, wie die Autoren einen erfolgreichen Suchverlauf definieren und wie sie mit mehrdeutigen oder nur implizit offenbarten technischen Zusammenhängen umgehen. Diese Punkte sind keine festgestellten Mängel des Systems, sondern offene Prüffragen, die sich aus der begrenzten Beschreibung ergeben. [1]

Der belastbare Kern der Ankündigung ist damit klar umrissen: PatEx-Gym stellt einen Benchmark für interaktive Recherche und Prüfung vor, synthetisiert Trainingsverläufe aus Dokumentbesuchen und nutzt diese zum Feinabstimmen eines 4B-Agenten. Die weitergehende Aussage, dass ein kompaktes Modell bei realen Patentprüfungen verlässlich mit größeren Systemen konkurrieren kann, bleibt ohne veröffentlichte Kennzahlen und unabhängige Validierung vorläufig. [1]

Quellen

1. [1] Paper page - Novel or Not? PatEx-Gym: Agentic Prior-Art Search for Novelty Assessment in Patent Examination — https://huggingface.co/papers/2610.33503 (abgerufen am 2026-10-27)
2. [3] Can AI Examine Novelty of Patents?: Novelty Evaluation Based on the Correspondence between Patent Claim and Prior Art | alphaXiv — https://www.alphaxiv.org/abs/2502.06316v1 (abgerufen am 2026-10-27)
3. [4] Novelty and prior art | epo.org — https://www.epo.org/en/learning/learning-resources-profile/business-and-ip-managers/inventors-handbook/novelty-and-prior-art (abgerufen am 2026-10-27)
4. [5] Can AI Examine Novelty of Patents?: Novelty Evaluation Based on the Correspondence between Patent Claim and Prior Art — https://arxiv.org/html/2502.06316?ref=implicator.ai (abgerufen am 2026-10-27)