OpenAI testet KI-Modelle an realen Arbeitsaufträgen zur Bewertung der Leistungsfähigkeit

In der dynamischen Landschaft der Künstlichen Intelligenz (KI) unternimmt OpenAI einen signifikanten Schritt, um die Leistungsfähigkeit seiner neuesten Modelle unter realen Bedingungen zu evaluieren. Das Unternehmen testet aktuell seine KI-Modelle, darunter GPT-5 und Claude Opus 4.1, an authentischen Arbeitsaufträgen, um deren Potenzial im Vergleich zu menschlichen Fachkräften zu beurteilen. Dieser Ansatz zielt darauf ab, die Entwicklung hin zu einer Artificial General Intelligence (AGI) voranzutreiben, bei der KI-Systeme intellektuelle Aufgaben auf menschlichem Niveau oder darüber hinaus bewältigen können.

Bewertung der KI-Leistungsfähigkeit in der Praxis

Um eine realistische Einschätzung der KI-Modelle zu erhalten, hat OpenAI einen neuen Bewertungsprozess implementiert. Dieser beinhaltet die Zusammenarbeit mit Freelancern, die aufgefordert werden, konkrete Aufgabenstellungen und die entsprechenden Arbeitsergebnisse aus ihren aktuellen oder früheren beruflichen Tätigkeiten bereitzustellen. Ziel ist es, die Modelle nicht nur an synthetischen Daten, sondern an authentischen, komplexen Szenarien zu schulen, die den Arbeitsalltag widerspiegeln.

Die eingereichten Materialien umfassen dabei nicht nur Textdokumente, sondern auch komplexere Formate wie Präsentationen, Excel-Tabellen und PDFs. Diese Vielfalt soll sicherstellen, dass die KI-Modelle mit den unterschiedlichen Anforderungen und Darstellungsformen der Wissensarbeit umgehen können. Nach dem Upload der Dokumente weisen die Auftragnehmer die KI an, die ursprünglich mit diesen Dateien verbundenen Aufgaben auszuführen. Anschließend bewerten menschliche Experten in Blindtests, wie präzise, logisch und nützlich die Ergebnisse der Software im Vergleich zur menschlichen Leistung ausfallen.

Ergebnisse der ersten Tests

Die ersten Tests mit dem sogenannten GDPval-Benchmark zeigen vielversprechende Resultate. Aktuelle Spitzenmodelle wie GPT-5 und Claude Opus 4.1 schnitten bei rund der Hälfte der Aufgaben im veröffentlichten Gold-Set mindestens so gut ab wie menschliche Experten. Insbesondere bei strukturierten oder visuellen Formaten wie PDFs, Excel-Tabellen und PowerPoint-Präsentationen konnten die KI-Modelle überzeugen. Claude Opus 4.1 erreichte in diesen Kategorien Win-Raten von bis zu 50 Prozent, was auf eine bemerkenswerte Fähigkeit zur formalen Aufbereitung und Visualisierung hindeutet. GPT-5 zeigte seine Stärken primär bei Fachkenntnis und Genauigkeit.

Ein weiterer signifikanter Aspekt ist die Effizienz. Die KI-Modelle erledigten die Aufgaben rund 100-mal schneller und 100-mal günstiger als menschliche Fachkräfte, wenn man die reine Inferenzzeit und API-Kosten berücksichtigt. OpenAI geht davon aus, dass dies zu erheblichen Zeit- und Kostenersparnissen führen kann, wenn Modelle Aufgaben zunächst übernehmen, bevor Menschen sie weiterbearbeiten oder überprüfen.

Herausforderungen und Risiken: Datenschutz und geistiges Eigentum

Die Verwendung realer Auftragsdaten birgt jedoch auch erhebliche Herausforderungen, insbesondere im Hinblick auf den Datenschutz und das geistige Eigentum. Das Hochladen von Dokumenten aus früheren Arbeitsverhältnissen kann dazu führen, dass sensible Unternehmensinformationen oder personenbezogene Daten in die Trainingsprozesse der KI-Modelle gelangen. Dies wirft Fragen bezüglich Vertraulichkeitsvereinbarungen und potenziellen rechtlichen Konsequenzen für die Freelancer und OpenAI auf.

OpenAI ist sich dieser Risiken bewusst und hat Mechanismen implementiert, um die Daten zu schützen. Dazu gehört unter anderem ein internes Tool namens "Superstar Scrubbing", das Hinweise zum Entfernen sensibler Informationen aus den hochgeladenen Dateien geben soll. Dennoch warnen Rechtsexperten davor, dass KI-Labore, die in großem Umfang vertrauliche Informationen von Auftragnehmern erhalten, dem Risiko von Klagen wegen Veruntreuung von Geschäftsgeheimnissen ausgesetzt sein könnten.

Für Unternehmen, die KI-Technologien einsetzen, ist es von entscheidender Bedeutung, die potenziellen Datenschutzrisiken zu verstehen und entsprechende Schutzmaßnahmen zu ergreifen. Die Notwendigkeit, sensible Daten zu anonymisieren oder zu pseudonymisieren, sowie klare Vereinbarungen über die Nutzung und Speicherung von Daten sind unerlässlich, um rechtliche und ethische Standards einzuhalten.

Der Weg zur AGI: Potenzial und Limitationen

Diese systematische Erprobung an realer Wissensarbeit ist ein wichtiger Meilenstein auf dem Weg zur AGI. Ziel ist es, KI-Systeme zu entwickeln, die in der Lage sind, jede intellektuelle Aufgabe zu erfüllen, die auch ein Mensch erledigen kann. Die Fähigkeit, komplexe "White-Collar"-Arbeit zu verrichten, gilt als Lackmustest für diese Technologie.

Es ist jedoch wichtig zu beachten, dass der aktuelle GDPval-Benchmark sich auf sogenannte "One-Shot"-Aufgaben beschränkt. Das bedeutet, Modelle bearbeiten jede Aufgabe nur einmal, ohne Rückmeldungen, Kontextaufbau oder iterative Bearbeitungsschritte. Reale Arbeitsprozesse sind oft komplexer und erfordern die Auseinandersetzung mit unklaren Anforderungen, Rücksprachen mit Kollegen und Kunden sowie iterative Verbesserungen. Der Benchmark testet somit primär die Bearbeitung einzelner, isolierter Arbeitsschritte am Computer.

OpenAI betont, dass aktuelle KI-Modelle keine vollständigen Jobs ersetzen können, sondern vor allem bei klar strukturierten, wiederholbaren Tätigkeiten unterstützen. Langfristig plant das Unternehmen, GDPval-Versionen zu entwickeln, die interaktiver und realitätsnäher sind, indem sie Aufgaben mit unklarer Ausgangslage oder Feedbackschleifen integrieren.

Auswirkungen auf die B2B-Anwendung

Für Unternehmen im B2B-Bereich bieten diese Entwicklungen sowohl Chancen als auch Herausforderungen. Die Aussicht auf KI-Modelle, die komplexe Aufgaben schneller und kostengünstiger erledigen können, eröffnet neue Möglichkeiten zur Effizienzsteigerung und Innovation. Bereiche wie Datenanalyse, Berichterstellung, Content-Generierung und sogar Teile der Softwareentwicklung könnten erheblich von fortschrittlichen KI-Agenten profitieren.

Gleichzeitig erfordert die Integration solcher Systeme eine sorgfältige Planung und Implementierung. Unternehmen müssen nicht nur die technischen Aspekte berücksichtigen, sondern auch die rechtlichen Rahmenbedingungen, insbesondere im Hinblick auf den Datenschutz und das geistige Eigentum. Die Notwendigkeit menschlicher Aufsicht, Iteration und Integration bleibt bestehen, um die Qualität und Zuverlässigkeit der KI-generierten Ergebnisse zu gewährleisten.

Die kontinuierliche Entwicklung von KI-Modellen, die an realen Arbeitsdaten trainiert werden, deutet auf eine Zukunft hin, in der KI-Systeme eine immer integralere Rolle in Geschäftsprozessen spielen werden. Die Fähigkeit, mit der Unvorhersehbarkeit des Arbeitsalltags umzugehen und komplexe Aufgaben autonom zu lösen, ist ein entscheidender Faktor für den breiten Einsatz von KI-Agenten in Unternehmen.

Bibliographie

- t3n.de: "Auf dem Weg zur AGI: OpenAI testet neue KI-Modelle an echten Aufträgen" (11.01.2026) - the-decoder.de: "OpenAI testet KI-Modelle erstmals systematisch an realer Wissensarbeit" (27.09.2025) - all-ai.de: "Datenschutz-Risiko? OpenAI trainiert mit echten Firmendaten" (11.01.2026) - all-ai.de: "OpenAI startet Agentenmodus für ChatGPT in Deutschland" (22.07.2025) - teufelswerk.net: "Zwischen Fortschritt und Kontrollverlust: OpenAI führt neuen universellen KI-Agenten ein" (10.08.2025)