Kosten durch KI-Halluzinationen: Eine Studie schätzt 67 Milliarden Dollar für 2024

Die Kosten der KI-Ungenauigkeit: 67 Milliarden Dollar Schaden durch Chatbot-Halluzinationen

Große Sprachmodelle (LLM) wie GPT-5 haben in den letzten Jahren einen rasanten Aufstieg erlebt und finden in immer mehr Bereichen Anwendung. Gleichzeitig treten jedoch vermehrt Probleme mit der Genauigkeit dieser Systeme auf. Eine aktuelle Studie von OpenAI und der Georgia Tech beleuchtet die erheblichen Kosten, die durch sogenannte „Halluzinationen“ – also die Erzeugung plausibel klingender, aber faktisch falscher Informationen – entstehen. Die Forscher schätzen die weltweiten Schäden, die im Jahr 2024 durch Entscheidungen auf Basis fehlerhafter KI-Ausgaben entstanden sind, auf ca. 67 Milliarden US-Dollar.

Ursachenanalyse: Training und Bewertung im Fokus

Die Studie analysiert die Ursachen dieser kostspieligen Ungenauigkeiten. Dabei rückt der Trainingsprozess der LLM in den Mittelpunkt. Im sogenannten Pre-Training werden die Modelle darauf trainiert, das jeweils nächste Wort in einem Satz korrekt vorherzusagen. Kritisch ist jedoch, dass dieses Training ohne explizite Wahrheitsbewertung erfolgt. Die Modelle lernen, flüssige und grammatikalisch korrekte Sprache zu generieren, ohne die Richtigkeit der Aussagen zu verifizieren. Seltene Ereignisse oder Fakten, die im Trainingsdatensatz unterrepräsentiert sind, können daher nicht zuverlässig vorhergesagt werden, was zu Halluzinationen führt.

Ein weiterer wichtiger Faktor ist das Bewertungssystem der LLM. Die Studie vergleicht dieses System mit einem Multiple-Choice-Test: Wird die KI lediglich nach der Trefferquote bewertet, so besteht ein Anreiz zum Raten. Eine falsche Antwort wird nicht explizit bestraft, während das Auslassen einer Frage zwangsläufig zu einem Punktabzug führt. Dieser Mechanismus fördert ein Verhalten, bei dem die KI plausible, aber möglicherweise falsche Antworten generiert, anstatt Unsicherheit zuzugeben.

Lösungsansätze: Eine radikale Systemumstellung

Die Forscher plädieren für eine grundlegende Änderung des Bewertungssystems, um das Problem der KI-Halluzinationen zu adressieren. Die bloße Einführung zusätzlicher Tests, die gezielt auf Unsicherheiten abzielen, wird als unzureichend betrachtet. Stattdessen müsse das gesamte System überarbeitet werden, um das „Rateverhalten“ der KI unattraktiv zu machen. Konkrete Vorschläge beinhalten die negative Bewertung falscher Antworten und die Vergabe von Teilpunkten für unbeantwortete Fragen. Dies soll die Modelle dazu anregen, Unsicherheiten explizit zu kommunizieren, anstatt falsche Informationen mit hoher Überzeugungskraft zu präsentieren.

Auswirkungen und zukünftige Herausforderungen

Die Studie verdeutlicht die Notwendigkeit einer kritischen Auseinandersetzung mit der Genauigkeit und Zuverlässigkeit von LLM. Die enormen wirtschaftlichen Schäden, die durch KI-Halluzinationen entstehen, unterstreichen die Bedeutung von Verbesserungen im Trainings- und Bewertungsprozess. Zukünftige Forschung muss sich verstärkt mit der Entwicklung robusterer Methoden zur Erkennung und Vermeidung von Fehlern befassen, um das Vertrauen in KI-Systeme zu stärken und deren potenziell negative Auswirkungen zu minimieren. Die Entwicklung ethischer Richtlinien und regulatorischer Rahmenbedingungen wird in diesem Zusammenhang eine entscheidende Rolle spielen.

Folgen für Unternehmen

Die Ergebnisse der Studie haben weitreichende Implikationen für Unternehmen, die KI-Systeme in ihren Geschäftsprozessen einsetzen. Die potenziellen finanziellen Verluste durch fehlerhafte KI-Ausgaben sind erheblich. Unternehmen sollten daher verstärkt in die Validierung und Qualitätssicherung von KI-basierten Entscheidungen investieren und sich über die Grenzen und potenziellen Fehlerquellen von LLM informieren. Eine gründliche Prüfung der Ergebnisse und die Integration von menschlichen Kontrollmechanismen sind unerlässlich, um die Risiken zu minimieren.

Fazit: Der Weg zur zuverlässigeren KI

Die Studie von OpenAI und Georgia Tech liefert wichtige Erkenntnisse über die Ursachen und Kosten von KI-Halluzinationen. Die vorgeschlagenen Lösungsansätze, insbesondere die radikale Überarbeitung des Bewertungssystems, stellen einen bedeutenden Schritt in Richtung zuverlässigerer und genauerer KI-Systeme dar. Die Herausforderungen sind jedoch erheblich, und die Entwicklung und Implementierung neuer Methoden erfordert intensive Forschung und Entwicklung.

Bibliography - t3n.de: 67 Dollar Schaden: OpenAI-Chatbots Unsinn (Link: https://t3n.de/news/67-dollar-schaden-openai-chatbots-unsinn-1706236/) - Forschung & Lehre: ChatGPT und Co. geben gefährdende Inhalte weiter (Link: https://www.forschung-und-lehre.de/forschung/chatgpt-und-co-geben-gefaehrdende-inhalte-weiter-7266) - Tech-Blogs.de: (Link: https://tech-blogs.de/2025/09/13/) - Deutschlandfunk: Musk Unternehmen klagen gegen Apple und OpenAI (Link: https://www.deutschlandfunk.de/musk-unternehmen-klagen-gegen-apple-und-openai-102.html) - beck-online: KI-Firma Autoren Milliardenvergleich Urheberrecht (Link: https://rsw.beck.de/aktuell/daily/meldung/detail/ki-firma-autoren-milliardenvergleich-urheberrecht-anthropic-claude-chatbot-usa) - Spiegel Online: OpenAI (Link: https://www.spiegel.de/thema/openai/) - Stern.de: ChatGPT (Link: https://www.stern.de/politik/deutschland/themen/chatgpt-33122066.html) - Feed-Reader.net: Computer & Internet (Link: https://news.feed-reader.net/rubriken/computer-internet/1/) - American Express: ChatGPT Unternehmen sichert sich 40 Milliarden Dollar (Link: https://www.americanexpress.com/de-de/kampagnen/guide/news/news/chatgpt-unternehmen-sichert-sich-40-milliarden-dollar-von-investoren-37185) - Datenschutzexperte.de: ChatGPT Datenschutz (Link: https://www.datenschutzexperte.de/blog/chatgpt-datenschutz-welche-folgen-hat-die-nutzung-des-chatbots)