Anthropic und Google: Der Wettlauf gegen AI-Halluzinationen

In der Welt der Künstlichen Intelligenz (KI) gibt es ein Phänomen, das sowohl Experten als auch Unternehmen vor große Herausforderungen stellt: AI-Halluzinationen. Diese treten auf, wenn KI-Modelle Informationen erzeugen, die faktisch falsch oder aus dem Zusammenhang gerissen sind. In diesem Artikel beleuchten wir die aktuellen Entwicklungen im Kampf gegen AI-Halluzinationen und werfen einen Blick darauf, wie Unternehmen wie Anthropic und Google in diesem Bereich abschneiden.

Der Stand der Technik

AI-Halluzinationen sind ein bekanntes Problem bei der Nutzung großer Sprachmodelle (LLMs) wie GPT-4 von OpenAI oder Claude von Anthropic. Diese Modelle können manchmal Texte generieren, die auf den ersten Blick plausibel erscheinen, aber bei genauerer Betrachtung nicht der Wahrheit entsprechen. Dies kann zu erheblichen Problemen führen, insbesondere wenn diese Modelle in geschäftskritischen Anwendungen eingesetzt werden.

Galileos Hallucination Index

Ein bemerkenswerter Schritt zur Bewertung und Reduzierung von AI-Halluzinationen ist der Hallucination Index von Galileo, einem führenden Entwickler von generativen AI-Anwendungen für Unternehmen. Dieser Index bewertet verschiedene LLMs anhand ihrer Fähigkeit, kontextbezogene und genaue Antworten zu liefern. In der neuesten Ausgabe des Index wurden 22 Modelle von großen Playern wie OpenAI, Anthropic, Google und Meta bewertet.

Wichtige Erkenntnisse

Der Hallucination Index von Galileo hat einige interessante Erkenntnisse geliefert:

• Anthropic’s Claude 3.5 Sonnet: Dieses Modell erzielte die besten Gesamtleistungen und lieferte konsistent nahezu perfekte Ergebnisse in verschiedenen Kontextlängen.
• Google’s Gemini 1.5 Flash: Dieses Modell überzeugte durch seine Kosteneffizienz und starke Leistung in allen Aufgabenbereichen.
• Alibaba’s Qwen2-72B-Instruct: Das beste Open-Source-Modell, das besonders in kurzen und mittleren Kontexten glänzte.

Trends im LLM-Bereich

Der Index hob auch mehrere Trends in der Entwicklung von LLMs hervor:

• Open-Source-Modelle schließen schnell zu ihren geschlossenen Gegenstücken auf und bieten verbesserte Leistung bei geringeren Kosten.
• Aktuelle RAG LLMs zeigen erhebliche Verbesserungen im Umgang mit erweiterten Kontextlängen, ohne dabei an Qualität oder Genauigkeit einzubüßen.
• Kleinere Modelle übertreffen manchmal größere, was darauf hindeutet, dass effizientes Design wichtiger sein kann als die bloße Größe.
• Starke Leistungen von außerhalb der USA, wie zum Beispiel Mistral's Mistral-large und Alibaba's Qwen2-72B-Instruct, deuten auf eine wachsende globale Konkurrenz hin.

Strategien zur Reduzierung von AI-Halluzinationen

Unternehmen wie Anthropic und Google arbeiten intensiv daran, AI-Halluzinationen zu minimieren. Anthropic hat eine Reihe von Techniken entwickelt, um die Genauigkeit und Vertrauenswürdigkeit ihrer Modelle zu verbessern:

• Zugeständnis von Unwissenheit: Modelle dürfen explizit zugeben, wenn sie etwas nicht wissen. Dies reduziert drastisch die Wahrscheinlichkeit falscher Informationen.
• Verwendung direkter Zitate: Bei der Arbeit mit langen Dokumenten sollen Modelle wortwörtliche Zitate extrahieren, bevor sie ihre Aufgaben ausführen.
• Verifizierung durch Zitate: Modelle sollen ihre Aussagen durch Zitate und Quellen belegen. Kann keine Quelle gefunden werden, muss die Aussage zurückgezogen werden.
• Schrittweise Verifikation: Modelle erklären ihren Gedankengang Schritt für Schritt, bevor sie eine endgültige Antwort geben, um fehlerhafte Logik oder Annahmen aufzudecken.
• Iterative Verfeinerung: Die Outputs der Modelle werden als Inputs für Folgeanfragen verwendet, um Inkonsistenzen zu erkennen und zu korrigieren.
• Einschränkung externer Kenntnisse: Modelle dürfen nur Informationen aus bereitgestellten Dokumenten und nicht aus ihrem allgemeinen Wissen verwenden.

Die Herausforderungen bleiben bestehen

Obwohl diese Techniken die Häufigkeit von AI-Halluzinationen erheblich reduzieren können, bleibt das Problem bestehen. Experten wie Emily Bender, Professorin für Linguistik an der University of Washington, argumentieren, dass das Problem inhärent in der Technologie selbst liegt und nicht vollständig gelöst werden kann. Modelle wie ChatGPT und Claude sind darauf ausgelegt, das nächste Wort in einer Sequenz vorherzusagen, und diese Vorhersagen können gelegentlich falsch sein.

Der Einfluss auf die Adoptionsrate

Die Unvorhersehbarkeit von AI-Halluzinationen hat die Einführung dieser Technologien in kundenorientierten Szenarien verlangsamt. Unternehmen zögern, AI-Modelle in Produktion zu nehmen, da sie die Ausgaben nicht ausreichend vertrauen. Dies hat dazu geführt, dass viele AI-Anwendungen intern bleiben, bis sich die Zuverlässigkeit der Modelle verbessert.

Langfristige Perspektiven

Trotz der aktuellen Herausforderungen sind viele Experten optimistisch, dass die Rate der AI-Halluzinationen in Zukunft weiter reduziert werden kann. Unternehmen wie Google und OpenAI investieren erhebliche Ressourcen in die Verbesserung der Genauigkeit ihrer Modelle. Es bleibt jedoch abzuwarten, ob diese Bemühungen ausreichen, um die Technologie für hochkritische Anwendungen wie die medizinische Beratung oder die Rechtsberatung sicher zu machen.

Schlussfolgerung

Der Kampf gegen AI-Halluzinationen ist ein fortlaufender Prozess, der sowohl technologische als auch organisatorische Anstrengungen erfordert. Unternehmen wie Anthropic und Google stehen an der Spitze dieser Bemühungen und machen bedeutende Fortschritte. Der Hallucination Index von Galileo bietet wertvolle Einblicke und hilft Unternehmen, fundierte Entscheidungen bei der Auswahl der richtigen Modelle für ihre spezifischen Anforderungen und Budgetbeschränkungen zu treffen.

Während die vollständige Beseitigung von AI-Halluzinationen möglicherweise unerreichbar bleibt, zeigen die kontinuierlichen Verbesserungen und Innovationen im Bereich der KI, dass wir auf dem richtigen Weg sind, die Zuverlässigkeit und Genauigkeit dieser Technologien zu maximieren.

Bibliographie

- https://www.artificialintelligence-news.com/news/anthropic-to-google-who-winning-ai-hallucinations/ - https://docs.anthropic.com/en/docs/test-and-evaluate/strengthen-guardrails/reduce-hallucinations - https://siliconangle.com/2024/02/07/ai-hallucinations-3-problem-no-one-can-fix-slows-ai-juggernaut/ - https://fortune.com/2023/08/01/can-ai-chatgpt-hallucinations-be-fixed-experts-doubt-altman-openai/ - https://www.inc.com/peter-cohan/a-clever-hack-to-guard-against-ai-hallucinations.html - https://aibusiness.com/nlp/this-week-s-most-read-anthropic-musk-take-on-openai - https://www.cnet.com/tech/computing/calling-bs-on-ai-hallucinations-youtube-transcripts-co-opted-by-big-tech-as-training-fodder/ - https://www.linkedin.com/posts/richelle-kalnit_ai-chatgpt-gemini-activity-7211747802924605443-0omp - https://www.nytimes.com/2024/02/01/technology/perplexity-search-ai-google.html - https://www.theverge.com/23610427/chatbots-chatgpt-new-bing-google-bard-conversational-ai