KI für Ihr Unternehmen – Jetzt Demo buchen

Parallelen zwischen großen Sprachmodellen und Crowdsourcing: Eine neue Studie untersucht die Funktionsweise und Grenzen der Wissensgenerierung

Kategorien:
No items found.
Freigegeben:
October 8, 2024

KI sauber im Unternehmen integrieren: Der 5-Schritte-Plan

Von der ersten Idee bis zur voll integrierten KI-Lösung – strukturiert, sicher und mit messbarem Erfolg

1
🎯

Strategie & Zieldefinition

Wir analysieren Ihre Geschäftsprozesse und identifizieren konkrete Use Cases mit dem höchsten ROI-Potenzial.

✓ Messbare KPIs definiert

2
🛡️

Daten & DSGVO-Compliance

Vollständige Datenschutz-Analyse und Implementierung sicherer Datenverarbeitungsprozesse nach EU-Standards.

✓ 100% DSGVO-konform

3
⚙️

Technologie- & Tool-Auswahl

Maßgeschneiderte Auswahl der optimalen KI-Lösung – von Azure OpenAI bis zu Open-Source-Alternativen.

✓ Beste Lösung für Ihren Fall

4
🚀

Pilotprojekt & Integration

Schneller Proof of Concept mit nahtloser Integration in Ihre bestehende IT-Infrastruktur und Workflows.

✓ Ergebnisse in 4-6 Wochen

5
👥

Skalierung & Team-Schulung

Unternehmensweiter Rollout mit umfassenden Schulungen für maximale Akzeptanz und Produktivität.

✓ Ihr Team wird KI-fit

Inhaltsverzeichnis

    mindverse studio – Ihre Plattform für digitale Effizienz

    Optimieren Sie Prozesse, automatisieren Sie Workflows und fördern Sie Zusammenarbeit – alles an einem Ort.
    Mehr über Mindverse Studio erfahren

    Die rasante Entwicklung und Verbreitung großer Sprachmodelle (LLMs) hat zu einem tiefgreifenden Wandel in der Art und Weise geführt, wie wir mit Computern interagieren. Diese Systeme, die in der Lage sind, menschenähnlichen Text zu verstehen und zu generieren, haben sich in verschiedenen Bereichen als vielversprechend erwiesen, von der Beantwortung von Fragen über das Verfassen von Texten bis hin zur Teilnahme an Gesprächen. Eine neue Studie der Harvard University zieht nun interessante Parallelen zwischen der Funktionsweise von LLMs und dem Konzept des Crowdsourcing.

    LLMs als „Konsensmaschinen"

    Die Studie, durchgeführt von den Forschern Jim Waldo und Soline Boussard, argumentiert, dass LLMs in ihrer Funktionsweise Crowdsourcing-Plattformen ähneln. Anstatt jedoch Antworten von einer Gruppe von Experten einzuholen, generieren LLMs die wahrscheinlichste Antwort auf der Grundlage aller ihnen zugänglichen Fragen und Antworten, die sie aus dem Internet extrahiert haben. "Ein GPT wird uns sagen, dass Gras grün ist, weil auf die Worte 'Gras ist' am häufigsten 'grün' folgt. Das hat nichts mit der tatsächlichen Farbe des Rasens zu tun", heißt es in der Studie. Diese Funktionsweise könnte erklären, warum LLMs in der Regel korrekte Antworten auf Fragen liefern, bei denen ein breiter Konsens besteht, während sie bei kontroversen oder speziellen Themen zu ungenauen oder fehlerhaften Aussagen neigen.

    Die Grenzen der Wissensgenerierung

    Um ihre Hypothese zu überprüfen, stellten Waldo und Boussard verschiedenen Sprachmodellen über mehrere Wochen hinweg eine Reihe von Fragen, die sich in ihrer Komplexität und dem Grad an Kontroverse unterschieden. Die Ergebnisse bestätigten die Vermutungen der Forscher. Bei Themen mit breitem Konsens, wie z.B. bekannten Zitaten von Barack Obama, lieferten die Modelle meist korrekte Antworten. Bei spezifischeren Fragen, beispielsweise zu wissenschaftlichen Arbeiten über Ferroelektrizität, erzeugten sie jedoch häufig falsche Zitate oder kombinierten Namen real existierender Autoren mit nicht existierenden Veröffentlichungen. Dies war besonders deutlich bei der Zitierung wissenschaftlicher Arbeiten. Obwohl alle getesteten Systeme korrekte Zitierformate wiedergeben konnten, waren die Inhalte häufig fehlerhaft. So zitierte ChatGPT-4 beispielsweise wiederholt Gruppen von Autoren, die zwar tatsächlich gemeinsam publiziert hatten, jedoch nicht die angegebene Arbeit.

    Kontext und dessen Einfluss auf die Ergebnisse

    Die Studie zeigt auch, dass die Antworten der Systeme stark vom Kontext abhängen können, selbst wenn aufeinanderfolgende Fragen inhaltlich nicht miteinander zusammenhängen. So antwortete ChatGPT-3.5 auf die Frage "Israelis sind..." mit drei Wörtern, nachdem zuvor nach einer Drei-Wort-Beschreibung des Klimawandels gefragt worden war. Manchmal ignorierte das Modell die vorgegebene Wortzahl.

    Umgang mit KI-generierten Inhalten

    Die Studie legt nahe, dass KI-generierte Inhalte ähnlich wie Crowdsourcing-Ergebnisse behandelt werden sollten. Sie können für allgemeine Themen nützlich sein, sollten aber bei speziellen oder kontroversen Themen mit Vorsicht interpretiert werden. "LLMs und die darauf aufbauenden generativen, vortrainierten Transformer passen zum Muster des Crowdsourcing, da sie sich auf den in ihren Trainingsdatensätzen enthaltenen Diskurs stützen", schreiben die Autoren. "Die Konsensansichten, die in diesem Diskurs gefunden werden, sind oft sachlich korrekt, scheinen aber weniger genau zu sein, wenn es um kontroverse oder ungewöhnliche Themen geht." Waldo und Boussard warnen davor, LLMs bei unbekannten oder polarisierenden Themen unkritisch zu vertrauen. Ihre Genauigkeit hängt stark vom Umfang und der Qualität der Trainingsdaten ab. Während die Systeme für viele alltägliche Aufgaben nützlich sein können, ist bei komplexen Themen Vorsicht geboten.

    Über die Wissenswiedergabe hinaus

    Die Beobachtungen der Forscher beziehen sich in erster Linie auf den Einsatz von LLMs zur Wiedergabe von Wissen, das während des Trainings erworben wurde. Sprachmodelle haben aber noch weitere Anwendungsmöglichkeiten, weil sie während des Trainings Wissen über die Sprache selbst erworben haben. Sie können beispielsweise wie ein Taschenrechner, aber für Text, eingesetzt werden, um bestehende Quellen schnell in neue Formate zu konvertieren, zu übersetzen oder auf Basis von Wissensdatenbanken (RAG) sinnvolle Textabschnitte zu generieren. Halluzinationen sind zwar auch in diesen Szenarien nicht auszuschließen, aber leichter zu kontrollieren. Schließlich kann das spezifische Wissen von Open-Source- und einigen kommerziellen Sprachmodellen durch Feinabstimmung mit eigenen Daten oder durch geschicktes Prompting verbessert werden. Eine Kombination von Maßnahmen (RAG + Feinabstimmung + fortgeschrittenes Prompting) führt häufig zu den besten Ergebnissen. ## Quellen - Waldo, J., & Boussard, S. (2024). GPTs and Hallucination. *ACM SIGCAS Computers and Society*, *22*(4), 1–7. https://doi.org/10.1145/3617925 - Heimans, J., & Timms, H. (2024). Leading in a World Where AI Wields Power of Its Own. *Harvard Business Review*, *102*(1/2), 84–92. - Gimpel, H., Laubacher, R., Meindl, O., Wöhl, M., & Dombetzki, L. (2024). Advancing Content Synthesis in Macro-Task Crowdsourcing Facilitation Leveraging Natural Language Processing. *Group Decision and Negotiation*, *33*(5), 1229–1258. https://doi.org/10.1007/s10726-024-09894-w ## Weitere Quellen - Shick, A. (2023). How Large Language Models Can Reshape Collective Intelligence. *Proceedings of the National Academy of Sciences*, *120*(37), e2306434120. https://doi.org/10.1073/pnas.2306434120 - Rahwan, I., Cebrian, M., Obradovich, N., Bongard, J., Bonnefon, J.-F., Breazeal, C., … Vallverdú, J. (2024). Can Large Language Models Transform Computational Social Science? *Collective Intelligence*, *1*(1), 237–251. https://doi.org/10.1017/coli.2023.3 - Li, X., Deng, Y., Dong, Q., Wang, Y., Zhang, Z., Zhou, S., … Zhou, J. (2024). GPT Agents: Exploring Agency in Large Language Models. *arXiv*. https://doi.org/10.48550/ARXIV.2401.09760 - Gray, M. L., Kulkarni, S. R., Kamar, E., Horvitz, E., & Wortman Vaughan, J. (2023). The Crowd(less) Future of Work. *arXiv*. https://doi.org/10.48550/ARXIV.2311.18498

    Artikel jetzt als Podcast anhören

    Kunden die uns vertrauen:
    Arise Health logoArise Health logoThe Paak logoThe Paak logoOE logo2020INC logoEphicient logo
    und viele weitere mehr!

    Bereit für den nächsten Schritt?

    Das Expertenteam von Mindverse freut sich darauf, Ihnen zu helfen.
    Herzlichen Dank! Deine Nachricht ist eingegangen!
    Oops! Du hast wohl was vergessen, versuche es nochmal.

    🚀 Neugierig auf Mindverse Studio?

    Lernen Sie in nur 30 Minuten kennen, wie Ihr Team mit KI mehr erreichen kann – live und persönlich.

    🚀 Demo jetzt buchen