Sprachmodelle und die Anwendung als Zweitmeinung: Der digitale Assistent im professionellen Kontext

Künstliche Intelligenz (KI) und insbesondere große Sprachmodelle (LLMs) durchdringen zunehmend diverse Berufsfelder. Ein vielversprechender Anwendungsfall ist die Nutzung von LLMs als Werkzeug zur Generierung von Zweitmeinungen in komplexen Entscheidungsprozessen. Dies gilt insbesondere für Bereiche wie die Medizin, in denen selbst erfahrene Fachkräfte regelmäßig kollegiale Konsultationen suchen.

LLMs in der medizinischen Entscheidungsfindung

Eine aktuelle Studie hat die Leistungsfähigkeit verschiedener LLMs in der medizinischen Diagnostik untersucht. Anhand von 183 komplexen medizinischen Fällen, die über einen Zeitraum von 20 Monaten auf der Plattform Medscape veröffentlicht wurden, verglichen die Forscher die Diagnosen der LLMs mit den Einschätzungen einer Gruppe von Ärzten. Die Ergebnisse zeigten, dass die neuesten LLMs eine beachtliche Genauigkeit von über 80% im Vergleich zur Konsensmeinung der Ärzte erreichen konnten. Dies übertrifft die durchschnittliche Genauigkeit menschlicher Diagnosen in vergleichbaren Fällen, die in der Studie bei etwa 70% lag.

Interessanterweise zeigte die Studie auch, dass die Leistung der LLMs je nach Komplexität des Falls variierte. Bei einfacheren Fällen lag die Genauigkeit bei über 81%, während sie bei komplexeren Fällen, die auch unter den Ärzten zu Kontroversen führten, auf 43% sank. Dies deutet darauf hin, dass LLMs zwar kein Ersatz für die Expertise eines Arztes sind, aber als wertvolles Werkzeug zur Generierung umfassender Differentialdiagnosen dienen können.

Kognitive Unterstützung und Reduktion von Fehlern

Durch die Bereitstellung einer alternativen Perspektive können LLMs dazu beitragen, kognitive Verzerrungen in der Entscheidungsfindung zu minimieren und die kognitive Belastung der Fachkräfte zu reduzieren. Dies kann letztendlich dazu führen, dass medizinische Fehler vermieden werden. Die Studie unterstreicht, dass LLMs in professionellen Umgebungen weniger zur Automatisierung von Routineaufgaben, sondern vielmehr zur Unterstützung komplexer Denkprozesse eingesetzt werden sollten.

LLMs im juristischen Kontext

Um die Anwendbarkeit von LLMs als Zweitmeinungs-Instrument in anderen Bereichen zu untersuchen, wurde die Studie um einen juristischen Datensatz erweitert. Hierbei wurden 21 Fälle des Obersten Gerichtshofs der USA analysiert. Die Ergebnisse zeigten, dass die LLMs in diesem Kontext deutlich höhere Genauigkeiten erzielten. Dies lässt vermuten, dass die Art der Aufgabenstellung einen erheblichen Einfluss auf die Leistungsfähigkeit der LLMs hat.

Neue Benchmarks für die Bewertung von LLMs

Die Studie hat nicht nur empirische Daten zur Genauigkeit von LLMs in der medizinischen und juristischen Diagnostik geliefert, sondern auch einen neuen Benchmark für die Bewertung der Zuverlässigkeit von LLMs und menschlichen Experten in kontroversen Fällen geschaffen. Dies ermöglicht es, die Stärken und Schwächen verschiedener Ansätze in der Entscheidungsfindung systematisch zu vergleichen und die Entwicklung von LLMs für professionelle Anwendungen gezielt voranzutreiben.

Zukünftige Entwicklungen und Herausforderungen

Die rasante Entwicklung von LLMs eröffnet neue Möglichkeiten für den Einsatz von KI in professionellen Umgebungen. Die Nutzung als Zweitmeinungs-Instrument ist nur ein Beispiel für das Potenzial dieser Technologie. Gleichzeitig ergeben sich aber auch neue Herausforderungen. So ist es wichtig, die Grenzen der LLMs zu verstehen und sicherzustellen, dass sie verantwortungsvoll und ethisch eingesetzt werden. Die Forschung in diesem Bereich muss fortgesetzt werden, um das volle Potenzial von LLMs auszuschöpfen und gleichzeitig die damit verbundenen Risiken zu minimieren.

Bibliographie - https://arxiv.org/pdf/2203.02155 - https://www.nature.com/articles/s41586-024-07930-y - https://digital.uni-hohenheim.de/fileadmin/einrichtungen/digital/Generative_AI_and_ChatGPT_in_Higher_Education.pdf - https://www.consilium.europa.eu/media/63818/art-paper-chatgpt-in-the-public-sector-overhyped-or-overlooked-24-april-2023_ext.pdf - https://arxiv.org/pdf/2311.17035 - https://aclanthology.org/2022.emnlp-main.225.pdf - https://scads.ai/publications/ - https://clp.law.harvard.edu/article/the-implications-of-chatgpt-for-legal-services-and-society/ - https://www.researchgate.net/publication/378523623_Leveraging_the_Potential_of_Large_Language_Models_in_Education_Through_Playful_and_Game-Based_Learning - https://www.ntia.gov/sites/default/files/publications/ntia-ai-open-model-report.pdf