Herausforderungen und Limitationen von KI-basierten Triage-Systemen im Gesundheitswesen

Herausforderungen für KI im Gesundheitswesen: Eine Analyse der Triage-Fähigkeiten von ChatGPT Health

Die Integration künstlicher Intelligenz (KI) in den Gesundheitssektor schreitet voran, und Tools wie "ChatGPT Health", das von OpenAI im Januar 2026 eingeführt wurde, positionieren sich als erste Anlaufstelle für Gesundheitsfragen. Die Erwartung ist, dass solche Systeme eine präzise Ersteinschätzung der Dringlichkeit medizinischer Probleme liefern, um Nutzer entsprechend zu leiten – von der Selbstbehandlung zu Hause bis zum sofortigen Besuch einer Notaufnahme. Eine kürzlich in "Nature Medicine" veröffentlichte Studie hat die Verlässlichkeit und Sicherheit dieser KI-basierten Triage umfassend untersucht und dabei signifikante Limitationen aufgezeigt.

Methodik der Untersuchung: Realitätsnahe Fallbeispiele als Prüfstein

Zur Evaluierung der KI-Genauigkeit entwickelten Mediziner 60 detaillierte klinische Fallbeispiele aus 21 verschiedenen Fachbereichen. Diese Szenarien wurden methodisch variiert, indem Merkmale wie Geschlecht und Hautfarbe der fiktiven Patienten sowie kontextuelle Faktoren wie fehlende Transportmöglichkeiten oder psychologische Einflüsse – etwa die Verharmlosung von Symptomen durch Angehörige – angepasst wurden. Insgesamt wurden 960 Anfragen an ChatGPT Health gestellt. Die daraus resultierenden Triage-Empfehlungen der KI wurden anschließend mit den unabhängigen Einschätzungen eines Expertenteams von Ärzten verglichen, die sich auf etablierte klinische Leitlinien stützten.

Gemischte Ergebnisse: Präzision bei Routine, Mängel bei Extremen

Die Analyse offenbarte ein differenziertes Bild der KI-Leistungsfähigkeit. Bei medizinischen Routineproblemen mittleren Schweregrades stimmten die Empfehlungen von ChatGPT Health überwiegend mit denen der Ärzte überein. Eine deutliche Abnahme der Leistung war jedoch an den Rändern des Schweregrades zu verzeichnen, sowohl bei harmlosen Beschwerden als auch bei akuter Lebensgefahr.

Die Problematik der Unter-Triage

In über der Hälfte (51,6 Prozent) der echten medizinischen Notfälle bewertete die KI die Situation als zu harmlos. Beispielsweise empfahl das System bei Patienten mit schwerer diabetischer Ketoazidose oder einem akuten Asthma-Anfall, innerhalb von 24 bis 48 Stunden einen Arzt aufzusuchen, anstatt den sofortigen Gang in die Notaufnahme zu veranlassen. Obwohl die KI kritische Symptome im Text teilweise erkannte, gewichtete sie diese oft falsch, etwa mit dem Argument, ein Patient könne trotz Atemnot noch in ganzen Sätzen sprechen.

Die Problematik der Über-Triage

Umgekehrt zeigte sich ChatGPT Health bei harmlosen Beschwerden oft übervorsichtig. Fast 65 Prozent der Fälle, die laut medizinischen Leitlinien problemlos zu Hause beobachtet werden könnten, wurden vom System als behandlungsbedürftig eingestuft, mit der Empfehlung eines Arztbesuchs. Dies birgt das potenzielle Risiko einer unnötigen Belastung des Gesundheitssystems. Sowohl Unter- als auch Über-Triage stellen erhebliche Probleme dar, wobei eine Unter-Triage im schlimmsten Fall lebensbedrohliche Konsequenzen haben kann, wenn Patienten zu spät medizinische Hilfe erhalten.

Einfluss psychologischer Faktoren und Sicherheitslücken bei psychischen Krisen

Die Studie untersuchte zudem den Einfluss psychologischer Effekte auf die KI-Entscheidungen. Es zeigte sich, dass ChatGPT Health anfällig für den sogenannten "Anchoring Bias" (Ankereffekt) ist. Wurde etwa in einem medizinischen Grenzfall erwähnt, dass Freunde die Symptome als unbesorgniserregend einschätzten, beeinflusste dies die KI. Die Wahrscheinlichkeit einer weniger dringlichen Einschätzung stieg hierbei deutlich an. Demografische Faktoren wie Hautfarbe oder Geschlecht hatten hingegen keinen statistisch signifikanten Einfluss auf die Triage-Empfehlungen.

Besondere Besorgnis erregte der Umgang der KI mit psychischen Notlagen. Obwohl ChatGPT Health über einen Mechanismus verfügt, der bei Suizidgedanken ein Warnbanner mit Verweis auf Krisenhotlines einblendet, zeigte dieser deutliche Mängel. Während er bei vagen Suizidgedanken zuverlässig funktionierte, blieb das Warnbanner bei konkreten Suizidplänen, insbesondere in Kombination mit unauffälligen medizinischen Laborwerten, oft aus. Das System fokussierte sich dann auf die körperlichen Parameter und erkannte den akuten psychischen Notfall nicht.

Implikationen für die Regulierung und den Einsatz von Gesundheits-KI

Die Studienergebnisse führen zu klaren Empfehlungen für den zukünftigen Einsatz von KI im Gesundheitswesen. Anbieter wie OpenAI weisen zwar darauf hin, dass ihre Systeme keine ärztliche Diagnose ersetzen. Es besteht jedoch die Gefahr, dass Nutzer Arztbesuche aufschieben oder ganz vermeiden, wenn die KI Entwarnung gibt. Die Wissenschaftler betonen daher, dass Systeme, die als erster Kontaktpunkt für medizinische Einschätzungen dienen, strengeren Prüfungen unterzogen werden sollten.

Es wird vorgeschlagen, dass patientengerichtete KI-Tools im Gesundheitsbereich vor einer breiten Veröffentlichung ähnliche externe Sicherheits- und Zulassungsprüfungen durchlaufen sollten wie klassische Medizinprodukte. Dies soll den Patientenschutz umfassend gewährleisten und das Vertrauen in diese neuen Technologien stärken.

Fazit und Ausblick

Die Studie zu ChatGPT Health liefert wichtige Erkenntnisse über die aktuellen Fähigkeiten und Grenzen von KI-Systemen in der medizinischen Triage und Suizidprävention. Während KI-Tools das Potenzial haben, die Gesundheitsversorgung zu ergänzen und zu verbessern, ist ein kritischer und regulierter Einsatz unerlässlich. Für Unternehmen im B2B-Sektor, die an der Entwicklung und Implementierung von KI-Lösungen im Gesundheitswesen arbeiten, bedeutet dies, dass ein Fokus auf Robustheit, Sicherheit und die Einhaltung strenger Standards von größter Bedeutung ist. Die kontinuierliche Forschung und unabhängige Evaluierung sind entscheidend, um die Entwicklung sicherer und effektiver KI-Anwendungen im Gesundheitsbereich voranzutreiben und das Vertrauen der Nutzer sowie der Fachwelt zu sichern.

Bibliographie:

- Ramaswamy, A., Tyagi, A., Hugo, H., et al. (2026). ChatGPT Health performance in a structured test of triage recommendations. Nature Medicine. DOI: 10.1038/s41591-026-04297-7. - Dr. Fabio Dennstädt (2026, 26. Februar). „ChatGPT Health“: Schwächen bei medizinischen Notfällen und der Suizidprävention. heise online. Verfügbar unter: https://www.heise.de/news/ChatGPT-Health-Schwaechen-bei-medizinischen-Notfaellen-und-der-Suizidpraevention-11191896.html - News-Medical.net (2026, 24. Februar). ChatGPT Health fails critical emergency and suicide safety tests. Verfügbar unter: https://www.news-medical.net/news/20260224/ChatGPT-Health-fails-critical-emergency-and-suicide-safety-tests.aspx - Kopka, M., He, L., & Feufel, M. A. (2026, 25. Februar). Evaluating the accuracy of ChatGPT model versions for giving care-seeking advice. Communications Medicine. DOI: 10.1038/s43856-026-01466-0. - Scienmag.com (2026, 24. Februar). Study Reveals Overlooked Flaws in AI-Powered Medical Triage Systems. Verfügbar unter: https://scienmag.com/study-reveals-overlooked-flaws-in-ai-powered-medical-triage-systems/ - nextg.tv (2026, 25. Februar). Studie warnt: ChatGPT Health übersieht viele Notfälle bei Patienten. Verfügbar unter: https://www.nextg.tv/verbraucher/studien/studie-warnt-chatgpt-health-uebersieht-viele-notfaelle-bei-patienten-94186062.html - Schwaebische.de (2026, 12. Februar). ChatGPT Health: Mediziner warnt vor Risiken für die Gesundheit. Verfügbar unter: https://www.schwaebische.de/panorama/mediziner-warnung-krankheiten-beratung-gefahr-arzt-praxis-ki-chatbots-internet-app-openai-patient-4296265 - Wolfangel, E. (2026, 15. Februar). Künstliche Intelligenz: Er dachte, er müsse sterben. Dann fragte er ChatGPT um Rat. DIE ZEIT. Verfügbar unter: https://www.zeit.de/digital/internet/2026-01/kuenstliche-intelligenz-chatgpt-medikament-aerzte-empfehlung - Gelbe Liste Online (2025, 8. Dezember). Sicherheitsrisiken von Chatbots in akuten psychischen Krisen bei Jugendlichen. Verfügbar unter: https://www.gelbe-liste.de/psychiatrie/sicherheitsrisiken-companion-chatbots-psychische-krisen-jugendliche