Potenzial und Herausforderungen von Large Language Models in der klinischen Entscheidungsfindung

Zusammenfassung Die klinische Entscheidungsfindung zählt zu den zentralen Aufgaben von Ärzt:innen und könnte durch Large Language Models (LLM) deutlich verbessert werden. Obwohl LLM in medizinischen Staatsexamina inzwischen herausragende Leistungen erzielen, lässt dies keine Schlussfolgerung für ihren Einsatz im realen klinischen Alltag zu, da essenzielle Fähigkeiten wie Informationsbeschaffung, Leitlinienadhärenz oder Integration in Arbeitsabläufe nicht repräsentativ getestet werden. In der hier vorgestellten, im Juli 2024 in Nature Medicine veröffentlichten Studie haben wir LLM deshalb in einem realistischen klinischen Szenario auf echten Patientendaten der MIMIV(Medical Information Mart for Intensive Care)-IV-Datenbank und unter Berücksichtigung relevanter Bewertungskriterien getestet. Unsere Ergebnisse zeigen, dass die damals aktuellen, lizenzfreien LLM (Llama 2 [Meta] und dessen Derivate) bei der Diagnosestellung über alle Pathologien hinweg signifikant schlechter abschneiden als Ärzt:innen, Leitlinien nicht einhalten und Laborergebnisse nicht korrekt interpretieren können und ihr Einsatz somit ein ernsthaftes Risiko für die Patientengesundheit darstellen würde. Zudem mangelte es den Modellen an der nötigen Robustheit für den klinischen Einsatz, da sie sich nicht an vorgegebene Rahmenbedingungen hielten, relevante Informationen nicht priorisieren konnten und von der Reihenfolge diagnostischer Informationen bei gleichem Informationsgehalt beeinflusst wurden. Insgesamt zeigt unsere Analyse, dass LLM derzeit nicht für die autonome klinische Entscheidungsfindung geeignet sind, sie bietet jedoch einen Datensatz und einen Evaluationsrahmen für zukünftige Studien.