Entwicklung eines KI-gestützten Systems zur Bewertung klinischer Basisfertigkeiten

Zusammenfassung Große Sprachmodelle (Large Language Models, LLM) erlauben es, Textmaterial aus Therapiesitzungen systematisch auszuwerten und in standardisierte Ratings zu überführen. Die vorliegende Studie untersucht, ob das LLM-basierte Multiagentensystem Psychological Rater Artificial Intelligence (PsyRAI) zur automatisierten Bewertung klinischer Basisfertigkeiten entwickelt werden kann. Ausgangspunkt ist die Clinical Micro-Skill Training Scale (CMST), mit der kommunikative, interpersonale sowie prozess- und zeitmanagementbezogene Fertigkeiten angehender Psychotherapeut:innen bewertet werden. Analog zur Schulung menschlicher Rater:innen wurden die Bewertungsregeln der CMST in eine Prompt-Struktur übertragen und iterativ evaluiert. Grundlage dieser Evaluation bildete eine Entwicklungsstichprobe von 150 videobasierten Therapeut:innenreaktionen, die zuvor automatisch transkribiert wurden. Die Übereinstimmung zwischen KI- und menschlichen Ratings wurde über Intraklassenkorrelationen (ICC) bestimmt und mittels eines permutationsbasierten Nullmodells gegen Zufallsschwankungen abgesichert. Die Baseline-Prompts des Systems erreichten zunächst geringere Übereinstimmungen mit den menschlichen Ratings, diese konnten jedoch durch iterative Prompt-Optimierung deutlich gesteigert werden (ICC ≈ 0,60). Dabei zeigte sich, dass unterschiedliche Items der CMST unterschiedliche Prompt-Strukturen erfordern. Die Ergebnisse legen nahe, dass LLM-basierte Ratings klinischer Basisfertigkeiten prinzipiell möglich sind, jedoch eine sorgfältige instruktionale Spezifikation und psychometrische Evaluation voraussetzen. Das System PsyRAI kann damit eine Grundlage für skalierbare Kompetenzrückmeldungen in der Aus- und Weiterbildung von Psychotherapeut:innen darstellen, deren Nutzen und Wirksamkeit in zukünftigen Studien weiter geprüft werden sollte.