Unterstützung bei der Korrektur schriftlicher Aus- und Fortbildungsprüfungen - Möglichkeiten und Grenzen Künstlicher Intelligenz

"Im dualen Aus- und Fortbildungssystem werden neben Multiple-Choice-Fragen häufig auch ungebundene Aufgaben (Freitext- oder Essay-Aufgaben) eingesetzt, bei denen ein Sachverhalt in eigenen Worten dargestellt werden soll. Der Korrekturaufwand ist hoch, da die inhaltliche Varianz in Wortwahl und Detailgenauigkeit das Textverständnis erschwert. Durch die fortschreitende Digitalisierung ergeben sich neue Möglichkeiten, die Prüfungs- und Korrekturprozesse zu verändern und zu verbessern. Neben digitalen Lern- und Prüfungsplattformen eröffnen insbesondere die Fortschritte im Bereich Künstlicher Intelligenz (KI) und maschineller Sprachverarbeitung mit großen KI Sprachmodellen (Large Language Models, LLMs) wie ChatGPT neue Potenziale für Unterstützungssysteme in der beruflichen Bildung. Im Rahmen des vom Bundesministerium für Forschung, Technologie und Raumfahrt geförderten Verbundvorhabens 'KI-Exam - Automatische Vorsortierung von Essay-Aufgaben zur Unterstützung von Korrigierenden mithilfe Künstlicher Intelligenz' arbeiten die Projektpartner an einer technischen Unterstützung für die Korrektur ungebundener Aufgaben. Der vorliegende Beitrag stellt am Beispiel des KI-Exam-Systems dar, welche Wirkungen ein KI-basiertes System auf Korrekturprozesse entfalten kann. Folgenden systembezogenen Fragestellungen wird dabei nachgegangen: 1) Welche Handlungsroutinen und Herausforderungen bestehen bei der Korrektur von Freitextaufgaben in Aus- und Fortbildungsprüfungen technischer Berufe? 2) Mit welchen Funktionalitäten unterstützt das KI-Exam-System die Prüfenden im Korrekturprozess? 3) Inwieweit fühlen sich Prüfende durch die Funktionalitäten des KI-Exam-Systems im Korrekturprozess unterstützt?" (Textauszug, BIBB-Doku)