Wie prüfen wir im KI-Zeitalter?

Entscheidungsbaum: Prüfen mit oder ohne KI

«ChatGPT und seine Geschwister» sind gekommen, um zu bleiben. Für Hochschulen steht das Thema Prüfen besonders im Fokus: KI erlauben oder verbieten? Welche Prüfungsformen machen Sinn?

Auf der Grundlage des Entscheidungsmodells von Ulrike Hanke* haben wir im Didaktik-Zentrum einen Entscheidungsbaum für die Hochschule für Technik erstellt. Er führt durch die grundlegenden Fragen, die sich stellen, wenn wir im KI-Zeitalter Prüfungen konzipieren.

Auch in Zeiten generativer KI ist vieles möglich.

Die erste Entscheidung betrifft die Frage: Kann KI bei dem Lernziel bzw. bei Aufgaben zu dessen Überprüfung überhaupt nützlich sein? Bei rein praktischen Aufgaben in der analogen Welt kann KI wenig ausrichten. Bei allen anderen kann KI mehr oder weniger hilfreich sein, was uns zur nächsten Entscheidung führt: Steht hinter dem Lernziel eine Kompetenz, die künftig auch ohne KI bewältigt werden muss? Wenn man diese Antwort bejaht, handelt es sich typischerweise um Lernziele der unteren Taxonomiestufen. Hier ist es notwendig, ohne KI zu prüfen. Das funktioniert nach wie vor entweder analog mit einer Paper&Pencil-Prüfung, einer mündlichen Prüfung oder mit einem E-Assessment, bei dem z.B. per Campla-Lernstick das Internet entweder eingeschränkt oder ganz ausgeschlossen wird.

Bleiben noch die Lernziele bzw. Kompetenzen, die künftig mit KI bewältigt werden und die Entscheidung: Sollen KI-Kompetenzen explizit mitgeprüft werden oder nicht? Egal, ob ja oder nein, hier landen wir bei Offenen Prüfungsformen: Open Book Prüfungen, Semesterarbeiten oder E-Portfolios – die Nutzung von KI kann hier generell zu anspruchsvolleren Ergebnissen führen. Wird die KI-Kompetenz nicht explizit mitgeprüft, so ist der Fokus auf die Eigenleistung gerichtet. Diese kann beurteilt werden z.B. durch eine Prozessdokumentation, durch Reflexion, durch Prozessbegleitung und/oder eine mündliche Verteidigung. Wird die KI-Kompetenz explizit mitgeprüft, so bieten sich dieselben Prüfungsformen an: Open Book, Semesterarbeit und E-Portfolio. Um die KI-Kompetenzen beurteilen zu können, sind auch hier Prozessdokumentation, Reflexion und mündliche Verteidigung hilfreich und natürlich entsprechende Aufgabenstellungen.

Soweit die Gedanken für die nächsten und übernächsten Prüfungen. Doch wie geht es weiter?

Wie prüfen wir in Zukunft?

Wenn wir es wirklich ernst meinen mit der Kompetenzorientierung, prüfen wir im KI-Zeitalter noch mehr über Praxisprojekte und Forschungsfragen, bei denen der Erarbeitungsprozess intensiv begleitet wird, Feedbacks ausführlich sind und Entwicklung fördern. Natürlich ist das nicht in jedem Modul möglich und leistbar. Muss es doch auch gar nicht. Warum können nicht mehrere Module bei solchen Praxisprojekten und Arbeiten beteiligt sein? Wieso bei Prüfungen nicht auf Qualität setzen statt auf Quantität? Wieso nicht Prüfungen über Begleitung und Feedback wieder wirklich mit Lernen zusammenbringen? Viel mehr Assessment for learning und viel weniger Assessment of Learning and for certification könnte auch eine Lehre sein, die wir aus der KI ziehen.

Wir freuen uns auf die Diskussion mit euch!

_{* Ulrike Hanke: Selbstlernkurs: KI und Prüfen.}