Nutzung von ChatGPT in technischen Prüfungen: Eine Pilotstudie

Im Rahmen eines PgB8 Projektes an der Fachhochschule Nordwestschweiz (FHNW) haben wir die Einsatzmöglichkeiten und Grenzen von ChatGPT in unterschiedlichen Prüfungsformen im Bereich der technischen Ausbildung untersucht. Die Studierenden hatten die Möglichkeit, ChatGPT in verschiedenen Prüfungssettings zu verwenden und wurden anschliessend dazu mittels eines Fragebogens befragt, während die Dozierenden eine Einschätzung der Nutzung und deren Auswirkungen abgaben. Ziel war es, ein erstes Bild davon zu bekommen, wie Studierende ChatGPT verwenden, dessen Nützlichkeit einschätzen und welche Limitationen sie erfahren.

Die Studie konzentrierte sich auf drei unterschiedliche Prüfungsarten: Eine Semesterarbeit, die Konzepterstellung und manuelle Umsetzung beinhaltete, eine E-Prüfung mit Schwerpunkt Modellverständnis und praktischer Implementierung in Form von Programmieren, und eine mündliche Prüfung mit hohem Programmieranteil und Verständnisfragen. Weiter wurde ChatGPT in einer Gruppenarbeit von Erstsemestrigen zu Studienbeginn eingesetzt, welche sich mit den Grundlagen von Data Science beschäftigte. Diese Vielfalt an Formaten bot die Gelegenheit, in unterschiedlichen Settings die Anwendung von ChatGPT vergleichen zu können.

Unsere Untersuchung hat gezeigt, dass über 80% der Studierenden ChatGPT nutzten und es insbesondere bei programmierintensiven Prüfungen häufig zum Einsatz kam. Eine Ausnahme stellte die E-Prüfung dar, in der die Aufgaben so gestaltet waren, dass die Nutzung von ChatGPT zum damaligen Zeitpunkt entweder nicht möglich oder zu aufwändig war, jedoch die Lösung mit ChatGPT überprüft werden konnte- was von den Studierenden auch intensiv gemacht wurde. Weniger häufig, aber dennoch relevant, war der Einsatz für Informationsabfragen oder zu Vorgehensweisen, dies vor allem bei der Gruppenarbeit der Studieneinsteiger. Dies könnte darauf hindeuten, dass die Studierenden ChatGPT für einen ersten Einstieg in ein Thema nutzten. Zur Aufgabenanalyse oder Inspirationsfindung wurde ChatGPT eher bei konzeptorientierten Aufgaben genutzt. Interessant dabei ist, dass solche Tätigkeiten auch bei der Gruppenarbeit vorhanden waren, die Studierenden dort aber ChatGPT nicht dafür verwendeten.

Die Gesamtnützlichkeit von ChatGPT wurde als überwiegend positiv bewertet, obwohl es in einigen Fällen als ‹wenig hilfreich› für das Lösen der Aufgabe angesehen wurde. Nebst Aufgaben, die eine manuelle Komponente enthielten, war der Nutzen von ChatGPT insbesondere bei Aufgaben, die ein tieferes Verständnis erforderten, begrenzt.
Einen klaren Einfluss auf die Nützlichkeit hatte der Faktor Zeit: Je mehr Zeit zur Verfügung stand, desto hilfreicher wurde ChatGPT empfunden. Insbesondere in zeitkritischen Situationen, wie bei mündlichen Prüfungen, wurde der Einsatz von ChatGPT als zu aufwändig empfunden. Weiterhin wurden Probleme wie zu allgemeine oder zu umfangreiche Antworten und Schwierigkeiten beim Präzisieren der Anfragen an ChatGPT genannt. Die Antworten von ChatGPT liessen sich in der verfügbaren Zeit nicht effizient verwenden, woraus eine Diskrepanz zwischen dem Aufwand für die Nutzung von ChatGPT und dem daraus resultierenden Ertrag entstand.

Konsequenterweise war ein wichtiger Ratschlag von Studierende an Mitstudierende die Entwicklung guter Prompting-Fähigkeiten. Eine klare und präzise Formulierung der Fragen an ChatGPT ist entscheidend für den Erhalt nützlicher und relevanter Antworten. Zudem betonten die Studierenden die Bedeutung von Vorwissen: Die Kenntnis des Prüfungsthemas und ein grundlegendes Verständnis der Materie sind unerlässlich, um ChatGPT effektiv nutzen zu können. Praktisch alle Studierende würden aber ChatGPT an der Prüfung wieder nutzen.

Insgesamt zeigt unsere Pilotstudie, dass ChatGPT für Studierende ein wertvolles Hilfsmittel in Prüfungen sein kann, wenn es richtig eingesetzt wird. Die Nützlichkeit von ChatGPT hängt stark von der Art der Aufgaben, der verfügbaren Zeit und der Fähigkeit der Studierenden ab, effektive Prompts zu erstellen.

Für die kommende Prüfungssession lassen sich aus unserer Sicht daraus folgende Schlüsse ziehen:
Sollen Lernziele geprüft werden, bei denen KI unterstützen kann, die aber auch ohne KI beherrscht werden müssen, sollten geschlossene Prüfungsformen verwendet werden. Bei realitätsnahen, kompetenzorientierten Aufgaben sollten offene Prüfungsformate gewählt werden. Um auf verschiedenen Bloomstufen zu prüfen, bieten sich mehrteilige Leistungsnachweise mit geschlossenen und offenen Anteilen an.
Wird die Nutzung von KI zugelassen, sorgen Eigenständigkeitserklärungen und Hilfsmitteldeklarationen für klarere Verhältnisse.
Eine begrenzte Zeit in einer Open Book Prüfung beschränkt zwar die Verwendung von KI, kann aber zu einer Bevorteilung von Studierenden mit guten Prompting Skills führen. Idealerweise wird eine solche Prüfung mit einem mündlichen Teil ergänzt.

Eine Hilfestellung für den Entscheid, welche Prüfungsform(en) im laufenden und kommenden Semester verwendet werden könnten, bietet unser Entscheidungsbaum «Prüfen mit oder ohne KI», den wir auf der Basis des Modells von Ulrike Hanke im Kurs «Prüfen in einer Welt mit KI» erstellt haben. Mehr dazu in unserem Blog Beitrag Wie prüfen wir im KI Zeitalter?

Für die Gestaltung kommender Prüfungen ist es essenziell, dass Änderungen nur in Alignment mit den Lernzielen, den Lerninhalten und den Lernmethoden passieren. Wird die Verwendung von KI zugelassen, müssen Studierende die Möglichkeit haben, deren Nutzung im Modul zu üben. Bei Überlegungen auf höheren Bloom Stufen zu prüfen, müssten auch Lernziele und Lernaktivitäten entsprechend angepasst werden. Das bedeutet, dass die Integration von ChatGPT in Prüfungen eine sorgfältige Planung und Anpassung nicht nur der Prüfungsformate, sondern auch des gesamten Lernprozesses im Modul erfordert. Dies wiederum ist nur möglich, wenn wir als Lehrende uns selbst mit KI beschäftigen und die Möglichkeiten derer Verwendung ausloten und kennenlernen.

Die gesamten Ergebnisse des Pilotprojektes wurden im Rahmen der Veranstaltungsreihe Didaktik über Mittag des Didaktik-Zentrums der Hochschule für Technik vorgestellt und aufgezeichnet.
Link zu den Folien
Link zur Aufzeichnung

Dieser Text wurde von ChatGPT auf Basis einer Powerpoint Präsentation und dazugehöriger Notizen erstellt anschliessend von mir weiter überarbeitet.