5 Fragen zu… KI-KIng: Wie gut lösen Studierende Ingenieursaufgaben mit KI?

KI wird in Zukunft auch den Arbeitsalltag von Ingenieuren prägen und verändern. Um herauszufinden, was KI für ingenieurwissenschaftliche Studiengänge bedeutet, haben Nicola Schulz und Silvan Rehm mit dem Lehrfonds eine Studie durchgeführt.

Wie kam es zu dem Projekt?

Nicola Schulz: In unseren Forschungsprojekten in der Elektrotechnik nutzen wir regelmässig ChatGPT, weil es uns hilft, unsere Arbeitsproduktivität zu verbessern. Hierbei ist uns klar geworden, dass zukünftig auch unsere Absolvierenden KI-Tools genauso selbstverständlich und souverän nutzen werden wie einen Taschenrechner. In der Industrie gilt schliesslich: Zeit ist Geld. Wir müssen die Studierenden auf diese Zukunft vorbereiten. Um unsere Lehre sinnvoll anpassen zu können, müssen wir zunächst herausfinden, wie kompetent die Studierenden schon jetzt KI für ingeneurswissenschaftliche Aufgaben nutzen. So kam es zu unserem Lehrfonds-Projekt KI-KIng oder: KI-Kompetenzen von Ingenieurs-Studierenden: Eine kleine Probandenstudie im Studiengang Elektro- und Informationstechnik, bei der die Studierenden Aufgaben aus der Berufspraxis gelöst haben und wir uns genau angeschaut haben, wie sie das gemacht haben.

Was habt ihr genau gemacht?

Nicola Schulz: Im Dezember 2023 haben wir 20 Studierenden unterschiedlicher Semester Aufgaben aus der beruflichen Ingenieurspraxis gegeben, die sie innerhalb eines bestimmten Zeitfensters mit ChatGPT 4 lösen sollten. Die Aufgabenstellungen waren gemischt und beinhalteten leichte und schwierigere Berechnungen, sowie Funktionsbeschreibungen und Auslegungen eines technischen Systems. Wichtig war uns, dass dieses Setting nicht als Prüfung wahrgenommen wird, damit die Teilnehmenden kein Rosinenpicken betreiben, sondern alle Aufgabenstellungen vollständig bearbeiten.

Anschliessend haben wir die konkreten Aufgabenlösungen in Moodle, die ChatGPT-Protokolle und die Selbstreflexionen sowie Selbsteinschätzungen der Studierenden zu ihren Aufgabenlösungen analysiert. Vorab hatten wir die Semesterzahl und die Vorerfahrungen der Studierenden mit ChatGPT erhoben und konnten somit die Ergebnisse, die die Studierenden erzielt hatten, in Korrelation zu ihren Fachkenntnissen und KI-Vorerfahrungen setzen. Dies war natürlich eine kleine, nicht repräsentative Studie, doch sie ermöglicht erste grundlegende Aussagen.

Welche Ergebnisse sind herausgekommen?

Nicola Schulz: Kurz zusammengefasst: Auf die Fachkompetenzen kommt es weiterhin an. Je höher die Fachkompetenz der Studierenden, desto besser die Ergebnisse. Sie arbeiten produktiver mit KI zusammen, treten in einen co-kreativen Dialog mit der KI, teilen die anstehenden Aufgaben in sinnvolle Teilschritte auf, verfeinern ihre Prompts iterativ und hinterfragen den KI-Output kritischer.

Viel Vorerfahrung in der Nutzung von ChatGPT führt hingegen nicht automatisch zu besseren Ergebnissen, sondern nur, wenn auch die entsprechenden Fachkenntnisse vorhanden sind. ChatGPT gibt den Nutzern kein Feedback, ob eine Antwort korrekt ist oder ob ihre Vorgehensweise, ihr Prompting zielführend ist. Wir vermuten, dass der Lerneffekt in der Nutzung von ChatGPT zur Lösung von komplexeren Aufgabenstellungen deshalb oft nur gering ist. Daher empfehlen wir, dass das Erlernen der Nutzung von KI-Tools zur Lösung von fachspezifischen Aufgaben in die Ingenieurs-Ausbildung integriert wird.

Was sind die nächsten Schritte?

Nicola Schulz: Das Projekt ist jetzt abgeschlossen, es folgt noch der Abschlussbericht. Es sind jedoch etliche Fragen offengeblieben und neue Fragen sind hinzugekommen. Zum Beispiel, wie man die Studierenden konkret dazu befähigen kann, schwierige Aufgabenstellungen aus ihrem späteren Berufsgebiet souverän mit KI-Tools zu lösen. Es bleibt weiterhin ein spannendes Forschungsgebiet und wir möchten an relevanten Fragestellungen dranbleiben.

Wie können andere Lehrende von dem Projekt profitieren?

Nicola Schulz: FHNW-Angehörige können die Aufzeichnung unserer Präsentation im Rahmen des Transfer Transparent Didaktik Spezial anschauen und gerne stehen wir für Fragen zur Verfügung.

Die Folien der Projektvorstellung sind unter diesem Link zu finden (nur für FHNW Angehörige)

---