Im Workshop „Mediendidaktische Grundlagen“ entwickeln die Teilnehmenden ein Lehrkonzept, dass den Einsatz von digitalen Medien in ihrer Lehrveranstaltung im Fokus hat. Im gerade stattgefunden Durchlauf haben wir ihnen freigestellt, das Konzept mit ChatGPT zu erstellen. Die Ergebnisse waren sehr interessant und sagen einiges, wenn auch nicht unbedingt neues, über die Brauchbarkeit von ChatGPT in der Hochschullehre aus.

Erstmal selbst ausprobieren

Zur Vorbereitung des Workshops hatten meine Kollegin Tanja Adamus und ich es zunächst selbst einmal ausprobiert. Für drei Beispielveranstaltungen zu den Themen „Bildung für nachhaltige Entwicklung“, „Schuldrecht in Deutschland“ und „Lineare Algebra“ haben wir ChatGPT befragt, wie eine Lehrveranstaltung aussehen könnte. Alles Themen, die in konkreten Modulen oder Fortbildungen an der FernUni vorkommen. Wir haben die Ergebnisse dann an Expert*innen aus den jeweiligen Bereichen und Fakultäten geschickt, mit der Bitte, eine Einschätzung zur Brauchbarkeit zu geben.

Die gute Nachricht: Tanja und ich können nicht einfach so eine Lehrveranstaltung übernehmen. 🙂 ChatGPT gab mal mehr, mal weniger brauchbare Ergebnisse aus. Aber ohne das entsprechende Expert*innenwissen ist eine Einschätzung der Validität der Ausgaben nicht möglich. Für Laien hört sich das plausibel an, aber im Detail ergeben sich viele Ungereimtheiten.

Eine Auswahl (die entsprechenden Ausgaben von ChatGPT können in den verlinkten PDFs nachgelesen werden):

• Zu dem von ChatGPT erstellten Lehrplan für eine Veranstaltung zum Thema „Bildung für nachhaltige Entwicklung“ hat der Experte zunächst positiv angemerkt, dass ChatGPT die Multidimensionalität (ökologisch, ökonomisch, sozial) des Themas gut getroffen hat. Entsprechend sind die genannten Themen vielfältig und die Teilnehmenden an einer solchen Lehrveranstaltung werden als „change agents“ wahrgenommen. Die Vielfalt an Materialien und Methoden wurde ebenfalls positiv aufgenommen. Aufgrund des sehr allgemeinen Prompts bemängelte der Experte allerdings auch einige Aspekte: fehlende Begründung der ausgewählten Themen, fehlende fachliche Einbettung, fehlende Auflistung von Lernzielen und fehlende Anbindung an konkreten Transfer.
• Beim Thema „Schuldrecht in Deutschland“ attestierte der Experte ChatGPT, „viel gut klingenden Quatsch“ zu produzieren, der ins Thema nicht hineingehört. Viele der einzelnen Aspekte, die aufgeführt wurden, gehören nicht in eine Lehrveranstaltung zum Schuldrecht, sondern zur Veranstaltung zum Allgemeinen Teil des Bürgerlichen Gesetzbuchs.
• Im Fall der „Linearen Algebra“ zeigt sich, dass die Auflistung von Themen ganz passabel ist, eine didaktische Aufbereitung aber überhaupt nicht stattfindet. Die Expertin zog das Fazit: „Ein moderner Lehrplan würde auch didaktische Hinweise enthalten. Außerdem sollten Kompetenzziele mit Niveauverben und Fachkompetenz enthalten sein. Alles dies fehlt.“

Zugegebenermaßen hätten wir durch entsprechende Anpassung der Prompts wahrscheinlich zu besseren Ergebnissen kommen können. Insgesamt zeigen die Beispiele aber schon eine starke Tendenz zu einer Tatsache, die immer wieder vor Augen geführt werden muss. ChatGPT ist eine sehr komplexe Wahrscheinlichkeitsmaschine, die Text produziert, ohne zu „wissen“, was in dem Text steht. So sehr wir auch dazu tendieren, generative KI zu vermenschlichen, menschliche Kapazitäten sind schlicht nicht vorhanden, sondern werden bestenfalls simuliert.

Ergebnisse der Workshop-Teilnehmenden

Die Teilnehmenden des Workshops „Mediendidaktische Grundlagen“ kamen zu ähnlichen Ergebnissen. Drei stellten ihr mit Hilfe von ChatGPT erstelltes Lehrkonzept vor. Dabei ging es inhaltlich um die Themen Gesundheitsökonomie, Einführung in die Forschungsmethoden der Psychologie und die Grundlagen der Elektrotechnik.

Bei der Gesundheitsökonomie stellte der Lehrende fest, dass die Ergebnisse unterschiedlich gut waren. So konnte ChatGPT die Themen einer Fragensammlung gut zusammenfassen und auch die Zuordnung von Lernzielen zu Stufen der Bloomschen Lernzieltaxonomie funktionierte gut. Die Erstellung einer Grobstruktur sei ebenfalls empfehlenswert. Allerdings beginnt dann erst die Detailarbeit, die entweder von den Lehrpersonen selbst oder mit sehr großem Aufwand durch viele angepasste Prompts von ChatGPT übernommen wird. Im letzten Fall ist allerdings fraglich, ob der Aufwand den Nutzen rechtfertigt. Je nachdem, welche Version man nutzt, können die Bearbeitungszeiten recht lang sein. Und da wird die Nutzung ineffizient.

Im Fall der Einführung in die Forschungsmethoden der Psychologie passte die Lehrende den Prompt in einem zweiten Durchgang an. Beim ersten Mal wurden zwar die Einzelthemen plausibel und in einer logischen Reihenfolge angegeben. Konkrete Hinweise zum Einsatz passender Methoden, z. B. zum Erlangen praktischer Kompetenzen oder zur Förderung der Interaktion zwischen den Studierenden, fehlten jedoch. Das wollte die Lehrende beim zweiten Durchgang von ChatGPT genauer wissen. Mit dem sehr viel detaillierteren Prompt wurde auch die Ausgabe von ChatGPT konkreter, aber immer noch nicht gut. „Die Lehrziele sind aber noch viel zu ungenau formuliert, die Methoden teilweise nicht unbedingt erkennbar sinnvoll für das Lehrziel.“, schrieb die Lehrende in ihrer Beurteilung.

Bei der Elektrotechnik kamen ebenfalls gemischte Ergebnisse heraus. Vom Lehrenden wurde festgestellt, dass die Themen nicht korrekt zu den vorgegebenen Kompetenzniveaus der Studierenden zugeordnet wurden. Die Stoffmenge war zu groß und teilweise zu anspruchsvoll. Auf der anderen Seite waren die in einem zweiten Schritt generierten Prüfungsfragen zum gleichen Thema viel zu einfach und gehörten in die neunte Klasse einer Schule anstatt ins erste Semester an der Uni.

Bei dem Problem mit erfundenen Literaturangaben, das ChatGPT wegen seiner grundlegenden Funktionsweise nun einmal hat, ergaben sich auch unterschiedliche Resultate. Während in einem Fall zumindest ein Hauptwerk zum Thema korrekt mit Autornamen und Titel, wenn auch mit einem falschen Verlag, wiedergegeben wurde, waren im anderen Fall alle Literaturangaben komplett unbrauchbar.

Fazit

Die Tests entzaubern das Image zumindest von ChatGPT 3.5 als allwissende Informationsquelle noch ein bisschen mehr. Ausgaben sind unzuverlässig und nur auf den ersten flüchtigen Blick brauchbar. Was für viele Anwendungsfelder ein großes Problem werden kann, wenn die Ausgaben ungeprüft bleiben, ist in dem Experiment aus dem Workshop jedoch tatsächlich ein sehr großer Vorteil.

Meine Einschätzung ist nämlich, dass sich die Teilnehmenden sehr viele Gedanken dazu gemacht haben, was ChatGPT da produziert hat, und es dann mit dem verglichen, was sie selbst dazu konzipiert hätten oder haben. Dadurch entstand ein Reflektieren über didaktische Entscheidungen, das sehr wertvoll sein kann. Es zeigt aber auch, dass Personen, die die Ausgaben von ChatGPT beurteilen wollen, bereits Expert*innen auf ihrem Gebiet sein müssen. Es mag Bereiche geben, bei denen das nicht besonders wichtig ist, in der Wissenschaft ist es das aber allemal. Das den Lernenden zu vermitteln, wird zur zentralen Aufgabe der kommenden Monate und Jahre werden.