Aktuelles
E-Prüfungen fair gestalten
[05.12.2024]Der Diversität von Studierenden gerecht werden und dadurch Prüfungen valider machen – das klingt selbstverständlich, geht aber oft mit komplexen Herausforderungen einher. Das Forschungsprojekt NOVA:ea (InNOVAtionscluster E-Assessment) zielt genau darauf ab.
Dafür arbeitet das Forschungszentrum CATALPA an der FernUniversität in Hagen eng mit dem Deutschen Institut für Erwachsenenbildung (DIE) zusammen.Dr. Sina Lenski (DIE), Prof. Dr. Hannes Schröter (DIE und CATALPA) und Kirsten Gropengießer (CATALPA) geben aktuelle Einblicke in das Projekt.
NOVA:ea – die Eckdaten
Im CATALPA-Verbundprojekt NOVA:ea (InNOVAtionscluster E-Assessment) untersuchen Forschende von CATALPA, dem Deutschen Institut für Erwachsenenbildung (DIE), der Rheinisch-Westfälischen Technischen Hochschule Aachen (RWTH) und der Technischen Hochschule (TH) Köln, wie E-Assessments – also digitale Prüfungen – so gestaltet sein können, dass sie möglichst die tatsächliche Leistung aller Studierendengruppen abbilden. In enger Zusammenarbeit mit dem Zentrum für Lernen und Innovation (ZLI) ist NOVA:ea zudem ein Innovationsprojekt der FernUniversität in Hagen. Das Projekt zielt darauf ab, die Prüfungsqualität und -akzeptanz zu steigern, indem diversitätsgerechte und faire Prüfungsbedingungen geschaffen werden.
Von der Biologie zur Psychologie
Welche Auswirkungen hat das Design einer digitalen Prüfung auf die Leistungen von Studierenden? Und wie beeinflusst ein multimediales Design die Prüfungsangst? Damit befasst sich Dr. Sina Lenski. Schon während ihrer Promotion am Institut für Biologiedidaktik der Universität zu Köln beschäftigte sich die studierte Biologin mit dem Einsatz von Multimedia in Lernmaterialien. „Ich habe nach meiner Promotion eine Stelle gesucht und mit NOVA:ea ein Projekt gefunden, in dem ich meine bisherige Arbeit und Interessen ideal einbringen kann. Besonders spannend finde ich die interdisziplinäre Zusammenarbeit, die es uns ermöglicht, verschiedene Perspektiven aus der Didaktik und Technologie zu integrieren.“ Denn das Thema digitale Prüfungen hat spätestens seit der Corona-Zeit eine riesige Relevanz. „Aus meiner Sicht ein sehr aktuelles und spannendes Forschungsthema. Die Forschung zu Prüfungsangst und die Frage, wie digitale Prüfungen diese verringern können, begeistert mich besonders.“
Erfolgreicher durch Musik?
Einen sehr vielversprechenden Ansatz sieht Sina Lenski im Bereich Multimedia– insbesondere der Nutzung Musik. „Es gibt bereits Forschung, die zeigt, dass Musik bei Angst und Stress positiv wirkt. Mich interessiert, ob es möglicherweise sinnvoll ist, bestimmte Musik während Prüfungen zu hören. Ich meine, anekdotisch kennen wir das ja. Wenn ich lerne oder schreibe, höre ich gerne Musik und sie kann helfen, mich zu fokussieren. Mein Ziel: Mehr Einblick dazu gewinnen, welche Rolle das in der Praxis spielen könnte.“
Verständlicher, nicht einfacher
Am Ende geht es um nicht weniger, als Prüfungen valider zu machen. Studierende sollen in der Lage sein zu zeigen, was sie wirklich können. Prof. Dr. Hannes Schröter, Leiter des Projekts am DIE, ist dieser Punkt ein besonderes Anliegen. Bildung und damit auch Prüfungen wurden in den letzten Jahren in der breiten Fläche digitaler. Das hat Auswirkungen auf die Studierenden und ihre Leistungen – bei manchen Gruppen stärker als bei anderen. Schröter konnte zum Beispiel zeigen, dass Diversitätsmerkmale wie etwa Herkunft bzw. nicht-deutsche Muttersprache zu einem schlechteren Abschneiden beitragen. Praktisch nachgewiesen hat das Forscherteam diese Effekte etwa bei Übungsklausuren im Fach Informatik. Naheliegend also die These: Hier wurde nicht nur informatisches Wissen benötigt, sondern vielleicht auch sprachliche Kompetenz, um die Aufgaben gut zu lösen. „Fair und diversitätsgerecht sind solche Prüfungen nicht”, erklärt Hannes Schröter. „Die Frage ist: Wie kommen wir dahin, auch wirklich nur die Kompetenzen zu prüfen, die für den Kurs relevant sind, ohne, dass wir Prüfungen generell einfacher machen?“
Beeinträchtigungen und Prüfungsleistungen
Einen kleinen Baustein für faire und diversitätsgerechte Prüfungen liefert auch eine aktuelle Studie von Kirsten Gropengießer bei CATALPA. Sie untersuchte, ob gewisse Beeinträchtigungen, wie eine Sehbehinderung, Neurodiversität (z.B. ADHS, Autismus), körperlich motorische Behinderungen oder Ängste im Umgang mit computergestützten Technologien dazu führen, dass bekannte oder vertraute technische Systeme bevorzugt werden.
„Unsere Annahme war, dass Studierende mit Beeinträchtigungen während einer Prüfung lieber mit dem vertrauten Moodle-System arbeiten, das sie bereits während des Semesters genutzt hatten. Wir dachten, dies könnte eine Erleichterung sein, weil sie sich in der Prüfung nicht mit einer neuen Software vertraut machen müssen.“ Doch diese Annahme bestätigte sich nicht so deutlich, erläutert die Psychologin: „Wir konnten am Ende nur für die Gruppe der chronisch erkrankten Studierenden, die älter sind und mehrere Beeinträchtigungen haben und/oder eine höhere Computerängstlichkeit aufweisen, eine leichte Tendenz für Moodle gegenüber dem anderen, reinen Prüfungssystem Dynexite feststellen. Zum Beispiel empfanden Menschen mit einer höheren Anzahl an Beeinträchtigungen Moodle als das nützlichere System, und auch in den qualitativen Aussagen fanden sich Tendenzen in Richtung des vertrauteren Systems“, so Gropengießer. Für die Wissenschaftlerin bedeutet das: „Sollten sich diese Effekte in weiteren Studien, etwa mit größeren Gruppen, bestätigen, wäre das ein wichtiger Hinweis darauf, dass wir insbesondere Menschen mit (multiplen) Beeinträchtigungen die Möglichkeit geben sollten, sich bereits vor der Prüfung mit einem E-Prüfungssystem vertraut zu machen. Selbst wenn sie ein System dadurch nur als etwas angenehmer oder nützlicher wahrnehmen, reduzieren wir mögliche negative Auswirkungen auf ihre Prüfungsleistung.“
Technik, Didaktik, Transfer
NOVA:ea will Prüfungen diversitätsgerecht gestalten, um Studierende mit unterschiedlichen Hintergründen besser zu unterstützen. Dafür arbeiten in NOVA:ea Partner interdisziplinär zusammen. Die RWTH Aachen und die TH Köln arbeiten schwerpunktmäßig auf der Technologieseite, beim DIE und CATALPA liegen die Themen Didaktik und Transfer, also etwa die Optimierung der Prüfungen und die Entwicklung von Angeboten für die Praxis.
Insgesamt beleuchten die Forschenden folgende Aspekte:
Studienabbruch: Der Abbruch von Bildungsmaßnahmen (Drop-out) ist ein Problem, das alle Bildungsbereiche betrifft. Dreh- und Angelpunkt sind dabei immer Diversitätsmerkmale – also etwa die Frage, welche Studierendengruppen eventuell besondere Unterstützung benötigen. So fand das Team zum Beispiel heraus, dass die beiden Frühwarnzeichen für Studienabbruch, nämlich die Nicht-Anmeldung zu Modulprüfungen und die Prüfungsleistung, mit Prüfungsängsten zusammenhängen. Hierzu haben Sina Lenski und ihre Kolleg*innen Anfang des Jahres einen Artikel publiziert.
Design von Prüfungen: Hier geht es vor allem um die Gestaltung von Prüfungsitems, also zum Beispiel Prüfungsfragen, mit Bildern oder Audioelementen. Ist alles, was möglich ist, auch nötig? Forschung auf diesem Feld ist relativ rar. Beim Lernen wirkt Multimedia sich beispielsweise positiv aus, doch ist das auch bei Prüfungen der Fall? Und lässt sich Prüfungsangst durch den Einsatz von Multimedia möglicherweise reduzieren?
Feedback: Bei der Erforschung der Rolle von Feedback geht es in NOVA:ea vor allem um formatives Feedback, also um Rückmeldungen zum persönlichen Lernstand im Verlauf eines Semesters. Probeklausuren bieten sich hier zum Beispiel an. Fragen, auf die in verschiedenen Studien Antworten gesucht werden, sind etwa: Welche Arten von Feedback sind überhaupt gewünscht. Und ist es persönlichkeitsabhängig, ob man Feedback einholt?