Normalerweise fand es immer in Aachen statt, aber in diesem Jahr gab sich die Uni Siegen die Ehre: das E-Prüfungs-Symposium zog etwa 100 Teilnehmende an, die sich für alle Aspekte rund um digital durchgeführte Prüfungen interessieren. Die schöne Kulisse des Unteren Schlosses in Siegen bildete den Rahmen für einen interessanten Austausch.

Gleich zu Beginn wurde das Feld der Tagung auf gute Weise abgesteckt. Professor Roland Wismüller, der Leiter des Lehrstuhls Betriebssysteme und verteilte Systeme der Universität Siegen, begann mit einer Erinnerung daran, dass das Thema E-Assessment vielleicht ursprünglich mit dem Anspruch verfolgt wurde, viele Studierende zu prüfen. Jetzt sollte der Fokus allerdings ganz klar darauf liegen, dass E-Assessment die Chance bietet, die Qualität von Prüfungen zu verbessern. Prof. Wismüller skizzierte die vergangen 5 Jahre, in denen an der Uni Siegen nach und nach die großen Vorbehalte gegenüber E-Prüfungen abgebaut werden konnten.

Inhalte der Folien als Word-Dokument

In seiner Keynote stellte Dr. Michael Striewe von der Universität Duisburg-Essen vor, was seiner Meinung nach in nächster Zukunft im Bereich E-Prüfungen zentrale Bedeutung erlangen wird. Mit den Themen Prozesse, Software, Domänen und Didaktik & Analyse gelang ihm ein Rundumschlag, der sehr informativ war (s. Galerie). Allerdings wurde auf Twitter von @T_Ortelt zu Recht festgehalten, dass die Prüfungsdidaktik nur ein Add-On sei.

Die Postersession während der Mittagspause versammelt von kommerziellen Anbietern von Prüfungssoftware bis hin zu Forschungsergebnissen sehr unterschiedliche Aspekte.

Vorträge am laufenden Band

Am Nachmittag des ersten Tags musste dann die Entscheidung getroffen werden, die Vorträge anzuhören oder den Workshop zu Dynexite zu besuchen. Zusätzlich gab es noch einen Raum, der mit spontanen Themen bespielt werden konnte. Ich habe mich in die Vorträge gesetzt, weil ich wissen wollte, mit welchen Themen sich die Anderen so rumschlagen.

• Los ging’s mit einem Werbeblock der Firma IQUL, die Dienstleistungen im Bereich E-Assessment anbietet. Unter anderem kann bei ihr die Durchführung von E-Klausuren für 5000 € pro Tag gebucht werden. Vor- und Nachbereitung sind dabei aber nicht enthalten. Interessant war auch der Verweis auf eine Studie von Alexander Schulz, die ich mir bei Gelegenheit auch mal durchlesen muss.
• Was geleistet werden kann, wenn viele Hochschulen an einem Strang ziehen, zeigt das Beispiel des Umbrella Constortium for Assessment Networks (UCAN). Hier sind in einem riesigen Fragenpool über 500.000 Items zusammengekommen, die vor allem aus dem Bereich der Medizin kommen. Die Fragen können entweder mit UCAN-eigenen Softwarelösungen oder über den QTI-Standard in anderen Systemen genutzt werden. Vorgestellt wurde außerdem eine Reihe weiterer Lösungen wie etwa einem Peer-Assessment-System.
• Abgerundet wurde die erste Runde vor der Kaffeepause mit der Vorstellung des Instituts für Lern-Innovation der Friedrich-Alexander-Universität Erlangen-Nürnberg. Dort wird ILIAS für alle Belange genutzt. Mit dem Safe Exam Browser aus Zürich eben auch für die Durchführung von ca. 300 Prüfungen mit insgesamt 14.000 Prüfungsfällen.
• Nach der Kaffeepause ging es weiter mit Praxisbeispielen, wie dem von der TU Chemnitz. Dort wird in der Mathematik das LMS OPAL eingesetzt, um allen, die sich mit Mathe im Studium beschäftigen müssen, diesen Umstand attraktiver zu machen.
• Wer sich wie ich nach unserem Artikel zu den Tagungen im dritten Drittel des Jahres gefragt hatte, was eigentlich E-Assessment 2.0 ist, dem*der kann ich jetzt helfen. Damit sind einfach kompetenzorientierte Prüfungen gemeint, die z. B. Drittsoftware während der Prüfung einbindet. Wenn also etwa die Nutzung von Statistiksoftware möglich ist und die Ergebnisse dann in die Prüfungssoftware übertragen werden. Keine Zauberei also und im Grunde vor allem ein technischer Aufwand. Aber sicherlich werden über solche Aufgabenstellungen ganz andere Kompetenzen abgeprüft, als dies mit „herkömmlichen“ E-Klausur-Aufgaben möglich ist.

Zweiter Tag: Endlich ein bisschen Didaktik

Während der erste Tag doch sehr von technischen Aspekten geprägt war, ging es am zweiten mehr um prüfungsdidaktische Fragen. Gestartet wurde mit einem Vortrag zum Thema, wie an einer Hochschule Lehrende für das Thema Prüfungsdidaktik sensibilisiert werden können. An der Hochschule Hamm-Lippstadt wurden dafür Unterstützungsmaßnahmen eingeführt, mit denen Prüfende auf das digitale Prüfen vorbereitet werden. Professor Gregor Hohenberg und vor allem Moritz Brünger skizzierten ihre Erfahrungen mit den veränderten Rollenanforderungen mit denen sich Lehrende konfrontiert sehen. Durch die Prozesse, die bei digital durchgeführten Prüfungen zu beachten sind, sehen sich Lehrende mit anderen Deadlines, plötzlichen Reviews usw. konfrontiert, was nicht immer einfach sei. Außerdem sind Prüfende nicht mehr die Besitzenden von Prüfungsfragen. Dadurch dass große Fragenpools in der Regel kollektiv erstellt werden, erlangen sie ihre Anerkennung zukünftig durch die gute Kompilation von Prüfungsfragen, so Brünger. Auch wenn es bei den Reviews einige Reibungsverluste gegeben hat, sehen mittlerweile die meisten Prüfenden ein, dass dieser Prozess sehr zur Qualitätsverbesserung beiträgt.

Interessant war auch, dass im Rahmen der DH NRW versucht wird, ein Netzwerk aufzubauen, das sich auf E-Prüfungen konzentriert und dass sich zunächst an alle Standorte in NRW richtet. Dabei sollen Doppelungen durch einen intensiven Austausch vermieden werden.

Eine ganz andere und gleichzeitig an diesen Vortrag anknüpfende Perspektive wurde im Workshop von Dr. Julia Steinhoff-Wagner von der Landwirtschaftlichen Fakultät der Uni Bonn aufgezeigt. Anders, weil es um Nutztiere und deren Untersuchung im Stall ging. Anknüpfend, weil das Ziel war, Qualitätsaspekte in den Prozessen der Prüfungskette zu identifizieren. Für den Bereich Fragenerstellung gibt es schon einige Literatur. Ebenso kann viel über die statistische Auswertung von Prüfungen nachgelesen werden. Bei einigen anderen Punkten existieren aber noch einige Lücken, die angeregt diskutiert wurden. So kam die Frage nach Bedingungen für die Bepunktung von Klausuren auf. Sollen Punkte bei der Frageerstellung für einzelne Fragen festgelegt oder sollen sie im Rahmen der Klausurerstellung im Vergleich von allen Fragen vergeben werden? Die häufig genannte Empfehlung, dass die Höhe der Punkte abhängig von der Bearbeitungszeit der Frage sein sollte, wurde aber unter Hinweis auf eingebundene Videos oder längere Texte, die bearbeitet werden sollen, wieder relativiert. Im Endeffekt muss jede Prüfung einzeln geprüft werden, am besten durch die Expert*innen, die an den jeweiligen Standorten für E-Assessment zuständig sind – sofern es sie denn auch gibt.

Sehr beeindruckend waren die von Steinhoff-Wagner gezeigten Beispiele, die einen Einfluss des Fragendesigns auf das Abschneiden der Studierenden belegten. Wurde den Geprüften eine Single Choice Frage gestellt, beantworteten sie diese doppelt so häufig korrekt, wie bei einer kprim-Frage gleichen Inhalts. Während bei der Single Choice Frage durch die Programmierung nur die Auswahl einer Antwort möglich ist, muss bei einer kprim-Frage für jede Antwortmöglichkeit entschieden werden, ob diese korrekt ist oder nicht. Die Studierenden gingen also scheinbar davon aus, dass es nicht sein kann, dass bei einer solchen Frage nur eine Antwort richtig ist. Auch bei der Anordnungsfrage kann das Design Einfluss auf das Ergebnis haben. In einem Fall sollten die Studierenden mehrere Elemente von links nach rechts in eine Reihenfolge bringen, im anderen Fall von oben nach unten. Die Variante „von oben nach unten“ war fehleranfällig, weil die Studierenden in manchen Fällen zwar die richtig Reihenfolge wählten, diese aber von unten nach oben anordneten, was das System natürlich als falsch wertete. Bei der Variante „von links nach rechts“ war dies kein Problem, weil dies ohnehin der gewohnten Leserichtung entspricht. Die Beispiele zeigen, dass das Fragendesign einen großen Einfluss auf die Ergebnisse haben kann.

Prüfen 2030 – Visionen erlaubt

Die Tagung wurde abgerundet durch die zweite Keynote von Dr. Christian Seifert. Er forderte die Teilnehmenden auf, ihre Visionen von Prüfungen, wie sie 2030 stattfinden könnten, zu teilen. Dabei wurden unterschiedliche Aspekte genannt, die Seifert wie folgt zusammenfasste:

• Bei den organisatorischen Aspekten werden flexiblere Zeiten und Räume für Prüfungen eine Rolle spielen. Hochschulübergreifende Kooperationen in Form von z. B. Prüfungszentren könnte man sich ebenso vorstellen, wie individualisierte Prüfungen.
• Die Wünsche bei den didaktischen und inhaltlichen Aspekten geht in Richtung leistungsgerechtere und prozessorientierte Prüfungen. Ziel sollte es sein, tatsächlich das zu prüfen, was das Wesen einer Wissenschaft ausmacht. Dazu werden adaptives Testen und virtuelle Umgebungen eine größere Rolle spielen als sie das bislang tun.
• Auch bei den technischen Aspekten gibt es eine Reihe von Wünschen. Neben Effizienz und Stabilität wurde auch Diversifizierung genannt: passgenaue Tools sollten für spezifische Inhalte zur Verfügung stehen. Natürlich ohne, dass sich Prüfende in immer neue Werkzeuge einarbeiten müssen.
• Bei den rechtlichen Rahmenbedingungen wird sich aus Sicht von Seifert am wenigsten tun. Dennoch darf auch hier gehofft werden, dass z. B. Learning Analytics als eine Basis für adaptives Test nicht gänzlich durch Datenschutzbestimmungen verhindert wird.

Der Start und das Ende der Tagung fanden übrigens in einer Kirche statt. Die vielfältigen Anspielungen, die daher benutzt werden könnten, spare ich mir hier allerdings… 🙂