Forschungsprojekt

IMPACT - Implementierung von KI-basiertem Feedback und Assessment mit Trusted Learning Analytics in Hochschulen. Change Management, Didaktik für formatives Assessment und Feedback

Projektleitung:
Prof. Dr. Claudia de Witt
Mitarbeitende:
Heike Karolyi
Lars van Rijn
Michael Hanses
Nathalie Frede
Status:
laufend
Laufzeit:
01.12.2021 – 30.11.2025
fördernde Einrichtungen:
Bund - Länderinitiative / Bundesministerium für Bildung und Forschung (BMBF)

Hintergrund

Künstliche Intelligenz (KI) verändert derzeit Möglichkeiten in Wirtschaft, Gesellschaft und zentralen Lebensbereichen. Damit Deutschland zu einem weltweit führender Standort für die Erforschung, Entwicklung und Anwendung von Künstlicher Intelligenz werden kann, bedarf es einer breiten und bestens ausgebildeten Fachkräftebasis. Die Bund-Länderinitiative zur Förderung von Hochschulen zu Künstlicher Intelligenz in der Hochschulbildung verfolgt die Zielsetzung, durch den Einsatz von KI wirksame Effekte in Studium und Lehre zu erreichen. So soll die Verbesserung der Qualität, Leistungsfähigkeit und Wirksamkeit der Hochschulbildung durch den Einsatz von KI vorangebracht werden.

In dem Kooperationsprojekt IMPACT wird die Implementierung von Trusted Learning Analytics und KI in der Hochschullehre durch das Forschungszentrum CATALPA und der Projektleitung von Prof. Dr. Claudia de Witt gemeinsam mit weiteren Projektpartnern umgesetzt, wissenschaftlich begleitet und erforscht.

Die weiteren Projektpartner sind:
Goethe-Universität Frankfurt, Prof. Dr. Hendrik Drachsler (Konsortialführung)
Humboldt-Universität zu Berlin, Prof. Dr. Niels Pinkwart
Freie Universität Berlin, Prof. Dr. Tim Landgraf und Dipl. Soz. Alexander Schulz
Universität Bremen, Prof. Dr. Andreas Breiter

Projektziel und Teilziele

Das Verbundprojekt IMPACT fördert die Verbesserung der Hochschulbildung durch den skalierbaren Einsatz von Verfahren der Künstlichen Intelligenz (KI) zur (teil-)automatisierten Analyse von Texten im Rahmen eines Trusted Learning Analytics-Ansatzes. Entlang des Student Life Cycles erhalten Studieninteressierte, Studieneinsteiger:innen und Studierende textbasiertes, hoch informatives und personalisiertes Feedback im Hochschulstudium. An fünf deutschen Universitäten werden textbasierte KI-Verfahren wie Chatbots, personalisierte Feedback-Systeme zum formativen sowie summativen Assessment in breite Anwendung gebracht. Das interdisziplinäre Konsortium nutzt international erprobte Open-Source-Softwarelösungen sowie gemeinsame Standards und berücksichtigt dabei die Interoperabilität in der Hochschullehre mit gängigen Lernmanagementsystemen (Moodle, Stud.IP, ILIAS). Für die zielorientierte Integration der KI-Anwendungen werden (medien-)didaktische Konzeptionen und Adaptionen vorgenommen. Voraussetzung für die nachhaltige Implementierung der KI-Anwendungen in Studium und Lehre ist ein datenethisches Change Management auf Grundlage des SHEILA-Prozessmodells. Das Modell wird in allen beteiligten Hochschulen angewandt und liefert dem Verbund somit ein einheitliches, wissenschaftlich fundiertes Rahmenkonzept für die kontinuierliche Kooperation mit Gremien, Lehrenden und Studierenden. Die Projektergebnisse werden durch Workshops und nach Open Science-Prinzipien durch den Verbund deutschlandweit zugänglich gemacht.

Teilziele

Im Verbundprojekt IMPACT kommen fünf Hochschulen Deutschlands zusammen, die über besondere Expertise im Bereich ethischer, rechtlicher und sozialer Implikationen und zahlreiche praktische Erfahrungen im didaktischen Einsatz von Learning Analytics verfügen. Diese Expertise soll genutzt werden, um Vorarbeiten der Verbund-Hochschulen zur Anwendung von KI zu verstetigen und mittels Open-Source-Software (OSS) dem Verbund sowie anderen interessierten Hochschulen zugänglich zu machen.

Die FernUniversität in Hagen verfolgt im Rahmen des Verbundvorhabens insbesondere drei zentrale Teilziele:

1. Teilziel der FernUniversität in Hagen: Umsetzung des Sheila-Frameworks

Der wissenschaftlich entwickelte Sheila Framework dient der a priori Ermittlung von Gelingensbedingungen für den Einsatz von Interventionen oder innovativen technischen Lösungen in sechs Schritten und der strukturierten Begleitung des Implementierungsprozesses. Um den Implementierungsprozess in den jeweiligen Institutionen abzustimmen, werden Bedarfe und Gelingensbedingungen erfasst und alle Abteilungen der Institutionen mit einbezogen. Darunter fallen neben kontinuierlichen Kooperationen mit Vertretern der Studierenden und Lehrenden sowie relevanten Hochschulgremien auch die Entwicklung von Weiterbildungsmaterial für die implementierten Trusted Learning Analytics-Anwendungen. Durch das SHEILA-Prozessmodell werden die im Verbund beteiligten Hochschulen in Fragen der KI-Adaption durch die FernUniversität in Hagen begleitet; durch die Verzahnung der Hochschulen im Verbund werden zudem bundesweit Impulse und unterschiedliche Vorgehensweisen informell ausgetauscht. Die HS unterstützen sich so gegenseitig bei der Erarbeitung betreffender Prozesse zum datenethischen Umgang mit den Studierenden.

2. Teilziel der FernUniversität in Hagen: Mediendidaktische Konzeption

Die FernUniversität in Hagen erarbeitet in enger Zusammenarbeit mit der Humboldt Universität zu Berlin anhand bestehender Daten eine Grundlage, aus der didaktische Konzeptionen und Adaptionen für die Gestaltung von KI-gestützten Anwendungen für formatives Feedback abgeleitet werden. Formatives Feedback befasst sich dabei mit zeitnahen Rückmeldungen in Form eines hochinformativem Feedbacks im Studienverlauf. Hochinformatives Feedback enthält Informationen zur Aufgaben-, Prozess- und (gelegentlich) Selbstregulierungsebene (Wisniewski, Zierer & Hattie, 2020). Basierend auf den didaktischen Konzepten und Daten werden KI-Komponenten zur Verarbeitung von Textdaten erstellt bzw. erweitert, in das Learning Management System integriert und iterativ weiterentwickelt. Zusätzlich unterstützt das Team der FeU die didaktische Konzeption von (1) KI-gestütztem summativen Feedback und (2) die Weiterentwicklung von Online Studienwahl Assistenten (OSA) bei den anderen Projektpartnern.

3. Teilziel der FernUniversität in Hagen – Implementierung einer KI gestützten Anwendung für formatives Feedback

Die Bereitstellung und Weiterentwicklung spezifischer KI-Anwendungen für formatives Feedback erfolgt auf Basis von Textdaten. Unter realistischen Bedingungen werden die KI-Anwendungen getestet, auf ihren Beitrag zu identifizierten Bedarfen hin untersucht und ihr nachhaltiger Einsatz wird durch die Nutzung ausgewählter Open-Source-Software im Verbund realisiert. An der FeU wird die Open Source-Software OnTask zum Einsatz gebracht mit dem Ziel, diese über den Projektverlauf an der FeU über mehrere Module und Studiengänge in das Angebotsgefüge im Regelbetrieb zu integrieren und bei positiven Evaluationsergebnissen nach Projektende weiterzuführen. Dabei wird die Interoperabilität zu anderen Systemen fortlaufend sichergestellt .

 

Publikationen

2024

Vorträge und Posterpräsentationen

Karolyi, H. (2024, September). Trusted Learning Analytics und KI für formatives Feedback – Wertesensible Gestaltung als Voraussetzung für nachhaltige Implementierung [Präsentation]. Learning AID 2024, Bochum.

Download: Präsentation (PDF 2 MB)(PDF 4 MB)

Konferenzbeiträge

Rüdian, S., Schumacher, C., Hanses, M., Kuzilek, J., & Pinkwart, N. (2024, Juli). Rule-based and prediction-based computer-generated Feedback in Online Courses. IEEE International Conference on Advanced Learning Technologies (ICALT).

Buchbeiträge

de Witt, C. (in press). Hochschuldidaktik mit hybrider Intelligenz: Unterstützung personalisierten Lernens. In U. Dittler & C. Kreidl (Hrsg.), Künstliche Intelligenz in der Hochschullehre: Einsatzmöglichkeiten und Entwicklungen digitaler Technologien im Hochschulalltag. Schäffer-Poeschel Verlag.

Hanses, M., van Rijn, L., Karolyi, H., & de Witt, C. (2024). Guiding Students Towards Successful Assessments Using Learning Analytics From Behavioral Data to Formative Feedback. In M. Sahin & D. Ifenthaler (Hrsg.), Assessment Analytics in Education: Designs, Methods and Solutions (S. 61–83). Springer International Publishing. https://doi.org/10.1007/978-3-031-56365-2_4

2023

Zeitschriftenartikel

Ferguson, R., Khosravi, H., Kovanović, V., Viberg, O., Aggarwal, A., Brinkhuis, M., Buckingham Shum, S., Chen, L. K., Drachsler, H., Guerrero, V. A., Hanses, M., Hayward, C., Hicks, B., Jivet, I., Kitto, K., Kizilcec, R., Lodge, J. M., Manly, C. A., Matz, R. L., … Yan, V. X. (2023). Aligning the Goals of Learning Analytics with its Research Scholarship: An Open Peer Commentary Approach. Journal of Learning Analytics, 10(2), 14–50. https://doi.org/10.18608/jla.2023.8197

2022

Konferenzbeiträge

van Rijn, L., Karolyi, H., & de Witt, C. (2022). Trusted Learning Analytics verstetigen. Mit Change Management zu didaktischen Innovationen. In B. Standl (Hrsg.), Digitale Lehre nachhaltig gestalten. Waxmann.

Karolyi, H., & van Rijn, L. (2022). Im Team besser – worauf es bei der interdisziplinären Zusammenarbeit ankommt [Präsentation]. Workshop zum Thema Interdisziplinäre Zusammenarbeit, Online.

Karolyi, H., & Wrede, S. (2022). Gestaltung formativer Feedbacks an Hochschulen mit Künstlicher Intelligenz und Trusted Learning Analytics [Präsentation].

van Rijn, L., Karolyi, H., & de Witt, C. (2022, September 13). Trusted Learning Analytics verstetigen. Mit Change Management zu didaktischen Innovationen [Präsentation]. 30. Jahrestagung der Gesellschaft für Medien in der Wissenschaft e.V., Karlsruhe.

 
 

Weitere Informationen

IMPACT Banner light

Informieren Sie sich gern auch auf den Webseiten der Goethe-Universität Frankfurt am Main näher zum Verbundprojekt IMPACT.

 

Förderung

Logo: Bundesministerium für Bildung und Forschung - BMBF
Logo: Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen
 

Gefördert wird das Projekt im Rahmen der Bund-Länder-Initiative „Förderung der Künstlichen Intelligenz in der Hochschulbildung“ durch das Bundesministerium für Bildung und Forschung (BMBF) und dem Ministerium für Kultur und Wissenschaft des Landes Nordrhein-Westfalen

Förderbekanntmachung: https://www.bmbf.de/bmbf/shareddocs/bekanntmachungen/de/2021/02/3409_bekanntmachung.html

Förderkennzeichen: 16DHBKI043