Projekt

1 Fragestellung

Ausgangspunkt des Projekts war die Frage, ob sich verschiedene Varianten der Implementierung von Lernprotokollen (Collaboration Scripts) (Pfister & Mühlpfordt 2002) im praktischen Einsatz in der Fernlehre bezüglich ihrer Wirkung auf den Lernerfolg unterscheiden.

Aus vorangegangenen experimentellen Arbeiten (DFG Projekt PF 330/1-1) wissen wir, dass die Steuerung und Kontrolle des Lerndiskurses durch Lernprotokolle den Lernerfolg verteilter Gruppen grundsätzlich verbessern kann. Im Projekt PF 330/1-2 wurde gezeigt, dass der Nutzen der Protokollunterstützung primär von dem Ausmaß abhängt, mit dem die Wissensinhalte elaboriert werden müssen. Der Erwerb von Wissen mit komplexer propositionaler Struktur (z.B. Realdefinitionen) wurde mit Protokollunterstützung besser erlernt als einfach strukturiertes Wissen (z. B. singuläre Fakten). Generell scheint die Aufgabenschwierigkeit die Effizienz protokollgestützten Lernens zu moderieren.

Im Zusammenhang mit Lernprotokollen (Collaboration Scripts) wird in der Literatur außerdem das Problem des „overscripting“ diskutiert. Gemeint ist hier die Gefahr, dass ein rigides Festlegen des Vorgehens die Lerner zu sehr einengen könnte und so eventuell sogar das Lernen behindern könnte (Ref.). Als Ausweg werden oft weniger einengende, informellere Implementierungen des Lernprotokolls vorgeschlagen. Allerdings erfordern solche Implementierung mehr Disziplin und Koordinierungsaufwand von den Lernern.

In diesem Projekt sollte nun einerseits überprüft werden, ob sich der Nutzen der Protokollunterstützung für den Erwerb von Wissen mit komplexer propositionaler Struktur auch bei realen verteilten Lerngruppen in der Fernlehre nachweisen lässt. Andererseits sollte untersucht werden, ob sich zwei verschieden rigide Implementierungen desselben Lernprotokolls bezüglich ihrer Wirkung in realen Lerngruppen unterscheiden. Aus Sicht der Informatik musste für diese Untersuchungen die Frage beantwortet werden, wie sich Lernprotokolle überhaupt effizient und zuverlässig in web-basierten verteilten Lernumgebungen implementieren lassen.

Es wurde erwartet, dass sich auch im Feld der Nutzen der Protokollunterstützung für den Erwerb von Wissen mit komplexer propositionaler Struktur zeigen würde, und das bei komplexen, längerfristigen Lernprozessen die Protokollimplementierung Vorteile zeigen sollte, die den verteilten Lernenden durch rigidere Führung eine Verminderung ihres Koordinationsaufwands ermöglicht.

2 Feldstudie

2.1 Vorgehensweise

Zur Planung und Durchführung der Feldstudie wurden empirische und informatische Forschungsarbeiten verzahnt.

Um eine möglichst große Beteiligung an der Feldstudie sicherzustellen wurde als Lehrveranstaltungsform eine vorlesungsbegleitende Übung mit üblicherweise 350 Teilnehmern gewählt, die für den Einsatz eines Lernprotokolls um eine neue Übungsvariante „Kooperative Übung“ erweitert wurde.

Auf Basis der in der Vorlesung zu vermittelnden Lerninhalte wurden die in den kooperativen Übungen zu erreichenden Lernziele so ausgewählt, dass den verteilten Studierenden ein speziell dafür konstruiertes Lernprotokoll beim Erreichen dieser Lernziele helfen müsste. Danach wurden die Aufgabenstellungen der kooperativen Übungen so ausgewählt, dass das Lernprotokoll zu ihrer Bearbeitung hilfreich sein sollte.

Für die Implementierung der Lernprotokolle wurde die am Lehrgebiet entwickelte kollaborative Lernplattform CURE verwendet. Für die Realisierung eines rigiden Lernprotokolls, von dem die Studierenden nicht abweichen können, war die Entwicklung einer geeigneten Systemarchitektur, einer Skriptrepräsentation und einer dazu passenden Ausführungsumgebung notwendig. Im Gegensatz dazu war die flexiblere Variante des Lernprotokolls in CURE einfach durch Repräsentation entsprechender Instruktionen für die Lerner möglich.

Nach Vorliegen der Versuchsumgebung wurden Pilotstudien bzgl. der Zuverlässigkeit und Funktionsweise der Varianten des Lernprotokolls sowie der Evaluationsinfrastruktur durchgeführt. Danach wurde die Feldstudie im Sommersemester 2006 durchgeführt, mit anschließender Auswertung der Daten und Publikation der Ergebnisse. Im Sommersemester 2007 wurde eine weitere Feldstudie mit einem geänderten Lernprotokoll durchgeführt, deren Datenauswertung über das Projektende hinaus gehen wird.

2.2 Implementierung von Lernprotokollen

In einer verteilten Situation unterstützt das CSCL-System die ortsübergreifende Interaktion zwischen den verteilten Lernern. Ein Lernprotokoll soll mögliche Interaktionen zwischen Lernern beschränken. Das Lernprotokoll kontrolliert dazu für die einzelnen Lerner die Verfügbarkeit von Operationen des CSCL-Systems und den Umfang der Statusanzeige (Awareness, rollenspezifische Information). Zur Definition von Lernprotokollen in einem CSCL-System werden eine Modellierungssprache und ein Editor benötigt. Zur Ausführung von Lernprotokollen benötigt das CSCL-System eine Ausführungskomponente.

Ein Lernprotokoll wird als Sequenz von atomaren und zusammengesetzten Skripten definiert (Haake & Pfister 2007a). Ein atomares Lernprotokoll unterstützt eine einzelne Lernaktivität (z.B. Brainstorming, Verfassen eines kurzen Essays). Ein zusammengesetztes Lernprotokoll unterstützt komplexe Lernaufgaben durch eine Sequenz von Lernprotokollen. Ein Lernprotokoll ist damit ein zusammengesetztes Lernprotokoll, das mindestens ein atomares Lernprotokoll enthält. Atomare Lernprotokolle regulieren und unterstützen die Interaktion zwischen Lernern in einer Lernaktivität, während zusammengesetzte Lernprotokolle die Abfolge von Lernaktivitäten festlegen (Kontrollfluss, Datenfluss zwischen atomaren Lernprotokollen).

Zur Realisierung von Lernprotokollen wurde eine geeignete Repräsentation von Lernprotokollen entwickelt, die auf gekoppelten Endlichen Automaten beruht (Haake & Pfister 2007a). Für die Implementierung zusammengesetzter Lernprotokolle wurde ein einfacher Editor in CURE implementiert. Es wurde eine Bedienoberfläche für den Aufbau einer Sequenz aus bekannten atomaren Skripten realisiert, die jeweils das Anhängen bzw. Einfügen und Entfernen von atomaren und zusammengesetzten Lernprotokollen in einer Sequenz erlauben. Aus dieser Spezifikation kann dann das CSCL-System für eine Gruppe von Lernern eine Instanz des Lernprotokolls generieren. Hierdurch wird ein einfaches Ändern zusammengesetzter Lernprotokolle und das Experimentieren mit Varianten ermöglicht.

Die Implementierung zusammengesetzter Lernprotokolle haben wir in der Web-basierten CSCL-Plattform CURE (Haake et al. 2004a-c) erprobt. CURE (siehe Abbildung 1) organisiert Gruppenarbeit in Räumen, zu denen Benutzer mit passenden Schlüsseln Zugang und Zugriffsrechte haben. Eine Lernumgebung besteht aus einem Eingangsraum, von dem aus seine Unterräume erreichbar sind. Jeder Raum enthält außerdem von den Benutzern editierbare Seiten sowie persistente Kommunikationskanäle (Chat, threaded Mailbox). CURE verwendet eine Servlet-basierte Architektur.

Zur Implementierung von zusammengesetzten Lernprotokolle erweiterten wir CURE um einen Typ von Seite (Page) für atomare Lernprotokolle (Atomic CSCL Script Types) (Haake & Pfister 2007a, Haake 2007). Unterklassen enthalten die Repräsentation des jeweiligen geschachtelten Endlichen Automaten. Instanzen einer atomaren Skriptklasse repräsentieren eine konkrete Ausführung eines Lernprotokolles mit gruppenspezifischen Teilnehmern und Inhalten. Zusammengesetzte Lernprotokolle werden in CURE als Seitentyp CSCL Script repräsentiert. Instanzen werden für eine Gruppe als neue Seite im Gruppenraum erzeugt. Sie enthalten eine Sequenz von Skriptseiten (Instanzen von Page oder CSCL Script), die die Interaktion der Gruppenteilnehmer steuert.

In CURE wird die Startseite des Lernprotokolls mit einer Beschreibung des Lernprotokolls und einem Startknopf angezeigt. Das Drücken des Startknopfes startet die Ausführung des Skripts. Jetzt weist die Ausführungskomponente jedem Benutzer des Raums eine Rolle, die im Skript definiert ist, zu (d.h. Benutzer werden mit den entsprechenden Automaten assoziiert). Die Ausführungskomponente initialisiert dann die Automaten und erzeugt die jeweiligen HTML-Seiten für die Bedienoberfläche der jeweiligen Benutzer, in der dann auch nur die zulässigen Operationen (als Buttons bzw. Links) und die definierten Informationen angezeigt werden. Wenn der Benutzer eine Aktion auslöst wird ein entsprechender Request an das Skript Servlet gesendet. Das Servlet führt die Operation aus und definiert den neuen Zustand gemäß der Automatendefinition in der CSCL-Skript-Seite im Raum. Die Bedienoberflächen aller Benutzer des Skripts (d.h. HTML Seiten) werden gemäß des neuen Zustands mittels Web 2.0 Technologie verändert.

2.3 Aufbau der Feldstudie

Ziel der Feldstudie war es, die Wirksamkeit eines speziellen Lernprotokolls in einer praktischen Anwendung in der Fernlehre zu untersuchen. Wir nehmen an, dass Lernprotokolle gemeinsames Lernen unterstützen können, insbes. in verteilten Situationen und bei komplexen, längerfristigen Problemlösungsprozessen. Dabei sollte das Lernen mit zunehmender Erfahrung besser werden (Lernkurve). Dies kann nur durch eine Langzeitstudie untersucht werden.

In der hier vorgestellten Feldstudie untersuchten wir, ob sich die Wirkung formaler Lernprotokolle von denen informaler Lernprotokolle bei komplexen, längerfristigen Problemlösungsprozessen unterscheidet. Hierbei betrachteten wir die Lösung einer komplexen Querschnittsaufgabe durch einen 3-phasigen Problemlösungsprozess (Brainstorming, Clustering, Essay). Der gesamte Prozess wurde durch ein zusammengesetztes Lernprotokoll unterstützt, in dem für jede Phase ein eigenes atomares Lernprotokoll definiert wurde.

2.4 Hypothesen

In der Feldstudie wurde die Wirksamkeit zweier Realisierungsalternativen eines zusammengesetzten Lernprotokolls verglichen: einmal als formales Lernprotokoll versus ein vorgehensmäßig äquivalentes informales Lernprotokoll, welches über Instruktionen realisiert wurde. Mit Hilfe dieser Lernprotokollrealisierungen mussten die verteilten Lerngruppen identische komplexe Querschnittsaufgaben in einem Zeitraum von jeweils 2 Wochen lösen, die die Betrachtung des Stoffs einer Lerneinheit aus einer neuen bzw. übergreifenden Perspektive erforderten. Das Lernprotokoll definierte dazu einen 3-phasigen Problemlösungsprozess, der aus den Aktivitäten Brainstorming, Clustering und Essay bestand. Zur Untersuchung der Lernkurve mussten alle Gruppen über ein Semester fünf solcher Aufgaben bearbeiteten.

Als Qualitätsmaße betrachteten wir die Qualität der Brainstorming-Ergebnisse, die Qualität der Clustering-Ergebnisse, die Korrektheit / Verständlichkeit / Nachvollziehbar­keit des Essays sowie den Lernerfolg des Individuums und der Gruppe. Unsere Hypothese war, dass die Gruppen mit dem formalen Lernprotokoll ab einem Zeitpunkt (in Abhängigkeit von der Lernkurve) immer besser oder gleich gut abschneiden würden als die Gruppen mit dem informalen Lernprotokoll. Wir erwarteten außerdem, dass sich der Vorteil des formalen Lernprotokolls mit der Zeit verstärken würde.

2.5 Methode

Im Folgenden folgt eine kurze Zusammenfassung der Methode. Eine detaillierte Darstellung ist in (Haake & Pfister 2007b) enthalten.

Setting. Wir arbeiteten an der FernUniversität Hagen mit verteilten Lerngruppen aus 3 Studierenden. Die Lerngruppen bearbeiteten vorlesungsbegleitende kooperative Übungen zum Kurs Betriebssysteme im Master of Science Informatik. Alle Lerngruppen nutzen die kooperative Lernplattform CURE über einen Webbrowser auf ihrem Rechner.

Evaluationsinfrastruktur. Wir erweiterten CURE so, dass nach der Abgabe einer Übung ein Multiple Choice-Post-Wissenstest in CURE durchgeführt werden musste.

Design. Wir verglichen zweiBedingungen (informales Skript IS, formales Skript FS) mit je 21 Gruppen je 3 Personen.

Testpersonen. Insgesamt nahmen im Sommersemester 2006 von April bis Juli 126 Fern-Studierende im Hauptstudium des Informatik-Diplom/Masterfreiwillig an den kooperativen Übungen teil. Die Gruppenbildung erfolgte durch die Betreuer gemäß der von den Studierenden angegebenen zeitlichen Verfügbarkeit, so dass auch die Gelegenheit zu synchroner Kooperation bestand.

Prozedur. Zuerst wurden alle Teilnehmer des Kurses per Informationsschreiben und Newsgroup über die Gelegenheit zur Teilnahme an den kooperativen Gruppenübungen informiert. Danach fand die Gruppenbildung statt (Anmeldung per Mail, Zuweisung zu Gruppe/CURE-Raum durch Betreuer). Instruktionen zur Durchführung der Übung gemäß dem Skript befanden sich im CURE-Raum jeder Gruppe (inkl. Manual). Alle 14 Tage wurden die Aufgaben abgeschlossen und die nächste Aufgabe freigeschaltet. Nach Abgabe der Lösung wurden die Teilnehmer zur Abgabe des Post-Wissenstests aufgefordert. Die Betreuerkorrigiertendie Lösungen und machten diese den Studierenden in ihrem CURE-Raum verfügbar. Insgesamt wurden 5 Übungen mit analoger Struktur durchgeführt. Jede Übung erforderte die Lösung einer komplexen Querschnittsaufgabe zur aktuellen Kurseinheit und verwendete dasselbe zusammengesetzte Skript (in den beiden Varianten IS und FS) mit den Aktivitäten Brainstorming, Clustering mit vorgegebenen Clustern und Verfassen eines Essays zur gestellten Frage.

Messgrößen. Für jede Gruppe betrachteten wir die Qualität der Brainstorming-Ergebnisse definiert als Anzahl gefundener sinnvoller Konzepte, die Qualität der Clustering-Ergebnisse definiert als Anzahl sinnvoller Konzepte in richtigen Clustern, dieKorrektheit des Essay definiert als Anzahl korrekter Aussagen über Konzepte und deren Relationen sowie die Verständlichkeit des Essays und die Nachvollziehbarkeit des Essays auf einer Nominalskala von 1..5 (sehr gut bis mangelhaft). Für Individuen betrachteten wir die Anzahl richtiger Aussagen im MC Post-Wissenstest.

Coding. Die Bewertung jeder Übung wurde durch zwei unabhängige wissenschaftliche Betreuer des Kurses (Hochschullehrer, wissenschaftliche Mitarbeiter) durchgeführt. Referenzrahmen für die Bewertung aller Messgrößen außer Verständlichkeit und Nachvollziehbarkeit war eine Musterlösung. Unterschiede in der Bewertung wurden diskutiert und eine einheitliche Bewertung herbeigeführt.

2.6 Ergebnisse

Im Folgenden folgt eine kurze Zusammenfassung der Ergebnisse. Eine detaillierte Darstellung ist in (Haake & Pfister 2007b) enthalten. Es liegen in jeder Bedingung (IS, FS) die Ergebnisse von jeweils 21 Gruppen mit je 3 Teilnehmern vor.

Qualität der Brainstorming-Ergebnisse. Die Bedingungen (IS, FS) unterscheiden sich nicht. Die Gruppen nannten im Mittel 40% der möglichen relevanten Konzepte.

Qualität der Clustering-Ergebnisse. Die Bedingungen (IS, FS) unterscheiden sich nicht. Die von den Gruppen konstruierten Cluster wiesen im Mittel 32% der möglichen korrekten Zuordnungen von korrekten Konzepten zu den vorgegebenen Clustertiteln auf. Allerdings basiert dieses Ergebnis auch auf den unvollständigen Konzeptsammlungen aus der Brainstormingphase. Die Gruppen mit dem informalen Skript schneiden von der Richtung her mit M=0.336 eher etwas besser ab als die Gruppen mit formalem Skript mit M=0.309.

Korrektheit des Essays. Die Bedingungen (IS, FS) unterscheiden sich nicht. Im Durchschnitt werden ca. 60% der für die Lösung der Querschnittsaufgaben wichtigen Konzepte und Beziehungen korrekt dargestellt. Auch muss berücksichtigt werden, dass die Ergebnisse der vorherigen Phasen die Anzahl der von der jeweiligen Gruppe berücksichtigten Konzepte beeinflusst haben kann.

Verständlichkeit des Essays. Die Verständlichkeitswerte müssen mit Vorbehalt interpretiert werden: Die allermeisten Essays wurden mit „sehr gut“ (61 %) oder mit „gut“ (24 %) bewertet, d.h. dass es kaum Varianz gibt und natürlich auch keine annähernde Normalverteilung. Die Bedingungen (IS, FS) unterscheiden sich nicht.

Nachvollziehbarkeit des Essays. Die Interpretation ist auch hier nur unter Vorbehalt möglich, da die meisten Nachvollziehbarkeitsratings bei „gut“ (37%) oder bei „sehr gut“ (42%) liegen. Es zeigt sich, dass hier die Gruppen mit formalem Skript (FS) eine bessere Bewertung erhalten als die Gruppen mit informalem Skript.

Anzahl richtiger Aussagen im MC-Postwissenstest. Die Bedingungen (IS, FS) unterscheiden sich nicht. Die Teilnehmer erreichen im Durchschnitt etwa 70-75% der möglichen Punkte.

2.7 Diskussion

Im Folgenden folgt eine kurze Diskussion der Ergebnisse. Eine detaillierte Darstellung ist in (Haake & Pfister 2007b) enthalten.

Anhand der Ergebnisse konnten die Eingangshypothesen nicht bestätigt werden. Für alle Messgrößen gilt, dass Gruppen mit informalem Lernprotokoll genau so gut abschneiden wie Gruppen mit formalem Lernprotokoll. Lediglich bei der Nachvollziehbarkeit der Essays scheint das formale Lernprotokoll einen Vorteil zu bewirken. Ein Lerneffekt über die Zeit ließ sich nicht nachweisen. Nach den vorliegenden Daten erscheint daher die Wirkung des informalen und formalen Lernprotokolls in unserer Studie weitgehend äquivalent. Eventuell wurde die positive Wirkung des formalen Lernprotokolls (erleichterte Koordination) durch die größere Flexibilität des informalen Lernprotokolls (Lerner konnten beliebig von Lernprotokoll abweichen, das Lernverhalten in den informalen Gruppen konnte ja nicht kontrolliert oder beobachtet werden) ausgeglichen. In (Pfister et al. 2003) verstärkte sich die Wirkung des formalen Lernprotokolls mit steigender Gruppengröße. Deswegen könnte vermutet werden, dass sich bei steigender Gruppengröße Wirkungsunterschiede zeigen könnten.

Positiv zu vermerken ist das gute Abschneiden beider Bedingungen in den Post-Wissenstests und bei den Essays. Dies legt nahe, dass die kooperativen Übungen in beiden Bedingungen zum Lernerfolg beitragen. Dies korreliert auch zu den Beobachtungen des Berichterstatters während mündlicher Fachprüfungen. Teilnehmer der kooperativen Übungen erbringen im Durchschnitt bessere argumentative Leistungen als die Studierenden, die nicht an den kooperativen Übungen teilnahmen.

2.8 Zusammenfassung

Die Ergebnisse zeigen, dass bis auf das Kriterium der Nachvollziehbarkeit des Essay keine Unterschiede in der Wirkung von informellen und formalen Lernprotokollen festgestellt werden konnte. Beide Alternativen führten zu einem äquivalenten Lernerfolg beim Erwerb komplexen propositionalen Wissens, gemessen anhand der Post-Wissenstests. Zurzeit untersuchen wir den Einfluss der Bedingungen auf die Prüfungsnoten, aufgrund der frei terminierbaren mündlichen Prüfungen ist die Datenerhebung noch nicht vollständig.

Aufgrund dieses Ergebnisses führten wir im Sommersemester 2007 in derselben Vorlesung eine Feldstudie mit einem modifizierten Lernprotokoll durch. In dieser Studie benutzen wir wegen der Wirkungsgleichheit nur die informelle Variante des Lernprotokolls, allerdings ergänzt um eine vierte Phase „Peer-Review“. Hier müssen die Studierenden nach Abgabe ihrer Lösung anhand vordefinierter Kriterien und einer Musterlösung die Lösung einer anderen Gruppe bewerten und ggf. Rückfragen der bewerteten Gruppe beantworten. Unsere Annahme ist, dass der hierdurch induzierte Perspektivwechsel ein tieferes Lernen befördern sollte und dass außerdem die Qualität der Essays über die Zeit besser werden sollte. Zurzeit läuft die Auswertung der Daten, informelle Interviews mit Studierenden bestätigen eine subjektive Wahrnehmung eines positiven Lerneffekts durch die Studierenden.

Veröffentlichungen

Buchbeiträge

1. Joerg M. Haake; Hans-Rüdiger Pfister: Flexible scripting in net-based learning groups, in Scripting computer-supported collaborative learning. Cognitive, computational and educational perspectives, edited by Fischer, F., Kollar, I., Mandl, H., Haake, J. M., Springer Verlag Berlin, 2007, pp. 155-175.

Artikel in Zeitschriften

1. Jörg M. Haake; Rüdiger Pfister: Scripting a Distance-Learning University Course: Do Students Benefit from Net-Based Scripted Collaboration?, in International Journal of Computer Supported Cooperative Learning 5(2), pp. 191-210, 2010.

Herausgeberwerke

1. Frank Fischer; Ingo Kollar; Heinz Mandl; Joerg M. Haake: Scripting computer-supported collaborative learning. Cognitive, computational and educational perspectives, Springer Verlag Berlin, 2007.

begutachtete Konferenzbandbeiträge

1. Bourimi, M., Lukosch, S. & Kühnel, F. Leveraging Visual Tailoring and Synchronous Awareness in Web-based Collaborative Systems. In Groupware: Design, Implementation, and Use, 13th International Workshop, CRIWG 2007, LNCS 4715, Springer-Verlag Berlin Heidelberg, pp. 40-55, 2007.
2. Joerg M. Haake: Computer-Supported Collaborative Scripts: Einsatz computergestützter Kooperationsskripte in der Fernlehre., in DeLFI 2007: 5. e-Learning Fachtagung Informatik. GI Verlag, Bonn, 9-20.
3. Bourimi, M. Collaborative Design and Tailoring of Web Based Learning Environments in CURE. In Groupware: Design, Implementation, and Use, 12th International Workshop, CRIWG 2006, LNCS 4154, Springer-Verlag Berlin Heidelberg, pp. 421-436, 2006.