Wie gut ist das Feedback in MOOCs?

Veröffentlicht am von
3

MOOCs sind ja jetzt schon eine ganze Zeit in aller Munde; quasi DER aktuelle Trend im E-Learning. Die Vorteile und Chancen sind nicht von der Hand zu weisen; aber bisherige Erfahrungen zeigen auch die Fallstricke bei der Entwicklung und Umsetzung von MOOCs (Qualität, “Vorlesungsaufzeichnungen”, Drop-Out, was heißt “open”?,…).

Ein Thema, das mich besonders beschäftigt, ist die Qualität des Feedbacks in MOOCs. Wie kann man auch für große Teilnehmerzahlen Rückmeldungsprozesse gestalten, die tatsächlich lernförderlich sind? Zu unterscheiden ist dabei zunächst, ob der Lernende ein formatives Feedback im Lernprozess erhält (zur Verbesserung) und/oder eine summative Rückmeldung zu Bewertungszwecken. Grundsätzlich ist beides denkbar; formatives Feedback ist aber unabdingbar, denn sonst weiß der Teilnehmer ja gar nicht, wie gut oder schlecht er sich bereits in der Thematik auskennt. Aber wie werden solche Feedback-Prozesse konkret gestaltet?

Angeregt durch den Wettbewerb “MOOC Production Fellowship”, bei dem vom Stifterverband der Deutschen Wirtschaft und iversity ingesamt 250.000 € für die Entwicklung von zehn Kursen bereit gestellt werden, habe ich mich mal näher damit beschäftigt, wie Feedback-Prozesse in MOOCs konzeptioniert sind. In den “Guidelines” liefern die Veranstalter des Wettbewerbs folgende Info, wie sie sich das Feedback in den MOOCs vorstellen:

Ein weiteres Schlüsselkonzept für Online-Kurse ist das direkte Feedback. Hierbei werden nach den Videos oder der Lektüre von Texten kurze Tests geschaltet, um das Verständnis der Inhalte abzufragen.

An diesem Punkt sind wir also wieder bei den Anfängen des Feedbacks im E-Learning angelangt: automatisierte Rückmeldungen; wie z.B. “knowledge of performance” (z.B. “85 % richtig”), “knowledge of result” (“falsch”), “knowledge of correct result” (aka Musterlösung). Ich beschäftige mich ja schon seit einigen Jahren mit Feedback – auch und gerade in E-Learning-Szenarien – und hätte ehrlich gesagt nicht erwartet, dass das Thema nochmal so auf die Agenda kommt. Aber ich muss einräumen, dass es für MOOCs ein sinnvolles Tool zum Self-Assessment Studierender ist, sofern man sich der Grenzen dieser Rückmeldungen bewusst ist. Denn im Prinzip kann dadurch nur Fakten- (und ein bisschen) Konzeptwissen überprüft werden.

Was also tun, sobald es um komplexere Wissensformen geht? Auch hier machen die Initiatoren des Wettbewerbs unter dem Stichwort “Prüfungsverfahren” (naja… lieber wäre mir der Begriff “Assessment”) einen Vorschlag:

Peer Review: Dies ist eine Möglichkeit, wie Aufgaben, die sich nicht automatisierbar bewerten lassen – z.B. Eassys – auch bei Kursen mit tausenden von Teilnehmern durchgeführt werden können. Hierbei müssen die Kursteilnehmer z.B. jeweils fünf Arbeiten ihrer Kommilitonen lesen, nach einem Bewertungsschema beurteilen und Feedback geben. Sowohl die Arbeit als auch die Qualität des Feedbacks werden bewertet.

Und hier ist der Punkt, wo ich so ein bisschen meine Zweifel habe, dass das funktioniert. Erfahrungen aus der eigenen Lehre zeigen, dass es Studierenden sehr schwer fällt, die Qualität der Arbeit anderer zu bewerten und darauf auch noch eine angemessene schriftliche Rückmeldung (mit z.B. Verbesserungstipps) zu geben. Ehrlich gesagt ist das noch nicht mal etwas, was nur Studierende betrifft: Auch so manches Peer Review eines Zeitschriftenbeitrags wirft die Frage auf, ob da z.B. ein Beitrag gründlich gelesen wurde oder ob der Gutachter gute inhaltliche Kenntnisse zum Thema hat. Und verschärft trifft das natürlich auf MOOCs zu, wo die Teilnehmerschaft ja äußerst heterogen ist. Steven Krause gibt in seinem Blog ein Beispiel dafür, wie unterschiedlich die Qualität eines solchen Peer Reviews ausfallen kann.

Natürlich gibt es da schon einige Maßnahmen, um den Prozess des Peer Review zu unterstützen. Z.B., indem man als Lernender die Qualität des erhaltenen Feedbacks bewerten kann (wie es ja auch in den Guidelines oben steht) oder indem man möglichst genaue Vorgaben macht, wie so ein Feedback aussehen soll und diesen Prozess z.B. mit Rubrics (also Bewertungsrastern) unterstützt. Dennoch glaube ich, dass das noch kein Garant ist für eine gute Rückmeldung. Wichtig wäre es aus meiner Sicht noch, dass es auch die Möglichkeit zum Dialog über das Feedback gibt. Zu überlegen wäre auch, was passiert, wenn Teilnehmer nachweislich kein gutes Peer Review verfassen können oder wollen. Gibt es da dann ein ergänzendes Tutorial “Wie geb ich eine Rückmeldung?” oder hat es Konsequenzen für die weitere Kursteilnahme? Außerdem sollte klar sein, was mit Fragen geschieht, die Lernende sich nicht gegenseitig beantworten können.

In irgendeiner Weise sollte es also doch auch eine Rückmeldung des Lehrteams geben – zumindest, wenn es sich nicht um ein cMOOC (wo es ja primär um den Austausch mit der Community geht), sondern um ein xMOOC handelt, welches eher der Handlungslogik traditioneller Lehrveranstaltungen folgt. In den Guidelines zum Wettbewerb ist auch hier eine Anregung vorhanden:

Der Lehrende kann überdies beispielhaft einige Arbeiten oder eine Musterlösung öffentlich besprechen und so wichtige Punkte illustrieren.

Solche Rückmeldungen im Lernprozess halte ich für einen großen Motivator. Ich kann mich noch gut an die Semi-Virtuelle-Vorlesung bei Gabi erinnern, bei der es darum ging, in Kleingruppen eine problemorientierte Aufgabe zu bearbeiten. Als Ergebnis kamen immer total engagiert gestaltete Powerpoint-Präsentationen (im Sinne von kleinen “Selbstlernmedien”) heraus. Wenn man dann in der folgenden Präsenzsitzung als “Musterbeispiel” für eine erfolgreiche Aufgabenlösung herangezogen wurde, war dies noch einmal ein Schub für die nächste Aufgabenbearbeitung. Selbstverständlich muss ein solches Vorgehen auch unter Datenschutz-Aspekten durchdacht sein. Dennoch würde ich den Bezug zu den Lösungen der Teilnehmer als wichtiges Kriterium einer solchen Rückmeldung (z.B. in Form einer Videobotschaft) betrachten. Einfache Musterlösungen (z.B. als PDF) erfüllen inhaltlich zwar auch ihren Zweck; das Gefühl sozialer Eingebundenheit können sie allerdings nicht unterstützen.

Soweit also mal ein paar Gedanken zu Feedback in MOOCs. Total spannend fände ich hier natürlich eine empirische Studie, in der man z.B. die Qualität von Peer Reviews (via Dokumentenanalyse und Selbsteinschätzung) untersuchen könnte oder inwiefern Peer Reviews tatsächlich den Lernprozess der Teilnehmer fördern. Ich freue mich jedenfalls über Literatur- und Linktipps, falls es da schon Erkenntnisse gibt.

Wer bin ich – und wenn ja wie viele?

Veröffentlicht am von
2

“Wer bin ich – und wenn ja wie viele?” diese Frage habe ich mir in Anlehnung an das populäre Buch von Richard David Precht bei meinem Besuch der DGHD Jahrestagung 2013 gestellt. Es war mein erster Besuch bei “den Hochschuldidaktikern” und er führte mich vom 3. bis 6. März an die Hochschule Magdeburg-Stendal.

h2_logo_RGBIch hatte die Möglichkeit, am 4. März im Rahmen des Promovierendenforums den aktuellen Stand meiner Disseration vorzustellen. Im Zentrum stand dabei für mich nicht, eine Horizont-erweiterende inhaltliche oder forschungsmethodische Rückmeldung zu erhalten. In erster Linie ging es für mich darum, mal “vorzufühlen”, auf welche Resonanz mein Ansatz, Lehrende für das Geben von Feedback an Studierende in Lehrveranstaltungen zu qualifzieren, wohl in der Community der Hochschuldidaktiker stoßen würde. Die Rückmeldungen waren erfreulicherweise positiv und ich konnte eine Reihe von Interessenten gewinnen, die sich mein Qualifizierungskonzept samt Werkzeugkasten gerne ansehen würden. Hoffentlich ist es im Sommer endlich soweit, dass ich einen ersten Prototypen aus der Hand geben kann.

Aber was hat nun meine Überschrift mit der DGHD Jahrestagung 2013 zu tun? Neben der Vorstellung des Diss-Standes war es mir ein besonderes Anliegen, mir einen Eindruck von der hochschuldidaktischen Community zu verschaffen. Bereits beim Jungen Forum Hochschul- und Mediendidaktik 2012 in Hamburg konnte ich mir ein erstes Bild machen. Aber was sind die aktuellen Felder hochschuldidaktischer Forschung? Was sind typische Untersuchungsdesigns? Wie ist das Selbstverständnis, der in der Hochschuldidaktik Beschäftigten? Diese Fragen habe ich mit nach Magedeburg gebracht. Das Motto der Tagung war “Professionalisierung der Hochschuldidaktik”. Dazu ein Auszug aus dem Call for Papers:

Die dghd möchte mit der 42. Jahrestagung ein Forum für den Diskurs anbieten, wie professionelle Arbeit in hochschuldidaktischen Maßnahmen und strukturellen Interventionen in Studium und Lehre wissenschaftlich fundiert und praktisch entwickelt und umgesetzt werden kann. Ziel muss es sein, dass entsprechende Ergebnisse hochschuldidaktischer Forschung und Arbeit qualitätsvoll und nachhaltig verankert werden.

Ich glaube, dass der Diskurs durchaus stattgefunden hat; von einem gemeinsamen Nenner ist man aber sicherlich noch weit entfernt. So sagte ein Referent in seinem Beitrag sinngemäß: “Hochschuldidaktische Einrichtungen möchten gerne stärker in der Forschung aktiv sein.” Der folgende Referent hielt jedoch gleich mit einem “Wir verstehen uns als Service-Einrichtung unserer Hochschule und tun unser Möglichstes, einen Beitrag zur Qualitätsentwicklung der Lehre zu leisten” dagegen. Dabei sind nach meinem Verständnis beide Dinge durchaus gut unter einen Hut zu bringen – siehe z.B. Gabis Texte zur entwicklungsorientierten Bildungsforschung.

Es gibt sicherlich eine ganze Reihe an Einflussfaktoren, die das Selbstverständnis in der Hochschuldidaktik tätiger Personen prägen. Z.B. a) welche organisationale Aufhängigung ihre Arbeitsstelle innerhalb der Hochschule hat, b) welche Aufgaben typischerweise durch diese Arbeitsstelle wahrgenommen werden, c) welchen fachlichen Hintergrund diese Person hat und d) ob die Person bereits selber forschend aktiv geworden ist. Wenn man nun als “Neuer” in einer hochschuldidaktischen Einrichtung landet (z.B. im Rahmen der zahlreichen Programme im Qualitätspakt Lehre), so ist es sicherlich eine große Herausforderung, sich und die eigene Arbeitstätigkeit in diesem Kontext neu zu definieren. Also tatsächlich die Frage zu beantworten: Wer bin ich – und wenn ja wie viele? Bin ich z.B. Servicedienstleister und/oder Forschung – und in welchem Verhältnis stehen diese Aufgaben zueinander? Aber auch: Mit welchem Verständnis von Forschung (geprägt z.B. durch die eigene Fachkultur) gehe ich an diese Aufgaben heran? Die oben genannten Einflussfaktoren wie auch das Selbstverständnis aller anderen in diesem Arbeitskontext tätigen Personen sind für die Beantwortung dieser Frage eine Herausforderung.

Also wohin kann, soll und wird der Weg einer Professionalisierung der Hochschuldidaktik uns führen? Als eher am Rande der Disziplin Stehende kann ich keine Vorhersage treffen; sehr wohl aber meine Einschätzung abgeben. Ich glaube, dass es für die Hochschuldidaktik wichtig wäre, noch stärker in den Dialog untereinander sowie mit angrenzenden Fachdisziplinen zu treten, um im Sinne einer Community of Practice orientiert an gemeinsamen Interessen stärker zusammenzuwachsen. Nur so kann so etwas wie eine gemeinsame Identität entstehen, die ich für die Etablierung von gewissen Standards und forschungsmethodischen Vorgehensweisen für unabdingbar halte. Dabei bin ich keineswegs dogmatisch. Über die Potentiale von z.B. Mixed Methods Ansätzen (für die ich mich seit meinem Besuch der Summer School in Ljubljana begeistere) für die Hochschulforschung berichtet z.B. Prof. Gläser-Zikuda – bzw. wollte berichten, denn die Keynote fiel leider kranksheitsbedingt aus, doch freundlicherweise wurden die Folien zur Verfügung gestellt. Es hätte mich sehr interessiert, auf welche Resonanz ihr Vortrag bei der DGHD Jahrestagung gestoßen wäre. Vielleicht wäre diese Keynote tatsächlich ein toller Anker gewesen, um miteinander über den Stellenwert von Forschung in der Hochschuldidaktik zu diskutieren.

Wer weiß, vielleicht kann ja die eine oder andere im Kontext Hochschuldidaktik angefertigte Dissertation auch ihren Beitrag dazu leisten…

Vortrag zum vhb-Kurs auf der GMW-Jahrestagung 2012

Veröffentlicht am von
Kommentar

Die Zeit rast nur so dahin und schon stand wie jedes Jahr im September die Jahrestagung der Gesellschaft für Medien in der Wissenschaft (kurz: GMW) an. Dieses Jahr fand sie statt vom 10. bis zum 13. September im wunderbaren Wien. Neben dem an anderer Stelle bereits erwähnten Workshop KBoM@GMW habe ich noch gemeinsam mit Marianne einen Vortrag über den bei uns entwickelten Online-Kurs “E-Portfolios: Einführung in die Dokumentation und Selbstbeurteilung von Lernprozessen” (verfügbar über die Virtuelle Hochschule Bayern) gehalten. Dort haben wir sozusagen “aus dem Nähkästchen geplaudert” und einen Einblick in unsere Erfahrungen bei der Kursdurchführung (der Kurs ist mittlerweile in den dritten Durchführungsrunde) sowie in die Evaluation und Weiterentwicklung des Kurses gegeben. Wer schon immer mal wissen wollte, ob und wie man Studierende mit der Idee eines Online-”Rollenspiels” bzw. – wie wir es mittlerweile nennen – durch das Lernen innerhalb eines Rollenszenarios auf die E-Portfolio-Arbeit vorbereiten kann, der ist herzlich eingeladen, sich anhand unserer bisherigen Publikationen einen Eindruck davon zu verschaffen:

  • Zum Kurskonzept: Sippel, S., Kamper, M. & Florian, A. (2011). Studierende zur E-Portfolio-Arbeit befähigen. Erfordernis einer Einführung in Theorie und Praxis. zeitschrift für e-learning, 6 (3), 8-19.
  • Zu den Praxiserfahrungen: Kamper, M., Hartung, S. & Florian, A. (2012). Einführung in die E-Portfolio-Arbeit mit einem Online-Kurs. Erfahrungen und Folgerungen (Praxisreport). In G. Csanyi, F. Reichl & A. Steiner (Hrsg.), Digitale Medien – Werkzeuge für exzellente Forschung und Lehre (S. 266-269). Münster: Waxmann.
  • Zur Rollenspiel-Idee und der Weiterentwicklung des Kurses: Hier ist bereits ein Artikel entstanden, der aber noch nicht veröffentlicht ist. Sobald das geschafft ist, gibt es hier die Info.

Der Vortrag auf der GMW war jedenfalls gut besucht, was sicherlich auch daran lag, dass wir in einer Session mit Gabi und Frank waren, die dann auch den Best Paper Award für ihren Vortrag zum Online-Doktorierenden-Coaching mittels Video bekommen haben. Dazu konnten Marianne und ich zumindestens einen kleinen Beitrag leisten, indem wir im Vorfeld ein Video aufgenommen haben, das auf die vernachlässigte Rolle der mündlichen Prüfung im Rahmen der Doktorierenden-Ausbildung hinweist. Wenn in Kürze unter http://www.gmw2012.at/ die Präsentationen zur Verfügung stehen, ist unser filmisches Meisterwerk dort womöglich auch zu sehen.

Noch ein kleiner Kommentar zur GWM12 insgesamt: Dieses Mal waren noch etwas weniger Leute dabei als letztes Jahr in Dresden. In Kombination mit den Rahmenbedingungen “viele Parallel-Sessions” und “Räume verteilt über vier Stockwerke” hat das leider zu ein paar ungünstigen Effekten geführt: a) Man konnte nicht gut zwischen Sessions hüpfen, da die ja teilweise weit auseinander lagen. b) Da es auf gefühlt jedem Stockwerk eine “Kaffee-Ecke” gab, verlief sich das Publikum doch sehr. c) Insgesamt kam der Austausch untereinander doch etwas kurz. Dennoch ist es immer wieder schön, auf der GMW zu sein. Es hat ein bisschen was von “Klassentreffen”.

Ach ja… wenn ich doch noch einen Wunsch äußern könnte, dann wäre es dieser hier: Keynotes und eine Podiumsdiskussion, die mich inspirieren und nicht den Wunsch in mir wecken, den Raum zu verlassen…