Wie bewertet man eine Lehrveranstaltung im Rahmen von einer Hospitation? Von der Hochschuldidaktik werden dazu unterschiedliche Instrumente zur Verfügung gestellt, die meist auf eigenen Erfahrungen beruhen, oder auf spezielle Aspekte des Unterrichts ausgerichtet sind.

An der vergangenen AAPT Konferenz hatte ich die Möglichkeit, im Rahmen eines Workshops, RTOP (Reformed Teaching Observation Protocol) auszuprobieren. RTOP wurde in den späten 1990er Jahren an der Arizona State University entwickelt, um Lehrveranstaltungen aus den MINT-Fächern nach den Standards des studierendenzentrierten Unterrichtens zu evaluieren. Es handelt sich um einen Fragebogen mit insgesamt 25 Items, die jeweils auf einer fünfstufigen Likert-Skala («nicht vorhanden» bis «sehr anschaulich») zu beantworten sind. Die Items sind dabei in drei Hauptkategorien aufgeteilt:

1. Planung und Umsetzung (lesson design and implementation)
2. Inhalt (content)
3. Gegenseitiger Umgang (classroom climate)

Typische Items aus RTOP lauten:

The instructional strategies and activities respected students’ prior knowledge and the preconceptions inherent therein.

Connections with other content disciplines and/or real world phenomena were explored and valued.

There was a climate of respect for what others had to say.

Der gesamte Fragebogen (in Englisch) kann hier eingesehen werden:
http://physicsed.buffalostate.edu/AZTEC/rtop/RTOP_full/PDF/RTOPform_IN001.pdf

Üblicherweise protokolliert der Hospitant seine Beobachtungen während der Lehrveranstaltung und füllt den Fragebogen nachträglich aus. Um einheitliche, vergleichbare und zuverlässige Ergebnisse zu ermöglichen, stehen diverse Anleitungen und Videos mit Trainingsbeispielen zur Verfügung.

Das Instrument basiert auf Ergebnissen der Lehr- und Lernforschung, es ist validiert und kann sogar für Forschungszwecke verwendet werden. In einer grossangelegten Studie benutzen Granger et al. (2012) RTOP zur Bewertung der Lehre und konnten damit die erhöhte Lernwirksamkeit von studierendenzentriertem Unterricht nachweisen.

Bei einer Hospitation lässt sich das Instrument jedoch auch, ohne grossen Trainingsaufwand, als Diskussionsbasis im Rahmen einer Nachbesprechung mit den Dozierenden verwenden. Nächste Woche beginnt das Frühlingssemester und ich werde RTOP bei meinen Hospitationen auf jeden Fall ausprobieren. Zu den konkreten Erfahrungen mit RTOP berichte ich dann gerne hier im Blog.

Alle Infos und Materialien zu RTOP finden sich hier:
http://physicsed.buffalostate.edu/AZTEC/RTOP/RTOP_full/index.htm

Eine deutsche Übersetzung liegt vor und kann bei der Projektverantwortlichen Kathleen Falconer (http://www.physikdidaktik.uni-koeln.de/falconer.html) beantragt werden.

Teaching anyone properly about Climate Change is a difficult task. The concept is simple to grasp: “if the global temperature rises above 2°C in 2100 – that’s bad!” But understanding the sophisticated climate models that scientists develop and translating this understanding into political negotiations, that’s a tough challenge. The World Climate Simulation, made available by the MIT think tank spin-off Climate Interactive, and facilitated by Prof. Dr. Florian Kapmeier (ESB Business School, Reutlingen University) for MTEC faculty and students on March 19^th 2018, did just that. Here are some personal reflections.[1]

Source: Getting to 2°. Emotions (and temperatures) run high in a mock climate negotiation. by Robin Kazmier, SM ’17, MIT Technology Review, August 16, 2017

The scenario is as follows: at the next United Nations Climate Change Conference, the UN Secretary General (enacted by the simulation’s facilitator) asks the participating countries and country blocs to make pledges to curb the negative effects of climate change. USA and Europe get seats at lushly decorated conference tables, stocked with privileges and amenities: coffee machines, food, fruits, and soft drinks. Other developed countries like Russia, Canada etc. find themselves at sparsely equipped conference furniture, but they still get a few sandwiches. China and India both get nothing but some water on their tables, while the large bloc of developing countries face a blunt reality: no food, no water, no chairs, no table. The unequal distribution of wealth across the nations becomes clearly visible at the beginning of the game.

At the sidelines and without voting powers, fossil fuel lobbyists, climate activists, and a delegation of US cities and states, the US Climate Alliance, complete the line-up. The simulation can easily accommodate 60 participants; we played it with 20 and without the fossil fuel activists.

Figure 1  Impressions from the WCS negotiations

Equipped with brief profile information for the participants that summarize their respective positions in the climate negotiations, a first round of negotiations starts. The countries give a two-minute statement in the UN assembly. Their pledge contains concrete numbers: the year their emissions peaks, the year the reduction of emissions begins, the rate of yearly reduction, and percentage numbers for the prevention of deforestation and afforestation efforts. And then, money talks: how much will the regions contribute to the global fund for mitigation and adaptation to climate change in billions USD per year? These variables from all six countries and country blocs are put on a flipchart.

The US delegation opted for realpolitik in the spirit of pulling out of the Paris climate agreement. Climate change is fake news, hence: no contributions. The EU delegation pledged their green agenda, but tied their contributions to the fund with deal breakers: China, India, and the developing nations have to aim for ambitious goals to curb climate change. Which they didn’t. China argued that the causes for the current situation are rooted in the American and European centuries of industrialization; therefore, it is a European and American responsibility to fix the mess. Likewise, India’s delegation saw prospects of their nation’s industrial development. The developing nations sought to catch up economically and would need to produce enough food for their population. Actually seeing the abundance of food in the “first world” and growing increasingly hungry (having skipped lunch) did not lead to appeasement. The Climate Alliance’s meagre donation of grapes rather accentuated their grievances.

A political solution to the climate change negotiations seemed far away. Having given their pledges, participants voted on the expected result for global warming in 2100. Would it be business as usual with its foreseeable catastrophic events of more than 4°C rise in global temperatures? Or would the pledges lead to outcomes around 3.6°C or even approach the ambitious aim of 2°C global warming in 2100?

Pessimism flooded the room as the numbers were punched into C-ROADS. C-ROADS (Climate Rapid Overview and Decision Support) is a scientifically-reviewed policy simulator on climate change, with which users can test their own emission pathways to limit global warming to below 2°C and thus learn for themselves. The results are calculated in real-time and give a direct visual output on the effects on global warming (temperature), ocean acidification, and sea-level-rise. A screenshot is given in figure 2.

Figure 2 – Screenshot of the C-ROADS simulator

Result of the first round of negotiations: somewhere around 3.6°C rise in temperature. The UN Secretary General took the outcome to give a passionate input to the conference participants of what this would mean in reality: flooded coastal regions all over the world, with an uninhabitable Shanghai, and foreseeable catastrophic weather conditions with ever stronger and more frequent tropic storms.

The second round of negotiations began with Trump walking out and going golfing. India claimed USA’s coffee machine, and the developing nations began looting. They stripped the US delegation of their sandwiches, cookies, and soft drinks, and also took the conference chairs. They left the flowers. The EU, Russia and Canada negotiated as if there is no tomorrow, and China’s delegation opened up to the idea that actually having a tomorrow that is worth waking up to was not too bad after all. The second round of pledges was typed into C-ROADS, and while the result improved upon the first round, it was still far away from the 2°C goal. A sobering outcome.

The ensuing discussion lead to a much deeper understanding of the different factors and their effects on the climate change projections. It is difficult to describe the increased comprehension of the participants for the numbers and the data in the complex climate models. But the questions and attempts to solve the climate dilemma made it clear that the World Climate Simulation succeeds in engaging participants with a truly mindboggling dataset. It accentuates the interdependencies of the different countries and the need to collaborate to reach solutions. In a more striking way, the potential health benefits for people that will accompany a transition away from fossil fuels to renewable energy sources surprised me. To pick just one example: less fossil fuel use means less asthma; treating asthma is expensive, not having to treat it saves money. In a bigger context, and maybe touching the game’s underlying metanarrative, if we simply stop poisoning ourselves with CO₂ emissions, we could be ready for big strides into the right direction. But we have to act immediately.

Figure 3 Part of the briefing information for participants

From a didactic point of view, the simulation combines learning about a complex dataset and its interrelated factors with an emotional dimension. Participants play a role, and receive immediate feedback about their negotiation results via the C-ROADS tool. Intense discussions within the countries and country blocs begin to merge with attempts to collaborate across parties. Concepts about climate change, including false concepts, are addressed in a constructive way that allow participants to model and adapt their decision-making to what they learn. It’s a powerful learning and teaching format.

If you want to play the WCS, I believe that the simulation needs a good facilitator to regulate the game dynamics and deliver the Secretary General’s content-heavy input. The teaching notes are very well prepared (see figure 3 for example) and should make it possible for anyone to organize the WCS for the first time. The simulation (in the setting that we played) requires a time slot for about 3.5h-4h. It then gives enough time for a debriefing to summarize the learning experience and let participants reflect on their next steps individually. We had faculty from all levels (Prof, Postdoc, PhD) and master students learning together as participants in the simulation, which added a new opportunity to meet in the department. It was a great learning opportunity!

Information on the simulation, including the full set of slides and materials to play the simulation (also in other languages including German, French, and Italian):

https://www.climateinteractive.org/programs/world-climate/

C-ROADS can be downloaded for free here:

C-ROADS

[1] The event was organized by Johannes Meuer (SusTec) and Erik Jentges (MTEC Teaching Innovations Lab). A huge “thank you!” to Florian Kapmeier for an energetic and passionate facilitation of the simulation.

„The goal of the summit is to develop synergies among European universities around themes such as student assessment, MOOC accreditation, platform interoperability and joint research initiatives” (aus der Ankündigung). 450 Teilnehmende waren diesem Aufruf gefolgt und hatten sich an der EPFL in Lausanne eingefunden, um MOOCs im europäischen Rahmen zu diskutieren. Neben 8 Keynotes wurden 4 Paralleltracks mit über 60 Kurzvorträgen und Paneldiskussionen zu den Themen „Policy“, „Experience“, Research“ und „Business“  angeboten.

Webseite: http://www.emoocs2014.eu/

Proceedings: http://www.emoocs2014.eu/sites/default/files/Proceedings-Moocs-Summit-2014.pdf

Bericht

Im Herbst 2012, mitten im MOOC-Trubel, hatte ich an einer der wichtigsten US-amerikanischen Konferenzen zu online-Bildung im tertiären Bereich  teilgenommen (http://sloanconsortium.org/conference/2012/aln/welcome). Die zentralen Themen dort waren das Phänomen MOOCs und dessen Auswirkung auf Universitäten und Colleges. Mit gemischten Gefühlen bin ich damals aus den USA zurückgekehrt. Wir hatten Sebastian Thrun (udacity) über die Massenverfügbarkeit von Bildung reden gehört, hatten die Ängste der traditionellen Hochschulen vernommen und ausgiebig über die bisher ungeahnten Möglichkeiten von MOOCs bezüglich Lernen und Lehren diskutiert.

Nun, anderthalb Jahre später, wollte ich erfahren, wie sich MOOCs im europäischen Kontext konjugieren. Bewusst habe ich mich dabei auf den Track „Research“ fokussiert, denn nun, nach hunderten von erfolgreich abgehaltenen  MOOC-Kursen, sollten erste Ergebnisse zur Didaktik und zur Lernwirksamkeit vorliegen. Diese waren uns auf jeden Fall in 2012 versprochen worden.

Hier meine wichtigsten Erkenntnisse:

Ein MOOC ist ein MOOC!

Unter der Sammelbezeichnung „MOOC“ wird so ziemlich alles zusammengefasst, was in irgendeiner Form mit E-Learning zu tun hat. Am einen Extrem der MOOC-Skala findet man die instruktionalen  xMOOCs als Massenveranstaltungen, am anderen Ende tummeln sich online Veranstaltung im CSCL-Format (computer-supported-collaborative-learning) mit teilweise sehr bescheidener Teilnehmerzahl. Zahn et al. etwa untersuchen einen Kurs mit 72 Studierenden.

Zwei Vorträge versuchten, diese recht heterogenen Ausprägungen von MOOCs  mit Klassifikationen zu bändigen, waren jedoch beide nicht sehr überzeugend. Während Rosselle et al.  eine 6×8 Matrix mit insgesamt 48 MOOC-Typen vorschlagen, gehen die Erkenntnisse von  Jadin&Gaisch nicht über die bisherige Dreiteilung hinaus, die Lisa Lane bereits 2012 aufstellte.  Bisweilen hatte ich den Eindruck, dass es die Plattformen sind, die definieren was ein MOOC ist. D.h. was die grossen Anbieter Coursera, EdX, Miriadax, FutureLearn usw.  als MOOC anbieten, ist eben ein MOOC. Ein wenig erinnert  mich dieses „branding“ an die Fahrzeuggattung SUV, die von den  Autoherstellern für jeden Markt anders definiert wird. Und damit wäre ich bereits bei meiner  zweiten, wahrscheinlich der wichtigsten Erkenntnis, die ich aus Lausanne mitgenommen habe.

MOOCs sind ein Markt, bei dem es um sehr viel Geld und um Anteile geht!

Bereits 2012 war deutlich, dass sich der Erfolg von MOOCs hauptsächlich auf dem bis dahin stark unterschätzten öffentlichen Bedarf an solchen Kursen begründet. Zuweilen habe ich den Eindruck, MOOCs als eine Art „Migros-Klubschule“ für Akademiker wahrzunehmen.

Die Zahlen (Einschreibungen, erteilte Zertifikate, Anzahl der angebotenen Kurse usw.) beindrucken immer noch mit ihren hohen Werten, und schliesslich sollen sie ja auch den riesigen Bedarf an MOOCs dokumentieren. Wo ein Bedarf ist, gibt es einen Markt. Dazu ein paar Fakten, die reichlich zu überlegen geben. Ein MOOC kostet in der Produktion mindestens 30‘000 EUR (mehrheitlich indirekte Kosten). Telefonica S.A., eines der grössten Telekomunternehmen, ist Marktführer bei spanischen MOOCs und expandiert nun erfolgreich mit MOOCs in Lateinamerika. EdX lässt seine sehr umfangreichen Kurs- und Teilnehmerdaten bei Amazon hosten (Amazon Web Services), natürlich nicht kostenlos.

Daneben hat sich gezeigt, dass die überwiegende Mehrzahl der MOOC-Teilnehmenden bereits über eine universitäre Ausbildung verfügt. Es handelt sich also vornehmlich um Personen aus der gehobenen Mittelschicht, also um eine aus marktwirtschaftlichen Aspekten  äusserst interessante Bevölkerungsschicht. Die Teilnahme an den Kursen ist zwar kostenlos, doch immer mehr werden den Benutzern kostenpflichtige Zusatzleistungen angeboten: z. B. durch Betreuung, Zertifizierung, oder Job- bzw. Mitarbeitervermittlung (easyjet-Modell).

Auch die Frage nach dem Umgang mit Nutzerdaten ist nicht geklärt. Mittlerweile bekomme ich jeweils zu Semesterbeginn von den grossen MOOC-Vertreibern eine Auswahl von sogenannten „empfohlenen“ Kursen angeboten. Auf welcher Grundlage werden diese persönlichen Empfehlungen wohl generiert?

Neben den hohen Einschreibe-Zahlen waren auch die hohen Dropout-Zahlen ein Thema. Bereits nach den ersten Plenarvorträgen war klar, dass es an aussagekräftigen Kennzahlen zur Teilnahme fehlt. Ebenso wie die Einschreibe-Zahlen liefert die Anzahl der erworbenen Zertifikate keine numerische Grundlage (Rekha et al.). Daneben zeigen Halawa et al., dass eine 14tägige Inaktivität ein guter Indikator für einen „echten“ Dropout darstellt.

Analytics?

Insbesondere im „Research“-Track hatte ich gehofft, erste didaktisch relevante Erkenntnisse aus den benutzergenerierten Daten zu erhalten. Doch leider entpuppten sich die grossmundig angekündigten „Learning Analytics“ als profane „Customer Analytics“ (Baker et al., Barcena et al., Cisel, Meinel et al., Seaton et al.). Wie viele Videos werden wann angeklickt? Aus welchen Ländern stammen die Teilnehmenden? Wie hoch ist die Anzahl von Forenbeiträge, natürlich ohne inhaltliche Abstufung? Um es kurz zu machen, sobald es um Zahlen ging, war Lernen und Lernwirksamkeit ausgeblendet. Analysen des Lernfortschritts, Auswertungen der Selbsttests (Fehlversuche, zeitlicher Aufwand usw.), qualitative Untersuchungen der Abschlusstests, komparative Studien mit Kontrollgruppen …alles Fehlanzeige! Nicht einmal Voruntersuchungen zu diesen Themen waren auf dem Programm. Einzig der Beitrag von Li et al. bot interessante Einblicke über die Auswirkung von Synchronizität beim Videoschauen auf die Partizipation in Foren.

Meine sehr persönliche Einschätzung

Viele Facetten von MOOCs wurden in Lausanne diskutiert und der Tagungsband dokumentiert zweifelsohne, dass MOOCs eine grundlegende Veränderung im Bildungsbereich eingeleitet haben. Nur welche Implikationen schlussendlich damit verbunden sind, ist noch immer nicht deutlich.

Positiv ist auf jeden Fall, dass online Lernen jetzt auch verstärkt von Entscheidungsträgern als wichtig eingestuft wird. Als problematisch sehe ich eher die Tatsache an, dass MOOCs sich zu einem wirtschaftlich wichtigen Faktor entwickeln. In welcher Weise die aus Steuern finanzierten Hochschulen Europas hier einen vertretbaren Weg finden, ihre hohen Produktionskosten von MOOCs zu rechtfertigen, ist mir nicht klar.

Im europäischen Kontext sehe ich die cMOOCs als interessante Alternative. Anstatt auf Massenwirkung ausgerichtet, wird in cMOOCs eher die Breite in Form von communities angesprochen. Neben den zeitlich getakteten Inputs von Experten stehen die Beiträge der Teilnehmenden im Vordergrund eines cMOOC. In ihnen werden neues Wissen und neue Erkenntnisse diskursiv erschlossen. Bisher waren deutschsprachige Hochschulen im Bereich cMOOCs sehr aktiv. In Lausanne war es sehr interessant zu erfahren, dass und auch wie sich andere europäischen Universitäten hier einbringen.

Letztendlich, das Thema MOOCs bleibt spannend und man darf auf die kommende EMOOCS 2015 im belgischen Mons gespannt sein.

Geselliges und informatives Fondue-Dinner mit den französischen Kollegen und Kolleginnen