One week of Corona online teaching: experiences and outlooks

The decreed transition from classroom to online teaching caught us off guard at the Department of Physics, as anywhere else. Within a few days, almost 25 central lectures together with five laboratory courses, covering over 3,500 students, had to be switched to online mode. It is due to the high engagement and cooperative commitment of all members from the department that this enormous challenge could be mastered without any transition. None of the courses had to be canceled and since last Monday, all teachers, lecturers as well as teaching assistants, are teaching online.

D-PHYS goes online

Now, after one week of online teaching, it is possible to review the impacts of this switch. In addition, a look into the near and even into the far future should be allowed. How will teaching develop in the coming weeks? What lasting impact will the online shift have on higher education?

In the first days following the shift, the focus was mainly linked to technical problems: What tools should I use to teach online? Here we benefited from the fact that ETH relied on the Zoom platform right from the start. Although other options for teaching, such as recording self-made videos or using Moodle were also recommended, we mainly advertised Zoom at our department and offered an appropriate support. With Zoom, all lectures can be streamed live and students can even ask questions during the event. For courses relying on blackboard writing and experiments, we have set up a special installation in our main lecture halls where lecturers can stream their lecture via Zoom (without students in the hall). Lecturers who do not rely on the large blackboards and on the experiments give their lectures from home by using Zoom as well.

streamed lecture
Live lecture streamed with Zoom from the lecture hall with 141 students in the virtual audience.

With the setting offered by Zoom, it was possible to transfer the concept of the traditional classroom lecture more or less smoothly to online teaching. This was particularly important in the initial phase because the lecturers did not have to redesign their courses. The shift to technical new ground was already demanding enough.

Now, with the lecturers gaining more confidence in using Zoom, didactic reflections are emerging.

Does it really make sense to teach online the same way I have done it before?
Should I try to redesign my course in a more appropriate way for online teaching?

Scenarios such as flipped classroom, question and answer sessions or small project assignments are coming on the agenda. After the technical shift, we now experience a merging didactic shift. Of course, technology still plays an important role, but the focus lies on didactic implications. Lectures profit from their research experience in using communication and cooperation tools. Now they start to transfer those or similar tools to teaching and learning.

At least, the didactic phase is no longer under imminent time pressure. Lecturers have time to plan and to think about creative didactic experiments. Thus, in the near future supporting lecturers in new didactic implementation will become paramount, be it through didactic expertise or by disseminating tested scenarios.

It may seem premature at this point to look at the post Corona period. However, it is already clearly noticeable that traditional teaching is moving to new grounds. An increased number of online courses will continue to be part in higher education when we switch back to face-to-face instruction. Lecturers are now gaining insight in new didactic settings that they will be able to transfer to regular classes. Even brand new ideas might pop up and at the end, students will profit from an increased portfolio of many different teaching and learning opportunities.

With the next exam period ahead in May, the problem of assessments still remains unresolved. Even if oral exams offer a short-term alternative in a few cases, we still have to think about further online alternatives. The next coming months will keep us busy, anyway …

RTOP – ein Bewertungsraster für gute Lehre

Lecture

Wie bewertet man eine Lehrveranstaltung im Rahmen von einer Hospitation? Von der Hochschuldidaktik werden dazu unterschiedliche Instrumente zur Verfügung gestellt, die meist auf eigenen Erfahrungen beruhen, oder auf spezielle Aspekte des Unterrichts ausgerichtet sind.

An der vergangenen AAPT Konferenz hatte ich die Möglichkeit, im Rahmen eines Workshops, RTOP (Reformed Teaching Observation Protocol) auszuprobieren. RTOP wurde in den späten 1990er Jahren an der Arizona State University entwickelt, um Lehrveranstaltungen aus den MINT-Fächern nach den Standards des studierendenzentrierten Unterrichtens zu evaluieren. Es handelt sich um einen Fragebogen mit insgesamt 25 Items, die jeweils auf einer fünfstufigen Likert-Skala («nicht vorhanden» bis «sehr anschaulich») zu beantworten sind. Die Items sind dabei in drei Hauptkategorien aufgeteilt:

  1. Planung und Umsetzung (lesson design and implementation)
  2. Inhalt (content)
  3. Gegenseitiger Umgang (classroom climate)

Typische Items aus RTOP lauten:

The instructional strategies and activities respected students’ prior knowledge and the preconceptions inherent therein.

Connections with other content disciplines and/or real world phenomena were explored and valued.

There was a climate of respect for what others had to say.

Der gesamte Fragebogen (in Englisch) kann hier eingesehen werden:
http://physicsed.buffalostate.edu/AZTEC/rtop/RTOP_full/PDF/RTOPform_IN001.pdf

Üblicherweise protokolliert der Hospitant seine Beobachtungen während der Lehrveranstaltung und füllt den Fragebogen nachträglich aus. Um einheitliche, vergleichbare und zuverlässige Ergebnisse zu ermöglichen, stehen diverse Anleitungen und Videos mit Trainingsbeispielen zur Verfügung.

Das Instrument basiert auf Ergebnissen der Lehr- und Lernforschung, es ist validiert und kann sogar für Forschungszwecke verwendet werden. In einer grossangelegten Studie benutzen Granger et al. (2012) RTOP zur Bewertung der Lehre und konnten damit die erhöhte Lernwirksamkeit von studierendenzentriertem Unterricht nachweisen.

Bei einer Hospitation lässt sich das Instrument jedoch auch, ohne grossen Trainingsaufwand, als Diskussionsbasis im Rahmen einer Nachbesprechung mit den Dozierenden verwenden. Nächste Woche beginnt das Frühlingssemester und ich werde RTOP bei meinen Hospitationen auf jeden Fall ausprobieren. Zu den konkreten Erfahrungen mit RTOP berichte ich dann gerne hier im Blog.

Alle Infos und Materialien zu RTOP finden sich hier:
http://physicsed.buffalostate.edu/AZTEC/RTOP/RTOP_full/index.htm

Eine deutsche Übersetzung liegt vor und kann bei der Projektverantwortlichen Kathleen Falconer (http://www.physikdidaktik.uni-koeln.de/falconer.html) beantragt werden.

Teaching Scenarios: Interactive Lecture Material & Collaboration

eSkript, the platform for interactive lecture material at ETH Zurich was born in 2014 (cf. the interactive timeline about eSkript; new PolyBook link), and since then many scenarios have been used by many lecturers. (eSkript is available to all Switch AAI affiliated persons.)

The main goal of interactive lecture material is to engage students, which promises better learning outcomes. As a byproduct, it makes lecturers happier and have fun! 🙂 The following selection of scenarios have been used at least a few times each. Bear in mind, there are many more possibilities.

1 – Review

Students are the best judges of your material. Make it available for annotation and let students correct it and give you feedback. Already after one round, your material will be perfect!

2 – Collaborative Study Material

Many students or many groups of students create material together. Students experience collaboration and see its benefits. They have access to other students’ work and because the material is presented as a whole, the result is something they can be proud of. Furthermore, peer review and annotation by peers or assistants is then possible.

3 – Feedback

When students publish work (text, papers, exercise solutions, etc.), assistants and lecturers can easily give feedback and start discussions on very good points students came up with or problems they seem to have, on the spot.

4 – Working with Texts (Papers, Journals, Articles,…)

Students can answer predefined questions (by lecturers/assistants/peers), ask questions about difficult passages, paraphrase, discuss interesting points, attach complementary material, prove points with links to other research, reflect and form opinions right where it is relevant. This kind of assignments foster critical thinking and collaboration. It is much easier and more appealing than using a forum, which is the alternative for such tasks.

5 – Voting

Easily get feedback (students can append a star to parts of content of your choosing) on good/important/… content. You can even go further and let students collaboratively decide through their voting on…[depending on your scenario].

6 – Interactivity Modules

By far my favorite application in eSkript are the interactive modules. The possibilities are endless. You can enhance your material with interactive videos, drag and drops, timelines, interactive images (juxtapositions, sliders, info hotspots, hidden hotspots, and sequences), and many more. A scenario that has worked repeatedly well is the design of interactive modules by students. Check out a few examples of interactive modules (new PolyBook link)!

These and more scenarios in more details with detailed tasks, profit, caveat and real life cases can be found in the eSkript Scenarios (new PolyBook link).

Have fun and find new ways to engage and interact with your students! Open your first eSkript (new PolyBook link) today.

https://eskript.ethz.ch/studentguide/chapter/open-your-own-eskript/

Note from May 2019: eSkript is not maintained anymore but PolyBooks are taking over! Contact LET for support.

The World Climate Simulation

Teaching anyone properly about Climate Change is a difficult task. The concept is simple to grasp: “if the global temperature rises above 2°C in 2100 – that’s bad!” But understanding the sophisticated climate models that scientists develop and translating this understanding into political negotiations, that’s a tough challenge. The World Climate Simulation, made available by the MIT think tank spin-off Climate Interactive, and facilitated by Prof. Dr. Florian Kapmeier (ESB Business School, Reutlingen University) for MTEC faculty and students on March 19th 2018, did just that. Here are some personal reflections.[1]

Source: Getting to 2°. Emotions (and temperatures) run high in a mock climate negotiation. by Robin Kazmier, SM ’17, MIT Technology Review, August 16, 2017

The scenario is as follows: at the next United Nations Climate Change Conference, the UN Secretary General (enacted by the simulation’s facilitator) asks the participating countries and country blocs to make pledges to curb the negative effects of climate change. USA and Europe get seats at lushly decorated conference tables, stocked with privileges and amenities: coffee machines, food, fruits, and soft drinks. Other developed countries like Russia, Canada etc. find themselves at sparsely equipped conference furniture, but they still get a few sandwiches. China and India both get nothing but some water on their tables, while the large bloc of developing countries face a blunt reality: no food, no water, no chairs, no table. The unequal distribution of wealth across the nations becomes clearly visible at the beginning of the game.

At the sidelines and without voting powers, fossil fuel lobbyists, climate activists, and a delegation of US cities and states, the US Climate Alliance, complete the line-up. The simulation can easily accommodate 60 participants; we played it with 20 and without the fossil fuel activists.

Figure 1  Impressions from the WCS negotiations

Equipped with brief profile information for the participants that summarize their respective positions in the climate negotiations, a first round of negotiations starts. The countries give a two-minute statement in the UN assembly. Their pledge contains concrete numbers: the year their emissions peaks, the year the reduction of emissions begins, the rate of yearly reduction, and percentage numbers for the prevention of deforestation and afforestation efforts. And then, money talks: how much will the regions contribute to the global fund for mitigation and adaptation to climate change in billions USD per year? These variables from all six countries and country blocs are put on a flipchart.

The US delegation opted for realpolitik in the spirit of pulling out of the Paris climate agreement. Climate change is fake news, hence: no contributions. The EU delegation pledged their green agenda, but tied their contributions to the fund with deal breakers: China, India, and the developing nations have to aim for ambitious goals to curb climate change. Which they didn’t. China argued that the causes for the current situation are rooted in the American and European centuries of industrialization; therefore, it is a European and American responsibility to fix the mess. Likewise, India’s delegation saw prospects of their nation’s industrial development. The developing nations sought to catch up economically and would need to produce enough food for their population. Actually seeing the abundance of food in the “first world” and growing increasingly hungry (having skipped lunch) did not lead to appeasement. The Climate Alliance’s meagre donation of grapes rather accentuated their grievances.

A political solution to the climate change negotiations seemed far away. Having given their pledges, participants voted on the expected result for global warming in 2100. Would it be business as usual with its foreseeable catastrophic events of more than 4°C rise in global temperatures? Or would the pledges lead to outcomes around 3.6°C or even approach the ambitious aim of 2°C global warming in 2100?

Pessimism flooded the room as the numbers were punched into C-ROADS. C-ROADS (Climate Rapid Overview and Decision Support) is a scientifically-reviewed policy simulator on climate change, with which users can test their own emission pathways to limit global warming to below 2°C and thus learn for themselves. The results are calculated in real-time and give a direct visual output on the effects on global warming (temperature), ocean acidification, and sea-level-rise. A screenshot is given in figure 2.

Figure 2 – Screenshot of the C-ROADS simulator

Result of the first round of negotiations: somewhere around 3.6°C rise in temperature. The UN Secretary General took the outcome to give a passionate input to the conference participants of what this would mean in reality: flooded coastal regions all over the world, with an uninhabitable Shanghai, and foreseeable catastrophic weather conditions with ever stronger and more frequent tropic storms.

The second round of negotiations began with Trump walking out and going golfing. India claimed USA’s coffee machine, and the developing nations began looting. They stripped the US delegation of their sandwiches, cookies, and soft drinks, and also took the conference chairs. They left the flowers. The EU, Russia and Canada negotiated as if there is no tomorrow, and China’s delegation opened up to the idea that actually having a tomorrow that is worth waking up to was not too bad after all. The second round of pledges was typed into C-ROADS, and while the result improved upon the first round, it was still far away from the 2°C goal. A sobering outcome.

The ensuing discussion lead to a much deeper understanding of the different factors and their effects on the climate change projections. It is difficult to describe the increased comprehension of the participants for the numbers and the data in the complex climate models. But the questions and attempts to solve the climate dilemma made it clear that the World Climate Simulation succeeds in engaging participants with a truly mindboggling dataset. It accentuates the interdependencies of the different countries and the need to collaborate to reach solutions. In a more striking way, the potential health benefits for people that will accompany a transition away from fossil fuels to renewable energy sources surprised me. To pick just one example: less fossil fuel use means less asthma; treating asthma is expensive, not having to treat it saves money. In a bigger context, and maybe touching the game’s underlying metanarrative, if we simply stop poisoning ourselves with CO2 emissions, we could be ready for big strides into the right direction. But we have to act immediately.

Figure 3 Part of the briefing information for participants

From a didactic point of view, the simulation combines learning about a complex dataset and its interrelated factors with an emotional dimension. Participants play a role, and receive immediate feedback about their negotiation results via the C-ROADS tool. Intense discussions within the countries and country blocs begin to merge with attempts to collaborate across parties. Concepts about climate change, including false concepts, are addressed in a constructive way that allow participants to model and adapt their decision-making to what they learn. It’s a powerful learning and teaching format.

If you want to play the WCS, I believe that the simulation needs a good facilitator to regulate the game dynamics and deliver the Secretary General’s content-heavy input. The teaching notes are very well prepared (see figure 3 for example) and should make it possible for anyone to organize the WCS for the first time. The simulation (in the setting that we played) requires a time slot for about 3.5h-4h. It then gives enough time for a debriefing to summarize the learning experience and let participants reflect on their next steps individually. We had faculty from all levels (Prof, Postdoc, PhD) and master students learning together as participants in the simulation, which added a new opportunity to meet in the department. It was a great learning opportunity!

 

 

Information on the simulation, including the full set of slides and materials to play the simulation (also in other languages including German, French, and Italian):

https://www.climateinteractive.org/programs/world-climate/

 

C-ROADS can be downloaded for free here:

https://www.climateinteractive.org/tools/c-roads/

 

[1] The event was organized by Johannes Meuer (SusTec) and Erik Jentges (MTEC Teaching Innovations Lab). A huge “thank you!” to Florian Kapmeier for an energetic and passionate facilitation of the simulation.

Our First Virtual Laboratory: A success story!

Imagine a computer game where you click to get through. This is similar but better. The students follow instructions, manipulate samples, use machines, gather information and answer questions along the way to check their progress and understanding. A theory section with all relevant background material is available at all times. The setting looks very much like a real lab, and chemical reactions are shown in 2D or 3D videos. Finally, there is a mission (here: help a sports physician repair athletes’ damaged articular cartilage) that makes the virtual lab’s path and goal clear.

In 2015 we, Prof. Dr. M. Zenobi-Wong and her team, started developing the “Tissue Engineering Lab” (TEL) with Labster. The process was easy and rewarding. Since Fall 2016, after two pilot runs, the lab has been used by students every semester.

Here is the students’ evaluation from this spring (2017). Approximately 60% of the 60 participants filled out the survey at the end of the lab. Most of the students worked in pairs. (Source: Labster)

TEL-Evaluation

We are very happy about the results as the lab motivated students and they felt that they gained relevant knowledge.

Some screenshots, the learning goals and the techniques used can be found on the lab’s main page at Labster. And here is a short (and fast) screencast of the first hydrogel experiment.

What are the reasons for using virtual labs?

  1. lectures that haven’t got any physical lab time but would profit from lab work (exercise-/extra-material)
  2. experiments that have to be done by vast amounts of students
  3. experiments that are too dangerous to be performed by students
  4. experiments that are too costly to perform with students
  5. additional practice material
  6. not enough ressources (i.e. scarcity of lab spaces)

For this lab, it was the first reason, and now students can get lab work done in a one-hour exercise slot in the lecture hall. This is amazing!

We are happy to announce that the second virtual lab @ETH Zurich is on its way. In the physical setting, this lab can only be performed by an assistant. To offer the opportunity to students to try it out themselves, Prof. Dr. L. Nyström with Dr. M. Erzinger will develop the “Kjeldahl Lab” starting this summer.

Digitale Trends 2025

Bericht vom Symposium Digitale Trends 2025 – Entwicklungen in der akademischen Bildung

Webseite: https://www.kit.edu/kit/17485.php

Hintergrund

Das KIT (Karlsruher Institut für Technologie) lud am 15. Oktober 2015 zu dem Symposium „Digitale Trends 2025 – Entwicklungen in der akademischen Bildung“ ein. Organisiert wurde die Tagung vom kürzlich gegründeten ZML (Zentrum für Mediales Lernen).Gidion_IMG_1015

“Das ZML führt derzeit gemeinsam mit der Universität Stuttgart die Studie Mediale Hochschulperspektiven 2020 in Baden-Württemberg durch. Sie befasst sich mit aktuell relevanten Themen medialen Lehrens und Lernens in der akademischen Bildung und wird im Herbst abgeschlossen sein. Aus diesem Anlass veranstaltet das ZML ein Symposium zum Thema Digitale Trends 2025 – Entwicklungen in der akademischen Bildung. Das Symposium liefert Ergebnisse der Studie und beschäftigt sich mit Entwicklungstrends digitaler Anwendungen im Hochschulbereich.“ (aus dem Ausschreibungstext).

Ergebnisse

Insgesamt 9 relevante Trends konnten in dieser Studie identifiziert werden:

  1. Integrierte IT-Systeme: das zukünftige System erfasst und offeriert sämtliche digitalen Daten, welche das Studium betreffen. Als Ziel wird eine Vernetzung bzw. Integration von Campus-Management und Learning Management Systemen gesehen.   Relevanz: Rollen und Prozesse müssen für das elektronische System klar definiert werden, was wiederum Einfluss auf die realen Abläufe hat.
  2. Blended Learning als Standard: Hohe Durchmischung elektronischer Lerninhalte mit klassischen Lernsettings aufgrund geänderter Gewohnheiten und Ausstattungen (cloud computing, hyper targeting, internet of things). Relevanz: Bedarf an den Lehrenden ausgerichtet.
  3. Internetbasierte Lehre: prägt die digitalen Märkte der akademischen Bildung. Relevanz: MOOCs.
  4. Student Life Cycle: Dokumentation des individuellen Bildungsverlaufs, nicht auf das Studium beschränkt (Brückenkurse, Weiterbildung). Relevanz: ePortfolios.
  5. Selbstorganisation im Studium: kooperatives und selbstorganisiertes Lernen in digitalen Umgebungen. Relevanz: Austausch (sharing) von Wissen ermöglichen (analog zu Uber, AirBnB).
  6. Forschungsorientierte Lehre: mediale Verknüpfung von Theorie und Praxis in Wissenschaftlichen Laborlandschaften. Relevanz: Ortsunabhängigkeit.
  7. Sprachtransfer: Lecture Translator (Projekt am KIT). Relevanz: Einbezug der Nutzer bei Übersetzungen.
  8. Digitalisiertes Wissen: On-demand Aufbereitung wissenschaftlicher Inhalte (bwSync&Share, Projekt am KIT). Relevanz: wissenschaftliche Kooperation.
  9. Learning Analytics. Relevanz: Datenschutz

Trends_IMG_1028

Die Trends (1) bis (3) sind zum jetzigen Zeitpunkt bereits weit fortgeschritten, (4) bis (6) befinden sich in der Entwicklungsphase, (7) und (8) sind spezifisch für das KIT und mit entsprechenden Projekten verknüpft. Trend (9) bedarf einer vertieften Diskussion im Rahmen der (in Deutschland) geltenden Datenschutzbestimmungen.

Nach der Vorstellung dieser Trends durch den Leiter des ZML, Gerd Gidion, folgten Referate zum aktuellen Status von Akteuren aus Wirtschaft und Bildung. Wirklich neue Einsichten brachte jedoch keiner der Vortragenden und die von den Referenten geäusserten Entwicklungstendenzen waren dann auch sehr subjektiver und persönlicher Natur.

Vortraege_IMG_1029Einige Vorträge sind unter folgendem Link  als Video verfügbar:
http://www.zml.kit.edu/nachlese-digitale-trends-2025.php

Fazit

Der im Symposium gelieferte Ausblick auf das Jahr 2025 bot jetzt keine Überraschungen und deckt sich zum Teil mit kurzfristigeren Voraussagen, wie jenen etwa aus dem NMC Horizon Report. In der Diskussion wurde dann auch die Frage nach zu Zulänglichkeit solcher Prognosen gestellt. Immerhin gehen sämtliche Prognosen davon aus, dass die organisationale Einheit (Hochschule) keiner Entwicklung unterliegt. Dass unser Verständnis von Hochschule variiert und doch sehr stark durch digitale Entwicklungen beeinflusst werden kann, hat sich z.B. mit der Diskussion zu MOOCs gezeigt. Zunehmend werden die beiden Standpfeiler Lehre und Leistungskontrolle jetzt ausgelagert. Beides Entwicklungen, die vor zehn Jahren noch undenkbar waren. Laut Kommentar einer Teilnehmerin sind die im Symposium vorgestellten Trends daher zu kurz gefasst und man sollte die viel weitreichenderen institutionellen Folgen einer zunehmenden Digitalisierung in der akademischen Bildung nicht ausblenden.

Randbemerkungen

  • An der RWTH leitet Marcus Gerards die zentralen Einheit „Medien für die Lehre“, welche Blended Learning und Flipped Classroom erfolgreich unterstützt und ausbaut. Insbesondere praktiziert die RWTH ein Leistungskontrollsystem, in dem Studierende während des Semester 0.3-0.4 Notenpunkte an die Leistungskontrolle am Semesterende erarbeiten können. Dies unterstütze das kontinuierliche und nachhaltige Lernen. Die RWTH sieht in der vermuteten Kollaboration der Studierenden während des Semesters einen Lern-Mehrgewinn. Ein Blick nach Aachen wäre sicher auch für die ETH von Gewinn.
  • Fabian Schumann (iversity) bot einen interessanten Einblick in die erforderlichen Zeitaufwendungen bei der Erstellung eines MOOC. Dabei werden knapp 75% der benötigten Zeitressourcen für Videoproduktion und Medienerstellung aufgebraucht. Für didaktische (Instructional Design) und inhaltliche (Instructor) Aufbereitung bleiben lediglich 25% übrig. Dieses Verhältnis steht invers zum Aufgebot für Präsenzveranstaltungen und wirft daher einige Fragen bezüglich der Lehrintention auf.

Pause_IMG_1031

Bericht aus einer Neuen Welt: Die beste aller möglichen Prüfungen

  • … gibt detaillierte Rückmeldungen über den Erreichungsgrad eines jeden vorher festgelegten Lernziels (verzichtet auf Prüfungsnoten und auf die ganze damit verbundene Arithmetik).
  • … gibt den Studierenden detailliertes Feedback über die erbrachten Leistungen (fordert die Studierenden auf, sich mit dem Prüfungsergebnis auseinanderzusetzen).
  • … bestätigt die nachweisliche Umsetzung fachlicher und überfachlicher Kompetenzen (verzichtet auf allgemeine Formulierungen).
  • … orientiert sich an Real-World Gegebenheiten = authentic assessment (verzichtet auf artifizielle Prüfungssituationen).
  • … ist integraler Teil des Lernprozesses (verzichtet auf eine reine Akkumulation von Einzelprüfungen).

David Boud: challenges

David Boud: What are we assessing for? (keynote)

All das ist nicht neu und wir kennen auch die Argumente, die gegen eine Umsetzung sprechen: zu kompliziert, zu zeitintensiv, methodisch nicht umsetzbar, u.v.m. Dennoch haben vor fünf Jahren David Boud und Kollegen aus über 30 Universitäten einen Katalog von Vorschlägen aufgestellt, wie Prüfungen im Jahr 2020 effektiver, aussagekräftiger und lernfördernder zu gestalten sind (Assessment 2020: Seven propositions for assessment reform in higher education, ← unbedingt lesenswert!):

The propositions have been developed to guide assessment thinking in the light of the increasing focus on standards, and to address criticisms of current practice. They set directions for change designed to enhance learning achievements for all students and improve the quality of their experience.

Bild: zVg (http://www.cetl.hku.hk/conf2015/gallery/)

Im vergangenen Mai haben sich in Hong Kong (International Conference: Assessment for Learning in Higher Education) mehr als 200 Universitätsangehörige aus 28 Ländern getroffen, um über ihre Erfahrungen und Probleme zu diskutieren, die bei der konkreten Umsetzung genau dieser Vorschläge aufgetreten sind.

John Biggs: "good teaching is beating the bell curve"

John Biggs: “good teaching is beating the bell curve”

Beeindruckt hat mich bereits am ersten Tag, mit welchem Selbstverständnis sich die Teilnehmenden zu der doch recht umfassenden Umgestaltung von Prüfungen geäussert haben. In ihren Fachbereichen und Universitäten ist diese Form des Leistungsnachweises bereits zu einem hohen Grad umgesetzt und scheint auch gut zu funktionieren. An der Konferenz musste keiner mehr von den Vorteilen überzeugt werden. Vielmehr ging es darum, Erfahrungen aus den unterschiedlichen Umsetzungen zu gewinnen.

Eigentlich wollte ich mich mit meinem Besuch gezielt über neuere Assessment-Methoden informieren. Dann aber fand ich es weitaus spannender im Verlauf der Konferenz herauszufinden, welche Entwicklung an den Universitäten einen solch fundamentalen Wechsel der Prüfungen überhaupt ermöglicht haben und welche Konsequenzen das für uns haben kann.

In zahlreichen Gesprächen mit den Teilnehmenden hat sich dabei folgender Ablauf konkretisiert:

  1. Studiengänge werden mit Standards (=Qualifikationsprofile im ETH-Jargon) versehen. Standards definieren die fachlichen und überfachlichen Kompetenzen, welche die Studierenden beim Abschluss erworben haben.
  2. Im Curriculum eines Studiengangs werden für jede einzelne Veranstaltung die Lernziele mit den Standards des entsprechenden Studiengangs abgeglichen. D.h. es wird spezifiziert, in welchen Veranstaltungen welche Kompetenzen in welcher Form vermittelt werden. Eventuell muss das Curriculum entsprechend den Standards angepasst werden, oder eine Überarbeitung der Standards steht an.
  3. Die Prüfungen (Leistungsnachweise) geben Aufschluss darüber, zu welchem Grad die Studierenden die vorgegebenen Lernziele erreicht haben. Sie liefern damit auch detaillierten Aufschluss über den Erreichungsgrad der einzelnen Standards und somit schliesst sich der Kreis StandardsLernzielePrüfungen. Prüfungen sind damit integraler Bestandteil der Curriculumsentwicklung.

Boud

David Boud: “we need to know HOW a student is excellent, not that he is”

Im Gegensatz zu konventionellen Prüfungen sind die Prüfungsergebnisse nun auf die vorher festgelegten Lernziele ausgerichtet. Zum Beispiel für das Lernziel: „Studierende erlangen Fertigkeiten im Lösen von physikalischen Fragen anhand von Übungsaufgaben“ wird detailliert angegeben, um welche Fertigkeiten es sich hierbei handelt und auf welcher Stufe jede dieser Fertigkeiten erreicht werden. Die Leistungsmessung erfolgt bei dieser Art Prüfung durchgängig anhand von Rubrics (Bewertungsrastern).

Am D-PHYS haben wir vor einiger Zeit ein solches Raster zur Bewertung von Aufgabenlösungen entwickelt. Das Raster wurde bisher nur sehr beschränkt eingesetzt, es illustriert aber gut, wie solche Rubrics auch bei uns aussehen können.

Rubrics waren während der Tagung auch ein wichtiges Thema. Diskutiert wurde z.B. wie man sie Studiengangs weit formulieren kann, um die individuelle Leistungsentwicklung besser abbilden zu können (Workshop 3, Paper 118).

Weitere zentrale Themen umfassten:

Communities of Practice (Workshop 1, Paper 34, Roundtable 2). Um Innovation innerhalb einer Institution zu diffundieren, eignen sich CoP am besten. Zentrale Einheiten, wie das ITL an der University of Sydney bieten hierfür geeignete Netzwerke. Graham Hendry vom ITL hat in diesem Rahmen zusätzlich einen aufschlussreichen Kriterienkatalog (als Rubrics) von sinnvollen Prüfungen vorgestellt. Auch das CETL der Universität Hong Kong hat mit dem Wise Assessment Project eine recht umfangreiche Austauschplattform aufgebaut.

Curriculumsentwicklung (Paper 10, 30, 104). Einige Universitäten haben sogenannte Core Curriculum (University of Hong Kong) oder Connected Curriculum (University College London) entwickelt, in denen überfachliche Kompetenzen fächerübergreifend vermittelt werden. Critical Thinking wurde hier immer wieder als Argument angeführt.

Assessment-Methoden (Workshop 2, Roundtable 1). Eine umfangreiche Sammlung an Methoden mit zahlreichen Beispielen wird vom CETL bereitgestellt und im Wise Assessment Project sukzessive erweitert.

sadler

Royce Sadler: “we need to adapt to students’ knowledge when designing assessment tasks”

Daneben wurden auch kritische Anmerkungen aufgeworfen:

  • Zusätzlich zu den Rubrics bedarf es des Erfahrungswissens der einzelnen Examinatoren und des Willens der Institution, Leistungskontrollen zu reformieren. Mit Rubrics allein, stellt sich noch kein Wandel im Prüfungswesen ein: „a rubric is a rubric, it’s just a piece of paper“ (Paper 118).
  • Eine Reform auf institutioneller Ebene soll nicht zu stark an Reglemente und Vorschriften gekoppelt sein. Vielmehr ist es wichtig, geeignete Wege aufzuzeigen und die konkrete Umsetzung den einzelnen Fachbereichen zu überlassen.

Zusammenfassend war der Besuch dieser Konferenz eine äusserst aufschlussreiche Reise in eine recht überzeugende Zukunft. Die bei uns bereits eingeleiteten Entwicklungen bezüglich Curricula weisen deutliche Parallelen auf und falls wir diese ernst nehmen, werden auch wir uns irgendwann ernsthaft mit unseren Leistungskontrollen befassen müssen. An der Konferenz wurden Möglichkeiten der Umsetzung aufgezeigt, die in vieler Hinsicht sicher einen der bestmöglichen Kompromisse zwischen effektiv erbrachter Leistung und deren Nachweis darstellt.

Zum Schluss noch einige Randbemerkungen:

  • An den Universitäten gibt es grössere Unterschiede zwischen den einzelnen Fachbereichen was die Umsetzung der Reformen betrifft. Am weitesten fortgeschritten sind, neben den Ingenieurwissenschaften, die Wirtschaftswissenschaften, die Rechtswissenschaften und die Veterinärmedizin. Bei Mathematik und den Naturwissenschaften besteht noch Nachholbedarf.
  • Massen-Onlineprüfungen mit MC-Fragen werden definitiv abgelehnt. Wenn  Onlineprüfungen, dann nur solche, die Leistung in einer authentischen Umgebung am Computer prüfen (Programmierung, Design usw.).
  • Portfolios werden eigentlich nur restriktiv für einzelne Lehrveranstaltungen eingesetzt. Lernportfolios über diese Grenzen hinaus, etwa zum Leistungsnachweis eines ganzen Studiengangs, waren kein Thema.
  • Studierende haben insbesondere die Vielfältigkeit der Prüfungsmethoden als sehr positiv empfunden (Roundtable 1 mit Studierenden der University of Hong Kong).
  • Nationale Programme und internationale Akkreditierungen waren sehr häufig ausschlaggebend für die Notwendigkeit der Reformen. Insbesondere die Universitäten in Australien und Neuseeland und teilweise in Grossbritannien und Asien sind bei der Umsetzung führend.
  • Und natürlich ist Hong Kong eine spannende Stadt mit vielen gegensätzlichen Facetten auf engstem Raum.

    The University of Hong Kong

    The University of Hong Kong (Centennial Campus)

Bericht zur EMOOCS 2014 (10. – 12. Februar, Lausanne)

epfl„The goal of the summit is to develop synergies among European universities around themes such as student assessment, MOOC accreditation, platform interoperability and joint research initiatives” (aus der Ankündigung). 450 Teilnehmende waren diesem Aufruf gefolgt und hatten sich an der EPFL in Lausanne eingefunden, um MOOCs im europäischen Rahmen zu diskutieren. Neben 8 Keynotes wurden 4 Paralleltracks mit über 60 Kurzvorträgen und Paneldiskussionen zu den Themen „Policy“, „Experience“, Research“ und „Business“  angeboten.

Webseite: http://www.emoocs2014.eu/

Proceedings: http://www.emoocs2014.eu/sites/default/files/Proceedings-Moocs-Summit-2014.pdf

motto

Bericht

Im Herbst 2012, mitten im MOOC-Trubel, hatte ich an einer der wichtigsten US-amerikanischen Konferenzen zu online-Bildung im tertiären Bereich  teilgenommen (http://sloanconsortium.org/conference/2012/aln/welcome). Die zentralen Themen dort waren das Phänomen MOOCs und dessen Auswirkung auf Universitäten und Colleges. Mit gemischten Gefühlen bin ich damals aus den USA zurückgekehrt. Wir hatten Sebastian Thrun (udacity) über die Massenverfügbarkeit von Bildung reden gehört, hatten die Ängste der traditionellen Hochschulen vernommen und ausgiebig über die bisher ungeahnten Möglichkeiten von MOOCs bezüglich Lernen und Lehren diskutiert.

Nun, anderthalb Jahre später, wollte ich erfahren, wie sich MOOCs im europäischen Kontext konjugieren. Bewusst habe ich mich dabei auf den Track „Research“ fokussiert, denn nun, nach hunderten von erfolgreich abgehaltenen  MOOC-Kursen, sollten erste Ergebnisse zur Didaktik und zur Lernwirksamkeit vorliegen. Diese waren uns auf jeden Fall in 2012 versprochen worden.

Hier meine wichtigsten Erkenntnisse:

Ein MOOC ist ein MOOC!

Unter der Sammelbezeichnung „MOOC“ wird so ziemlich alles zusammengefasst, was in irgendeiner Form mit E-Learning zu tun hat. Am einen Extrem der MOOC-Skala findet man die instruktionalen  xMOOCs als Massenveranstaltungen, am anderen Ende tummeln sich online Veranstaltung im CSCL-Format (computer-supported-collaborative-learning) mit teilweise sehr bescheidener Teilnehmerzahl. Zahn et al. etwa untersuchen einen Kurs mit 72 Studierenden.

Zwei Vorträge versuchten, diese recht heterogenen Ausprägungen von MOOCs  mit Klassifikationen zu bändigen, waren jedoch beide nicht sehr überzeugend. Während Rosselle et al.  eine 6×8 Matrix mit insgesamt 48 MOOC-Typen vorschlagen, gehen die Erkenntnisse von  Jadin&Gaisch nicht über die bisherige Dreiteilung hinaus, die Lisa Lane bereits 2012 aufstellte.  Bisweilen hatte ich den Eindruck, dass es die Plattformen sind, die definieren was ein MOOC ist. D.h. was die grossen Anbieter Coursera, EdX, Miriadax, FutureLearn usw.  als MOOC anbieten, ist eben ein MOOC. Ein wenig erinnert  mich dieses „branding“ an die Fahrzeuggattung SUV, die von den  Autoherstellern für jeden Markt anders definiert wird. Und damit wäre ich bereits bei meiner  zweiten, wahrscheinlich der wichtigsten Erkenntnis, die ich aus Lausanne mitgenommen habe.

MOOCs sind ein Markt, bei dem es um sehr viel Geld und um Anteile geht!

Bereits 2012 war deutlich, dass sich der Erfolg von MOOCs hauptsächlich auf dem bis dahin stark unterschätzten öffentlichen Bedarf an solchen Kursen begründet. Zuweilen habe ich den Eindruck, MOOCs als eine Art „Migros-Klubschule“ für Akademiker wahrzunehmen.

Die Zahlen (Einschreibungen, erteilte Zertifikate, Anzahl der angebotenen Kurse usw.) beindrucken immer noch mit ihren hohen Werten, und schliesslich sollen sie ja auch den riesigen Bedarf an MOOCs dokumentieren. Wo ein Bedarf ist, gibt es einen Markt. Dazu ein paar Fakten, die reichlich zu überlegen geben. Ein MOOC kostet in der Produktion mindestens 30‘000 EUR (mehrheitlich indirekte Kosten). Telefonica S.A., eines der grössten Telekomunternehmen, ist Marktführer bei spanischen MOOCs und expandiert nun erfolgreich mit MOOCs in Lateinamerika. EdX lässt seine sehr umfangreichen Kurs- und Teilnehmerdaten bei Amazon hosten (Amazon Web Services), natürlich nicht kostenlos.

Daneben hat sich gezeigt, dass die überwiegende Mehrzahl der MOOC-Teilnehmenden bereits über eine universitäre Ausbildung verfügt. Es handelt sich also vornehmlich um Personen aus der gehobenen Mittelschicht, also um eine aus marktwirtschaftlichen Aspekten  äusserst interessante Bevölkerungsschicht. Die Teilnahme an den Kursen ist zwar kostenlos, doch immer mehr werden den Benutzern kostenpflichtige Zusatzleistungen angeboten: z. B. durch Betreuung, Zertifizierung, oder Job- bzw. Mitarbeitervermittlung (easyjet-Modell).

Auch die Frage nach dem Umgang mit Nutzerdaten ist nicht geklärt. Mittlerweile bekomme ich jeweils zu Semesterbeginn von den grossen MOOC-Vertreibern eine Auswahl von sogenannten „empfohlenen“ Kursen angeboten. Auf welcher Grundlage werden diese persönlichen Empfehlungen wohl generiert?

Neben den hohen Einschreibe-Zahlen waren auch die hohen Dropout-Zahlen ein Thema. Bereits nach den ersten Plenarvorträgen war klar, dass es an aussagekräftigen Kennzahlen zur Teilnahme fehlt. Ebenso wie die Einschreibe-Zahlen liefert die Anzahl der erworbenen Zertifikate keine numerische Grundlage (Rekha et al.). Daneben zeigen Halawa et al., dass eine 14tägige Inaktivität ein guter Indikator für einen „echten“ Dropout darstellt.

Analytics?

Insbesondere im „Research“-Track hatte ich gehofft, erste didaktisch relevante Erkenntnisse aus den benutzergenerierten Daten zu erhalten. Doch leider entpuppten sich die grossmundig angekündigten „Learning Analytics“ als profane „Customer Analytics“ (Baker et al., Barcena et al., Cisel, Meinel et al., Seaton et al.). Wie viele Videos werden wann angeklickt? Aus welchen Ländern stammen die Teilnehmenden? Wie hoch ist die Anzahl von Forenbeiträge, natürlich ohne inhaltliche Abstufung? Um es kurz zu machen, sobald es um Zahlen ging, war Lernen und Lernwirksamkeit ausgeblendet. Analysen des Lernfortschritts, Auswertungen der Selbsttests (Fehlversuche, zeitlicher Aufwand usw.), qualitative Untersuchungen der Abschlusstests, komparative Studien mit Kontrollgruppen …alles Fehlanzeige! Nicht einmal Voruntersuchungen zu diesen Themen waren auf dem Programm. Einzig der Beitrag von Li et al. bot interessante Einblicke über die Auswirkung von Synchronizität beim Videoschauen auf die Partizipation in Foren.

Meine sehr persönliche Einschätzung

Viele Facetten von MOOCs wurden in Lausanne diskutiert und der Tagungsband dokumentiert zweifelsohne, dass MOOCs eine grundlegende Veränderung im Bildungsbereich eingeleitet haben. Nur welche Implikationen schlussendlich damit verbunden sind, ist noch immer nicht deutlich.

Positiv ist auf jeden Fall, dass online Lernen jetzt auch verstärkt von Entscheidungsträgern als wichtig eingestuft wird. Als problematisch sehe ich eher die Tatsache an, dass MOOCs sich zu einem wirtschaftlich wichtigen Faktor entwickeln. In welcher Weise die aus Steuern finanzierten Hochschulen Europas hier einen vertretbaren Weg finden, ihre hohen Produktionskosten von MOOCs zu rechtfertigen, ist mir nicht klar.

Im europäischen Kontext sehe ich die cMOOCs als interessante Alternative. Anstatt auf Massenwirkung ausgerichtet, wird in cMOOCs eher die Breite in Form von communities angesprochen. Neben den zeitlich getakteten Inputs von Experten stehen die Beiträge der Teilnehmenden im Vordergrund eines cMOOC. In ihnen werden neues Wissen und neue Erkenntnisse diskursiv erschlossen. Bisher waren deutschsprachige Hochschulen im Bereich cMOOCs sehr aktiv. In Lausanne war es sehr interessant zu erfahren, dass und auch wie sich andere europäischen Universitäten hier einbringen.

Letztendlich, das Thema MOOCs bleibt spannend und man darf auf die kommende EMOOCS 2015 im belgischen Mons gespannt sein.

3a

Geselliges und informatives Fondue-Dinner mit den französischen Kollegen und Kolleginnen