Virtual Labs @ETHZ, so far

Implementing Virtual Laboratories in HigherEd

It has been more than three years since I started implementing virtual labs (chemistry and biology labs) at ETH Zürich. I put together the experience so far on eSkript: https://eskript.ethz.ch/labster/. Enjoy reading about what has been, and get the feeling of what the future holds! It includes an evaluation and small experimental study.

Flipping large university courses: medium-term effects of active learning

Introduction

In a flipped learning setting, the major part of content delivery is accomplished outside of the classroom and class time is instead used for engaging students in collaborative and hands-on activities. During the past decades, this pedagogical approach has gained much popularity and a large body of research supports its benefits. Implementing flipped learning, however, is not obvious and relies on many factors related to the local learning and teaching culture, the existing assessment regulations, the curricular boundary conditions and, most important, on scalability considerations. Flipping a class with 30 students might be considered as a feasible task, but flipping a lecture with 300 students turns out to be rather challenging and may potentially require considerable investments, such as room reconfiguration and increased teaching manpower. Before any department or university considers adopting flipped learning in a given local context, it will be necessary to identify possible assets and drawbacks beforehand. For this reason, we have conducted a pilot study within a physics lecture class of 370 students at a major Swiss research university.

Setting

During the spring semester 2017, we have divided a non-physics undergraduate student cohort into two parallel teaching settings, one focusing on skill development (SCALE-UP) and one focusing on content delivery (LECTURE).

In the SCALE-UP setting, students had to prepare the content prior to coming to class (flipped classroom).

Photos of the lecture hall and of the SCALE-UP classroom

Photos of the lecture hall and of the SCALE-UP classroom

In order to conduct a comparative study of the two different pedagogical settings, we recorded the performance of the complete student cohort (both SCALE-UP and LECTURE) at two different points:

  • Physics mid-term exam: 10th week during the intervention
  • Physics final exam: 8 months after the intervention

The physics mid-term and final exams included conceptual and numerical questions. In the mid-term exam, 50% of the points could be achieved by conceptual multiple-choice questions, whereas the ratio in the final exam was 40%. Therefore, we were able to split the overall achievement into conceptual and numerical performance components. Conceptual questions assess student understanding of the underlying phenomena rather than the application of the physics material within a mathematical framework. Thus, our study enables us to make a clear distinction between the conceptual understanding and its numerical transfer.

Furthermore, the physics final exam was split into one part (Phys1) covering the topics  that were introduced during the flipped classroom intervention in spring and another part (Phys2) with the topics that were covered in autumn without a parallel setting. With this distinction, we are able to draw conclusions on longitudinal effects (Phys1) and on how well the learning achievements of the flipped class can be transferred to new topics (Phys2).

Throughout the performance analysis, we are only considering students who took part in all assessments. As a result, we had to reduce the overall population to 35 students in the SCALE-UP setting and 133 students in the LECTURE setting. The data are still sufficient to run statistical tests, even though we have to deal with an unbalanced design.

Performance Results

Performance gains of the SCALE-UP students

Performance gains of the SCALE-UP students: In order to compare the performance of students from the SCALE-UP setting to those of the LECTURE, we have conducted a series of independent t-tests. The gain is calculated by the difference in the means G = M(SCALE-UP) – M(LECTURE).
Error bars correspond to the 95% confidence intervals. Effect sizes of d=0.2 are considered to be small, whereas d=0.5 is related to a medium effect and d=0.8 to a large effect.

Medium-term performance effects

Medium-term performance effects: We can directly compare the performance recorded in the mid-term exam to the performance in Phys1 by running a series of dependent t-tests. The mean difference is calculated by M(PHYS1) –M(Midterm).
Error bars correspond to the 95% confidence intervals. Effect sizes of d=0.2 are considered to be small, whereas d=0.5 is related to a medium effect and d=0.8 to a large effect.

  • During the intervention period, students from the flipped SCALE-UP group outperformed students from the LECTURE setting. This performance gain, however, was substantially reduced when evaluated over the medium-term scale.
  • For those students who participated in the 14-week flipped SCALE-UP group, we could not identify any transfer or modification of learning behavior that would induce better performance outside of a dedicated flipped learning setting.

Conclusions

  • A single active learning intervention of one semester (14 weeks) is too short to sustain substantial performance gains.
  • Even though students enjoyed the flipped class very much, their performance gains were much lower than those reported from the (mainly U.S.) literature.
  • Curricular constraints such as contact hours and assessment conditions should be considered and adapted when shifting to a flipped class setting.

The full paper, including further results, presented at EDULEARN18 is available from >here<.

Teaching Scenarios: Interactive Lecture Material & Collaboration

eSkript, the platform for interactive lecture material at ETH Zurich was born in 2014 (cf. the interactive timeline about eSkript), and since then many scenarios have been used by many lecturers. (eSkript is available to all Switch AAI affiliated persons.)

The main goal of interactive lecture material is to engage students, which promises better learning outcomes. As a byproduct, it makes lecturers happier and have fun! 🙂 The following selection of scenarios have been used at least a few times each. Bear in mind, there are many more possibilities.

1 – Review

Students are the best judges of your material. Make it available for annotation and let students correct it and give you feedback. Already after one round, your material will be perfect!

2 – Collaborative Study Material

Many students or many groups of students create material together. Students experience collaboration and see its benefits. They have access to other students’ work and because the material is presented as a whole, the result is something they can be proud of. Furthermore, peer review and annotation by peers or assistants is then possible.

3 – Feedback

When students publish work (text, papers, exercise solutions, etc.), assistants and lecturers can easily give feedback and start discussions on very good points students came up with or problems they seem to have, on the spot.

4 – Working with Texts (Papers, Journals, Articles,…)

Students can answer predefined questions (by lecturers/assistants/peers), ask questions about difficult passages, paraphrase, discuss interesting points, attach complementary material, prove points with links to other research, reflect and form opinions right where it is relevant. This kind of assignments foster critical thinking and collaboration. It is much easier and more appealing than using a forum, which is the alternative for such tasks.

5 – Voting

Easily get feedback (students can append a star to parts of content of your choosing) on good/important/… content. You can even go further and let students collaboratively decide through their voting on…[depending on your scenario].

6 – Interactivity Modules

By far my favorite application in eSkript are the interactive modules. The possibilities are endless. You can enhance your material with interactive videos, drag and drops, timelines, interactive images (juxtapositions, sliders, info hotspots, hidden hotspots, and sequences), and many more. A scenario that has worked repeatedly well is the design of interactive modules by students. Check out a few examples of interactive modules!

These and more scenarios in more details with detailed tasks, profit, caveat and real life cases can be found in the eSkript Scenarios.

Have fun and find new ways to engage and interact with your students! Open your first eSkript today.

Open Your own eSkript

The World Climate Simulation

Teaching anyone properly about Climate Change is a difficult task. The concept is simple to grasp: “if the global temperature rises above 2°C in 2100 – that’s bad!” But understanding the sophisticated climate models that scientists develop and translating this understanding into political negotiations, that’s a tough challenge. The World Climate Simulation, made available by the MIT think tank spin-off Climate Interactive, and facilitated by Prof. Dr. Florian Kapmeier (ESB Business School, Reutlingen University) for MTEC faculty and students on March 19th 2018, did just that. Here are some personal reflections.[1]

Source: Getting to 2°. Emotions (and temperatures) run high in a mock climate negotiation. by Robin Kazmier, SM ’17, MIT Technology Review, August 16, 2017

The scenario is as follows: at the next United Nations Climate Change Conference, the UN Secretary General (enacted by the simulation’s facilitator) asks the participating countries and country blocs to make pledges to curb the negative effects of climate change. USA and Europe get seats at lushly decorated conference tables, stocked with privileges and amenities: coffee machines, food, fruits, and soft drinks. Other developed countries like Russia, Canada etc. find themselves at sparsely equipped conference furniture, but they still get a few sandwiches. China and India both get nothing but some water on their tables, while the large bloc of developing countries face a blunt reality: no food, no water, no chairs, no table. The unequal distribution of wealth across the nations becomes clearly visible at the beginning of the game.

At the sidelines and without voting powers, fossil fuel lobbyists, climate activists, and a delegation of US cities and states, the US Climate Alliance, complete the line-up. The simulation can easily accommodate 60 participants; we played it with 20 and without the fossil fuel activists.

Figure 1  Impressions from the WCS negotiations

Equipped with brief profile information for the participants that summarize their respective positions in the climate negotiations, a first round of negotiations starts. The countries give a two-minute statement in the UN assembly. Their pledge contains concrete numbers: the year their emissions peaks, the year the reduction of emissions begins, the rate of yearly reduction, and percentage numbers for the prevention of deforestation and afforestation efforts. And then, money talks: how much will the regions contribute to the global fund for mitigation and adaptation to climate change in billions USD per year? These variables from all six countries and country blocs are put on a flipchart.

The US delegation opted for realpolitik in the spirit of pulling out of the Paris climate agreement. Climate change is fake news, hence: no contributions. The EU delegation pledged their green agenda, but tied their contributions to the fund with deal breakers: China, India, and the developing nations have to aim for ambitious goals to curb climate change. Which they didn’t. China argued that the causes for the current situation are rooted in the American and European centuries of industrialization; therefore, it is a European and American responsibility to fix the mess. Likewise, India’s delegation saw prospects of their nation’s industrial development. The developing nations sought to catch up economically and would need to produce enough food for their population. Actually seeing the abundance of food in the “first world” and growing increasingly hungry (having skipped lunch) did not lead to appeasement. The Climate Alliance’s meagre donation of grapes rather accentuated their grievances.

A political solution to the climate change negotiations seemed far away. Having given their pledges, participants voted on the expected result for global warming in 2100. Would it be business as usual with its foreseeable catastrophic events of more than 4°C rise in global temperatures? Or would the pledges lead to outcomes around 3.6°C or even approach the ambitious aim of 2°C global warming in 2100?

Pessimism flooded the room as the numbers were punched into C-ROADS. C-ROADS (Climate Rapid Overview and Decision Support) is a scientifically-reviewed policy simulator on climate change, with which users can test their own emission pathways to limit global warming to below 2°C and thus learn for themselves. The results are calculated in real-time and give a direct visual output on the effects on global warming (temperature), ocean acidification, and sea-level-rise. A screenshot is given in figure 2.

Figure 2 – Screenshot of the C-ROADS simulator

Result of the first round of negotiations: somewhere around 3.6°C rise in temperature. The UN Secretary General took the outcome to give a passionate input to the conference participants of what this would mean in reality: flooded coastal regions all over the world, with an uninhabitable Shanghai, and foreseeable catastrophic weather conditions with ever stronger and more frequent tropic storms.

The second round of negotiations began with Trump walking out and going golfing. India claimed USA’s coffee machine, and the developing nations began looting. They stripped the US delegation of their sandwiches, cookies, and soft drinks, and also took the conference chairs. They left the flowers. The EU, Russia and Canada negotiated as if there is no tomorrow, and China’s delegation opened up to the idea that actually having a tomorrow that is worth waking up to was not too bad after all. The second round of pledges was typed into C-ROADS, and while the result improved upon the first round, it was still far away from the 2°C goal. A sobering outcome.

The ensuing discussion lead to a much deeper understanding of the different factors and their effects on the climate change projections. It is difficult to describe the increased comprehension of the participants for the numbers and the data in the complex climate models. But the questions and attempts to solve the climate dilemma made it clear that the World Climate Simulation succeeds in engaging participants with a truly mindboggling dataset. It accentuates the interdependencies of the different countries and the need to collaborate to reach solutions. In a more striking way, the potential health benefits for people that will accompany a transition away from fossil fuels to renewable energy sources surprised me. To pick just one example: less fossil fuel use means less asthma; treating asthma is expensive, not having to treat it saves money. In a bigger context, and maybe touching the game’s underlying metanarrative, if we simply stop poisoning ourselves with CO2 emissions, we could be ready for big strides into the right direction. But we have to act immediately.

Figure 3 Part of the briefing information for participants

From a didactic point of view, the simulation combines learning about a complex dataset and its interrelated factors with an emotional dimension. Participants play a role, and receive immediate feedback about their negotiation results via the C-ROADS tool. Intense discussions within the countries and country blocs begin to merge with attempts to collaborate across parties. Concepts about climate change, including false concepts, are addressed in a constructive way that allow participants to model and adapt their decision-making to what they learn. It’s a powerful learning and teaching format.

If you want to play the WCS, I believe that the simulation needs a good facilitator to regulate the game dynamics and deliver the Secretary General’s content-heavy input. The teaching notes are very well prepared (see figure 3 for example) and should make it possible for anyone to organize the WCS for the first time. The simulation (in the setting that we played) requires a time slot for about 3.5h-4h. It then gives enough time for a debriefing to summarize the learning experience and let participants reflect on their next steps individually. We had faculty from all levels (Prof, Postdoc, PhD) and master students learning together as participants in the simulation, which added a new opportunity to meet in the department. It was a great learning opportunity!

 

 

Information on the simulation, including the full set of slides and materials to play the simulation (also in other languages including German, French, and Italian):

https://www.climateinteractive.org/programs/world-climate/

 

C-ROADS can be downloaded for free here:

C-ROADS

 

[1] The event was organized by Johannes Meuer (SusTec) and Erik Jentges (MTEC Teaching Innovations Lab). A huge “thank you!” to Florian Kapmeier for an energetic and passionate facilitation of the simulation.

Im Duell: Vorlesung vs. «Flipped Classroom» (die erste Runde)

flipped classSeit mehreren Jahren wird «Flipped Classroom» als didaktische Methode mit hohem Lerngewinn angepriesen. Im «Flipped Classroom» sind die Studierenden angehalten, sich die Inhalte vor der Veranstaltung selbst anzueignen. In der Präsenzveranstaltung werden dann hauptsächlich nur noch Aktivitäten in Kleingruppen durchgeführt, welche als Ziel haben, die zuvor gelernten Inhalte anzuwenden und zu verfestigen.

Am Departement Physik hatten wir die Gelegenheit, während eines Semesters eine Physikeinführungsveranstaltung (für Nichtphysiker) parallel als Vorlesung und als «Flipped Classroom» durchzuführen. Prof. Gerald Feldman ist ein Pionier und ausgewiesener Experte im Unterrichten von «Flipped Classroom», in der Physik auch als SCALE-UP bekannt. Während seiner Gastprofessur am Departement Physik bot Jerry Feldman 52 Studierenden einen vorbildlichen «Flipped Classroom» an. Die restlichen 318 Studierenden besuchten die normale Vorlesung. Wir haben beide Gruppen eng begleitet und im Verlauf des Semesters Daten zu ihrem Lernverhalten und zu ihren Leistungen gesammelt.

In dieser ersten Runde vergleichen wir den unmittelbaren Leistungszuwachs beider Gruppen während der Unterrichtperiode. In einer zweiten Runde wird das Lernverhalten gegenüberstellt und eine Abschlussrunde soll Auskunft über die Langzeitleistung ergeben. Zum Schluss wird das gesamte Duell dann kritisch analysiert.

Nun aber zu den Ergebnissen der ersten Runde. Gemessen wurde die Leistung anhand von drei Messreihen, einem Pretest, einem Posttest und einer Zwischenprüfung.

FCI

Lernzugewinn zwischen Pretest und Posttest

Zu Beginn der Veranstaltung, im Februar, absolvierten Studierende aus beiden Gruppen einen standardisierten Test zum konzeptionellen Verständnis von Kräften in der Mechanik (FCI). Der gleiche Test wurde ihnen dann am Ende des Semesters im Mai nochmals angeboten. Mit dem Vergleich der Ergebnisse aus Pretest und Posttest lässt sich der Lernzugewinn für die Vorlesungsgruppe und die «Flipped Classroom» Gruppe messen und gegenüberstellen. Studierende des «Flipped Classroom» wiesen dabei einen höheren Lernzugewinn auf als die Studierenden in der Vorlesung. Der Unterschied liegt im Grössenbereich von etwa 11%.

Die Zwischenprüfung erfolgte in der 10. Semesterwoche und bestand aus 3 konzeptuellen Verständnisfragen sowie 3 numerischen Problemfragen. Auch hier konnten wir die Ergebnisse beider Gruppen vergleichen.

Im Gesamtergebnis der Zwischenprüfung schnitt die «Flipped Classroom» Gruppe um etwa 7% besser ab als die Vorlesungsgruppe. Bei den Konzeptfragen liegt der Zugewinn bei etwa 11%, was mit dem Ergebnis aus Pre- und Posttest übereinstimmt. Bei den numerischen Fragen konnte kein signifikanter Unterschied ermittelt werden, beide Gruppen erbrachten hier vergleichbare Leistungen.

MID

Leistungszugewinn der «Flipped Classroom» Gruppe gegenüber der Vorlesungsgruppe in der Zwischenprüfung 

Zusammenfassend schnitt die «Flipped Classroom» Gruppe beim konzeptuellen Verständnis besser ab als die Vorlesungsgruppe. Beim numerischen Problemlösen liegen beide Gruppen gleichauf.  Damit verbucht «Flipped Classroom» in der ersten Runde einen knappen Sieg. Hintergründe und Details zur Untersuchung sind >hier< zu finden.

In den kommenden Monaten werden wir die Daten zum Lernverhalten in beiden Gruppen untersuchen und diese dann als zweite Runde hier vorstellen. Das Duell bleibt daher noch spannend!

Our First Virtual Laboratory: A success story!

Imagine a computer game where you click to get through. This is similar but better. The students follow instructions, manipulate samples, use machines, gather information and answer questions along the way to check their progress and understanding. A theory section with all relevant background material is available at all times. The setting looks very much like a real lab, and chemical reactions are shown in 2D or 3D videos. Finally, there is a mission (here: help a sports physician repair athletes’ damaged articular cartilage) that makes the virtual lab’s path and goal clear.

In 2015 we, Prof. Dr. M. Zenobi-Wong and her team, started developing the “Tissue Engineering Lab” (TEL) with Labster. The process was easy and rewarding. Since Fall 2016, after two pilot runs, the lab has been used by students every semester.

Here is the students’ evaluation from this spring (2017). Approximately 60% of the 60 participants filled out the survey at the end of the lab. Most of the students worked in pairs. (Source: Labster)

TEL-Evaluation

We are very happy about the results as the lab motivated students and they felt that they gained relevant knowledge.

Some screenshots, the learning goals and the techniques used can be found on the lab’s main page at Labster. And here is a short (and fast) screencast of the first hydrogel experiment.

What are the reasons for using virtual labs?

  1. lectures that haven’t got any physical lab time but would profit from lab work (exercise-/extra-material)
  2. experiments that have to be done by vast amounts of students
  3. experiments that are too dangerous to be performed by students
  4. experiments that are too costly to perform with students
  5. additional practice material
  6. not enough ressources (i.e. scarcity of lab spaces)

For this lab, it was the first reason, and now students can get lab work done in a one-hour exercise slot in the lecture hall. This is amazing!

We are happy to announce that the second virtual lab @ETH Zurich is on its way. In the physical setting, this lab can only be performed by an assistant. To offer the opportunity to students to try it out themselves, Prof. Dr. L. Nyström with Dr. M. Erzinger will develop the “Kjeldahl Lab” starting this summer.

eSkript & hypothes.is – New usage data

…and how to get students to collaborate using annotations!

Since fall semester 2015/16 hypothes.is annotation offers the possibility of public, private and goup-private (introduced later) web annotations to the users of eSkript, our platform for Interactive Lecture material.

This is a follow up to last year’s blog post “eSkript & hypothes.is – Web annotation for our students“. There you can read some info on web annotation and the story on how I started to get interested in these usage numbers.

Web annotation is moving fast, not only at hypothes.is, who has added groups to their functionality and a wonderful dashboard, only to mention two of the many new features, but also, in February 2017, web annotation has become a W3C standard, a web standard! Wow!

So what about that new usage data at ETH Zürich?
(Sept 2015 – March 2016 – March 2017)

since 2015 2016-2017  2015-2016
Days: 279 149  130
URLs: 308 171  137
Users: 145 73  72
Groups: 17 11  6
Annotations: 4505 2517  1988

Compared to the first year, every data point has increased. Since 2015, annotations have been made on 279 separate days on 308 eSkript URLs. (Bewegungs- und Sportbiomechanik has 35 URLs.) 145 users were active and 17 groups have been created. (Roughly 1’000 students have been exposed to lecture material on eSkript so far.) 4505 annotations have been made!

Of these 4505 annotations:

342 7.60% are public.
318 7.00% are in groups.
3845 85.40% are private.

Group annotations have gained momentum and now reach seven percent of all annotations from almost none. There are fewer public annotations (used to be 10%).

Of these 4505 annotations:

3696 82.05% are highlights.
807 17.90% are text annotations.
2 00.05% are page annotations without text.

Of these 807 text annotations:

643 79.70% are original annotations.
108 13.40% are replies.
52 06.40% are page annotations.
4 00.50% are PDF annotations.

The good news here are the 13% of ‘replies’. This is where collaboration begins.

Over time it looks like this:

Replies (in yellow) were mostly given in August, July and in January, just before the exams, by assistants, I guess.

Before coming back to this, let’s now look at the count of annotations per lecture and exercise material:

LECTURE SEMESTER NO.
Fall 2015/16
Bewegungs- und Sportbiomechanik Fall 2015/16 812
Bewegungs- und Sportbiomechanik – Übungen Fall 2015/16 36
Solid State Physics and Chemistry of Materials I Fall 2015/16 528
Physik 3 Fall 2015/16 265
Spring 2016
Biomechanik 2 Spring 2016 577
Solid State Physics and Chemistry of Materials II Spring 2016 510
Solid State Physics and Chemistry of Materials Ex Spring 2016 65
Fall 2016/17
Bewegungs- und Sportbiomechanik Fall 2016/17 1108
Bewegungs- und Sportbiomechanik – Übungen Fall 2016/17 145
Bewegungs- und Sportbiomechanik – Stacoff Fall 2016/17 40
Spring 2017
Biomechanik 2 Spring 2017 45
Philosophische […] Physik Spring 2017 84

Spring semester 2017 has barely begun, and unfortunately the lectures Solid State Physics and Chemistry of Materials I & II are not held this academic year. Philosophische Betrachtungen zur Physik II with 84 annotations (on just one URL) has also just started mid February 2017 and is doing very well, especially because only 43 students are registered in this course.

Of the 84 annotations, 11 are highlights and 73 are text annotations. Of these 73 text annotations:

43 58.90% are original annotations.
29 39.75% are replies.
1 01.35% are page annotations.

Do you want to know the secret of how to get almost 40% of collaborative annotations? Use a scenario! Have a look at the eSkript scenarios, especially the one on ‘Working with Texts‘.

PD Dr. Norman Sieroka, who pushed the use of hypothes.is and worked on the scenario for the lecture Philosophische Betrachtungen zur Physik II, gave us feedback after their planned use on one of Plato’s text:

Unsere Studierenden haben im Semesterfeedback sehr positiv auf die Verwendung von Eskript [und hypothes.is] reagiert/geantwortet — sowohl als “Disziplinierung” für sich selbst beim Lesen als auch (und vor allem) als Hilfsmittel, um eine Diskussion von Texten vorzubereiten und Themen zu spezifizieren. Und auch wir [die Dozierenden und Assistierenden] sind von der Qualität und Art der Kommentare positiv überrascht.

Translation (Eng): Our students have responded / reacted very positively to the use of eskript [and hypothes.is] in the semesterfeedback – both as a “discipline” for themselves in reading as well as (and above all) as an aid to prepare a discussion of texts and specify topics. And we [the lecturers and assistants] are also positively surprised by the quality and nature of the comments.

 

Next year, Dr. N. Sieroka and the lecture’s staff want to expand the use of hypothes.is annotation on other texts.

I want to thank everybody involved and especially congratulate the students who made quite an impression and showed how highly skilled they are! Bravo.

 

PELE: Informatik-Einführung nach allen Regeln der (didaktischen) Kunst

Tutorials für Informatikanwendungen sind wohl so alt wie die Informatikwelt selbst: Learning by doing bietet sich an, wenn es zum Beispiel um das Erlernen von Datenvisualisierung, Datenverwaltung oder Programmierung in Python oder Matlab geht. Prof. Hans Hinterberger hat das vor mehr als 15 Jahren erkannt und das Projekt E-Tutorials ins Leben gerufen. Aus seiner Initiative von damals ist ein eindrucksvoll ausgereiftes Produkt entstanden, welches an der ETH in den Bereichen selbstgesteuertes Lernen und kompetenzorientiertes Prüfen seit Beginn neue Massstäbe gesetzt hat. In den 4 Schritten zu aktivem Wissen, SEE-TRY-DO-EXPLAIN erwerben die Studierenden aus fünf Departementen (BIOL, CHAB, HEST, USYS, ERDW) in Modulform die theoretischen Grundlagen (Phase SEE; online oder in der Vorlesung), wenden diese dann an Beispielen unter aktiver Bedienung eines Informatikmittels an (Phase TRY), setzen die Konzepte in einer Projektaufgabe mit wissenschaftlichem Kontext um (Phase DO) und präsentieren die Lösung Face-to-face in einem Abgabegespräch mit einer Fachperson (Phase EXPLAIN). Fünf solcher Gespräche müssen zusätzlich zur Schlussprüfung als Bestandteil der Semesterleistung absolviert werden.

Lukas Fässler und Markus Dahinden, langjährige Mitarbeiter des inzwischen emeritierten Prof. Hinterberger und heutige Dozierende der beiden Informatik-Vorlesungen, bauen das Angebot an Tutorials laufend aus und entwickeln es kontinuierlich weiter unter Einbezug der sich verändernden Technologien. Dabei haben sie – zuletzt zusammen mit David Sichau – mit dem Personal Learning Environment (PELE) einen weiteren Innovationsschritt vollzogen, der letztlich das Lernarrangement durch den Einbezug von Learning Analytics für Studierende, Assistierende und Dozierende revolutionieren wird: Während sich die Studierenden selbständig in die Grundlagen einarbeiten (TRY), erzeugen sie auf der Online-Plattform Interaktionsdaten (=Zeit, mit der die Lernenden mit den Materialien arbeiten).

Abb 1. Durchschnittliche Bearbeitungsdauer für Teilaufgaben in eTutorials Die durchschnittliche Bearbeitungsdauer (in Minuten) für eine ausgewähltes Modul, für insgesamt 300 Studierende der LV "Einsatz von Informatikmitteln". Bei mehreren Teilschritten (z.B. 11, 13) weicht die Bearbeitungsdauer für einen Teil der Studierenden stark vom Mittelwert ab, was auf Schwierigkeiten bei der Bearbeitung hinweisen kann. (Quelle: Sichau und Fässler, pers. comm)

Abb 1. Durchschnittliche Bearbeitungsdauer für Teilaufgaben in eTutorials
Die durchschnittliche Bearbeitungsdauer (in Minuten) für eine ausgewähltes Modul, für insgesamt 300 Studierende der LV “Einsatz von Informatikmitteln”. Bei mehreren Teilschritten (z.B. 11, 13) weicht die Bearbeitungsdauer für einen Teil der Studierenden stark vom Mittelwert ab, was auf Schwierigkeiten bei der Bearbeitung hinweisen kann. (Quelle: Sichau und Fässler, pers. comm)

Diese können von den Dozierenden analysiert werden, um besonders schwierige Elemente in den Tutorials zu identifizieren (Abb.1). Verbesserungen der Module werden so “evidence-based” und kontinuierlich vorgenommen.

Die Daten zeigen auch, wann die Studierenden die Selbstlerneinheiten bearbeiten und welche Rolle die einzelnen Tutorials bei der Vorbereitung auf die Schlussprüfung noch spielen. (Abb. 2)

Abb 2: Interaktion von Studierenden im Online Tutorial Die Abbildung zeigt die Clickdaten, welche 338 Studierende der LV "Einsatz von Informatikmitteln" im HS15 erzeugt haben, oben Modul 2, unten Modul 3. Eine Interaktion wird dabei gewertet als die Anzahl Clicks in der Lernumgebung mit einem Abstand von mehr als 10 Sekunden, die Anzahl der Interaktionen an einem Tag ist mit dem Farbcode gemäss Legende am rechten Rand dargestellt. Die Fenster für die Präsentation der Modulprojekte waren jeweils 2 Wochen geöffnet (schwarz markiert am oberen Rand der jeweiligen Modulgrafik). Die Schlussprüfung fand nach dem Modul 6 statt. Die Studierenden begannen jeweils eine halbe Woche vor Beginn der Präsentationsperiode mit der Bearbeitung der Tutorials. Nach der Projektarbeit wurde das Material nicht mehr gesichtet bis zur Beginn der Prüfungsvorbereitung eineinhalb Wochen vor dem Prüfungstermin. (Quelle: Sichau und Fässler, pers. comm)

Abb 2: Interaktion von Studierenden im Online Tutorial
Die Abbildung zeigt die Interaktionsdaten, welche 338 Studierende der LV “Einsatz von Informatikmitteln” im HS15 erzeugt haben, oben Modul 2, unten Modul 3. Eine Interaktion wird dabei gewertet als die Anzahl Clicks in der Lernumgebung mit einem Abstand von mehr als 10 Sekunden, die Anzahl der Interaktionen an einem Tag ist mit dem Farbcode gemäss Legende am rechten Rand dargestellt. Die Fenster für die Präsentation der Modulprojekte waren jeweils 2 Wochen geöffnet (schwarz markiert am oberen Rand der jeweiligen Modulgrafik). Die Schlussprüfung fand nach dem Modul 6 statt.
Die Studierenden begannen jeweils eine halbe Woche vor Beginn der Präsentationsperiode mit der Bearbeitung der Tutorials. Nach der Projektarbeit wurde das Material nicht mehr gesichtet bis zur Beginn der Prüfungsvorbereitung eineinhalb Wochen vor dem Prüfungstermin. (Quelle: Sichau und Fässler, pers. comm)

Die Interaktionsdaten sind pseudonymisiert: die Personeninformation wird separat von den restlichen Daten gehalten und ist nur über einen gesicherten Zwischenschritt einsehbar. So ist es im Gegensatz zu voll anonymisierten Daten möglich, weitere studierendenspezifische Daten (wie z.B. Prüfungsresultate) zu verknüpfen, ohne dass die Identität offengelegt wird. Das erklärte Ziel von Fässler und Sichau ist die Detektion von Aktivitätsmustern in der TRY-Phase, welche zuverlässige Voraussagen der Prüfungsleistung erlauben. (s. auch Dahinden&Fässler, 2011). Bestehens-Prognosen für einzelne Studierende sind aber kein Thema – bei einer Kohortengrösse von 400 Studierenden pro Kurs gibt es schliesslich auch bei hoher Signifikanz eines Modells immer individuelle Studierende, die trotz schlechten Prognosen gut abschliessen können und umgekehrt. Darum möchten die Verantwortlichen keine falschen (Un-)Sicherheiten erzeugen. Die Studierenden sollen aber in naher Zukunft auf einem Dashboard jederzeit sehen können, wie sie bezüglich Lernfortschritt und dafür aufgewendeter Zeit in Bezug auf die ganze Kohorte stehen.

Während der DO-Phase hinterlassen die Studierenden digitale Spuren, wenn sie ausserhalb der regulären Präsenzeiten das Ticket-System von PELE benutzen, um innerhalb von 24 Stunden (Wochenende inklusive) Support zu erhalten. Über PELE wird auch die EXPLAIN-Phase eines jeden Moduls eingeleitet: Die Studierenden reservieren sich alleine oder zu zweit einen 15-Minuten Termin für die Projektpräsentation. Die betreuende studentische Fachperson (PhD-Studierende aus dem D-INFK, aber auch etwa zur Hälfte Hilfsassistierende aus den Naturwissenschaften) wird ihnen dafür zufällig nach Verfügbarkeit zugeteilt.

eth-2015-etutorial-10

Im HS15 hatte ich Gelegenheit, zwei solche Beratungsgespräche anlässlich eines Besuchs live mitzuerleben: Das Gespräch findet wie die Beratungen auch während der Präsenzzeit in einem Computerraum statt. Via PELE-Website sieht die Fachperson den Namen der nächsten Studentin und ruft den Namen pünktlich in den Raum. Bei meinem Besuch ist es einmal ein einzelner Student, einmal zwei Studentinnen zusammen aus dem D-BIOL, welche ihr Ergebnis zum MATLAB-Projekt . Die Assistentin startet das Gespräch jeweils mit der gleichen Frage (“Stellt kurz vor, wie ihr es gemacht habt”), danach verlaufen die Unterhaltungen inhaltlich völlig unterschiedlich – einmal geht es um Programmiertechnisches (Indizes einer Schleife), einmal um die Umsetzung des physikalischen Modells, welches der Aufgabe zugrunde liegt. Im einen Gespräch bringt die Assistentin den Studierenden mit wenigen Fragen dazu, sein Missverständnis exakt zu beschreiben, die entsprechenden Codezeilen zu eruieren und die Lösung gleich zu implementieren. Das andere Gespräch führt zu einer Skizze mit dem physikalischen Modell der Diffusion und hat im Code nur minimale Auswirkungen – ein Parameter muss verändert werden. Zum Schluss reflektieren die Studierenden ihr Vorgehen zusammen mit der Assistentin und beschliessen Massnahmen für nächste Projekte (“Schleifen konsequent testen” der eine, “vollständigere Designphasen” die anderen) und besprechen welche Wissenslücken die Studentin für die Prüfung allenfalls noch aufweist. Die Assistentin schliesst das Gespräch mit einer individuellen Rückmeldung ab und bittet die Studierenden, das vergangene Gespräch auf der Plattform mit Sternen zu bewerten: Zwei, einen oder keinen für “Wie hilfreich war das Gespräch”.  Die Studierenden bekommen ihrerseits von der Assistentin jeweils Sterne für “Verständnis des Themas”.

Für Studierende und Assistierende ist das ein grober Anhaltspunkt dafür, wie das Gespräch von beiden Seiten empfunden wurde. Die Nachbearbeitung liegt in der Verantwortung der Studierenden, womit auch die “Project Ownership” bei ihnen liegt. Für die Dozierenden ergeben sich aus der Kombination mit Click-Daten Hinweise darauf, inwiefern sich die Aktivität in der Selbstlern (TRY) Phase auf die Leistung im Projekt auswirkt. Falls sich beispielsweise eine unterdurchschnittliche Verweildauer bei einem gewissen Lernschritt tendenziell negativ auf den Projekterfolg auswirkt, könnte darauf in Zukunft bereits im Modul oder den Coaching-Gesprächen vermehrt eingegangen werden. Dazu müssten die Studierenden natürlich erst die entsprechenden Daten freigeben. Im Hinblick auf den Prüfungserfolg erweisen sich die Bewertungsdaten der formativen Assessments übrigens bisher als die zuverlässigsten Daten für eine Prognose.

Wie die Tutorials sind auch individuelle Coaching-Gespräche nichts Neues. Das Bahnbrechende an diesem Modell wird erst sichtbar beim Blick auf die Zahlen: In HS16 absolvierten 804 Studierende 4019 solcher Coaching-Gespräche mit insgesamt 40 Assistierenden. Für die Studierenden bedeutet das 90 Minuten intensive individuelle Betreuung – weit mehr, als in einem Semester konventionell betreuter Übungen mit Gruppengrössen von 20 Studierenden zustande kommen kann. Konsequenterweise wird diese Form des formativen Assessments von den Studierenden sehr geschätzt und auch in den Evaluationskommentaren immer wieder erwähnt: Die Studierenden schätzen auch die regelmässige Verteilung der Belastung über das ganze Semester und die regelmässige Standortbestimmung in den Gesprächen.

Abb 3: Bewertungsübersicht in PELE Die Abbildung zeigt in der Dozierendensicht von PELE die Anteile der Bewertungen 2(grün), 1(blau) und 0(rot) von und für 4 Assistierende (Zeilen). Die Person in Zeile 2 vergibt tiefe Bewertungen an Studierende und erhält relativ schlechte Bewertungen von Studierenden, was ein Hinweis auf ein Problem sein könnte. Die Person in Zeile 1 hingegen erhält trotz häufiger schlechter Bewertungen für Studierende überdurchschnittlich hohe Bewertungen von Studierenden, was für gute Qualität der Coachings spricht. (Quelle: Fässler, pers. comm)

Abb 3: Bewertungsübersicht in PELE
Die Abbildung zeigt in der Dozierendensicht von PELE die Anteile der Bewertungen 2(grün), 1(blau) und 0(rot) von und für 4 Assistierende (Zeilen). Die Person in Zeile 2 vergibt tiefe Bewertungen an Studierende und erhält relativ schlechte Bewertungen von Studierenden, was ein Hinweis auf ein Problem sein könnte. Die Person in Zeile 1 hingegen erhält trotz häufiger schlechter Bewertungen für Studierende überdurchschnittlich hohe Bewertungen von Studierenden, was für gute Qualität der Coachings spricht. (Quelle: Fässler, pers. comm)

Noch eindrucksvoller ist allerdings eine andere Zahl: Die Assistierenden absolvieren innerhalb eines Semesters gut 100 individuelle Coaching Gespräche von 15 Minuten Dauer und werden dadurch innert kürzester Zeit zu Experten in dieser Form von Kommunikation: Sie können sich immer besser in die Studierenden hinein versetzen und bringen diese mit gezielten Fragen dazu, möglichst selbständig ihre Projekte kritisch zu hinterfragen, unklare Punkte zu thematisieren und ihre eigene Arbeit selbstbewusst zu präsentieren. Kommentar einer Assisitierenden: “Ich habe gelernt ein Gespräch zu führen und Tipps zu geben, die helfen können etwas zu lösen, ohne gleich die Lösung zu verraten.” Die Assistierenden finden, dass Unterricht mit PELE mehr Feedback erlaubt und auch effizienter ist als klassischer Übungsbetrieb, weil sie sich auf das Wesentliche konzentrieren können und wenig organisatorischen Aufwand betreiben müssen. Manche Assistierende vermissen aber die Konstanz einer über das Semester begleiteten Studierendengruppe.

Den Dozierenden ist es sehr wichtig, dass die Qualität der Feedbacks möglichst hoch ist. Da Fässler und Dahinden nach der einführenden Assistierenden-Schulung nur in beschränktem Mass den Gesprächen beiwohnen können, findet die Qualitätskontrolle auch über die Rückmeldungen der Studierenden statt. Durch die Aggregation der Daten von erteilten und erhaltenen Feedbacks fallen Assistierende mit konstant unterdurchschnittlichen Leistungen schon früh im Semester auf und können entsprechend unterstützt werden. (Abb 3).

Fazit: Trotz ihres “Alters” gehören die E.Tutorials mit PELE zu den innovativsten Lehrangeboten in der ETH Grundbildung:

  • Time-on-task für die Studierenden ist maximiert, sämtliche Kontakte mit Assistierenden sind individuell.
  • Das Coaching-Modell eignet sich für eine Reihe von Lehrveranstaltungen, in denen Studierende selbständig mehrere Kleinprojekte/umfangreichere Übungen bearbeiten und Feedback dazu erhalten. Der personelle Aufwand ist im Vergleich mit konventionellen Formen (mit korrigierte Übungen) geringer.
  • Das Online-Reservations- und Feedback-System von PELE ermöglicht eine schlanke, flexible und ortsunabhängige Organisation der Coaching-Gespräche. So kann mit einer grossen Anzahl von Assistierenden gearbeitet werden, während die Qualität der Coachings in Echtzeit verfügbar ist.
  • Die Kompetenzen, welche sich die Assistierenden auf diese Weise aneignen, sind für ihre weitere persönliche und berufliche Entwicklung ein eigentlicher Schatz, wie er wohl in keiner anderen Lehrveranstaltung an der ETH zu finden ist.

In der Unterrichtsevaluation vom HS15 lautete ein studentischer Kommentar: “Von dieser durchdachten und gut funktionierenden Lehrform sollte der Lehrspezialist des D-USYS hören.
Auf jeden Fall! Und nicht nur er, sondern die ganze ETH!!

Über die Lehre reden

teacher tea timeUnterrichten ist eine hochkomplexe und äusserst anspruchsvolle Tätigkeit. Lee Shulman (2004, S. 258) hat die Komplexität des Lehrens mit den Anforderungen einer ärztlichen Notaufnahme verglichen. Trotz dieser grossen Herausforderung ist der Austausch von Erfahrungen und Gedanken, die mit dem eigenen Unterrichten zusammenhängen, unter den Lehrenden eher gering. Häufig wird das Lehren als privates und isoliertes Handeln aufgefasst. Der kollegiale Erfahrungsaustausch hingegen kann die Wahrnehmung und auch die Entwicklung des eigenen Unterrichts unterstützen.

Um diesen kollegialen Austausch zu fördern, werden am Departement Physik vom Lehrspezialisten und dem Studienkoordinator regelmässige Treffen zwischen den Professoren organisiert. Diese Teacher Tea Time finden 1-2 Mal im Semester statt und befassen sich jeweils mit einem Thema, das von den Professoren selbst vorgeschlagen wird. Beispiele bisheriger Themen waren z.B.:

  • “How can we influence students’ learning behavior?”
  • “Exploring and exploiting free space in our curricula”
  • “Exams at D-PHYS”

Die recht informell gehaltenen Zusammenkunft beginnt mit einem kurzen mündlichen Statement aus der Runde der Teilnehmenden und geht anschliessend in die Gesprächs-  bzw. Diskussionsrunde über. Eine Moderation findet nicht statt. Aus den durchwegs positiven Rückmeldungen der Teilnehmenden scheint das Format gut angenommen zu werden. Im Schnitt beteiligt sich etwa ein Viertel der Professoren des D-PHYS in wechselnder Zusammenstellung an den Treffen.

Auch an anderen Departementen haben Lehrspezialisten entsprechende Treffen initiiert. So finden z.B. am D-ERDW regelmässige Meetings von allen Lehrbeteiligten statt. Am D-MTEC wurde kürzlich das Teaching Innovations Lab mit ähnlicher Zielsetzung eröffnet. Daneben organisiert das D-MATH regelmässige Lunch Meetings, an denen, neben Dozierenden, auch Studierende eingelanden sind.

Ob nun im engen Professorenkreis, oder zusammen mit Assistierenden und Studierenden, in den einzelnen Departementen wird der Erfahrungsaustausch über das Lehren verstärkt kultiviert.

An Outstanding Lab Course

Practical Methods in Tissue Engineering (376-1622-00L)

Tissue engineering is the use of a combination of cells, engineering and materials methods, and suitable biochemical and physicochemical factors to improve or replace biological tissues (i.e., bone, cartilage, blood vessels, bladder, skin, muscle, etc.).

At the Institute of Biomechancis at D-HEST, each semester 12 students immerse themselves hands-on into tissue engineering. They learn to use state of the art methods for scaffold production and cell analysis. Dr. Karin Wuertz-Kozak, supported by Prof. Dr. Marcy Zenobi-Wong, teach the laboratory course for 4h per week. Students can earn 5 ECTS, but the didactics allow them to learn much more.

The lecturer’s design of the course’s learning outcomes accentuated four goals:

  1. Students are enabled to recognize and compare various 2D and 3D culture systems and choose the most appropriate system for future tissue engineering experiments
  2. In the tissue engineering lab, students apply professional standards to work safely and in sterile conditions in a tissue engineering lab
  3. Students can apply methods of gene and protein expression analysis, viability detection and mechanical testing to determine the cellular responses and properties of tissue engineered constructs.
  4. Finally, students learn and practice how to acquire, critically assess, and evaluate results.

To realize these aims, the lecturers guide the students through experiments in the lab, encourage them to use protocols to independently solve the complex analytical challenges, and even take students on field trips to contextualize their knowledge about tissue engineering with ETH’s academic and industry partners.

TE-IntheLab

Key aspects of the course

  • Students perform experiments with state of the art techniques (such as electrospinning, 3D bioprinting and qPCR) that inspire creativity
  • Students work on interdisciplinary projects and practice cooperative learning with fellow students that have a different educational background
  • Students apply critical thinking by evaluating and discussing their results in the learning controls, by comparing their results to findings in the scientific literature, by explaining differences and by identifying errors/limitations
  • Students receive preparation for future (= their master thesis) in all learning controls, but specifically by having to write a project proposal that includes: state of the art, research aims, experimental plan, timetable, budget and relevance (learning control of the lab on electrospinning)
  • Students gain extensive hands-on experience that with applicability to current research (small group size, experiments related to ongoing research)
  • Students are given the possibility to visit selected laboratories and gain better insights into ongoing research activities
  • Students obtain innovative, practical and sustainable safety training by visiting the ETH Safety Parcours and by watching custom-made true/false videos on sterile working environments
  • Use of multimedia teaching (all documents are provided electronically on Moodle, including custom-made videos, advance organizer, online entry tests)
  • The course has received excellent student evaluations and has thus far been overbooked each semester offered

Advance Organizer of the course:

TE-Adv-Organizer

If you want access to the moodle course, please contact Dr. Karin Wuertz-Kozak.

Evaluation

In the course evaluations, students were extremely positive as can be seen in the picture below. (Overall satisfaction: 4.9 out of 5)

TE-Lab-Course-Satisfaction

Outstanding work!

(Text by Dr. Erik Jentges, Dr. Karin Wuertz-Kozak and Sarah Frederickx.)