Teaching Scenarios: Interactive Lecture Material & Collaboration

eSkript, the platform for interactive lecture material at ETH Zurich was born in 2014 (cf. the interactive timeline about eSkript; new PolyBook link), and since then many scenarios have been used by many lecturers. (eSkript is available to all Switch AAI affiliated persons.)

The main goal of interactive lecture material is to engage students, which promises better learning outcomes. As a byproduct, it makes lecturers happier and have fun! 🙂 The following selection of scenarios have been used at least a few times each. Bear in mind, there are many more possibilities.

1 – Review

Students are the best judges of your material. Make it available for annotation and let students correct it and give you feedback. Already after one round, your material will be perfect!

2 – Collaborative Study Material

Many students or many groups of students create material together. Students experience collaboration and see its benefits. They have access to other students’ work and because the material is presented as a whole, the result is something they can be proud of. Furthermore, peer review and annotation by peers or assistants is then possible.

3 – Feedback

When students publish work (text, papers, exercise solutions, etc.), assistants and lecturers can easily give feedback and start discussions on very good points students came up with or problems they seem to have, on the spot.

4 – Working with Texts (Papers, Journals, Articles,…)

Students can answer predefined questions (by lecturers/assistants/peers), ask questions about difficult passages, paraphrase, discuss interesting points, attach complementary material, prove points with links to other research, reflect and form opinions right where it is relevant. This kind of assignments foster critical thinking and collaboration. It is much easier and more appealing than using a forum, which is the alternative for such tasks.

5 – Voting

Easily get feedback (students can append a star to parts of content of your choosing) on good/important/… content. You can even go further and let students collaboratively decide through their voting on…[depending on your scenario].

6 – Interactivity Modules

By far my favorite application in eSkript are the interactive modules. The possibilities are endless. You can enhance your material with interactive videos, drag and drops, timelines, interactive images (juxtapositions, sliders, info hotspots, hidden hotspots, and sequences), and many more. A scenario that has worked repeatedly well is the design of interactive modules by students. Check out a few examples of interactive modules (new PolyBook link)!

These and more scenarios in more details with detailed tasks, profit, caveat and real life cases can be found in the eSkript Scenarios (new PolyBook link).

Have fun and find new ways to engage and interact with your students! Open your first eSkript (new PolyBook link) today.

https://eskript.ethz.ch/studentguide/chapter/open-your-own-eskript/

Note from May 2019: eSkript is not maintained anymore but PolyBooks are taking over! Contact LET for support.

Our First Virtual Laboratory: A success story!

Imagine a computer game where you click to get through. This is similar but better. The students follow instructions, manipulate samples, use machines, gather information and answer questions along the way to check their progress and understanding. A theory section with all relevant background material is available at all times. The setting looks very much like a real lab, and chemical reactions are shown in 2D or 3D videos. Finally, there is a mission (here: help a sports physician repair athletes’ damaged articular cartilage) that makes the virtual lab’s path and goal clear.

In 2015 we, Prof. Dr. M. Zenobi-Wong and her team, started developing the “Tissue Engineering Lab” (TEL) with Labster. The process was easy and rewarding. Since Fall 2016, after two pilot runs, the lab has been used by students every semester.

Here is the students’ evaluation from this spring (2017). Approximately 60% of the 60 participants filled out the survey at the end of the lab. Most of the students worked in pairs. (Source: Labster)

TEL-Evaluation

We are very happy about the results as the lab motivated students and they felt that they gained relevant knowledge.

Some screenshots, the learning goals and the techniques used can be found on the lab’s main page at Labster. And here is a short (and fast) screencast of the first hydrogel experiment.

What are the reasons for using virtual labs?

  1. lectures that haven’t got any physical lab time but would profit from lab work (exercise-/extra-material)
  2. experiments that have to be done by vast amounts of students
  3. experiments that are too dangerous to be performed by students
  4. experiments that are too costly to perform with students
  5. additional practice material
  6. not enough ressources (i.e. scarcity of lab spaces)

For this lab, it was the first reason, and now students can get lab work done in a one-hour exercise slot in the lecture hall. This is amazing!

We are happy to announce that the second virtual lab @ETH Zurich is on its way. In the physical setting, this lab can only be performed by an assistant. To offer the opportunity to students to try it out themselves, Prof. Dr. L. Nyström with Dr. M. Erzinger will develop the “Kjeldahl Lab” starting this summer.

PELE: Informatik-Einführung nach allen Regeln der (didaktischen) Kunst

[vimeo]https://youtu.be/22CkQOjG5nk[/vimeo][vimeo]https://youtu.be/22CkQOjG5nk[/vimeo]Tutorials für Informatikanwendungen sind wohl so alt wie die Informatikwelt selbst: Learning by doing bietet sich an, wenn es zum Beispiel um das Erlernen von Datenvisualisierung, Datenverwaltung oder Programmierung in Python oder Matlab geht. Prof. Hans Hinterberger hat das vor mehr als 15 Jahren erkannt und das Projekt E-Tutorials ins Leben gerufen. Aus seiner Initiative von damals ist ein eindrucksvoll ausgereiftes Produkt entstanden, welches an der ETH in den Bereichen selbstgesteuertes Lernen und kompetenzorientiertes Prüfen seit Beginn neue Massstäbe gesetzt hat. In den 4 Schritten zu aktivem Wissen, SEE-TRY-DO-EXPLAIN erwerben die Studierenden aus fünf Departementen (BIOL, CHAB, HEST, USYS, ERDW) in Modulform die theoretischen Grundlagen (Phase SEE; online oder in der Vorlesung), wenden diese dann an Beispielen unter aktiver Bedienung eines Informatikmittels an (Phase TRY), setzen die Konzepte in einer Projektaufgabe mit wissenschaftlichem Kontext um (Phase DO) und präsentieren die Lösung Face-to-face in einem Abgabegespräch mit einer Fachperson (Phase EXPLAIN). Fünf solcher Gespräche müssen zusätzlich zur Schlussprüfung als Bestandteil der Semesterleistung absolviert werden.

Lukas Fässler und Markus Dahinden, langjährige Mitarbeiter des inzwischen emeritierten Prof. Hinterberger und heutige Dozierende der beiden Informatik-Vorlesungen, bauen das Angebot an Tutorials laufend aus und entwickeln es kontinuierlich weiter unter Einbezug der sich verändernden Technologien. Dabei haben sie – zuletzt zusammen mit David Sichau – mit dem Personal Learning Environment (PELE) einen weiteren Innovationsschritt vollzogen, der letztlich das Lernarrangement durch den Einbezug von Learning Analytics für Studierende, Assistierende und Dozierende revolutionieren wird: Während sich die Studierenden selbständig in die Grundlagen einarbeiten (TRY), erzeugen sie auf der Online-Plattform Interaktionsdaten (=Zeit, mit der die Lernenden mit den Materialien arbeiten).

Abb 1. Durchschnittliche Bearbeitungsdauer für Teilaufgaben in eTutorials Die durchschnittliche Bearbeitungsdauer (in Minuten) für eine ausgewähltes Modul, für insgesamt 300 Studierende der LV "Einsatz von Informatikmitteln". Bei mehreren Teilschritten (z.B. 11, 13) weicht die Bearbeitungsdauer für einen Teil der Studierenden stark vom Mittelwert ab, was auf Schwierigkeiten bei der Bearbeitung hinweisen kann. (Quelle: Sichau und Fässler, pers. comm)

Abb 1. Durchschnittliche Bearbeitungsdauer für Teilaufgaben in eTutorials
Die durchschnittliche Bearbeitungsdauer (in Minuten) für eine ausgewähltes Modul, für insgesamt 300 Studierende der LV “Einsatz von Informatikmitteln”. Bei mehreren Teilschritten (z.B. 11, 13) weicht die Bearbeitungsdauer für einen Teil der Studierenden stark vom Mittelwert ab, was auf Schwierigkeiten bei der Bearbeitung hinweisen kann. (Quelle: Sichau und Fässler, pers. comm)

Diese können von den Dozierenden analysiert werden, um besonders schwierige Elemente in den Tutorials zu identifizieren (Abb.1). Verbesserungen der Module werden so “evidence-based” und kontinuierlich vorgenommen.

Die Daten zeigen auch, wann die Studierenden die Selbstlerneinheiten bearbeiten und welche Rolle die einzelnen Tutorials bei der Vorbereitung auf die Schlussprüfung noch spielen. (Abb. 2)

Abb 2: Interaktion von Studierenden im Online Tutorial Die Abbildung zeigt die Clickdaten, welche 338 Studierende der LV "Einsatz von Informatikmitteln" im HS15 erzeugt haben, oben Modul 2, unten Modul 3. Eine Interaktion wird dabei gewertet als die Anzahl Clicks in der Lernumgebung mit einem Abstand von mehr als 10 Sekunden, die Anzahl der Interaktionen an einem Tag ist mit dem Farbcode gemäss Legende am rechten Rand dargestellt. Die Fenster für die Präsentation der Modulprojekte waren jeweils 2 Wochen geöffnet (schwarz markiert am oberen Rand der jeweiligen Modulgrafik). Die Schlussprüfung fand nach dem Modul 6 statt. Die Studierenden begannen jeweils eine halbe Woche vor Beginn der Präsentationsperiode mit der Bearbeitung der Tutorials. Nach der Projektarbeit wurde das Material nicht mehr gesichtet bis zur Beginn der Prüfungsvorbereitung eineinhalb Wochen vor dem Prüfungstermin. (Quelle: Sichau und Fässler, pers. comm)

Abb 2: Interaktion von Studierenden im Online Tutorial
Die Abbildung zeigt die Interaktionsdaten, welche 338 Studierende der LV “Einsatz von Informatikmitteln” im HS15 erzeugt haben, oben Modul 2, unten Modul 3. Eine Interaktion wird dabei gewertet als die Anzahl Clicks in der Lernumgebung mit einem Abstand von mehr als 10 Sekunden, die Anzahl der Interaktionen an einem Tag ist mit dem Farbcode gemäss Legende am rechten Rand dargestellt. Die Fenster für die Präsentation der Modulprojekte waren jeweils 2 Wochen geöffnet (schwarz markiert am oberen Rand der jeweiligen Modulgrafik). Die Schlussprüfung fand nach dem Modul 6 statt.
Die Studierenden begannen jeweils eine halbe Woche vor Beginn der Präsentationsperiode mit der Bearbeitung der Tutorials. Nach der Projektarbeit wurde das Material nicht mehr gesichtet bis zur Beginn der Prüfungsvorbereitung eineinhalb Wochen vor dem Prüfungstermin. (Quelle: Sichau und Fässler, pers. comm)

Die Interaktionsdaten sind pseudonymisiert: die Personeninformation wird separat von den restlichen Daten gehalten und ist nur über einen gesicherten Zwischenschritt einsehbar. So ist es im Gegensatz zu voll anonymisierten Daten möglich, weitere studierendenspezifische Daten (wie z.B. Prüfungsresultate) zu verknüpfen, ohne dass die Identität offengelegt wird. Das erklärte Ziel von Fässler und Sichau ist die Detektion von Aktivitätsmustern in der TRY-Phase, welche zuverlässige Voraussagen der Prüfungsleistung erlauben. (s. auch Dahinden&Fässler, 2011). Bestehens-Prognosen für einzelne Studierende sind aber kein Thema – bei einer Kohortengrösse von 400 Studierenden pro Kurs gibt es schliesslich auch bei hoher Signifikanz eines Modells immer individuelle Studierende, die trotz schlechten Prognosen gut abschliessen können und umgekehrt. Darum möchten die Verantwortlichen keine falschen (Un-)Sicherheiten erzeugen. Die Studierenden sollen aber in naher Zukunft auf einem Dashboard jederzeit sehen können, wie sie bezüglich Lernfortschritt und dafür aufgewendeter Zeit in Bezug auf die ganze Kohorte stehen.

Während der DO-Phase hinterlassen die Studierenden digitale Spuren, wenn sie ausserhalb der regulären Präsenzeiten das Ticket-System von PELE benutzen, um innerhalb von 24 Stunden (Wochenende inklusive) Support zu erhalten. Über PELE wird auch die EXPLAIN-Phase eines jeden Moduls eingeleitet: Die Studierenden reservieren sich alleine oder zu zweit einen 15-Minuten Termin für die Projektpräsentation. Die betreuende studentische Fachperson (PhD-Studierende aus dem D-INFK, aber auch etwa zur Hälfte Hilfsassistierende aus den Naturwissenschaften) wird ihnen dafür zufällig nach Verfügbarkeit zugeteilt.

eth-2015-etutorial-10

Im HS15 hatte ich Gelegenheit, zwei solche Beratungsgespräche anlässlich eines Besuchs live mitzuerleben: Das Gespräch findet wie die Beratungen auch während der Präsenzzeit in einem Computerraum statt. Via PELE-Website sieht die Fachperson den Namen der nächsten Studentin und ruft den Namen pünktlich in den Raum. Bei meinem Besuch ist es einmal ein einzelner Student, einmal zwei Studentinnen zusammen aus dem D-BIOL, welche ihr Ergebnis zum MATLAB-Projekt . Die Assistentin startet das Gespräch jeweils mit der gleichen Frage (“Stellt kurz vor, wie ihr es gemacht habt”), danach verlaufen die Unterhaltungen inhaltlich völlig unterschiedlich – einmal geht es um Programmiertechnisches (Indizes einer Schleife), einmal um die Umsetzung des physikalischen Modells, welches der Aufgabe zugrunde liegt. Im einen Gespräch bringt die Assistentin den Studierenden mit wenigen Fragen dazu, sein Missverständnis exakt zu beschreiben, die entsprechenden Codezeilen zu eruieren und die Lösung gleich zu implementieren. Das andere Gespräch führt zu einer Skizze mit dem physikalischen Modell der Diffusion und hat im Code nur minimale Auswirkungen – ein Parameter muss verändert werden. Zum Schluss reflektieren die Studierenden ihr Vorgehen zusammen mit der Assistentin und beschliessen Massnahmen für nächste Projekte (“Schleifen konsequent testen” der eine, “vollständigere Designphasen” die anderen) und besprechen welche Wissenslücken die Studentin für die Prüfung allenfalls noch aufweist. Die Assistentin schliesst das Gespräch mit einer individuellen Rückmeldung ab und bittet die Studierenden, das vergangene Gespräch auf der Plattform mit Sternen zu bewerten: Zwei, einen oder keinen für “Wie hilfreich war das Gespräch”.  Die Studierenden bekommen ihrerseits von der Assistentin jeweils Sterne für “Verständnis des Themas”.

Für Studierende und Assistierende ist das ein grober Anhaltspunkt dafür, wie das Gespräch von beiden Seiten empfunden wurde. Die Nachbearbeitung liegt in der Verantwortung der Studierenden, womit auch die “Project Ownership” bei ihnen liegt. Für die Dozierenden ergeben sich aus der Kombination mit Click-Daten Hinweise darauf, inwiefern sich die Aktivität in der Selbstlern (TRY) Phase auf die Leistung im Projekt auswirkt. Falls sich beispielsweise eine unterdurchschnittliche Verweildauer bei einem gewissen Lernschritt tendenziell negativ auf den Projekterfolg auswirkt, könnte darauf in Zukunft bereits im Modul oder den Coaching-Gesprächen vermehrt eingegangen werden. Dazu müssten die Studierenden natürlich erst die entsprechenden Daten freigeben. Im Hinblick auf den Prüfungserfolg erweisen sich die Bewertungsdaten der formativen Assessments übrigens bisher als die zuverlässigsten Daten für eine Prognose.

Wie die Tutorials sind auch individuelle Coaching-Gespräche nichts Neues. Das Bahnbrechende an diesem Modell wird erst sichtbar beim Blick auf die Zahlen: In HS16 absolvierten 804 Studierende 4019 solcher Coaching-Gespräche mit insgesamt 40 Assistierenden. Für die Studierenden bedeutet das 90 Minuten intensive individuelle Betreuung – weit mehr, als in einem Semester konventionell betreuter Übungen mit Gruppengrössen von 20 Studierenden zustande kommen kann. Konsequenterweise wird diese Form des formativen Assessments von den Studierenden sehr geschätzt und auch in den Evaluationskommentaren immer wieder erwähnt: Die Studierenden schätzen auch die regelmässige Verteilung der Belastung über das ganze Semester und die regelmässige Standortbestimmung in den Gesprächen.

Abb 3: Bewertungsübersicht in PELE Die Abbildung zeigt in der Dozierendensicht von PELE die Anteile der Bewertungen 2(grün), 1(blau) und 0(rot) von und für 4 Assistierende (Zeilen). Die Person in Zeile 2 vergibt tiefe Bewertungen an Studierende und erhält relativ schlechte Bewertungen von Studierenden, was ein Hinweis auf ein Problem sein könnte. Die Person in Zeile 1 hingegen erhält trotz häufiger schlechter Bewertungen für Studierende überdurchschnittlich hohe Bewertungen von Studierenden, was für gute Qualität der Coachings spricht. (Quelle: Fässler, pers. comm)

Abb 3: Bewertungsübersicht in PELE
Die Abbildung zeigt in der Dozierendensicht von PELE die Anteile der Bewertungen 2(grün), 1(blau) und 0(rot) von und für 4 Assistierende (Zeilen). Die Person in Zeile 2 vergibt tiefe Bewertungen an Studierende und erhält relativ schlechte Bewertungen von Studierenden, was ein Hinweis auf ein Problem sein könnte. Die Person in Zeile 1 hingegen erhält trotz häufiger schlechter Bewertungen für Studierende überdurchschnittlich hohe Bewertungen von Studierenden, was für gute Qualität der Coachings spricht. (Quelle: Fässler, pers. comm)

Noch eindrucksvoller ist allerdings eine andere Zahl: Die Assistierenden absolvieren innerhalb eines Semesters gut 100 individuelle Coaching Gespräche von 15 Minuten Dauer und werden dadurch innert kürzester Zeit zu Experten in dieser Form von Kommunikation: Sie können sich immer besser in die Studierenden hinein versetzen und bringen diese mit gezielten Fragen dazu, möglichst selbständig ihre Projekte kritisch zu hinterfragen, unklare Punkte zu thematisieren und ihre eigene Arbeit selbstbewusst zu präsentieren. Kommentar einer Assisitierenden: “Ich habe gelernt ein Gespräch zu führen und Tipps zu geben, die helfen können etwas zu lösen, ohne gleich die Lösung zu verraten.” Die Assistierenden finden, dass Unterricht mit PELE mehr Feedback erlaubt und auch effizienter ist als klassischer Übungsbetrieb, weil sie sich auf das Wesentliche konzentrieren können und wenig organisatorischen Aufwand betreiben müssen. Manche Assistierende vermissen aber die Konstanz einer über das Semester begleiteten Studierendengruppe.

Den Dozierenden ist es sehr wichtig, dass die Qualität der Feedbacks möglichst hoch ist. Da Fässler und Dahinden nach der einführenden Assistierenden-Schulung nur in beschränktem Mass den Gesprächen beiwohnen können, findet die Qualitätskontrolle auch über die Rückmeldungen der Studierenden statt. Durch die Aggregation der Daten von erteilten und erhaltenen Feedbacks fallen Assistierende mit konstant unterdurchschnittlichen Leistungen schon früh im Semester auf und können entsprechend unterstützt werden. (Abb 3).

Fazit: Trotz ihres “Alters” gehören die E.Tutorials mit PELE zu den innovativsten Lehrangeboten in der ETH Grundbildung:

  • Time-on-task für die Studierenden ist maximiert, sämtliche Kontakte mit Assistierenden sind individuell.
  • Das Coaching-Modell eignet sich für eine Reihe von Lehrveranstaltungen, in denen Studierende selbständig mehrere Kleinprojekte/umfangreichere Übungen bearbeiten und Feedback dazu erhalten. Der personelle Aufwand ist im Vergleich mit konventionellen Formen (mit korrigierte Übungen) geringer.
  • Das Online-Reservations- und Feedback-System von PELE ermöglicht eine schlanke, flexible und ortsunabhängige Organisation der Coaching-Gespräche. So kann mit einer grossen Anzahl von Assistierenden gearbeitet werden, während die Qualität der Coachings in Echtzeit verfügbar ist.
  • Die Kompetenzen, welche sich die Assistierenden auf diese Weise aneignen, sind für ihre weitere persönliche und berufliche Entwicklung ein eigentlicher Schatz, wie er wohl in keiner anderen Lehrveranstaltung an der ETH zu finden ist.

In der Unterrichtsevaluation vom HS15 lautete ein studentischer Kommentar: “Von dieser durchdachten und gut funktionierenden Lehrform sollte der Lehrspezialist des D-USYS hören.
Auf jeden Fall! Und nicht nur er, sondern die ganze ETH!!

Über die Lehre reden

teacher tea timeUnterrichten ist eine hochkomplexe und äusserst anspruchsvolle Tätigkeit. Lee Shulman (2004, S. 258) hat die Komplexität des Lehrens mit den Anforderungen einer ärztlichen Notaufnahme verglichen. Trotz dieser grossen Herausforderung ist der Austausch von Erfahrungen und Gedanken, die mit dem eigenen Unterrichten zusammenhängen, unter den Lehrenden eher gering. Häufig wird das Lehren als privates und isoliertes Handeln aufgefasst. Der kollegiale Erfahrungsaustausch hingegen kann die Wahrnehmung und auch die Entwicklung des eigenen Unterrichts unterstützen.

Um diesen kollegialen Austausch zu fördern, werden am Departement Physik vom Lehrspezialisten und dem Studienkoordinator regelmässige Treffen zwischen den Professoren organisiert. Diese Teacher Tea Time finden 1-2 Mal im Semester statt und befassen sich jeweils mit einem Thema, das von den Professoren selbst vorgeschlagen wird. Beispiele bisheriger Themen waren z.B.:

  • “How can we influence students’ learning behavior?”
  • “Exploring and exploiting free space in our curricula”
  • “Exams at D-PHYS”

Die recht informell gehaltenen Zusammenkunft beginnt mit einem kurzen mündlichen Statement aus der Runde der Teilnehmenden und geht anschliessend in die Gesprächs-  bzw. Diskussionsrunde über. Eine Moderation findet nicht statt. Aus den durchwegs positiven Rückmeldungen der Teilnehmenden scheint das Format gut angenommen zu werden. Im Schnitt beteiligt sich etwa ein Viertel der Professoren des D-PHYS in wechselnder Zusammenstellung an den Treffen.

Auch an anderen Departementen haben Lehrspezialisten entsprechende Treffen initiiert. So finden z.B. am D-ERDW regelmässige Meetings von allen Lehrbeteiligten statt. Am D-MTEC wurde kürzlich das Teaching Innovations Lab mit ähnlicher Zielsetzung eröffnet. Daneben organisiert das D-MATH regelmässige Lunch Meetings, an denen, neben Dozierenden, auch Studierende eingelanden sind.

Ob nun im engen Professorenkreis, oder zusammen mit Assistierenden und Studierenden, in den einzelnen Departementen wird der Erfahrungsaustausch über das Lehren verstärkt kultiviert.

Exams over WLAN?

It may just be possible!

IMG_5396-smudged

Last Friday (22 May 2015), thanks to lecturer and study coordinator Dr. Roland Müller, first year D-HEST students could take part in a mock exam as a preparation for the real exam in August. This exam has been done at the computer for several years now. Long ago, when we planned this, people would warn us that the WLAN may crash and that (many) other problems would occur. This did not scare us! 🙂

Key numbers:

  • 160 students with their own devices (133 computers and 27 tablets)
  • moodle exam (not too complex, mostly kprime and text questions)
  • 4 access points (HPH G1 standard installation)

We also instructed everybody to switch every other device they had brought along onto airplane mode or to switch them off. At the beginning, I helped three students to get onto a wireless network, and one student had real problems with his laptop. Stephan Walder from ID NET oversaw the traffic and found out a few irregularities. For example, one access point took over half of the clients, and the other three access points shared the rest. The mock exam went on smoothly and students worked in absolute silence. It was a wonderful experience.

Doing exams with portable devices may further:

  • flexibility (especially with rooms)
  • hand drawing capabilities
  • silence! (in contrast to the keyboards in the computer rooms which are incredibly loud)

It is not planned to go into BYOD for real exams but the use of tablets or portable computers for ‘exams at the computer’ may well be in the near future at ETH Zurich.

IMG_5394-smudged

Video Analytics: wann und wie benutzen Studierende Lernvideos?

Seit anderthalb Jahren betreibt das Departement Physik ein eigenes Videoaufnahmestudio, in welchem Lehrende Videos in Selbstbedienung erstellen können. Mit mittlerweile 135 Lernvideos aus 10 Vorlesungen und insgesamt über 20‘000 Aufrufen liegen genügend Daten vor, um die Benutzung der Videos über das Semester hinweg zu untersuchen. Youtube stellt dazu mit Analytics eine umfassende Datenbasis zur Verfügung.

videos

(Klicken Sie das Bild, um zum youtube Kanal der Physikvideos zu gelangen)

Datengrundlage: Als Untersuchungsbeispiel werden im Folgenden die Videos einer Physik-Einführungsvorlesung für Bauingenieure (Phys_BAUG) herangezogen. Diese Vorlesung wurde im Herbstsemester 2013 und im Herbstsemester 2014 für jeweils ca. 200 Studierende angeboten. Während der Vorlesungszeit erhielten die Studierenden jede Woche eine Videolösung (bestehend aus 1 bis 2 Einzelvideos). Somit liegen für den Untersuchungszeitraum von Sep 13 bis Feb 15 insgesamt 34 Videos (2×13 Videolösungen) vor. Jede Vorlesung hatte eine eigene Videosammlung, bestehend aus jeweils 13 unterschiedlichen Videolösungen.

fig01

Daten aus Phys_BAUG (HS13 und HS14)

Analyse:

In der Grafik werden zwei Kenngrössen im monatlichen Verlauf abgebildet:

  • views (Aufrufe): absolute Anzahl der von youtube registrierten Videoaufrufen (Balken),
  • percetage viewed: durchschnittlicher Anteil der angeschauten Videolänge, gemessen an der Gesamtlänge (Linie).

In Oct 13 wurden somit 655 Aufrufe registriert, wobei die dort aufgerufenen Videos im Schnitt zu 54% angeschaut wurden. Diese Kennzahlen sind laut youtube wichtige Indikatoren für die Zuschauerbindung und beeinflussen sicher auch die Vergütung von zugeschalteter Werbung (falls vorhanden).

Die absoluten Werte sind jedoch mit Vorsicht zu interpretieren. Als Aufruf wird jeder Click auf den Play-Button bewertet, wobei aber Manipulationen durch wiederholtes Clicken möglichst verhindert werden. Wie der Wert von percentage viewed genau ermittelt wird, ist in der Dokumentation nicht ersichtlich. Für den monatlichen Vergleich, wie hier angestrebt, sind diese Bedenken jedoch zweitrangig. Anzumerken ist, dass bei percentage viewed ein Anteil von 30-60% für eine durchschnittliche Videolänge von knapp 15 Minuten von youtube als hohe Zuschauerbindung angesehen wird. Zudem haben Befragungen ergeben, dass 86% der betroffenen Studierenden die Videolänge als „genau richtig“ angeben und somit kein Problem mit Videos von 15 bis 20 Minuten Dauer haben.

Weiterhin ist in der Grafik der Zeitraum in unterschiedliche Perioden unterteilt:

  • lecture period (Sep-Dec): Zeit in welcher die Vorlesung angeboten wird und die Studierenden wöchentlich eine neue Videolösung erhalten,
  • exam period (Jan): Ende Januar findet jeweils die Abschlussprüfung statt,
  • re-test period (Aug): eine Nachprüfung, an der aber nur sehr wenige Studierende teilnehmen,
  • no-lecture (Feb-Jul): in diesem Zeitraum finden weder Vorlesungen noch Prüfungen statt.

Diskussion:

In der Grafik fällt zunächst auf, dass sich die Aufrufe (views) während der Prüfungszeit (Jan 14, Jan 15) deutlich erhöhen. Die Videos wurden also verstärkt zur Prüfungsvorbereitung eingesetzt. Während der Vorlesungszeit (Sep bis Dec) fallen die Einbrüche im Sep und Dec auf. Sie sind darauf zurückzuführen, dass das Semester erst Mitte September beginnt und die Weihnachtszeit eher als lernfrei zu betrachten ist. Im Oct 13 wurden die Videos erstmalig in einer Physikvorlesung eingesetzt und daher auch stark beworben. Dies mag den deutlich erhöhten Wert in diesem Zeitraum erklären, der sich in Oct 14 nicht wiederholt. Insgesamt kann man also feststellen, dass in der Vorlesungszeit die Videos ziemlich gleichmässig (im wöchentlichen Rhythmus ihres Erscheinens) benutzt werden.

Bei percentage viewed liegen die Werte während der Vorlesungs- und der Prüfungsvorbereitungszeit etwa gleich hoch. Im Vergleich zu 2013 fallen sie 2014 jedoch geringer aus. Im Gegenzug erhöhen sich dann aber in Jan 15 die Aufrufe deutlich. Diese Abweichung lässt sich entweder auf die unterschiedlichen Videosammlungen, oder auf ein unterschiedliches Benutzerverhalten zurückführen. In 2014 wurden die Videos während der Vorlesungszeit eher partiell aufgeteilt geschaut und deutlich verstärkt in der Prüfungsvorbereitungszeit benutzt. Zum Benutzerverhalten kann noch angemerkt werden, dass laut Befragung 42% der Studierenden zwischen 30 und 60 Minuten mit jedem Video aufwenden. Dies entspricht etwa 2-4 Mal der eigentlichen Videodauer. Beim Anschauen habe 54% der Befragten zusätzlich noch das Vorlesungsskript konsultieren. Ein Grossteil der Studierenden setzt sich also intensiv mit dem Videoinhalt auseinander. Eventuell hat dieses Verhalten einen Einfluss auf die abweichenden Werte von percentage viewed.

Ergebnisse:

  • Insgesamt liefert youtube Analytics brauchbare Daten, um den langfristigen Verlauf der Benutzung von Lernvideos zu analysieren. Detaillierte Informationen zur Generierung der entsprechenden Kernzahlen wären bei der Interpretation jedoch hilfreich.
  • Im Hinblick auf die untersuchte Lernveranstaltung kann festgehalten werden, dass die Videos während der Vorlesung und ebenfalls während der Prüfungsvorbereitung intensiv benutzt wurden. Beim Design von Lernvideos ist daher dieser doppelte Anspruch, Unterstützung der Wissensaneignung und der Wissenskonsolidierung, unbedingt mit zu bedenken.
  • Zusätzlich zur vorliegenden Untersuchung liegen noch Daten aus verschiedenen Befragungen und Interviews vor. Diese und weitere Analysen aus youtube Analytics werden Gegenstand einer umfassenden Studie zum Nutzerverhalten und zur Lernwirksamkeit von Lernvideos darstellen.

Applaus nach Prüfung!

Häufig werden Prüfungen als traumatisches Erlebnis wahrgenommen. Umso seltsamer war das Erlebnis, das ich gestern miterleben durfte. Im Anschluss an die Prüfung erhielt der Dozent tobenden Beifall!

Zum Hintergrund: In diesem Semester haben wir in zwei Physikvorlesungen eine obligatorische Zwischenprüfung eingeführt (Notengewicht 20%). Beide Prüfungen bestehen aus einer Anzahl Multiple-Choice-Fragen (single choice), mit denen gezielt physikalische Konzepte und analytische Fähigkeiten überprüft werden. In der Prüfung gestern hatten die knapp 400 teilnehmenden Studierenden 16 solcher Fragen in 60 Minuten zu beantworten.

pruefungDie Organisation der Prüfung verlief problemlos und ohne grösseren Aufwand. Nach Familiennamen waren die Studierenden in zwei grosse Hörsäle aufgeteilt. Für die Fragebögen standen, über doppelte Permutation (Fragen und Antworten), genügend Versionen bereit, um ein ‘versehentliches’ Abschreiben der Antworten zu unterbinden.korrektur

Während die Prüfungszeit auf eine Stunde festgesetzt war, benötigten fast alle Studierenden gut 45 Minuten zur Bearbeitung der Fragen. Die verbleibende Zeit wurden zur nochmaligen Durchsicht vor der Abgabe aufgewendet. In knapp 90 Minuten waren anschliessend Korrektur und Erfassung der Punkte von den Assistierenden erledigt.

Die erzielten Resultate lassen den Schluss zu, dass mit der Prüfung die intendierten Lernziele valide und sogar spannend abgefragt wurden. Dies wurde offensichtlich auch von den Studierenden erkannt und mit Applaus gewürdigt. Dazu der Kommentar eines Studierenden:

Konzeptfragen machen sogar in der Klausur fast Spass und ich hoffe dass auch in den folgenden Klausuren auf diese Weise das physikalische Verständnis geprüft wird.

So gesehen, sind wir auf gutem Wege, unsere Prüfungen ein wenig vom üblichen Schrecken zu befreien, indem wir Prüfungsmodus, Prüfungsfragen und Lernziele sinnvoll aufeinander abstimmen.

Question banks, for students by students

Logo_Frédérickx-2Question Bank Project (innovedum)

A brief account

900 questions for 15 physiology topics, designed by students
4 quizzes per topic in moodle

Lernquizzes-Physiologie-3

Usage (Summer Exam 2013)

  • 150 students took quizzes
  • 5000 quizzes were solved (approx. 100’000 questions were answered)
  • ~33 quizzes solved per student

You can find more numbers and further info in the project report.

Result

No obvious correlation could be seen between grades and frequency. (No analysis had been done between grades and quiz performance.)

Students’ Feedback

  • Question bank had low relevance to exam questions
  • Quality of questions – the more the students used the pool, the better they rated the questions
  • Students would appreciate question banks for further topics/areas

Status Quo

Up to now, after the exam this year (Summer 2014), more than 9’000 quizzes have been solved.

 

Spin-off project

Exercise physiology question bank

  • 320 questions designed by students
  • All revised by Prof. Ch. Spengler (ETHZ)
  • 14 (resp. 28) quizzes
  • Only students that provided questions had access to the revised questions.

Result

Usage was similar to the Physiology question bank. Again we do not have a correlation between how often they used the quizzes and their grade but…

…how well they performed in the quizzes was a reliable indicator of how well they performed in the exam.

Formative assessments are therefore helpful for students as their learning progress is made apparent. (Here is the report.)

 

Aufnahmestudio für Lernvideos am Departement Physik

videoraum1Aufgrund des grossen Erfolgs mit Video-Musterlösungen hat das Departement Physik einen eigenen Raum und Mittel zur technischen Ausstattung bereit gestellt. Seit Mitte Januar steht der Aufnahmeraum im HPH allen Lehrenden des Departements zur Verfügung und wird auch rege genutzt.

videoraum2Bei der Ausstattung des Studios war es wichtig, dass die Aufnahmen von Dozierenden und Assistierenden in Selbstbedienung (auch am Wochenende) erstellt werden können. Dazu musste eine technische Infrastruktur gefunden werden, die einfach zu bedienen ist und trotzdem qualitativ hochwertige Videos erzeugt. Ein weiterer zentraler Punkt bestand darin, didaktische Freiräume möglichst ohne technische Einschränkungen beizubehalten. Ich habe im vergangenen Jahr einige Settings erprobt und mich für folgende Hauptkomponenten entschieden:

  • WolfVisionWolfVision VZ-8: mit diesem Desktop Visualizer lassen sich problemlos Hand-Papier-Aufzeichnungen mit einer Zeichenfläche bis zu 41×19 cm aufnehmen. Gesichtsaufnahmen (talking-head) sind ebenso möglich, werden jedoch bisher nicht eingesetzt.
  • Blackmagic H.264 Pro Recorder: blackmagic-h264-pro-recorderdieses kleine und handliche Gerät komprimiert Videodaten in nahezu Echtzeit auf eine handhabbare Grösse und sendet sie über USB-Schnittstelle an den Computer.
  • Hörsaalmikrofon und Mikrofon-Vorverstärker.
  • camtasiaCamtasia: insbesondere im Bereich Lernvideos hat sich diese Software seit vielen Jahren bewährt. Wir benötigen sie lediglich zum Schneiden und Editieren.

Vom guten Ergebnis kann man sich z.B. in folgendem Video überzeugen:

video_solution

Bild klicken, um zum Video zu gelangen

Lernvideos werden in diesem Semester für 3 Vorlesungen im Bachelor- und im Master-Studiengang erstellt. Für das kommende Herbstsemester gibt es jetzt bereits Anfragen von weiteren Interessenten. Im Dialog mit den Studierenden versuche ich, das Angebot stetig zur verbessern. Zusätzlich sammele ich Erfahrungen zum Arbeitsablauf und möchte damit den zeitlichen Aufwand der Produktion noch weiter optimieren. Die reine Videoproduktion ist laut meiner bisherigen Erfahrung relativ schnell und einfach zu bewerkstelligen. Weitaus aufwändiger hingegen sind die didaktische Aufbereitung und die Ausarbeitung des Aufzeichnungsmaterials. Es ist jedoch schön zu erleben, mit welcher Begeisterung sich alle Beteiligten hier engagieren.

Die Lernvideos sind Bestandteil der „Flipped-Classroom-Initiative“, die ich seit vergangenem Jahr am Departement Physik initiiert habe. Dazu werde ich in einem späteren Beitrag dann sicher noch detaillierter berichten.