Teaching Scenarios: Interactive Lecture Material & Collaboration

eSkript, the platform for interactive lecture material at ETH Zurich was born in 2014 (cf. the interactive timeline about eSkript; new PolyBook link), and since then many scenarios have been used by many lecturers. (eSkript is available to all Switch AAI affiliated persons.)

The main goal of interactive lecture material is to engage students, which promises better learning outcomes. As a byproduct, it makes lecturers happier and have fun! 🙂 The following selection of scenarios have been used at least a few times each. Bear in mind, there are many more possibilities.

1 – Review

Students are the best judges of your material. Make it available for annotation and let students correct it and give you feedback. Already after one round, your material will be perfect!

2 – Collaborative Study Material

Many students or many groups of students create material together. Students experience collaboration and see its benefits. They have access to other students’ work and because the material is presented as a whole, the result is something they can be proud of. Furthermore, peer review and annotation by peers or assistants is then possible.

3 – Feedback

When students publish work (text, papers, exercise solutions, etc.), assistants and lecturers can easily give feedback and start discussions on very good points students came up with or problems they seem to have, on the spot.

4 – Working with Texts (Papers, Journals, Articles,…)

Students can answer predefined questions (by lecturers/assistants/peers), ask questions about difficult passages, paraphrase, discuss interesting points, attach complementary material, prove points with links to other research, reflect and form opinions right where it is relevant. This kind of assignments foster critical thinking and collaboration. It is much easier and more appealing than using a forum, which is the alternative for such tasks.

5 – Voting

Easily get feedback (students can append a star to parts of content of your choosing) on good/important/… content. You can even go further and let students collaboratively decide through their voting on…[depending on your scenario].

6 – Interactivity Modules

By far my favorite application in eSkript are the interactive modules. The possibilities are endless. You can enhance your material with interactive videos, drag and drops, timelines, interactive images (juxtapositions, sliders, info hotspots, hidden hotspots, and sequences), and many more. A scenario that has worked repeatedly well is the design of interactive modules by students. Check out a few examples of interactive modules (new PolyBook link)!

These and more scenarios in more details with detailed tasks, profit, caveat and real life cases can be found in the eSkript Scenarios (new PolyBook link).

Have fun and find new ways to engage and interact with your students! Open your first eSkript (new PolyBook link) today.

Open Your own eSkript

Note from May 2019: eSkript is not maintained anymore but PolyBooks are taking over! Contact LET for support.

PELE: Informatik-Einführung nach allen Regeln der (didaktischen) Kunst

Tutorials für Informatikanwendungen sind wohl so alt wie die Informatikwelt selbst: Learning by doing bietet sich an, wenn es zum Beispiel um das Erlernen von Datenvisualisierung, Datenverwaltung oder Programmierung in Python oder Matlab geht. Prof. Hans Hinterberger hat das vor mehr als 15 Jahren erkannt und das Projekt E-Tutorials ins Leben gerufen. Aus seiner Initiative von damals ist ein eindrucksvoll ausgereiftes Produkt entstanden, welches an der ETH in den Bereichen selbstgesteuertes Lernen und kompetenzorientiertes Prüfen seit Beginn neue Massstäbe gesetzt hat. In den 4 Schritten zu aktivem Wissen, SEE-TRY-DO-EXPLAIN erwerben die Studierenden aus fünf Departementen (BIOL, CHAB, HEST, USYS, ERDW) in Modulform die theoretischen Grundlagen (Phase SEE; online oder in der Vorlesung), wenden diese dann an Beispielen unter aktiver Bedienung eines Informatikmittels an (Phase TRY), setzen die Konzepte in einer Projektaufgabe mit wissenschaftlichem Kontext um (Phase DO) und präsentieren die Lösung Face-to-face in einem Abgabegespräch mit einer Fachperson (Phase EXPLAIN). Fünf solcher Gespräche müssen zusätzlich zur Schlussprüfung als Bestandteil der Semesterleistung absolviert werden.

Lukas Fässler und Markus Dahinden, langjährige Mitarbeiter des inzwischen emeritierten Prof. Hinterberger und heutige Dozierende der beiden Informatik-Vorlesungen, bauen das Angebot an Tutorials laufend aus und entwickeln es kontinuierlich weiter unter Einbezug der sich verändernden Technologien. Dabei haben sie – zuletzt zusammen mit David Sichau – mit dem Personal Learning Environment (PELE) einen weiteren Innovationsschritt vollzogen, der letztlich das Lernarrangement durch den Einbezug von Learning Analytics für Studierende, Assistierende und Dozierende revolutionieren wird: Während sich die Studierenden selbständig in die Grundlagen einarbeiten (TRY), erzeugen sie auf der Online-Plattform Interaktionsdaten (=Zeit, mit der die Lernenden mit den Materialien arbeiten).

Abb 1. Durchschnittliche Bearbeitungsdauer für Teilaufgaben in eTutorials Die durchschnittliche Bearbeitungsdauer (in Minuten) für eine ausgewähltes Modul, für insgesamt 300 Studierende der LV "Einsatz von Informatikmitteln". Bei mehreren Teilschritten (z.B. 11, 13) weicht die Bearbeitungsdauer für einen Teil der Studierenden stark vom Mittelwert ab, was auf Schwierigkeiten bei der Bearbeitung hinweisen kann. (Quelle: Sichau und Fässler, pers. comm)

Abb 1. Durchschnittliche Bearbeitungsdauer für Teilaufgaben in eTutorials
Die durchschnittliche Bearbeitungsdauer (in Minuten) für eine ausgewähltes Modul, für insgesamt 300 Studierende der LV “Einsatz von Informatikmitteln”. Bei mehreren Teilschritten (z.B. 11, 13) weicht die Bearbeitungsdauer für einen Teil der Studierenden stark vom Mittelwert ab, was auf Schwierigkeiten bei der Bearbeitung hinweisen kann. (Quelle: Sichau und Fässler, pers. comm)

Diese können von den Dozierenden analysiert werden, um besonders schwierige Elemente in den Tutorials zu identifizieren (Abb.1). Verbesserungen der Module werden so “evidence-based” und kontinuierlich vorgenommen.

Die Daten zeigen auch, wann die Studierenden die Selbstlerneinheiten bearbeiten und welche Rolle die einzelnen Tutorials bei der Vorbereitung auf die Schlussprüfung noch spielen. (Abb. 2)

Abb 2: Interaktion von Studierenden im Online Tutorial Die Abbildung zeigt die Clickdaten, welche 338 Studierende der LV "Einsatz von Informatikmitteln" im HS15 erzeugt haben, oben Modul 2, unten Modul 3. Eine Interaktion wird dabei gewertet als die Anzahl Clicks in der Lernumgebung mit einem Abstand von mehr als 10 Sekunden, die Anzahl der Interaktionen an einem Tag ist mit dem Farbcode gemäss Legende am rechten Rand dargestellt. Die Fenster für die Präsentation der Modulprojekte waren jeweils 2 Wochen geöffnet (schwarz markiert am oberen Rand der jeweiligen Modulgrafik). Die Schlussprüfung fand nach dem Modul 6 statt. Die Studierenden begannen jeweils eine halbe Woche vor Beginn der Präsentationsperiode mit der Bearbeitung der Tutorials. Nach der Projektarbeit wurde das Material nicht mehr gesichtet bis zur Beginn der Prüfungsvorbereitung eineinhalb Wochen vor dem Prüfungstermin. (Quelle: Sichau und Fässler, pers. comm)

Abb 2: Interaktion von Studierenden im Online Tutorial
Die Abbildung zeigt die Interaktionsdaten, welche 338 Studierende der LV “Einsatz von Informatikmitteln” im HS15 erzeugt haben, oben Modul 2, unten Modul 3. Eine Interaktion wird dabei gewertet als die Anzahl Clicks in der Lernumgebung mit einem Abstand von mehr als 10 Sekunden, die Anzahl der Interaktionen an einem Tag ist mit dem Farbcode gemäss Legende am rechten Rand dargestellt. Die Fenster für die Präsentation der Modulprojekte waren jeweils 2 Wochen geöffnet (schwarz markiert am oberen Rand der jeweiligen Modulgrafik). Die Schlussprüfung fand nach dem Modul 6 statt.
Die Studierenden begannen jeweils eine halbe Woche vor Beginn der Präsentationsperiode mit der Bearbeitung der Tutorials. Nach der Projektarbeit wurde das Material nicht mehr gesichtet bis zur Beginn der Prüfungsvorbereitung eineinhalb Wochen vor dem Prüfungstermin. (Quelle: Sichau und Fässler, pers. comm)

Die Interaktionsdaten sind pseudonymisiert: die Personeninformation wird separat von den restlichen Daten gehalten und ist nur über einen gesicherten Zwischenschritt einsehbar. So ist es im Gegensatz zu voll anonymisierten Daten möglich, weitere studierendenspezifische Daten (wie z.B. Prüfungsresultate) zu verknüpfen, ohne dass die Identität offengelegt wird. Das erklärte Ziel von Fässler und Sichau ist die Detektion von Aktivitätsmustern in der TRY-Phase, welche zuverlässige Voraussagen der Prüfungsleistung erlauben. (s. auch Dahinden&Fässler, 2011). Bestehens-Prognosen für einzelne Studierende sind aber kein Thema – bei einer Kohortengrösse von 400 Studierenden pro Kurs gibt es schliesslich auch bei hoher Signifikanz eines Modells immer individuelle Studierende, die trotz schlechten Prognosen gut abschliessen können und umgekehrt. Darum möchten die Verantwortlichen keine falschen (Un-)Sicherheiten erzeugen. Die Studierenden sollen aber in naher Zukunft auf einem Dashboard jederzeit sehen können, wie sie bezüglich Lernfortschritt und dafür aufgewendeter Zeit in Bezug auf die ganze Kohorte stehen.

Während der DO-Phase hinterlassen die Studierenden digitale Spuren, wenn sie ausserhalb der regulären Präsenzeiten das Ticket-System von PELE benutzen, um innerhalb von 24 Stunden (Wochenende inklusive) Support zu erhalten. Über PELE wird auch die EXPLAIN-Phase eines jeden Moduls eingeleitet: Die Studierenden reservieren sich alleine oder zu zweit einen 15-Minuten Termin für die Projektpräsentation. Die betreuende studentische Fachperson (PhD-Studierende aus dem D-INFK, aber auch etwa zur Hälfte Hilfsassistierende aus den Naturwissenschaften) wird ihnen dafür zufällig nach Verfügbarkeit zugeteilt.

eth-2015-etutorial-10

Im HS15 hatte ich Gelegenheit, zwei solche Beratungsgespräche anlässlich eines Besuchs live mitzuerleben: Das Gespräch findet wie die Beratungen auch während der Präsenzzeit in einem Computerraum statt. Via PELE-Website sieht die Fachperson den Namen der nächsten Studentin und ruft den Namen pünktlich in den Raum. Bei meinem Besuch ist es einmal ein einzelner Student, einmal zwei Studentinnen zusammen aus dem D-BIOL, welche ihr Ergebnis zum MATLAB-Projekt . Die Assistentin startet das Gespräch jeweils mit der gleichen Frage (“Stellt kurz vor, wie ihr es gemacht habt”), danach verlaufen die Unterhaltungen inhaltlich völlig unterschiedlich – einmal geht es um Programmiertechnisches (Indizes einer Schleife), einmal um die Umsetzung des physikalischen Modells, welches der Aufgabe zugrunde liegt. Im einen Gespräch bringt die Assistentin den Studierenden mit wenigen Fragen dazu, sein Missverständnis exakt zu beschreiben, die entsprechenden Codezeilen zu eruieren und die Lösung gleich zu implementieren. Das andere Gespräch führt zu einer Skizze mit dem physikalischen Modell der Diffusion und hat im Code nur minimale Auswirkungen – ein Parameter muss verändert werden. Zum Schluss reflektieren die Studierenden ihr Vorgehen zusammen mit der Assistentin und beschliessen Massnahmen für nächste Projekte (“Schleifen konsequent testen” der eine, “vollständigere Designphasen” die anderen) und besprechen welche Wissenslücken die Studentin für die Prüfung allenfalls noch aufweist. Die Assistentin schliesst das Gespräch mit einer individuellen Rückmeldung ab und bittet die Studierenden, das vergangene Gespräch auf der Plattform mit Sternen zu bewerten: Zwei, einen oder keinen für “Wie hilfreich war das Gespräch”.  Die Studierenden bekommen ihrerseits von der Assistentin jeweils Sterne für “Verständnis des Themas”.

Für Studierende und Assistierende ist das ein grober Anhaltspunkt dafür, wie das Gespräch von beiden Seiten empfunden wurde. Die Nachbearbeitung liegt in der Verantwortung der Studierenden, womit auch die “Project Ownership” bei ihnen liegt. Für die Dozierenden ergeben sich aus der Kombination mit Click-Daten Hinweise darauf, inwiefern sich die Aktivität in der Selbstlern (TRY) Phase auf die Leistung im Projekt auswirkt. Falls sich beispielsweise eine unterdurchschnittliche Verweildauer bei einem gewissen Lernschritt tendenziell negativ auf den Projekterfolg auswirkt, könnte darauf in Zukunft bereits im Modul oder den Coaching-Gesprächen vermehrt eingegangen werden. Dazu müssten die Studierenden natürlich erst die entsprechenden Daten freigeben. Im Hinblick auf den Prüfungserfolg erweisen sich die Bewertungsdaten der formativen Assessments übrigens bisher als die zuverlässigsten Daten für eine Prognose.

Wie die Tutorials sind auch individuelle Coaching-Gespräche nichts Neues. Das Bahnbrechende an diesem Modell wird erst sichtbar beim Blick auf die Zahlen: In HS16 absolvierten 804 Studierende 4019 solcher Coaching-Gespräche mit insgesamt 40 Assistierenden. Für die Studierenden bedeutet das 90 Minuten intensive individuelle Betreuung – weit mehr, als in einem Semester konventionell betreuter Übungen mit Gruppengrössen von 20 Studierenden zustande kommen kann. Konsequenterweise wird diese Form des formativen Assessments von den Studierenden sehr geschätzt und auch in den Evaluationskommentaren immer wieder erwähnt: Die Studierenden schätzen auch die regelmässige Verteilung der Belastung über das ganze Semester und die regelmässige Standortbestimmung in den Gesprächen.

Abb 3: Bewertungsübersicht in PELE Die Abbildung zeigt in der Dozierendensicht von PELE die Anteile der Bewertungen 2(grün), 1(blau) und 0(rot) von und für 4 Assistierende (Zeilen). Die Person in Zeile 2 vergibt tiefe Bewertungen an Studierende und erhält relativ schlechte Bewertungen von Studierenden, was ein Hinweis auf ein Problem sein könnte. Die Person in Zeile 1 hingegen erhält trotz häufiger schlechter Bewertungen für Studierende überdurchschnittlich hohe Bewertungen von Studierenden, was für gute Qualität der Coachings spricht. (Quelle: Fässler, pers. comm)

Abb 3: Bewertungsübersicht in PELE
Die Abbildung zeigt in der Dozierendensicht von PELE die Anteile der Bewertungen 2(grün), 1(blau) und 0(rot) von und für 4 Assistierende (Zeilen). Die Person in Zeile 2 vergibt tiefe Bewertungen an Studierende und erhält relativ schlechte Bewertungen von Studierenden, was ein Hinweis auf ein Problem sein könnte. Die Person in Zeile 1 hingegen erhält trotz häufiger schlechter Bewertungen für Studierende überdurchschnittlich hohe Bewertungen von Studierenden, was für gute Qualität der Coachings spricht. (Quelle: Fässler, pers. comm)

Noch eindrucksvoller ist allerdings eine andere Zahl: Die Assistierenden absolvieren innerhalb eines Semesters gut 100 individuelle Coaching Gespräche von 15 Minuten Dauer und werden dadurch innert kürzester Zeit zu Experten in dieser Form von Kommunikation: Sie können sich immer besser in die Studierenden hinein versetzen und bringen diese mit gezielten Fragen dazu, möglichst selbständig ihre Projekte kritisch zu hinterfragen, unklare Punkte zu thematisieren und ihre eigene Arbeit selbstbewusst zu präsentieren. Kommentar einer Assisitierenden: “Ich habe gelernt ein Gespräch zu führen und Tipps zu geben, die helfen können etwas zu lösen, ohne gleich die Lösung zu verraten.” Die Assistierenden finden, dass Unterricht mit PELE mehr Feedback erlaubt und auch effizienter ist als klassischer Übungsbetrieb, weil sie sich auf das Wesentliche konzentrieren können und wenig organisatorischen Aufwand betreiben müssen. Manche Assistierende vermissen aber die Konstanz einer über das Semester begleiteten Studierendengruppe.

Den Dozierenden ist es sehr wichtig, dass die Qualität der Feedbacks möglichst hoch ist. Da Fässler und Dahinden nach der einführenden Assistierenden-Schulung nur in beschränktem Mass den Gesprächen beiwohnen können, findet die Qualitätskontrolle auch über die Rückmeldungen der Studierenden statt. Durch die Aggregation der Daten von erteilten und erhaltenen Feedbacks fallen Assistierende mit konstant unterdurchschnittlichen Leistungen schon früh im Semester auf und können entsprechend unterstützt werden. (Abb 3).

Fazit: Trotz ihres “Alters” gehören die E.Tutorials mit PELE zu den innovativsten Lehrangeboten in der ETH Grundbildung:

  • Time-on-task für die Studierenden ist maximiert, sämtliche Kontakte mit Assistierenden sind individuell.
  • Das Coaching-Modell eignet sich für eine Reihe von Lehrveranstaltungen, in denen Studierende selbständig mehrere Kleinprojekte/umfangreichere Übungen bearbeiten und Feedback dazu erhalten. Der personelle Aufwand ist im Vergleich mit konventionellen Formen (mit korrigierte Übungen) geringer.
  • Das Online-Reservations- und Feedback-System von PELE ermöglicht eine schlanke, flexible und ortsunabhängige Organisation der Coaching-Gespräche. So kann mit einer grossen Anzahl von Assistierenden gearbeitet werden, während die Qualität der Coachings in Echtzeit verfügbar ist.
  • Die Kompetenzen, welche sich die Assistierenden auf diese Weise aneignen, sind für ihre weitere persönliche und berufliche Entwicklung ein eigentlicher Schatz, wie er wohl in keiner anderen Lehrveranstaltung an der ETH zu finden ist.

In der Unterrichtsevaluation vom HS15 lautete ein studentischer Kommentar: “Von dieser durchdachten und gut funktionierenden Lehrform sollte der Lehrspezialist des D-USYS hören.
Auf jeden Fall! Und nicht nur er, sondern die ganze ETH!!

Question banks, for students by students

Logo_Frédérickx-2Question Bank Project (innovedum)

A brief account

900 questions for 15 physiology topics, designed by students
4 quizzes per topic in moodle

Lernquizzes-Physiologie-3

Usage (Summer Exam 2013)

  • 150 students took quizzes
  • 5000 quizzes were solved (approx. 100’000 questions were answered)
  • ~33 quizzes solved per student

You can find more numbers and further info in the project report.

Result

No obvious correlation could be seen between grades and frequency. (No analysis had been done between grades and quiz performance.)

Students’ Feedback

  • Question bank had low relevance to exam questions
  • Quality of questions – the more the students used the pool, the better they rated the questions
  • Students would appreciate question banks for further topics/areas

Status Quo

Up to now, after the exam this year (Summer 2014), more than 9’000 quizzes have been solved.

 

Spin-off project

Exercise physiology question bank

  • 320 questions designed by students
  • All revised by Prof. Ch. Spengler (ETHZ)
  • 14 (resp. 28) quizzes
  • Only students that provided questions had access to the revised questions.

Result

Usage was similar to the Physiology question bank. Again we do not have a correlation between how often they used the quizzes and their grade but…

…how well they performed in the quizzes was a reliable indicator of how well they performed in the exam.

Formative assessments are therefore helpful for students as their learning progress is made apparent. (Here is the report.)

 

Produktorientierte Blended Learning Veranstaltung

Hintergrund: In einer Fachdidaktikveranstaltung mit 14 Studierenden sollen Themen des Physikunterrichtes unter Einbezug von Erkenntnissen der naturwissenschaftsdidaktischen Forschung für den Unterricht aufgearbeitet werden. Das zu erarbeitende Ergebnis (Produkt) ist eine Sammlung von thematisch vorgegebenen Lektionen für den Mittelschulunterricht. Jede dieser Einheiten soll unter zwei didaktisch verschiedenen Ansätzen erarbeitet werden.

Szenario:Die Veranstaltung ist in fest definierte Lern- und Arbeitsphasen unterteilt:

  1. Ein erster Präsenzblock macht alle Studierende mit den theoretischen Grundlagen vertraut. In diesem Block werden auch der Arbeitsauftrag, die Termine und die Ziele der Veranstaltung explizit vorgestellt.
  2. In der nächsten Phase (offline/online) müssen die Studierende individuell den Arbeitsauftrag erfüllen. Zwischenergebnisse werden via E-Mail vom Dozenten überprüft und kommentiert.
  3. Nach Fertigstellung des individuellen Auftrags erfolgt ein paarweiser Austausch der Ergebnisse (online). Hierbei soll nach dem Muster eines Referee-Prozesses (peer review) eine Begutachtung zur fremden Ausarbeitung erstellt werden. Um die fachliche Expertise zu gewährleisten, tauschen Studierende mit identischen Themen (aber mit unterschiedlichen didaktischen Ansätzen) ihre Ergebnisse aus. Zuvor jedoch erfolgt eine detaillierte Vorstellung des Begutachtungsprozesses in Form einer Präsenzsitzung.
  4. Im Abschluss an die Begutachtung überarbeiten die Studierende ihre Ausarbeitung aufgrund der Begutachtung (offline).
  5. In der nächsten Phase werden die ausgearbeiteten Ergebnisse im Plenum vorgestellt und diskutiert.
  6. Zum Schluss besteht noch die Möglichkeit, die eigene Arbeit zu überarbeiten. Abschliessend wird sie dann eingereicht.

Lerntechnologie: In diesem Szenario wird Moodle hauptsächlich als Dokumentenablage für die Arbeitsergebnisse verwendet (Datenbank-Modul). Die Kommunikation zwischen Studierenden und zwischen Studierenden und Dozent erfolgte via E-Mail.

Fazit: Das Szenario wurde vom Dozenten als auch von den Teilnehmern als äusserst erfolgreich eingestuft. Der Verzicht auf Kontaktstunden erfordert jedoch vom Dozenten eine detaillierte Vorplanung und einen Betreuungsmehraufwand während der Computer-Arbeitsphasen. Von den Studierenden wird eine erhöhte Bereitschaft zum Selbststudium und zum kooperativen Lernen verlangt.

Tipps: Mit der Attraktivität des zu erstellenden Produktes erhöht sich auch die Motivation der Studierenden.

Das Ergebnis des Begutachtungsprozesses muss Teil der Leistungskontrolle sein. Hier war die Begutachtung explizit in die abschliessende mündliche Prüfung integriert.

Der komplexe Aufbau des Szenarios muss zu Beginn detailliert vermittelt und begründet werden.

Das Szenario ist nur für Veranstaltungen mit weniger als 20 Studierenden geeignet. Bei höheren Teilnehmerzahlen müssen Arbeitsgruppen gebildet werden.

Referenz: https://moodle-app1.net.ethz.ch/lms/course/view.php?id=255

Kontakt: Guillaume Schiltz

Übungsaufgaben mit Moodle selbst korrigieren!

Hintergrund: Im ersten Semester erhalten die ca. 120 Studierenden der Umweltnaturwissenschaften eine Einführung in die Umwelt-Systemanalyse durch Barbara Schmied und Peter Frischknecht. Das Gelernte wird laufend in praktischen Übungsbeispielen angewendet. Assistierende aus höheren Semestern korrigieren diese Gruppenübungen, geben detailliertes Feedback und stellen einen Lösungsvorschlag bereit. Danach besteht die Möglichkeit, in einer Besprechungsstunde unklare Punkte noch zu vertiefen.

Da die Übungen nicht obligatorisch sind, kamen viele Studierende in die Besprechungsstunden, ohne sich mit den Aufgaben eingehender befasst zu haben. Es wurden so auch Fragen diskutiert, die durch Selbststudium beantwortbar waren. Daraus entstand die Idee, die Besprechungsstunden gezielter nur auf die problematischen Punkte in den gelösten Übungen auszurichten und dafür auf die Korrektur zu verzichten. Die Information über die Lösungsansätze der Studierenden sollte vorgängig aus einem Online-Werkzeug ersichtlich sein.

Numerischer Lückentext mit Feedback beim Überfahren der Antwort

Numerischer Lückentext mit Feedback beim Überfahren der Antwort

Lernszenario: Den Studierenden steht die Übung zu einem bestimmten Kapitel elektronisch auf der Vorlesungs-Website zur Verfügung. Sie lösen die Aufgaben auf Papier und korrigieren sie anschliessend mit einem Test im zugehörigen Moodle-Kurs. Zu jeder Übungsaufgabe enthält der Test eine oder mehrere Fragen (MC, Auswahl, Selbstbeurteilung) und gibt dazu auch Feedback. So beschäftigen sich die Studierenden ein zweites Mal mit dem Stoff. Sie können bei jeder Aufgabe Kommentare hinterlassen. Die Assistierenden ersehen aus dem Log von Moodle, welche Aufgaben zu vielen inkorrekten Lösungen geführt haben. In der Übungsbesprechung gehen sie dann auf diese Punkte und die Kommentare ein.

Praxis: 15 Gruppen mit je 3-4 Mitgliedern korrigierten ihre Aufgaben innerhalb von zwei Wochen nach Auftragsererteilung mit dem Tool. Die Korrekturhilfen auf MC-Basis mit detailliertem Feedback wurden mehr genutzt als diejenigen, bei denen die eigenen Lösungen mit einem Kriterienkatalog verglichen und selbst bewertet werden sollte. Wenige Studierende gaben Kommentare ab. In der Besprechungsstunde erschienen nur 2 Personen. Den Studierenden stehen der Selbstkorrektur-Test bei der Prüfungsvorbereitung zur Verfügung – die Nutzung wird dann sicher nochmals steigen.

Kommentare der Studierenden zu einzelnen Aufgaben

Kommentare der Studierenden zu einzelnen Aufgaben

Fazit: Bei der Erstellung der Lösungsvarianten haben die Assistierenden mit den Dozierenden die bisherigen Bewertungskriterien präzisiert. Die meisten Teilaufgaben konnten so durch das automatische Feedback abschliessend erklärt werden und führten zu keinen weiteren Anfragen. Gleichzeitig ist für die Aufgabenstellenden klar ersichtlich geworden, wo beim Lösen Schwierigkeiten aufgetreten sind.
Der Zeitaufwand für die Erstellung der Selbsttests entsprach in etwa demjenigen für die Korrektur der Aufgaben durch die Assistierenden. Es ist vorgesehen, weitere geeignete Übungen für die Selbstkorrektur aufzubereiten.

Kontakt: Urs Brändle, DELIS agrarerdumwelt

LEMUREN-CAT: Mathematische Online-MC-Tests

In einer Folge von Beiträgen beschreiben wir den Einsatz von Online-Multiple-Choice-Fragen und -Tests in mathematischen Vorlesungen an der ETHZ.

Mehrwert von Multiple-Choice-Fragen

MC-Fragen ermöglichen Dozierenden, den Studierenden eine unmittelbare eindeutige Rückmeldung auf ihre Lernleistungen zu geben. Studierende können damit ihren Leistungsstand selbst einschätzen und ihr weiteres Lernen planen. Die Fragen und Antworten sind dabei so konzipiert, dass sie ein kontinuierliches Repetieren und Überprüfen des Verständnisses des Lerninhalts ermöglichen; dies ist in der Mathematik substanziell, da Sachverhalte, Themen und Methoden aufeinander aufbauen. Die Erläuterungen unterstützen den Lernprozess und sind so differenziert, dass die Studierenden erkennen, wo Entwicklungsbedarf besteht: Sie können gezielt Unterstützung bei Mitstudierenden oder Lehrenden einholen. Die Studierenden erhalten überdies einen Eindruck davon, wie ihre Leistungen im Vergleich zu den Mitstudierenden stehen; dies ist mit Blick auf die summativen Prüfungen bedeutsam.

Die Dozierenden verfügen über detaillierte statistische Informationen zu dem Antwortverhalten. Sie erkennen allfällige Probleme und Missverständnisse der Studierenden und können die Lehrveranstaltung entsprechend planen, anpassen und allenfalls verbessern.

Exkurs TeX-Weblikationen

Das Standardwerkzeug für das Schreiben naturwissenschaftlich-mathematischer Texte ist das Satzsystem LaTeX.

Interaktive Webseiten lassen sich mit LaTeX bisher nur eingeschränkt erstellen, oft mit unbefriedigenden Resultaten. Die im Projekt LEMUREN entwickelten Verfahren und Abläufe (TeX-Weblikationen) passen sich dem Arbeiten der Dozierenden und Studierenden an und unterstützen dieses:

  • Dozierende konzentrieren sich auf ihre didaktischen Konzepte, auf den mathematischen Inhalt und das aufgabentypische Design, zum Beispiel auf geeignete Distraktoren.
  • LaTeX-Quellen werden dann auf interaktiven Webseiten in unterschiedlichen Systemen veröffentlicht, mit einer Darstellung der mathematischen Symbole in der von LaTeX gewohnten Qualität.
  • LaTeX bietet den Vorteil, dass ohne Mehraufwand eine Druckversion des Lehrmaterials in unterschiedlichen Versionen gewonnen werden kann, zum Beispiel im pdf-Format für das Redigieren oder das Offline-Arbeiten.

tex_web_pic.png

Drei Einsatzszenarien und deren Umsetzung

Meilensteine bei der Umsetzung mit der LEMUREN-Entwicklung LEMUREN-CAT sind:

  1. Im mathematischen Übungsbetrieb der ETHZ wurden Online-MC-Tests in 40 Lehrveranstaltungen für 12 Departemente integriert und teilweise etabliert: als unterstützendes Zusatzangebot oder obligatorisches Element des Übungsbetriebs. Bei den Testatbedingungen ersetzten Online-Tests im Laufe des Semesters entweder zwei, drei Übungsserien oder pro Serie jeweils eine von vier Aufgaben.
  2. Zu Beginn des HS 2009 wurden mehr als 2200 (ca. 90% der) ETHZ-Anfänger/innen zu einem freiwilligen Selbsteinschätzungstest über mathematisches Schulwissen eingeladen, von denen rund 1200 (53%) teilgenommen hatten. Eine Neuauflage erfolgt in diesem Herbst.
  3. Ein Katalog mit mehr als 700 LaTeX-Quellen für Fragen mit ausführlichen Erläuterungen und Rückmeldungen aus unterschiedlichen mathematischen Gebieten steht zur Verfügung.

Drei Formen der Veröffentlichung und des Bearbeitungsmodus erlauben die unterschiedlichen Übungsvarianten umzusetzen:

  • Quiz
  • Testat
  • Einschätzung.

Diese diskutieren wir in folgenden Beiträgen.