On 18th August 2015, an exam at the computer contained a short video sequence in one of its questions: it showed 30 seconds of a patient with disability walking back and forth. The question to the video was an open text question. This was a non-event. Everything worked smoothly!
It may just be possible!
Last Friday (22 May 2015), thanks to lecturer and study coordinator Dr. Roland Müller, first year D-HEST students could take part in a mock exam as a preparation for the real exam in August. This exam has been done at the computer for several years now. Long ago, when we planned this, people would warn us that the WLAN may crash and that (many) other problems would occur. This did not scare us! 🙂
Key numbers:
We also instructed everybody to switch every other device they had brought along onto airplane mode or to switch them off. At the beginning, I helped three students to get onto a wireless network, and one student had real problems with his laptop. Stephan Walder from ID NET oversaw the traffic and found out a few irregularities. For example, one access point took over half of the clients, and the other three access points shared the rest. The mock exam went on smoothly and students worked in absolute silence. It was a wonderful experience.
Doing exams with portable devices may further:
It is not planned to go into BYOD for real exams but the use of tablets or portable computers for ‘exams at the computer’ may well be in the near future at ETH Zurich.
Hintergrund: Im Rahmen der Critical Thinking Initiative der ETH Zürich haben Dozierende des Department Physik (D-PHYS) und des Departement Geistes- Sozial- und Staatswissenschaften (D-GESS) im FS2015 eine gemeinsame Lehrveranstaltung entwickelt.
Flankierend zur parallel angebotenen Physik-Einführungsvorlesung werden die dort behandelten physikalischen Themen nun im historischen und philosophisch-systematischen Hintergrund eingebettet und kritisch reflektiert. Fragen nach der Relevanz physikalischer Modelle, nach dem Erklärungspotential von Metaphern, nach dem Stellenwert physikalischer Theorien usw. werden hier anhand von Originaltexten erarbeitet und gemeinsam diskutiert.
Mit dieser Veranstaltung sollen die Studierenden befähigt werden, unterschiedliche Ansätze und Problemstellungen aus der Physik kritisch zu bewerten und dies auch souverän kommunizieren zu können. Reflexion und Kommunikation sind also die beiden Hauptpfeiler dieser neuen Veranstaltung. Entsprechend wird auch ein umfassendes Aktivitätsspektrum eingesetzt, um diese Fähigkeiten einzuüben.
Aufbau: Während des Semesters finden 7 Veranstaltungen statt, die jeweils im Team-Teaching von drei Dozenten (1 D-PHYS, 2 D-GESS) geleitet werden. Jede dreistündige Veranstaltung besteht aus einem Input (45 Minuten), einer Debatte der 3 Dozenten (25 Minuten) und einer Plenumsdiskussion (25 Minuten).
Debatte (3 Dozenten vertreten 3 konträre Standpunkte)
Anschliessend wird die Diskussion in Kleingruppen (mit jeweils einem Assistenten) in separaten Räumen weitergeführt (45 Minuten). Im Vorfeld sind die Studierenden aufgefordert, die einführenden Originaltexte während zwei Wochen in einem Diskussionsforum (in Moodle) aufzuarbeiten.
Die Veranstaltung ist mit 3 ECTS ausgewiesen, wobei die aktive Teilnahme in den Diskussionsforen eine Voraussetzung zum Leistungsnachweis darstellt.
Diskussionsgruppe (unter Leitung eines Assistenten)
Ca. 70 Studierende (mehrheitlich im 2. Studiensemester) sind in der Veranstaltung eingeschrieben und besuchen diese auch regelmässig. Davon beteiligen sich nahezu 60 Studierende in den Diskussionsforen.
Erfahrungen:
Fazit: Das Format der Veranstaltung bietet Abwechslung und die Vielfalt der Diskussionskanäle (Forum, Plenumsdiskussion, Kleingruppen) erlaubt es allen Studierenden, sich aktiv einzubringen. Wie im nachfolgenden Kommentar von einem Studierenden beschrieben, werden dabei die Ziele der Critical Thinking Initiative sehr schön umgesetzt:
„Es ist spannend zu sehen, wie verschiedene Menschen verschiedene Ansprüche an die Physik stellen. Man lernt sich dadurch selbst besser kennen.“
Question Bank Project (innovedum)A brief account
You can find more numbers and further info in the project report.
No obvious correlation could be seen between grades and frequency. (No analysis had been done between grades and quiz performance.)
Up to now, after the exam this year (Summer 2014), more than 9’000 quizzes have been solved.
Usage was similar to the Physiology question bank. Again we do not have a correlation between how often they used the quizzes and their grade but…
…how well they performed in the quizzes was a reliable indicator of how well they performed in the exam.
Formative assessments are therefore helpful for students as their learning progress is made apparent. (Here is the report.)
Ein Riesenerfolg?!
Heute zwischen 12:00 und 15:00 konnten die Studierenden des D-HEST (Studiengang HST) ihre Prüfungseinsicht der Prüfung “Einführung Gesundheitswissenschaften und Technologie I & II” von zuhause aus erledigen! Von irgendeinem Computer oder Smartphone/Tablet aus konnten sie in die moodle Lernplattform einloggen und ihre Prüfungsresultate (inklusive Bewertungen, Musterlösungen und Korrekturkommentare) einsehen. Aus 173 Studierenden, die die Prüfung am 23. August 2013 absolviert haben, nahmen über 100 die Gelegenheit zur Prüfungseinsicht online wahr.
Die Anfragen der Studierenden kamen per Email und wurden zeitnah vom Dozenten (Herr Dr. Roland Müller) beantwortet. Die Vorbereitungsarbeiten (Zugriffsbeschränkungen, Berichtsanzeige, etc.) konnten von der Lehrspezialistin in ein paar Minuten erledigt werden.
Meist ist eine Prüfungseinsicht mit viel Aufwand für Dozierende, Studierende und Sekretariate verbunden. Wir konnten den Aufwand auf ein absolutes Minimum reduzieren und sind gespannt auf die Rückmeldungen.
(9. Oktober 2013)
Die Resultate sind gut! Wir müssen einzig die Studierenden über den Ablauf besser informieren und spezifisch darauf hinweisen, dass sie ihre Fragen per Email schicken können und diese (sofort) beantwortet werden.
Hier eine Auswahl der Rückmeldungen:
Hintergrund: In einer Fachdidaktikveranstaltung mit 14 Studierenden sollen Themen des Physikunterrichtes unter Einbezug von Erkenntnissen der naturwissenschaftsdidaktischen Forschung für den Unterricht aufgearbeitet werden. Das zu erarbeitende Ergebnis (Produkt) ist eine Sammlung von thematisch vorgegebenen Lektionen für den Mittelschulunterricht. Jede dieser Einheiten soll unter zwei didaktisch verschiedenen Ansätzen erarbeitet werden.
Szenario:Die Veranstaltung ist in fest definierte Lern- und Arbeitsphasen unterteilt:
Lerntechnologie: In diesem Szenario wird Moodle hauptsächlich als Dokumentenablage für die Arbeitsergebnisse verwendet (Datenbank-Modul). Die Kommunikation zwischen Studierenden und zwischen Studierenden und Dozent erfolgte via E-Mail.
Fazit: Das Szenario wurde vom Dozenten als auch von den Teilnehmern als äusserst erfolgreich eingestuft. Der Verzicht auf Kontaktstunden erfordert jedoch vom Dozenten eine detaillierte Vorplanung und einen Betreuungsmehraufwand während der Computer-Arbeitsphasen. Von den Studierenden wird eine erhöhte Bereitschaft zum Selbststudium und zum kooperativen Lernen verlangt.
Tipps: Mit der Attraktivität des zu erstellenden Produktes erhöht sich auch die Motivation der Studierenden.
Das Ergebnis des Begutachtungsprozesses muss Teil der Leistungskontrolle sein. Hier war die Begutachtung explizit in die abschliessende mündliche Prüfung integriert.
Der komplexe Aufbau des Szenarios muss zu Beginn detailliert vermittelt und begründet werden.
Das Szenario ist nur für Veranstaltungen mit weniger als 20 Studierenden geeignet. Bei höheren Teilnehmerzahlen müssen Arbeitsgruppen gebildet werden.
Referenz: https://moodle-app1.net.ethz.ch/lms/course/view.php?id=255
Kontakt: Guillaume Schiltz
Hintergrund: Im ersten Semester erhalten die ca. 120 Studierenden der Umweltnaturwissenschaften eine Einführung in die Umwelt-Systemanalyse durch Barbara Schmied und Peter Frischknecht. Das Gelernte wird laufend in praktischen Übungsbeispielen angewendet. Assistierende aus höheren Semestern korrigieren diese Gruppenübungen, geben detailliertes Feedback und stellen einen Lösungsvorschlag bereit. Danach besteht die Möglichkeit, in einer Besprechungsstunde unklare Punkte noch zu vertiefen.
Da die Übungen nicht obligatorisch sind, kamen viele Studierende in die Besprechungsstunden, ohne sich mit den Aufgaben eingehender befasst zu haben. Es wurden so auch Fragen diskutiert, die durch Selbststudium beantwortbar waren. Daraus entstand die Idee, die Besprechungsstunden gezielter nur auf die problematischen Punkte in den gelösten Übungen auszurichten und dafür auf die Korrektur zu verzichten. Die Information über die Lösungsansätze der Studierenden sollte vorgängig aus einem Online-Werkzeug ersichtlich sein.
Numerischer Lückentext mit Feedback beim Überfahren der Antwort
Lernszenario: Den Studierenden steht die Übung zu einem bestimmten Kapitel elektronisch auf der Vorlesungs-Website zur Verfügung. Sie lösen die Aufgaben auf Papier und korrigieren sie anschliessend mit einem Test im zugehörigen Moodle-Kurs. Zu jeder Übungsaufgabe enthält der Test eine oder mehrere Fragen (MC, Auswahl, Selbstbeurteilung) und gibt dazu auch Feedback. So beschäftigen sich die Studierenden ein zweites Mal mit dem Stoff. Sie können bei jeder Aufgabe Kommentare hinterlassen. Die Assistierenden ersehen aus dem Log von Moodle, welche Aufgaben zu vielen inkorrekten Lösungen geführt haben. In der Übungsbesprechung gehen sie dann auf diese Punkte und die Kommentare ein.
Praxis: 15 Gruppen mit je 3-4 Mitgliedern korrigierten ihre Aufgaben innerhalb von zwei Wochen nach Auftragsererteilung mit dem Tool. Die Korrekturhilfen auf MC-Basis mit detailliertem Feedback wurden mehr genutzt als diejenigen, bei denen die eigenen Lösungen mit einem Kriterienkatalog verglichen und selbst bewertet werden sollte. Wenige Studierende gaben Kommentare ab. In der Besprechungsstunde erschienen nur 2 Personen. Den Studierenden stehen der Selbstkorrektur-Test bei der Prüfungsvorbereitung zur Verfügung – die Nutzung wird dann sicher nochmals steigen.
Kommentare der Studierenden zu einzelnen Aufgaben
Fazit: Bei der Erstellung der Lösungsvarianten haben die Assistierenden mit den Dozierenden die bisherigen Bewertungskriterien präzisiert. Die meisten Teilaufgaben konnten so durch das automatische Feedback abschliessend erklärt werden und führten zu keinen weiteren Anfragen. Gleichzeitig ist für die Aufgabenstellenden klar ersichtlich geworden, wo beim Lösen Schwierigkeiten aufgetreten sind.
Der Zeitaufwand für die Erstellung der Selbsttests entsprach in etwa demjenigen für die Korrektur der Aufgaben durch die Assistierenden. Es ist vorgesehen, weitere geeignete Übungen für die Selbstkorrektur aufzubereiten.
Kontakt: Urs Brändle, DELIS agrarerdumwelt
Hinter
grund: Die grossen Physikvorlesungen (ca. 400 Studierende) werden von Übungen begleitet. Zu den Übungen gibt es wöchentliche Aufgabenblätter. In jeder Übungsstunde (mit jeweils ca. 25 Teilnehmer) müssen Lösungen von den Studierenden an der Tafel vorgerechnet werden. Als Testatbedingung muss jeder Studierende eine gewisse Anzahl von Lösungen vorbereiten, auch wenn diese dann nicht von ihm/ihr vorgerechnet werden können.
Um die Testatbedingungen zu überprüfen müssen die Übungsassistierende daher genau Buchhaltung darüber führen, wer was zu jeder Übungsstunde vorbereitet hat. Um diesen administrativen Aufwand zu reduzieren und den Studierenden genügend Freiraum bei der Auswahl ihrer vorbereiteten Lösungen zu geben
, wurde eine Online-Bereitschaftserklärung eingeführt.
Lernszenario: Jede Woche wird in Moodle ein Test aufgeschaltet, welcher für jede aufgegebe Übungsaufgabe eine Ja-Nein-Frage enthält. Mit Auswahl von „Ja“ erklärt sich der/die Studierende bereit, die entsprechende Lösung an der Tafel vorzurechnen. Bei „Nein“ hat er/sie sich nicht mit der Aufgabe beschäftigt.
Praxis: Der Moodle-Test ist als „getrennte Gruppen“ angelegt, wobei jeder Assistierende vor Beginn der Übung einen Überblick über die behandelten Aufgaben erhält und auch sieht, welche Studierende zur Lösung an der Tafel aufgerufen werden können.
Am Ende des Semesters ermöglicht die Darstellung der Gesamtbewertung in Moodle eine schnelle Überprüfung der Testatbedingungen. 
Fazit: Die Studierende haben diese Online-Bereitschaftserklärung gut aufgenommen. Sie sind damit zu einem regelmässigen Besuch auf der Lernplattform gezwungen und können auch andere dort bereitgestellten Lernhilfen nutzen. Für die Assistierende bringen die Online-Bereitschaftserklärungen eine grosse Vereinfachung des administrativen Aufwandes.
Tipps: Zu Beginn des Semesters den Abgabetermin möglichst früh ansetzen, damit er bei Anfragen der Studierende problemlos verschoben werden kann.
Zusätzlich zur Bereitschaftserklärung kann eine Offline-Aufgabe in Moodle angefügt werden. Hier können Übungsassistierende zur eigenen Buchhaltung für jede/n Studierenden persönliche Kommentare anlegen.
Kontakt: Guillaume Schiltz
Concept Map
Hintergrund: Studierende der Agrarwissenschaften belegen im 3.Semester den Kurs Pflanzenernährung I. Die Semesterleistung setzt sich aus 4 benoteten Einzelprüfungen (Multiple Choice) zusammen. Im Kapitel über Auswirkungen der Pflanzenernährung auf die Produktqualität spielen komplexe Mechanismen. Zur Aneignung und Vertiefung solcher Inhalte eignen sich Concept-Maps (Begriffskarten) sehr gut. Daraus entstand die Idee, eine Lernzielkontrolle durch das Erstellen und Beurteilen von Concept Maps zum Thema zu ersetzen.
Lernszenario: Die Studierenden erhielten zum Beginn des Themas eine kurze mündliche (15′) Einführung zum Hintergrund und zum Erstellen von Concept-Maps. Über die Einschreibefunktion von Moodle stellten sie 3er und 4er Gruppen zusammen und verteilten die Aufgaben für die Gruppenphase: 1) Erstellen einer Concept-Map zum Thema Pflanzenernährung und Qualität 2) Einbetten der Kernaussagen eines Papers (aus 3) in der eigenen Concept-Map. Über die Site von “Webspiration” konnten die Maps direkt im Browser erstellt werden. Dafür standen zwei Wochen zur Verfügung, die Resultate wurden im Diskussionsforum des Kurses verlinkt. Anschliessend beurteilten die Studierenden einzeln die Arbeit einer weiteren Gruppe nach einem vorgegebenen Kriterienraster via Forum. Der Dozierende bewertete abschliessend die Gruppenarbeit nach demselben Raster (60%) und das Peer-Feedback (Belege, Vollständigkeit, Nachvollziehbarkeit). 20 Studierende beteiligten sich an einer anonymen Schlussumfrage.
Praxis: Insgesamt 33 Studierende organisierten sich in 9 Gruppen und lieferten die Arbeiten termingerecht ab. Die abschliessende Umfrage ergab, dass sich die Gruppen in der Vorlesung organisierten und die weitere Abwicklung via Web ablief. Fast alle Gruppen gaben an, dass sie die beiden Gruppenaufträge (Erstellen, Einfügen der Paper-Kernaussagen) nicht gemeinsam ausführten sondern sich die Arbeiten aufteilten. Obwohl alle die Arbeiten der anderen Gruppen einsehen konnten (gemeinsamer Web-Account) ergaben sich 9 sehr unterschiedliche Produkte.
Verbindugnen
Die Concept-Maps zeigten, dass grundlegende Konzepte überall verstanden wurden, die Studierenden bei den Details aber wenig differenziert in der Wahl der Verbindungsworte waren (s.Beispiel).
Eine Mehrheit der Studierenden gab an, die Regeln für konstruktives Feedback nicht zu kennen. Für die Peer-Bewertung war es unumgänglich, den Stoff voher bereits in einer Map erfasst zu haben. In den einzelnen Feedbacks zeigten sich deshalb Qualitätsunterschiede. Laut Umfrageresultaten liessen sich die Studierenden hier von schon erstellten Bewertungen inspirieren – was im Übrigen auch für die Bewertenden galt.
Feedback
Der Zeitaufwand für die Studierenden lag bei 2-4 Stunden, was in etwa der Vorbereitungszeit auf die Lernzielkontrollen entsprach. Eine Mehrheit hielt ihren eigenen Anteil an der Gruppenarbeit für ausgewogen und war mit der erzielten Noten- und Lernleistung zufrieden.
Der Korrekturaufwand für die Lehrenden lag bei ca. 20 Minuten pro Concept Map und bei ca. 5 Minuten/ Stud. für die individuellen Rückmeldungen zum Peer-Feedback.Die Einführung der Concept-Maps sollte nicht zu kurz gehalten werden, falls die Studierenden die Technik nicht kennen. Mind-Mapping (ausgehend von einem zentralen Begriff) ist eher bekannt und führt zu Unsicherheiten. Die Erstellung der Maps mit einem Online-Tool erleichtert sowohl die Zusammenarbeit (erstellen von zuhause aus) als auch die Korrektur.
Links:
Webspiration Web-Tool zum Erstellen von ConceptMaps
C-Maps bei WiSch
Feedback Regeln bei Stangl-Taller