On 18th August 2015, an exam at the computer contained a short video sequence in one of its questions: it showed 30 seconds of a patient with disability walking back and forth. The question to the video was an open text question. This was a non-event. Everything worked smoothly!
It may just be possible!
Last Friday (22 May 2015), thanks to lecturer and study coordinator Dr. Roland Müller, first year D-HEST students could take part in a mock exam as a preparation for the real exam in August. This exam has been done at the computer for several years now. Long ago, when we planned this, people would warn us that the WLAN may crash and that (many) other problems would occur. This did not scare us! 🙂
Key numbers:
We also instructed everybody to switch every other device they had brought along onto airplane mode or to switch them off. At the beginning, I helped three students to get onto a wireless network, and one student had real problems with his laptop. Stephan Walder from ID NET oversaw the traffic and found out a few irregularities. For example, one access point took over half of the clients, and the other three access points shared the rest. The mock exam went on smoothly and students worked in absolute silence. It was a wonderful experience.
Doing exams with portable devices may further:
It is not planned to go into BYOD for real exams but the use of tablets or portable computers for ‘exams at the computer’ may well be in the near future at ETH Zurich.
Häufig werden Prüfungen als traumatisches Erlebnis wahrgenommen. Umso seltsamer war das Erlebnis, das ich gestern miterleben durfte. Im Anschluss an die Prüfung erhielt der Dozent tobenden Beifall!
Zum Hintergrund: In diesem Semester haben wir in zwei Physikvorlesungen eine obligatorische Zwischenprüfung eingeführt (Notengewicht 20%). Beide Prüfungen bestehen aus einer Anzahl Multiple-Choice-Fragen (single choice), mit denen gezielt physikalische Konzepte und analytische Fähigkeiten überprüft werden. In der Prüfung gestern hatten die knapp 400 teilnehmenden Studierenden 16 solcher Fragen in 60 Minuten zu beantworten.
Die Organisation der Prüfung verlief problemlos und ohne grösseren Aufwand. Nach Familiennamen waren die Studierenden in zwei grosse Hörsäle aufgeteilt. Für die Fragebögen standen, über doppelte Permutation (Fragen und Antworten), genügend Versionen bereit, um ein ‘versehentliches’ Abschreiben der Antworten zu unterbinden.
Während die Prüfungszeit auf eine Stunde festgesetzt war, benötigten fast alle Studierenden gut 45 Minuten zur Bearbeitung der Fragen. Die verbleibende Zeit wurden zur nochmaligen Durchsicht vor der Abgabe aufgewendet. In knapp 90 Minuten waren anschliessend Korrektur und Erfassung der Punkte von den Assistierenden erledigt.
Die erzielten Resultate lassen den Schluss zu, dass mit der Prüfung die intendierten Lernziele valide und sogar spannend abgefragt wurden. Dies wurde offensichtlich auch von den Studierenden erkannt und mit Applaus gewürdigt. Dazu der Kommentar eines Studierenden:
Konzeptfragen machen sogar in der Klausur fast Spass und ich hoffe dass auch in den folgenden Klausuren auf diese Weise das physikalische Verständnis geprüft wird.
So gesehen, sind wir auf gutem Wege, unsere Prüfungen ein wenig vom üblichen Schrecken zu befreien, indem wir Prüfungsmodus, Prüfungsfragen und Lernziele sinnvoll aufeinander abstimmen.
Question Bank Project (innovedum)A brief account
You can find more numbers and further info in the project report.
No obvious correlation could be seen between grades and frequency. (No analysis had been done between grades and quiz performance.)
Up to now, after the exam this year (Summer 2014), more than 9’000 quizzes have been solved.
Usage was similar to the Physiology question bank. Again we do not have a correlation between how often they used the quizzes and their grade but…
…how well they performed in the quizzes was a reliable indicator of how well they performed in the exam.
Formative assessments are therefore helpful for students as their learning progress is made apparent. (Here is the report.)
Sporen eines Krankheitserregers im Prüfungs-Präparat
Hintergrund: Im Master-Kurs Plant Pathology Diagnostic lernen Studierende des D-AGRL die “Identifikation der wichtigsten Krankheiten und ihrer pilzlichen Erreger von ein- und mehrjährigen, landwirtschaftlich wichtigen Pflanzenarten, basierend auf der Symptomatologie sowie den Mikro-Strukturen“. In der abschliessenden Prüfung müssen ausgehend von Pflanzenmaterial drei Präparate erstellt und charakterisiert werden. Die Präparate werden während der Prüfung von den Experten hinsichtlich ihrer Qualtiät bewertet.
Dies ist ab einer gewissen Anzahl von Studierenden (>10) nicht mehr durchführbar. Statt auf die Bewertung der Präparate zu verzichten, wird die Dokumentation der Prüfungs-Präparate nun mittels Digitaler Mikroskop-Kameras durchgeführt.
Szenario: In den Mikroskopier-Übungen kommen e-Learning Einheiten zum Einsatz, welche im Rahmen des FILEP-Projektes DigiScope entwickelt wurden: Die Studierenden können die Diagnostikübungen im eigenen Tempo computerunterstützt durchführen, die Experten stehen für Fragen zur Verfügung. Im Rahmen dieser Übungen wird das Erstellen digitaler Präparat-Bilder mit Tubuskameras und Photoscope-Software trainiert.
Die Semesterprüfung 2009 (Dauer 120′) fand auf der ILIAS-Lernplattform statt, die Studierenden benutzten Laptops der ETH. 2010 haben die Studierenden erstmals eigene Laptops verwendet – der Kontrollaufwand war gross, da die Installationen trotz Testläufen bis zum Prüfungstag potentiellen Systemänderungen ausgesetzt sind.
Praxis: Die Studierenden fanden sich mit der technischen Ausrüstung (Tubuskameras und Bilderfassungs-Software) schnell zurecht. In der elektronischen Prüfung mit SEB-Browser können neben dem Browser bestimmte Programme (hier: Bildbearbeitungssoftware) auf dem Computer freigegeben werden. Die dazu nötigen Schritte wurden ebenfalls vorgängig geübt. Während der Prüfung traten keine Probleme auf.
Die beiden Dozierenenden schätzten es sehr, dass sie die Beurteilung der Präparate nach der eigentlichen Prüfung vornehmen konnten und nicht unter Zeitdruck standen. Im FS2010 trat dieser Aspekt bei doppelter Studierendenzahl noch särker in den Vordergrund.
Im FS2011 werden den Studierenden erstmals Netbooks für die elektronische Dokumentation der Mikroskopierarbeiten während des Semesters zur Verfügung stehen.
USB-Kamera für Mikroskope
Fazit: Die Umstellung auf elektronische Bilderfassung ermöglicht die Dokumentation der Prüfungsleistungen und lässt eine Bewertung der erstellten Präparate ohne Zeitdruck zu. Zusätzlich ergeben sich die gewohnten Vorteile elektronischer Prüfungen (z.B. Lesbarkeit der Antworten)
Der technische Aufwand ist im Vergleich zu Prüfungen in den Computerräumen höher, da im Moment keine mobilen Prüfungscomputer zur Verfügung stehen. Bei Verwendung von mobilen Klassenzimmern kann die Software zentral verteilt werden, sonst müssen Einzelinstallationen durchgeführt und überprüft werden. Da auch spezielle Hard-&Software (Kameras) verwendet wird, ist die Prüfung nicht unabhängig vom Betriebssystem – für MacOS gibt es im Moment keine Lösung.
Zukünftig sollen in den hochgeladenen Bildern auch Strukturen direkt markiert und benannt werden können. Dies bedingt allerdings die Entwicklung eines geeigneten Fragetyps im LMS.
Die Tubus-Kameras können übrigens auch verwendet werden, um von den Mikroskopen der Studierenden Präparat-Bilder zu übertragen. Die Kamera wird an ein Net-Book angeschlossen, das die Bilder an den Computer am Beamer überträgt (via Screen-Sharing mit der Team-Viewer Software)
Kontakt: Urs Brändle, DELIS agrarerdumwelt; Ueli Merz, Institut für Integrative Biologie
Hintergrund: Im ersten Semester erhalten die ca. 120 Studierenden der Umweltnaturwissenschaften eine Einführung in die Umwelt-Systemanalyse durch Barbara Schmied und Peter Frischknecht. Das Gelernte wird laufend in praktischen Übungsbeispielen angewendet. Assistierende aus höheren Semestern korrigieren diese Gruppenübungen, geben detailliertes Feedback und stellen einen Lösungsvorschlag bereit. Danach besteht die Möglichkeit, in einer Besprechungsstunde unklare Punkte noch zu vertiefen.
Da die Übungen nicht obligatorisch sind, kamen viele Studierende in die Besprechungsstunden, ohne sich mit den Aufgaben eingehender befasst zu haben. Es wurden so auch Fragen diskutiert, die durch Selbststudium beantwortbar waren. Daraus entstand die Idee, die Besprechungsstunden gezielter nur auf die problematischen Punkte in den gelösten Übungen auszurichten und dafür auf die Korrektur zu verzichten. Die Information über die Lösungsansätze der Studierenden sollte vorgängig aus einem Online-Werkzeug ersichtlich sein.
Numerischer Lückentext mit Feedback beim Überfahren der Antwort
Lernszenario: Den Studierenden steht die Übung zu einem bestimmten Kapitel elektronisch auf der Vorlesungs-Website zur Verfügung. Sie lösen die Aufgaben auf Papier und korrigieren sie anschliessend mit einem Test im zugehörigen Moodle-Kurs. Zu jeder Übungsaufgabe enthält der Test eine oder mehrere Fragen (MC, Auswahl, Selbstbeurteilung) und gibt dazu auch Feedback. So beschäftigen sich die Studierenden ein zweites Mal mit dem Stoff. Sie können bei jeder Aufgabe Kommentare hinterlassen. Die Assistierenden ersehen aus dem Log von Moodle, welche Aufgaben zu vielen inkorrekten Lösungen geführt haben. In der Übungsbesprechung gehen sie dann auf diese Punkte und die Kommentare ein.
Praxis: 15 Gruppen mit je 3-4 Mitgliedern korrigierten ihre Aufgaben innerhalb von zwei Wochen nach Auftragsererteilung mit dem Tool. Die Korrekturhilfen auf MC-Basis mit detailliertem Feedback wurden mehr genutzt als diejenigen, bei denen die eigenen Lösungen mit einem Kriterienkatalog verglichen und selbst bewertet werden sollte. Wenige Studierende gaben Kommentare ab. In der Besprechungsstunde erschienen nur 2 Personen. Den Studierenden stehen der Selbstkorrektur-Test bei der Prüfungsvorbereitung zur Verfügung – die Nutzung wird dann sicher nochmals steigen.
Kommentare der Studierenden zu einzelnen Aufgaben
Fazit: Bei der Erstellung der Lösungsvarianten haben die Assistierenden mit den Dozierenden die bisherigen Bewertungskriterien präzisiert. Die meisten Teilaufgaben konnten so durch das automatische Feedback abschliessend erklärt werden und führten zu keinen weiteren Anfragen. Gleichzeitig ist für die Aufgabenstellenden klar ersichtlich geworden, wo beim Lösen Schwierigkeiten aufgetreten sind.
Der Zeitaufwand für die Erstellung der Selbsttests entsprach in etwa demjenigen für die Korrektur der Aufgaben durch die Assistierenden. Es ist vorgesehen, weitere geeignete Übungen für die Selbstkorrektur aufzubereiten.
Kontakt: Urs Brändle, DELIS agrarerdumwelt
Hinter
grund: Die grossen Physikvorlesungen (ca. 400 Studierende) werden von Übungen begleitet. Zu den Übungen gibt es wöchentliche Aufgabenblätter. In jeder Übungsstunde (mit jeweils ca. 25 Teilnehmer) müssen Lösungen von den Studierenden an der Tafel vorgerechnet werden. Als Testatbedingung muss jeder Studierende eine gewisse Anzahl von Lösungen vorbereiten, auch wenn diese dann nicht von ihm/ihr vorgerechnet werden können.
Um die Testatbedingungen zu überprüfen müssen die Übungsassistierende daher genau Buchhaltung darüber führen, wer was zu jeder Übungsstunde vorbereitet hat. Um diesen administrativen Aufwand zu reduzieren und den Studierenden genügend Freiraum bei der Auswahl ihrer vorbereiteten Lösungen zu geben
, wurde eine Online-Bereitschaftserklärung eingeführt.
Lernszenario: Jede Woche wird in Moodle ein Test aufgeschaltet, welcher für jede aufgegebe Übungsaufgabe eine Ja-Nein-Frage enthält. Mit Auswahl von „Ja“ erklärt sich der/die Studierende bereit, die entsprechende Lösung an der Tafel vorzurechnen. Bei „Nein“ hat er/sie sich nicht mit der Aufgabe beschäftigt.
Praxis: Der Moodle-Test ist als „getrennte Gruppen“ angelegt, wobei jeder Assistierende vor Beginn der Übung einen Überblick über die behandelten Aufgaben erhält und auch sieht, welche Studierende zur Lösung an der Tafel aufgerufen werden können.
Am Ende des Semesters ermöglicht die Darstellung der Gesamtbewertung in Moodle eine schnelle Überprüfung der Testatbedingungen. 
Fazit: Die Studierende haben diese Online-Bereitschaftserklärung gut aufgenommen. Sie sind damit zu einem regelmässigen Besuch auf der Lernplattform gezwungen und können auch andere dort bereitgestellten Lernhilfen nutzen. Für die Assistierende bringen die Online-Bereitschaftserklärungen eine grosse Vereinfachung des administrativen Aufwandes.
Tipps: Zu Beginn des Semesters den Abgabetermin möglichst früh ansetzen, damit er bei Anfragen der Studierende problemlos verschoben werden kann.
Zusätzlich zur Bereitschaftserklärung kann eine Offline-Aufgabe in Moodle angefügt werden. Hier können Übungsassistierende zur eigenen Buchhaltung für jede/n Studierenden persönliche Kommentare anlegen.
Kontakt: Guillaume Schiltz
In einer Folge von Beiträgen beschreiben wir den Einsatz von Online-Multiple-Choice-Fragen und -Tests in mathematischen Vorlesungen an der ETHZ.
MC-Fragen ermöglichen Dozierenden, den Studierenden eine unmittelbare eindeutige Rückmeldung auf ihre Lernleistungen zu geben. Studierende können damit ihren Leistungsstand selbst einschätzen und ihr weiteres Lernen planen. Die Fragen und Antworten sind dabei so konzipiert, dass sie ein kontinuierliches Repetieren und Überprüfen des Verständnisses des Lerninhalts ermöglichen; dies ist in der Mathematik substanziell, da Sachverhalte, Themen und Methoden aufeinander aufbauen. Die Erläuterungen unterstützen den Lernprozess und sind so differenziert, dass die Studierenden erkennen, wo Entwicklungsbedarf besteht: Sie können gezielt Unterstützung bei Mitstudierenden oder Lehrenden einholen. Die Studierenden erhalten überdies einen Eindruck davon, wie ihre Leistungen im Vergleich zu den Mitstudierenden stehen; dies ist mit Blick auf die summativen Prüfungen bedeutsam.
Die Dozierenden verfügen über detaillierte statistische Informationen zu dem Antwortverhalten. Sie erkennen allfällige Probleme und Missverständnisse der Studierenden und können die Lehrveranstaltung entsprechend planen, anpassen und allenfalls verbessern.
Das Standardwerkzeug für das Schreiben naturwissenschaftlich-mathematischer Texte ist das Satzsystem LaTeX.
Interaktive Webseiten lassen sich mit LaTeX bisher nur eingeschränkt erstellen, oft mit unbefriedigenden Resultaten. Die im Projekt LEMUREN entwickelten Verfahren und Abläufe (TeX-Weblikationen) passen sich dem Arbeiten der Dozierenden und Studierenden an und unterstützen dieses:
Meilensteine bei der Umsetzung mit der LEMUREN-Entwicklung LEMUREN-CAT sind:
Drei Formen der Veröffentlichung und des Bearbeitungsmodus erlauben die unterschiedlichen Übungsvarianten umzusetzen:
Diese diskutieren wir in folgenden Beiträgen.