On 18th August 2015, an exam at the computer contained a short video sequence in one of its questions: it showed 30 seconds of a patient with disability walking back and forth. The question to the video was an open text question. This was a non-event. Everything worked smoothly!
At the ETH Zurich, the seats for exams at the computer are limited: during the semester, there are 118 available seats total (in four rooms); during the exam session, one big room with 160 seats gets added, amounting to a total of 278 seats for synchronous exams.
To double the capacity, we have used a ‘Schleusensystem’ (locking/sluice/gating; I do not know how native speakers would call this) for some time but I finally took some pictures to illustrate this post. So here it is!
The first ‘Schleuse’ that I was involved in was in June 2013. It was still during the semester (four rooms with a total of 118 seats) and there were 220 students. It went like this:
Some of the trouble we had, was, because there were four rooms, that students forgot which room they were assigned to. We had informed them in advance and we had the list with us, so this was not a real problem but you could feel that the stress level was quite high and rising. Another time, the restarts didn’t work the first time around. This led to an (additional) delay of 20 minutes.
This summer 2015, we decided to flip it for two exams during the exam session. The first group wrote the exam, the first group was accompanied to a locking room, and the students were only released when all students of the second group had entered the exam room (after we had tidied up and the restarts had been performed).
The way from the exam room to the ‘Schleusenraum’ is approximately 100 meters and we used barriers to close the exits (hallways, stairs, elevators).
There was neither tension nor stress!
The time in the locking room has always been between 25 to 45 minutes (depending on group size and technical problems with the restarts). But, this time, students were not nervous anymore, they had written the exam, they could talk about it. Some had taken playing cards with them and played together. (Smartphones or any other electronical devices were still not allowed, so that they could not text anybody from the second group.)
If you think about having two groups writing the same exam, lock up the first group and not the second! If you can, don’t do it at all.
It may just be possible!
Last Friday (22 May 2015), thanks to lecturer and study coordinator Dr. Roland Müller, first year D-HEST students could take part in a mock exam as a preparation for the real exam in August. This exam has been done at the computer for several years now. Long ago, when we planned this, people would warn us that the WLAN may crash and that (many) other problems would occur. This did not scare us! 🙂
Key numbers:
We also instructed everybody to switch every other device they had brought along onto airplane mode or to switch them off. At the beginning, I helped three students to get onto a wireless network, and one student had real problems with his laptop. Stephan Walder from ID NET oversaw the traffic and found out a few irregularities. For example, one access point took over half of the clients, and the other three access points shared the rest. The mock exam went on smoothly and students worked in absolute silence. It was a wonderful experience.
Doing exams with portable devices may further:
It is not planned to go into BYOD for real exams but the use of tablets or portable computers for ‘exams at the computer’ may well be in the near future at ETH Zurich.
Ein Riesenerfolg?!
Heute zwischen 12:00 und 15:00 konnten die Studierenden des D-HEST (Studiengang HST) ihre Prüfungseinsicht der Prüfung “Einführung Gesundheitswissenschaften und Technologie I & II” von zuhause aus erledigen! Von irgendeinem Computer oder Smartphone/Tablet aus konnten sie in die moodle Lernplattform einloggen und ihre Prüfungsresultate (inklusive Bewertungen, Musterlösungen und Korrekturkommentare) einsehen. Aus 173 Studierenden, die die Prüfung am 23. August 2013 absolviert haben, nahmen über 100 die Gelegenheit zur Prüfungseinsicht online wahr.
Die Anfragen der Studierenden kamen per Email und wurden zeitnah vom Dozenten (Herr Dr. Roland Müller) beantwortet. Die Vorbereitungsarbeiten (Zugriffsbeschränkungen, Berichtsanzeige, etc.) konnten von der Lehrspezialistin in ein paar Minuten erledigt werden.
Meist ist eine Prüfungseinsicht mit viel Aufwand für Dozierende, Studierende und Sekretariate verbunden. Wir konnten den Aufwand auf ein absolutes Minimum reduzieren und sind gespannt auf die Rückmeldungen.
(9. Oktober 2013)
Die Resultate sind gut! Wir müssen einzig die Studierenden über den Ablauf besser informieren und spezifisch darauf hinweisen, dass sie ihre Fragen per Email schicken können und diese (sofort) beantwortet werden.
Hier eine Auswahl der Rückmeldungen:
Seit Anfang Jahr (2013) steht ein weiterer E-Prüfungsraum an der ETH Zürich zur Verfügung. 166 Studierende können gleichzeitig und in sicherer Umgebung (SEB) Prüfungen am Computer schreiben.
Neben Automatisierungsmöglichkeiten (Korrekturen, Notenberechnungen) und Fairness sind leserliche Antworten und Unabhängigkeit von Zeit und Ort für die manuelle Korrektur der Dozierenden absolute Pluspunkte.
Mit den weiteren Prüfungsräumen der ETH können gleichzeitig 280 Studierende am Computer geprüft werden. Mit Schleusen könnten sogar 560 Studierende die gleiche Prüfung absolvieren!
Fotos HG G1:
All rooms and availability:
In einigen (mathematischen) Lehrveranstaltungen zählt das Bearbeiten und Lösen von Programmieraufgaben zu den wesentlichen Lernzielen, zum Beispiel
Bisher verlaufen Abgabe und Korrektur der wöchentlichen Programmieraufgaben für Studierende und Assistierende recht aufwändig.
In Zusammenarbeit mit dem Seminar für Statistik (SfS) und dem Seminar für Angewandte Mathematik (SAM) entwickelt das LEMUREN-Team am D-MATH eine Web-Umgebung, welche
Mit einer Online-Prüfung in diesem Sommer findet das Pilotprojekt für die Lehrveranstaltung Computational Statistics (mit knapp 90 Studierenden aus unterschiedlichen Bsc/MS-Studiengängen) einen ersten Abschluss.
Studierende bearbeiten die Aufgaben mit ihrem Lieblingseditor lokal auf ihrem Rechner, zum Beispiel unter Linux mit Kate:
Sodann können sie ihren Code mit Copy & Paste in die LEMUREN-Umgebung hochladen, wo er evaluiert und weiterverarbeitet wird:
Wieder erfolgt die Individualisierung und Organisation mittels SHA-Links.
Für weitere Informationen und Fragen: LEMUREN-Team
Sporen eines Krankheitserregers im Prüfungs-Präparat
Hintergrund: Im Master-Kurs Plant Pathology Diagnostic lernen Studierende des D-AGRL die “Identifikation der wichtigsten Krankheiten und ihrer pilzlichen Erreger von ein- und mehrjährigen, landwirtschaftlich wichtigen Pflanzenarten, basierend auf der Symptomatologie sowie den Mikro-Strukturen“. In der abschliessenden Prüfung müssen ausgehend von Pflanzenmaterial drei Präparate erstellt und charakterisiert werden. Die Präparate werden während der Prüfung von den Experten hinsichtlich ihrer Qualtiät bewertet.
Dies ist ab einer gewissen Anzahl von Studierenden (>10) nicht mehr durchführbar. Statt auf die Bewertung der Präparate zu verzichten, wird die Dokumentation der Prüfungs-Präparate nun mittels Digitaler Mikroskop-Kameras durchgeführt.
Szenario: In den Mikroskopier-Übungen kommen e-Learning Einheiten zum Einsatz, welche im Rahmen des FILEP-Projektes DigiScope entwickelt wurden: Die Studierenden können die Diagnostikübungen im eigenen Tempo computerunterstützt durchführen, die Experten stehen für Fragen zur Verfügung. Im Rahmen dieser Übungen wird das Erstellen digitaler Präparat-Bilder mit Tubuskameras und Photoscope-Software trainiert.
Die Semesterprüfung 2009 (Dauer 120′) fand auf der ILIAS-Lernplattform statt, die Studierenden benutzten Laptops der ETH. 2010 haben die Studierenden erstmals eigene Laptops verwendet – der Kontrollaufwand war gross, da die Installationen trotz Testläufen bis zum Prüfungstag potentiellen Systemänderungen ausgesetzt sind.
Praxis: Die Studierenden fanden sich mit der technischen Ausrüstung (Tubuskameras und Bilderfassungs-Software) schnell zurecht. In der elektronischen Prüfung mit SEB-Browser können neben dem Browser bestimmte Programme (hier: Bildbearbeitungssoftware) auf dem Computer freigegeben werden. Die dazu nötigen Schritte wurden ebenfalls vorgängig geübt. Während der Prüfung traten keine Probleme auf.
Die beiden Dozierenenden schätzten es sehr, dass sie die Beurteilung der Präparate nach der eigentlichen Prüfung vornehmen konnten und nicht unter Zeitdruck standen. Im FS2010 trat dieser Aspekt bei doppelter Studierendenzahl noch särker in den Vordergrund.
Im FS2011 werden den Studierenden erstmals Netbooks für die elektronische Dokumentation der Mikroskopierarbeiten während des Semesters zur Verfügung stehen.
USB-Kamera für Mikroskope
Fazit: Die Umstellung auf elektronische Bilderfassung ermöglicht die Dokumentation der Prüfungsleistungen und lässt eine Bewertung der erstellten Präparate ohne Zeitdruck zu. Zusätzlich ergeben sich die gewohnten Vorteile elektronischer Prüfungen (z.B. Lesbarkeit der Antworten)
Der technische Aufwand ist im Vergleich zu Prüfungen in den Computerräumen höher, da im Moment keine mobilen Prüfungscomputer zur Verfügung stehen. Bei Verwendung von mobilen Klassenzimmern kann die Software zentral verteilt werden, sonst müssen Einzelinstallationen durchgeführt und überprüft werden. Da auch spezielle Hard-&Software (Kameras) verwendet wird, ist die Prüfung nicht unabhängig vom Betriebssystem – für MacOS gibt es im Moment keine Lösung.
Zukünftig sollen in den hochgeladenen Bildern auch Strukturen direkt markiert und benannt werden können. Dies bedingt allerdings die Entwicklung eines geeigneten Fragetyps im LMS.
Die Tubus-Kameras können übrigens auch verwendet werden, um von den Mikroskopen der Studierenden Präparat-Bilder zu übertragen. Die Kamera wird an ein Net-Book angeschlossen, das die Bilder an den Computer am Beamer überträgt (via Screen-Sharing mit der Team-Viewer Software)
Kontakt: Urs Brändle, DELIS agrarerdumwelt; Ueli Merz, Institut für Integrative Biologie
In einer Folge von Beiträgen beschreiben wir den Einsatz von Online-Multiple-Choice-Fragen und -Tests in mathematischen Vorlesungen an der ETHZ.
MC-Fragen ermöglichen Dozierenden, den Studierenden eine unmittelbare eindeutige Rückmeldung auf ihre Lernleistungen zu geben. Studierende können damit ihren Leistungsstand selbst einschätzen und ihr weiteres Lernen planen. Die Fragen und Antworten sind dabei so konzipiert, dass sie ein kontinuierliches Repetieren und Überprüfen des Verständnisses des Lerninhalts ermöglichen; dies ist in der Mathematik substanziell, da Sachverhalte, Themen und Methoden aufeinander aufbauen. Die Erläuterungen unterstützen den Lernprozess und sind so differenziert, dass die Studierenden erkennen, wo Entwicklungsbedarf besteht: Sie können gezielt Unterstützung bei Mitstudierenden oder Lehrenden einholen. Die Studierenden erhalten überdies einen Eindruck davon, wie ihre Leistungen im Vergleich zu den Mitstudierenden stehen; dies ist mit Blick auf die summativen Prüfungen bedeutsam.
Die Dozierenden verfügen über detaillierte statistische Informationen zu dem Antwortverhalten. Sie erkennen allfällige Probleme und Missverständnisse der Studierenden und können die Lehrveranstaltung entsprechend planen, anpassen und allenfalls verbessern.
Das Standardwerkzeug für das Schreiben naturwissenschaftlich-mathematischer Texte ist das Satzsystem LaTeX.
Interaktive Webseiten lassen sich mit LaTeX bisher nur eingeschränkt erstellen, oft mit unbefriedigenden Resultaten. Die im Projekt LEMUREN entwickelten Verfahren und Abläufe (TeX-Weblikationen) passen sich dem Arbeiten der Dozierenden und Studierenden an und unterstützen dieses:
Meilensteine bei der Umsetzung mit der LEMUREN-Entwicklung LEMUREN-CAT sind:
Drei Formen der Veröffentlichung und des Bearbeitungsmodus erlauben die unterschiedlichen Übungsvarianten umzusetzen:
Diese diskutieren wir in folgenden Beiträgen.