Tag: online exams

Examinations in exceptional times: one year of remote written examinations in Moodle during the COVID-19 pandemic

When it became apparent in the Spring Semester 2020 that on-site examinations were not possible during the semester due to the COVID-19 pandemic, alternative performance assessments without requiring students to be physical present were needed. In collaboration with LET, ETH then soon developed the legal and organisational and didactical framework to ensure that examinations during and at the end of the semester could also be carried out in this exceptional situation.

According to the directive “COVID-19: Measures with regard to teaching” for Autumn Semester 2020 and Spring Semester 2021, high-stakes written examinations during the examination sessions are to take place on site under a strict safety concept. In contrast, written examinations during or at the end of semester in the context of end-of-semester examinations, semester performances and continuous performance assessment tasks can either be conducted on site using a safety concept or as a remote examination. However, a remote version of the examination must always be planned as a backup, in case the government regulations change.

The shift from classical written exams in presence to remote written examinations posed a challenge for everybody. To help teachers to adapt their examinations to an appropriate remote format, LET compiled an overview of alternative ways of assessment. The focus of this text is on one such scenario: written examinations conducted remotely on Moodle.

Long before COVID-19, ETH has been using a separate Moodle instance (Exam Moodle) as an online-platform for summative on-site examinations on desktop computers and mobile devices. Therefore, fortunately, the infrastructure was already in place, although additional functionalities were integrated to better accommodate examinations that are conducted remotely (e.g. a plugin to request a declaration of originality).

In the course of the last two semesters, LET has supported over 200 remote written examinations in Moodle with 14’000 individual performances. Throughout this year, we have found several key factors for successfully conducting remote examination in Moodle.

Useful advice before you start preparing your exam

When in doubt, consult the webpage on remote written examinations (Moodle): This webpage comprises all information relevant for preparing and conducting an remote written examination in Moodle, including a step-by-step manual for setting up the examination.

Setting up a course on the Exam Moodle and coordinate technical support well in advance: Send an email to online-pruefungen@let.ethz.ch if you would like to conduct a remote examination in Moodle as early as possible. We will create a course for you on the Exam Moodle, help you setting up your examination and coordinate how you can reach us as technical support during the examination.

Keep the “open-book” character in mind while designing the exam questions: Even though certain practices have to be applied in order to prevent students to easily communicate the solutions among each other (e.g. open-ended questions, randomization of closed-ended questions), the use of the Internet cannot be prevented. For this reason, you either create questions that cannot be easily looked up on the Internet or explicitly include the Internet search as part of the examination.

Best practice for preparation and conduct

  1. Take advantage of the new opportunities that arise:

Although preparing a remote examination in Moodle may seem challenging at first, it also holds the opportunity for new and creative ways to design an examination.

The biggest opportunity with remote examinations in Moodle is to embrace the fact that students have access to additional resources, such as databases and software, and make it an integral part of the examination. In this way, it is possible to assess the deep understanding of a topic and the application of knowledge rather than mere fact retrieval. This is ideally supported by open-ended rather than closed-ended questions, since the former give students the possibility to present their knowledge in detail. However, notwithstanding all the didactical opportunities, it is crucial that the alignment of the learning objectives with the examination is still maintained.  

Further didactic tips and tricks are available on this webpage.

2. Give students the possibility to navigate freely:

We strongly recommend refraining from using a predefined navigation for the following reasons:

  • Students are not able to get an overview of the whole exam first
  • Students are not able to choose which part of the examination they want to begin with. Stress levels rise when students have no choice but to start with a topic they find difficult.
  • As students are not able to navigate backwards, they cannot revise and adjust their given answers. This is particularly relevant in the case of a momentary blackout.
  • Overall, this creates additional stress for students in an already stressful situation and generally leads to an examination that tests stress resistance rather than the actual learning outcome.

3. Use Zoom as a tool for communication

First things first: You do not have to use or proctor your students with Zoom during a written remote examination in Moodle. However, Zoom is a great way to stay in touch with your students throughout the examination and we recommend using it as your primary communication channel. It allows you to communicate information quickly to all students and students can contact you via chat if they have a question or problem. The students’ cameras do not have to be switched on for this.

The main advantages over other communication channels such as email or phone are the immediacy of communication and the possibility of screen sharing. The latter is particularly useful when technical difficulties arise.

However, it is crucial to establish a second, internet-independent communication channel (e.g. phone). This way, students who lose their internet connection can still contact you.

4. Things to consider for setting up your Zoom meeting

Once you have decided to use Zoom during the remote examination in Moodle, there are a couple of considerations and preparations that should be made beforehand:

  • Distribute roles: make sure everybody involved in the examination knows what their responsibilities are during the exam. For example, who is responsible for questions in the chat? Who will make the announcements and share the password for the exam? Who will handle breakout rooms?
  • Chat settings: make sure that students can write only to you and the Co-Hosts in the Zoom chat. The setting to chat with all participants of the meeting should be disabled.
  • Breakout rooms: including breakout rooms in your Zoom meeting is very helpful in supporting participants with questions or problems, without disturbing the other participants.

5. Conduct a mock examination

A mock exam reduces potential technical difficulties in advance and gives students the opportunity to familiarize themselves with the Moodle exam platform. This way, students already know how to access the examination on the exam day and are familiar with the interface. In order to achieve this, the mock examination does not have to be elaborate. It can also consist of general questions that are not specific to your subject.

6. Make sure that students contact you immediately in case of technical problems

You cannot stress this enough! If a student faces any technical difficulties and cannot continue working on the examination, the student has to contact you immediately. Only if they inform you immediately, it is possible to extend the examination time by the time lost due to the problem. If students inform you after the examination that they were unable to continue working, this is no longer possible.

If you would like to conduct your examination as a remote written examination in Moodle or would like to discuss the possibilities for your remote examination in Moodle, please do not hesitate to contact us via online-pruefungen@let.ethz.ch.

Read more

Posted on ,

Safe Exam Browser 3.0 freigegeben

Prüfungen am Computer (Online-Prüfungen) bieten viele Vorteile gegenüber herkömmlichen schriftlichen Prüfungen. Sie können oftmals authentischer gestaltet werden, indem Studierende in der Prüfung mit Programmen und Ressourcen arbeiten können, die sie auch in den Übungen oder später im Arbeitsalltag verwenden (z.B. durch eine eingebettete Programmierumgebung). Je nach Aufbau der Prüfung ist auch eine (teil-)automatisierte Bewertung möglich, die bei grossen Kursen eine massive Arbeitserleichterung für die Examinatoren bringt, bzw. ein Assessment überhaupt erst möglich macht (z.B. bei MOOCs).

Voraussetzung für Online-Prüfungen ist eine abgesicherte Umgebung am Prüfungscomputer, die während der Prüfung nur den Zugriff auf erlaubte Ressourcen gestattet. Hier kommt die Open Source Software Safe Exam Browser ins Spiel, die seit über 10 Jahren existiert und inzwischen international von zahlreichen Bildungseinrichtungen eingesetzt wird. Der Safe Exam Browser ermöglicht nicht nur die kontrollierte Absicherung des Prüfungscomputers, sondern erlaubt auch das Verwenden ausgewählter lokaler Programme oder die Freigabe von bestimmten Webressourcen.

Für die Version 3 wurde der Safe Exam Browser (im Folgenden SEB abgekürzt) einem umfassenden Refactoring unterzogen. Der SEB wurde von Grund auf gemäss aktueller Standards neu programmiert. Die prinzipielle Funktionsweise wurde dabei beibehalten. Wesentliche Änderungen wurden «unter der Haube» vorgenommen und sind vor allem technischer Art.

So wird nun beispielsweise als Browser-Komponente anstelle der Mozilla Gecko Engine die Chromium Engine verwendet. Die Erkennung von virtuellen Maschinen als Laufzeitumgebung wurde verbessert. Es gibt erweiterte Funktionen zur Kontrolle der Browser-Session durch das Prüfungssystem (für die SEB-Moodle Deeper Integration). Und die Zusammenarbeit mit Antivirenprogrammen wurde weiter verbessert.

Aber auch die Benutzeroberfläche wurde modernisiert. Neu verfügt SEB über ein «Action Center», ähnlich dem aus Windows 10 bekannten Seitenmenü. Man kann nun beim Umschalten zwischen geöffneten Applikationsfenstern mit ALT-TAB  wie unter Windows üblich kleine Vorschaufenster der geöffneten Applikationen sehen. Ausserdem wird die Arbeit mit Tablet-PCs besser unterstützt.

Benutzeroberfläche von SEB 3 mit links eingeblendetem Action Center

SEB wird weiterhin in Versionen für Windows, MacOS und iOS angeboten. Und mittlerweile wird für Windows neben der 32-bit auch eine native 64-bit Variante bereit gestellt.

Der volle Funktionsumfang aus SEB 2.4.x wird mit der Version 3.2 zur Verfügung stehen. Dies betrifft etwa den Zugriff auf die Webcam durch Webapplikationen (mehr Details dazu in den Release Notes).

Zudem sieht die Roadmap für die Weiterentwicklung von SEB vor, das mitgelieferte Konfigurationstool in Übereinstimmung mit dem Konfigurationstool des SEB Server zu überarbeiten, sowie die Integration mit weiteren Learning Management Systemen zu verbessern.

Read more

Posted on ,

Online-Prüfungen reloaded

SEB Server Version 1.0 veröffentlicht

Die Nachfrage für die Durchführung von Prüfungen am Computer steigt beständig. Damit verbunden wachsen auch die Anforderungen an die technische Infrastruktur. Langjährig bewährt hat sich bereits der Safe Exam Browser, der eine abgesicherte Prüfungsumgebung auf zahlreichen Endgeräten ermöglicht. Ergänzend dazu wird aktuell an der ETH Zürich in der Abteilung LET (LINK) im Rahmen des Swiss MOOC Service Projekts der swissuniversities die Server-Applikation «SEB Server» entwickelt, um die technische Vorbereitung und Durchführung von Online-Prüfungen zu vereinfachen. Schlüsselfunktionen des SEB Servers sind die zentrale Konfiguration der SEB Clients für einzelne Prüfungen, sowie die einfache Prüfungsadministration durch eine direkte Anbindung an betreffende Learning Management System (aktuell für Open edX innerhalb des Swiss MOOC Services). Ausserdem ermöglicht SEB Server eine zentrale Steuerung und Überwachung der SEB Clients während der Durchführung der Online-Prüfung.

Ein Einsatz des SEB Servers ist grundsätzlich in allen Online-Prüfungsszenarien sinnvoll. Vorteile bringt er insbesondere bei Remote-Prüfungen (z. B. bei MOOC-Kursen), aber auch bei Prüfungen in Räumen der Lehrinstitution auf privaten Endgeräten der Studierenden («bring your own device», BYOD). Hier bietet der SEB Server Funktionalitäten, die ansonsten nur schwierig oder gar nicht zu erreichen wären, beispielsweise  die automatische Verteilung der SEB Client Konfiguration oder das Monitoring der verbundenen SEB Clients während der Prüfungsdurchführung

Überwachung der Funktionsfähigkeit der SEB Clients druch den SEB Server in einer laufenden Prüfung
Überwachung der Erreichbarkeit der SEB Clients durch den SEB Server in einer laufenden Prüfung

Der SEB Server ist ein Open-Source-Projekt und basiert auf aktueller Java Enterprise- und Docker-Technologie. Er verfügt über Mandantenfähigkeit, d. h. es können mehrere Institutionen innerhalb derselben Server-Instanz verwaltet werden. Weitere nützliche Features sind eine Template-Verwaltung für SEB-Konfigurationen, sowie eine mehrstufige Benutzer- und Berechtigungsverwaltung. Details finden sich auf der GitHub-Projektseite und in der Online-Dokumentation.

Im Juni 2020 wurde die Version 1.0 des SEB Servers veröffentlicht. SEB Server wird künftig noch um Schnittstellen zu weiteren Learning Management Systemen erweitert. Insbesondere eine Moodle-Integration steht hier im Fokus, daneben sind Integrationen in weitere System wie ILIAS oder OpenOLAT möglich.

Zu den neuen Entwicklungen im Bereich des  Safe Exam Browsers informieren wir demnächst in einem weiteren Beitrag im LET-Blog

Read more

Posted on ,

Programmieraufgaben online leicht gemacht

Enthält Ihre Veranstaltung Programmieraufgaben? Würden Sie gerne die Studierenden in ein und derselben Umgebung während des Semesters Programmieraufgaben lösen lassen und diese Umgebung dann auch in der Prüfung verwenden? Möchten Sie ausserdem Ihre Programmieraufgaben in der Prüfung mit anderen Aufgabenformaten wie Freitext- oder Multiple-Choice Aufgaben kombinieren?

Mit dem Abschluss der einjährigen Pilotphase von Code Expert ist dies nun für alle interessierten Dozierenden möglich. Mit dem Update des Prüfungsservers auf die Moodle Version 3.7.4+ steht Dozierenden der neue Moodle Fragetyp «Externer Fragetyp (ETH)» zur Verfügung. Mit diesem Fragetyp kann eine Aufgabe innerhalb eines anderen Systems über eine LTI [1]-Schnittstelle in ein Moodle Quiz eingebunden werden. Im konkreten Fall mit einer Aufgabe in Code Expert. Code Expert ist eine browserbasierte Lern- und Programmierumgebung die am Departement für Informatik (D-INFK ) entwickelt wird. Der Moodle-Fragetyp «Externe Verbindung (ETH)» wurde In einem gemeinsamen Projekt der Abteilung Lehrentwicklung und -technologie (LET) und des D-INFK entwickelt.

Wenn Sie Code Expert Aufgaben in einer Prüfung verwenden möchten, setzen Sie Code Expert bereits während der semesterbegleitenden Übungen ein. Auf diese Weise sind alle Studierenden bereits mit der Programmierumgebung für die Prüfung bestens vertraut. Weitere Informationen zu Code Expert finden Sie hier: https://code-expert.net/. Wenn Sie Code Expert in Ihrer Veranstaltung an der ETH einsetzen möchten, so melden Sie sich beim Code Expert-Team des D-INFK (expert@inf.ethz.ch). Informationen zur Integration von Code Expert in Moodle sind auf derselben Website zu finden: https://code-expert.net/lecturers/#integration-in-moodle. Die  Anleitung zur Einbindung von Code Expert Aufgaben in Moodle ist ebenso auf dieser Seite verlinkt: https://code-expert.net/assets/images/Anleitung_CodeExpertIntegrationInMoodleEN_20200409.pdf . Für weitere Fragen zum Einsatz von Code Expert in Online-Prüfungen melden Sie sich gerne bei: online-pruefungen@let.ethz.ch.

[1] LTI: https://www.imsglobal.org/activity/learning-tools-interoperability

Read more

Posted on ,

Online-Prüfungen direkt nach Semesterende: Raum mit 240 Plätzen steht neu zur Verfügung

Seit der Prüfungssession im Februar 2018 betreiben die Informatikdienste zusammen mit der Abteilung LET in der sogenannten Fokushalle im ONA-Gebäude an der Neunbrunnenstrasse in Oerlikon einen Prüfungsraum mit 240 Plätzen für Studierende. Die verfügbare Raumkapazität für Online-Prüfungen in den Prüfungssessionen konnte damit verdoppelt werden. Die Fokushalle ONA E7, in der während des Semesters Vorlesungen des D-ARCH stattfinden, wird jeweils für die Prüfungen um- und nach der Prüfungssession wieder rückgebaut.

Online-Prüfungen direkt nach dem Semesterende: Der Raum ONA E7 in Oerlikon mit 240 Prüfungsplätzen steht zur Verfügung. (Bild: ETH/Alessandro Della Bella)

Nun steht der nächste Quantensprung an: Das D-ARCH stellt die Fokushalle ab dem Herbstsemester 2018 früher für Prüfungen zur Verfügung. Die Informatikdienste und die Abteilung LET können daher diese grosse Halle schon nach dem Semesterende für Online-Prüfungen anbieten. Online-Prüfungen im ONA E7 sind in den kommenden Semestern immer ab dem ersten Montag nach Semesterende möglich. Die Kapazitäten für Online-Prüfungen in den Wochen nach dem Semesterende können dadurch fast verdreifacht werden.

Insbesondere für Dozierende, die ihre Semesterendprüfung oder benotete Semesterleistung nach Semesterende am Computer durchführen möchten, ist das eine sehr gute Nachricht. Bisher waren die Kapazitäten rund um das Semesterende ausgelastet und wir mussten diverse Anträge negativ beantworten. Die entstandene Warteliste können wir nun verkleinern. Online-Prüfungen mit vielen Studierenden und mit Verwendung von Drittapplikationen (z.B. Statistiksoftware) konnten nun bewilligt werden.

Die Abteilung LET dankt dem Departement ARCH für das grosszügige Entgegenkommen bei der Belegung der Fokushalle ONA E7. Die Verwendung der Fokushalle für Vorlesungen im Semester und für Online-Prüfungen zwischen den Semestern stellt für die ETH Zürich einen grossen Gewinn dar. Schon vorhandene Raumressourcen werden effektiv verwendet, ohne dass dadurch mehr Mietkosten entstehen.

Read more

Posted on , 5 Comments

Welcome

Dear Reader,

Increasingly, people who teach in higher education acknowledge their role in crafting effective learning experiences. They seek out information, dialogue, support and ongoing development to help them bring specific, evidence-based strategies to their teaching practices.

Our central unit LET plays a pivotal role in supporting good teaching and a learning-centred environment. LET is a unit of the Rector at ETH Zurich and stands for Educational Development and Technology. We fulfil our task by offering didactic courses, supporting innovative teaching, moderating curriculum development processes, facilitating online exams, evaluating lectures and examinations, and managing the IT services these activities require.

With this blog, we aim to create a space where we can showcase effective teaching practices, share information and reflections with regards to projects from our unit, and generally inspire discussion on educational development, technology, and innovation.

Moreover, we hope this blog contributes to creating an interdisciplinary community of people all over ETH who are engaged in learning-centred teaching, its further dissemination and development.

We cordially invite you to give us feedback on the blog and its contents. To do so, please use the “contact us” form on the “About this blog” page.

I’m looking forward to making this blog a valuable resource for teaching staff at ETH and beyond.

Warm regards,

Daniel Halter
Director, Educational Development and Technology

Read more

Posted on ,