Tag: Online-Prüfungen

Going paperless: The revised portal page in Online Examinations at ETH Zurich introduced in Spring Semester 2020

In online examinations at ETH Zurich, the portal page is the website students see first when they face the exam computer and is thus the entry point for every online examination with Moodle. A revised portal page was introduced in September 2020, focusing on improvements in several key areas: 1) going paperless, 2) exam administration, 3) visual redesign and 4) technical infrastructure.

Figure of the revised portal page used in online examination with Moodle at ETH Zurich.
Figure 1. Left side: Portal page with filled out form and confirmation dialogue. Right side: Manual with general information about online examinations and Moodle, opened by clicking on the blue i-icon on the bottom left.

Going paperless

Before the revision, students writing an online examination always found a piece of paper at their workspace. The piece of paper contained general information about online examinations and Moodle, served to track the specific computers used by students (students noted their name and computer number on it) and had to be signed (to confirm knowledge that technical problems are to be reported immediately and that screens are recorded).

The preparation and distribution of the paper sheets was time-consuming both on part of the LET staff and examiners. Therefore, the goal  was to provide all required information to students digitally, at the same time ensuring availability not only during, but also before and after an examination, as it is the case with paper. Fortunately, SafeExamBrowser, which is used at ETH Zurich to provide a safe and intuitive exam environment in online examinations with Moodle, includes functionality to easily give students access to specific additional resources. We thus designed a “manual” webpage containing all relevant information that can be viewed by students at all times simply by clicking on the respective icon in the taskbar (see Figure 1, right side).

Instead of noting their name and used computers on the paper, the revised portal page allows students to enter their personal information directly on the webpage using a simple form. The information, including the used computer, is automatically and cleanly stored in a database. In addition, as a replacement for the signature on paper, the portal page was extended by a dialogue presenting information that must be confirmed to be able to proceed to the actual examination (see Figure 1, left side).

Exam Administration

Due to the growing number of online examinations at ETH Zurich, it was getting increasingly difficult to maintain the previous portal page and store the papers in a way to provide quick access to the required information when needed (i.e., association of computers and students). The revised portal page therefore includes a separate space for LET to administer the examinations that are available for students and search used computers on an exam-by-exam basis.

Visual redesign

Finally, while Moodle has undergone a visual overhaul in recent years, the design of the old portal page was lagging behind. In addition to updating the design in general, the theme of the revised portal page is now based on the Moodle theme to also provide a more consistent and streamlined exam environment.

Technical Infrastructure

Similarly, it was also time to update the technical infrastructure of the portal page. It was a plain HTML site that could only be updated by one person at a time to prevent that no changes were accidentally overwritten. In contrast, the revised portal page is a state-of-the-art application with a separate administration space that can be used by multiple users at once. Two load-balanced frontend servers ensure that all requests from the examination clients are reliably processed and all data are stored in a central database on a separate server.

The revised portal page was developed alongside the regular operations of the online examinations service and was planned to be tested in Spring Semester 2020 in a few select examinations. However, when it became apparent that on-site examinations in 2020 were to be conducted under special circumstances due to the Coronavirus pandemic, we decided early on to introduce it more broadly to facilitate the implementation of the hygienic measures by going paperless. Extensive security measures were taken and an organizational as well as a technical fallback was in place at all times, which – as expected – was not needed in the end. After the positive and smooth experience of the first examination session, slight improvements were added for Autumn Semester 2020 and analogous functionalities were developed for setups not using Moodle such as Linux examinations. In the future, the plan is to implement a functionality that allows easy pre-assignment of students to computers by displaying the corresponding name directly on the screen.

If you want to know more about online examinations at ETH Zurich, please do not hesitate to contact online-pruefungen@let.ethz.ch.  

Read more

Posted on ,

Examinations in exceptional times: one year of remote written examinations in Moodle during the COVID-19 pandemic

When it became apparent in the Spring Semester 2020 that on-site examinations were not possible during the semester due to the COVID-19 pandemic, alternative performance assessments without requiring students to be physical present were needed. In collaboration with LET, ETH then soon developed the legal and organisational and didactical framework to ensure that examinations during and at the end of the semester could also be carried out in this exceptional situation.

According to the directive “COVID-19: Measures with regard to teaching” for Autumn Semester 2020 and Spring Semester 2021, high-stakes written examinations during the examination sessions are to take place on site under a strict safety concept. In contrast, written examinations during or at the end of semester in the context of end-of-semester examinations, semester performances and continuous performance assessment tasks can either be conducted on site using a safety concept or as a remote examination. However, a remote version of the examination must always be planned as a backup, in case the government regulations change.

The shift from classical written exams in presence to remote written examinations posed a challenge for everybody. To help teachers to adapt their examinations to an appropriate remote format, LET compiled an overview of alternative ways of assessment. The focus of this text is on one such scenario: written examinations conducted remotely on Moodle.

Long before COVID-19, ETH has been using a separate Moodle instance (Exam Moodle) as an online-platform for summative on-site examinations on desktop computers and mobile devices. Therefore, fortunately, the infrastructure was already in place, although additional functionalities were integrated to better accommodate examinations that are conducted remotely (e.g. a plugin to request a declaration of originality).

In the course of the last two semesters, LET has supported over 200 remote written examinations in Moodle with 14’000 individual performances. Throughout this year, we have found several key factors for successfully conducting remote examination in Moodle.

Useful advice before you start preparing your exam

When in doubt, consult the webpage on remote written examinations (Moodle): This webpage comprises all information relevant for preparing and conducting an remote written examination in Moodle, including a step-by-step manual for setting up the examination.

Setting up a course on the Exam Moodle and coordinate technical support well in advance: Send an email to online-pruefungen@let.ethz.ch if you would like to conduct a remote examination in Moodle as early as possible. We will create a course for you on the Exam Moodle, help you setting up your examination and coordinate how you can reach us as technical support during the examination.

Keep the “open-book” character in mind while designing the exam questions: Even though certain practices have to be applied in order to prevent students to easily communicate the solutions among each other (e.g. open-ended questions, randomization of closed-ended questions), the use of the Internet cannot be prevented. For this reason, you either create questions that cannot be easily looked up on the Internet or explicitly include the Internet search as part of the examination.

Best practice for preparation and conduct

  1. Take advantage of the new opportunities that arise:

Although preparing a remote examination in Moodle may seem challenging at first, it also holds the opportunity for new and creative ways to design an examination.

The biggest opportunity with remote examinations in Moodle is to embrace the fact that students have access to additional resources, such as databases and software, and make it an integral part of the examination. In this way, it is possible to assess the deep understanding of a topic and the application of knowledge rather than mere fact retrieval. This is ideally supported by open-ended rather than closed-ended questions, since the former give students the possibility to present their knowledge in detail. However, notwithstanding all the didactical opportunities, it is crucial that the alignment of the learning objectives with the examination is still maintained.  

Further didactic tips and tricks are available on this webpage.

2. Give students the possibility to navigate freely:

We strongly recommend refraining from using a predefined navigation for the following reasons:

  • Students are not able to get an overview of the whole exam first
  • Students are not able to choose which part of the examination they want to begin with. Stress levels rise when students have no choice but to start with a topic they find difficult.
  • As students are not able to navigate backwards, they cannot revise and adjust their given answers. This is particularly relevant in the case of a momentary blackout.
  • Overall, this creates additional stress for students in an already stressful situation and generally leads to an examination that tests stress resistance rather than the actual learning outcome.

3. Use Zoom as a tool for communication

First things first: You do not have to use or proctor your students with Zoom during a written remote examination in Moodle. However, Zoom is a great way to stay in touch with your students throughout the examination and we recommend using it as your primary communication channel. It allows you to communicate information quickly to all students and students can contact you via chat if they have a question or problem. The students’ cameras do not have to be switched on for this.

The main advantages over other communication channels such as email or phone are the immediacy of communication and the possibility of screen sharing. The latter is particularly useful when technical difficulties arise.

However, it is crucial to establish a second, internet-independent communication channel (e.g. phone). This way, students who lose their internet connection can still contact you.

4. Things to consider for setting up your Zoom meeting

Once you have decided to use Zoom during the remote examination in Moodle, there are a couple of considerations and preparations that should be made beforehand:

  • Distribute roles: make sure everybody involved in the examination knows what their responsibilities are during the exam. For example, who is responsible for questions in the chat? Who will make the announcements and share the password for the exam? Who will handle breakout rooms?
  • Chat settings: make sure that students can write only to you and the Co-Hosts in the Zoom chat. The setting to chat with all participants of the meeting should be disabled.
  • Breakout rooms: including breakout rooms in your Zoom meeting is very helpful in supporting participants with questions or problems, without disturbing the other participants.

5. Conduct a mock examination

A mock exam reduces potential technical difficulties in advance and gives students the opportunity to familiarize themselves with the Moodle exam platform. This way, students already know how to access the examination on the exam day and are familiar with the interface. In order to achieve this, the mock examination does not have to be elaborate. It can also consist of general questions that are not specific to your subject.

6. Make sure that students contact you immediately in case of technical problems

You cannot stress this enough! If a student faces any technical difficulties and cannot continue working on the examination, the student has to contact you immediately. Only if they inform you immediately, it is possible to extend the examination time by the time lost due to the problem. If students inform you after the examination that they were unable to continue working, this is no longer possible.

If you would like to conduct your examination as a remote written examination in Moodle or would like to discuss the possibilities for your remote examination in Moodle, please do not hesitate to contact us via online-pruefungen@let.ethz.ch.

Read more

Posted on ,

Safe Exam Browser 3.0 freigegeben

Prüfungen am Computer (Online-Prüfungen) bieten viele Vorteile gegenüber herkömmlichen schriftlichen Prüfungen. Sie können oftmals authentischer gestaltet werden, indem Studierende in der Prüfung mit Programmen und Ressourcen arbeiten können, die sie auch in den Übungen oder später im Arbeitsalltag verwenden (z.B. durch eine eingebettete Programmierumgebung). Je nach Aufbau der Prüfung ist auch eine (teil-)automatisierte Bewertung möglich, die bei grossen Kursen eine massive Arbeitserleichterung für die Examinatoren bringt, bzw. ein Assessment überhaupt erst möglich macht (z.B. bei MOOCs).

Voraussetzung für Online-Prüfungen ist eine abgesicherte Umgebung am Prüfungscomputer, die während der Prüfung nur den Zugriff auf erlaubte Ressourcen gestattet. Hier kommt die Open Source Software Safe Exam Browser ins Spiel, die seit über 10 Jahren existiert und inzwischen international von zahlreichen Bildungseinrichtungen eingesetzt wird. Der Safe Exam Browser ermöglicht nicht nur die kontrollierte Absicherung des Prüfungscomputers, sondern erlaubt auch das Verwenden ausgewählter lokaler Programme oder die Freigabe von bestimmten Webressourcen.

Für die Version 3 wurde der Safe Exam Browser (im Folgenden SEB abgekürzt) einem umfassenden Refactoring unterzogen. Der SEB wurde von Grund auf gemäss aktueller Standards neu programmiert. Die prinzipielle Funktionsweise wurde dabei beibehalten. Wesentliche Änderungen wurden «unter der Haube» vorgenommen und sind vor allem technischer Art.

So wird nun beispielsweise als Browser-Komponente anstelle der Mozilla Gecko Engine die Chromium Engine verwendet. Die Erkennung von virtuellen Maschinen als Laufzeitumgebung wurde verbessert. Es gibt erweiterte Funktionen zur Kontrolle der Browser-Session durch das Prüfungssystem (für die SEB-Moodle Deeper Integration). Und die Zusammenarbeit mit Antivirenprogrammen wurde weiter verbessert.

Aber auch die Benutzeroberfläche wurde modernisiert. Neu verfügt SEB über ein «Action Center», ähnlich dem aus Windows 10 bekannten Seitenmenü. Man kann nun beim Umschalten zwischen geöffneten Applikationsfenstern mit ALT-TAB  wie unter Windows üblich kleine Vorschaufenster der geöffneten Applikationen sehen. Ausserdem wird die Arbeit mit Tablet-PCs besser unterstützt.

Benutzeroberfläche von SEB 3 mit links eingeblendetem Action Center

SEB wird weiterhin in Versionen für Windows, MacOS und iOS angeboten. Und mittlerweile wird für Windows neben der 32-bit auch eine native 64-bit Variante bereit gestellt.

Der volle Funktionsumfang aus SEB 2.4.x wird mit der Version 3.2 zur Verfügung stehen. Dies betrifft etwa den Zugriff auf die Webcam durch Webapplikationen (mehr Details dazu in den Release Notes).

Zudem sieht die Roadmap für die Weiterentwicklung von SEB vor, das mitgelieferte Konfigurationstool in Übereinstimmung mit dem Konfigurationstool des SEB Server zu überarbeiten, sowie die Integration mit weiteren Learning Management Systemen zu verbessern.

Read more

Posted on ,

Programmieraufgaben online leicht gemacht

Enthält Ihre Veranstaltung Programmieraufgaben? Würden Sie gerne die Studierenden in ein und derselben Umgebung während des Semesters Programmieraufgaben lösen lassen und diese Umgebung dann auch in der Prüfung verwenden? Möchten Sie ausserdem Ihre Programmieraufgaben in der Prüfung mit anderen Aufgabenformaten wie Freitext- oder Multiple-Choice Aufgaben kombinieren?

Mit dem Abschluss der einjährigen Pilotphase von Code Expert ist dies nun für alle interessierten Dozierenden möglich. Mit dem Update des Prüfungsservers auf die Moodle Version 3.7.4+ steht Dozierenden der neue Moodle Fragetyp «Externer Fragetyp (ETH)» zur Verfügung. Mit diesem Fragetyp kann eine Aufgabe innerhalb eines anderen Systems über eine LTI [1]-Schnittstelle in ein Moodle Quiz eingebunden werden. Im konkreten Fall mit einer Aufgabe in Code Expert. Code Expert ist eine browserbasierte Lern- und Programmierumgebung die am Departement für Informatik (D-INFK ) entwickelt wird. Der Moodle-Fragetyp «Externe Verbindung (ETH)» wurde In einem gemeinsamen Projekt der Abteilung Lehrentwicklung und -technologie (LET) und des D-INFK entwickelt.

Wenn Sie Code Expert Aufgaben in einer Prüfung verwenden möchten, setzen Sie Code Expert bereits während der semesterbegleitenden Übungen ein. Auf diese Weise sind alle Studierenden bereits mit der Programmierumgebung für die Prüfung bestens vertraut. Weitere Informationen zu Code Expert finden Sie hier: https://code-expert.net/. Wenn Sie Code Expert in Ihrer Veranstaltung an der ETH einsetzen möchten, so melden Sie sich beim Code Expert-Team des D-INFK (expert@inf.ethz.ch). Informationen zur Integration von Code Expert in Moodle sind auf derselben Website zu finden: https://code-expert.net/lecturers/#integration-in-moodle. Die  Anleitung zur Einbindung von Code Expert Aufgaben in Moodle ist ebenso auf dieser Seite verlinkt: https://code-expert.net/assets/images/Anleitung_CodeExpertIntegrationInMoodleEN_20200409.pdf . Für weitere Fragen zum Einsatz von Code Expert in Online-Prüfungen melden Sie sich gerne bei: online-pruefungen@let.ethz.ch.

[1] LTI: https://www.imsglobal.org/activity/learning-tools-interoperability

Read more

Posted on ,

Ausbau der Raumkapazitäten für Online-Prüfungen: Rückblick und Ausblick

Die ETH Zürich lancierte 2007 das Projekt «Online-Prüfungen an der ETH Zürich», welches 2010 in eine hochschulweite Dienstleistung für die Durchführung von Online-Prüfungen mündete. Zunächst konnten Online-Prüfungen allein in den Computerräumen des ETH Hauptgebäudes mit maximal gut 130 Studierenden gleichzeitig durchgeführt werden. 2012 wurde mit dem HG G 1 ein erster grosser Raum für Online-Prüfungen in Betrieb genommen, welcher Platz für weitere 160 Studierende bietet. Das HG G 1 wird während der Semester vom D-MAVT für Lehrveranstaltungen, Innovationsprojekte sowie als Lernraum genutzt und für die Sessionen dem Rektorat zur Nutzung übergeben. Zweimal jährlich wird das HG G 1 für die Nutzung als Online-Prüfungsraum während der Sessionen umgebaut. Mit dem HG G 1 konnten die Kapazitäten für Online-Prüfungen mehr als verdoppelt werden, sodass schon bald um die 100 Online-Prüfungen mit rund 10’000 Kandidaten jährlich durchgeführt werden konnten.

 

ETH Online Pruefung im HG am 25.1.2018. (ETH/Alessandro Della Bella)

Per Wintersession 2017/2018 hat die Abteilung LET in Zusammenarbeit mit den Informatikdiensten sowie der Abteilung Immobilien einen weiteren grossen Raum für Online-Prüfungen erfolgreich in Betrieb nehmen können. Nach dem Modell des HG G 1 stellt das D-ARCH dem Rektorat die Fokushalle ONA E 7 in Zürich-Oerlikon für die Durchführung von Online-Prüfungen zur Verfügung. Dank den Erfahrungswerten aus Inbetriebnahme und Betrieb des HG G 1 konnte das Projekt zur Instandsetzung des ONA E 7 für Online-Prüfungen in kurzer Zeit zwischen Sommer 2017 und Wintersession 2017/2018 erfolgreich umgesetzt werden. Die Fokushalle bietet Platz für bis zu 240 Studierende. Damit konnte die Warteliste für Online-Prüfungen in den Sessionen erfolgreich abgebaut und die Anzahl Prüfungen von gut 50 Online-Prüfungen mit knapp 5’000 Kandidat/innen im FS2017 auf über 90 geplante Online-Prüfungen mit insgesamt knapp 9’000 Kandidat/innen im FS2018 innert eines Jahres beinahe verdoppelt werden.

ETH Online Pruefung im ONA Oerlikon am 5.2.2018. (ETH/Alessandro Della Bella)

Mit diesen Massnahmen zum Ausbau der Rauminfrastrukturkapazitäten kann die Anzahl Online-Prüfungen auch nach FS2018 weiter gesteigert und der grossen Nachfrage besser begegnet werden. Mit dem derzeit in Bau befindlichen GLC-Gebäude ist voraussichtlich ab 2021 ein weiterer Ausbau der Infrastrukturkapazität für Online-Prüfungen geplant. Parallel zum Ausbau der Rauminfrastrukturkapazitäten wurde Anfang 2017 das Projekt «Prüfen mit mobilen Geräten» gestartet, welches Online-Prüfungen in bestehenden Räumlichkeiten ermöglicht. Mit Abschluss des Projekts und Übergang zum Service Ende 2018/Anfang 2019 werden so weiter Kapazitäten für Online-Prüfungen entstehen.

ETH Online Pruefung im HG am 25.1.2018. (ETH/Alessandro Della Bella)

Read more

Posted on ,