Tag: ETH Zurich

Vereinfachtes Reporting in der Unterrichtsbeurteilung der ETH Zürich

An vielen Hochschulen sind die Prozesse der Unterrichtsbeurteilung eindeutig geregelt. Dies aber meist nur bis zum Ende der Datenerhebung. In den letzten Jahren rückte der Schlussteil des Evaluationsprozesses, also die Analyse der Resultate und die Festlegung von Massnahmen aufgrund dieser Resultate, vermehrt in den Fokus. Bisher mussten die 16 Departemente pro Semester je einen Bericht an die Rektorin senden, in dem die kritisch evaluierten Veranstaltungen eruiert und Ursachen und Massnahmen zu deren Verbesserung beschrieben wurden. Die Rektorin hat dann wieder in Briefform eine Rückmeldung an jedes Departement zum Bericht geschrieben.

Mit einer Weiterentwicklung unserer Evaluationssoftware EvaSys können wir nun diesen Feedback-Prozess mit einer Online-Applikation unterstützen. In einem ersten Schritt werden die kritisch evaluierten Lehrveranstaltungen und Prüfungen automatisch aufgrund von flexibel einstellbaren Kriterien erkannt und den Departementen in einer Liste präsentiert. Diskussionen, ob eine Lehrveranstaltung oder Prüfung nun kritisch evaluiert ist oder vergessen wurde, gehören so der Vergangenheit an. Kritisch bedeutet, dass das Departement bei der entsprechenden Lehrveranstaltung oder Prüfung genauer hinschauen und eine Rückmeldung an die Rektorin geben muss. Dieses «genaue Hinschauen» ist nun in einem eigenen Menü, dem Massnahmendialog, abgebildet, wie er in der Abbildung unten ersichtlich ist.

Bild des Massnahmendialogs
Abbildung: Massnahmendialog zu einer Lehrveranstaltung. Im oberen Bereich werden die Fragetexte und die kritischen Mittelwerte (<3.0 bei einer 5-er-Skala) eingeblendet. Im grün umrandeten Feld muss das Departement Ursachen und Massnahmen eingeben. Rechts davon muss aus einer Liste von vordefinierten stichwortartigen, häufig getroffenen Massnahmen mind. eine ausgewählt werden. Dies kann auch eine eigens hinzugefügte Massnahme sein. Später im Prozess gibt dann die Rektorin eine Rückmeldung zu den von den Departementen beschriebenen Massnahmen. Diese Rückmeldung wird dann im grau umrandeten Feld unten ersichtlich.

Somit erhält das Departement für jedes Semester eine Liste von kritisch evaluierten Lehrveranstaltungen und Prüfungen. Der Massnahmendialog muss für jede kritische Lehrveranstaltung oder Prüfung aufgerufen und ausgefüllt werden. Die Suche nach kritisch bewerteten Veranstaltungen, die in den Departementen bisher manuell erfolgt ist, entfällt damit. In der Liste ist zudem ersichtlich, ob die entsprechende Lehrveranstaltung oder Prüfung schon in früheren Semestern kritisch evaluiert war. Somit lassen sich Trends wie die Verbesserung einer kritischen Veranstaltung besser nachvollziehen. Am Ende der Liste der kritischen Lehrveranstaltungen und Prüfungen muss das Departement noch ein Fazit über die Unterrichtsbeurteilungen des aktuellen Semesters eingeben, zu welchem die Rektorin auch in einem Feld ein Feedback geben kann.

Die Weiterentwicklung unterstützt den Feedbackprozess zwischen Departementen und Rektorin. Auf umständliche Berichterstattung und Korrespondenz in brieflicher Form kann in Zukunft verzichtet werden. Das Erkennen von kritischen und von wiederholt kritischen Lehrveranstaltungen und Prüfungen ist automatisiert, was den administrativen Aufwand wesentlich verringert und der inhaltlichen Arbeit an der Verbesserung der Qualität von Lerneinheiten und Prüfungen zugutekommt. Natürlich ist mit der Weiterentwicklung auch die Hoffnung verbunden, dass der Feedbackprozess in Zukunft etwas beschleunigt werden kann.

Read more

Posted on ,

Going paperless: The revised portal page in Online Examinations at ETH Zurich introduced in Spring Semester 2020

In online examinations at ETH Zurich, the portal page is the website students see first when they face the exam computer and is thus the entry point for every online examination with Moodle. A revised portal page was introduced in September 2020, focusing on improvements in several key areas: 1) going paperless, 2) exam administration, 3) visual redesign and 4) technical infrastructure.

Figure of the revised portal page used in online examination with Moodle at ETH Zurich.
Figure 1. Left side: Portal page with filled out form and confirmation dialogue. Right side: Manual with general information about online examinations and Moodle, opened by clicking on the blue i-icon on the bottom left.

Going paperless

Before the revision, students writing an online examination always found a piece of paper at their workspace. The piece of paper contained general information about online examinations and Moodle, served to track the specific computers used by students (students noted their name and computer number on it) and had to be signed (to confirm knowledge that technical problems are to be reported immediately and that screens are recorded).

The preparation and distribution of the paper sheets was time-consuming both on part of the LET staff and examiners. Therefore, the goal  was to provide all required information to students digitally, at the same time ensuring availability not only during, but also before and after an examination, as it is the case with paper. Fortunately, SafeExamBrowser, which is used at ETH Zurich to provide a safe and intuitive exam environment in online examinations with Moodle, includes functionality to easily give students access to specific additional resources. We thus designed a “manual” webpage containing all relevant information that can be viewed by students at all times simply by clicking on the respective icon in the taskbar (see Figure 1, right side).

Instead of noting their name and used computers on the paper, the revised portal page allows students to enter their personal information directly on the webpage using a simple form. The information, including the used computer, is automatically and cleanly stored in a database. In addition, as a replacement for the signature on paper, the portal page was extended by a dialogue presenting information that must be confirmed to be able to proceed to the actual examination (see Figure 1, left side).

Exam Administration

Due to the growing number of online examinations at ETH Zurich, it was getting increasingly difficult to maintain the previous portal page and store the papers in a way to provide quick access to the required information when needed (i.e., association of computers and students). The revised portal page therefore includes a separate space for LET to administer the examinations that are available for students and search used computers on an exam-by-exam basis.

Visual redesign

Finally, while Moodle has undergone a visual overhaul in recent years, the design of the old portal page was lagging behind. In addition to updating the design in general, the theme of the revised portal page is now based on the Moodle theme to also provide a more consistent and streamlined exam environment.

Technical Infrastructure

Similarly, it was also time to update the technical infrastructure of the portal page. It was a plain HTML site that could only be updated by one person at a time to prevent that no changes were accidentally overwritten. In contrast, the revised portal page is a state-of-the-art application with a separate administration space that can be used by multiple users at once. Two load-balanced frontend servers ensure that all requests from the examination clients are reliably processed and all data are stored in a central database on a separate server.

The revised portal page was developed alongside the regular operations of the online examinations service and was planned to be tested in Spring Semester 2020 in a few select examinations. However, when it became apparent that on-site examinations in 2020 were to be conducted under special circumstances due to the Coronavirus pandemic, we decided early on to introduce it more broadly to facilitate the implementation of the hygienic measures by going paperless. Extensive security measures were taken and an organizational as well as a technical fallback was in place at all times, which – as expected – was not needed in the end. After the positive and smooth experience of the first examination session, slight improvements were added for Autumn Semester 2020 and analogous functionalities were developed for setups not using Moodle such as Linux examinations. In the future, the plan is to implement a functionality that allows easy pre-assignment of students to computers by displaying the corresponding name directly on the screen.

If you want to know more about online examinations at ETH Zurich, please do not hesitate to contact online-pruefungen@let.ethz.ch.  

Read more

Posted on ,