Safe Exam Browser Server Screen Proctoring Service
Gratulation zum ID-Innovationspreis 2025 an Tobias Halbherr, Tony Moser, Kristina Isacson, Nadim Ritter, Andreas Hefti, Daniel Schneider und Damian Büchel!
Einleitung
Digitale Prüfungen stellen besondere Anforderungen an die rechtssichere Dokumentation und Nachverfolgbarkeit der individuellen Prüfungsverläufe. Dies ist insbesondere in Fällen von Beschwerden, Rekursen oder technischen Problemen relevant, um vollständige Transparenz und Nachvollziehbarkeit zu gewährleisten. Bislang kam dafür bei Digitalen Prüfungen auf ETH-eigenen Rechnern eine kommerzielle Lösung zum Einsatz, die ursprünglich zur Erkennung von Insider-Bedrohungen im Finanzsektor entwickelt wurde. Diese Lösung entspricht jedoch nicht den datenschutzrechtlichen Anforderungen beim Einsatz auf studentischen Bring Your Own Devices (BYODs). Darüber hinaus fehlen dieser Lösung Funktionen, welche spezifisch für den Prüfungsbereich Mehrwerte schaffen. Schliesslich fehlt auch eine Integration mit dem Safe Exam Browser (SEB), Moodle und dem auf den Lehrbetriebsapplikationen basierenden digitalen Prüfungsökosystem der ETH Zürich.
Vor diesem Hintergrund entwickelt die Sektion EduIT der ETH-Informatikdienste den datenschutzkonformen SEB-Server Screen Proctoring Service (SEB SPS). Dieser Service zeichnet die individuellen Prüfungsverläufe in Form von sequenziellen Screenshots auf und speichert dazu relevante Metadaten, etwa die aktuell genutzte Drittapplikation oder die im SEB-Browserfenster aufgerufene URL. Als Bestandteil des SEB-ôkosystems ist der SEB SPS direkt in das Moodle-Prüfungssystem integriert. Diese Integration ermöglicht ein gezieltes Rechtemanagement und unterstützt effiziente, benutzerfreundliche Workflows. Dadurch erhalten die Prüfenden mehr Autonomie, während der Supportaufwand für EduIT deutlich reduziert wird.
EduIT hat die Funktionalitäten von SEB SPS gezielt für den Prüfungsbereich entwickelt und damit die technische Basis für neue, didaktisch innovative digitale Prüfungsszenarien bedeutend erweitert. Dazu zählen etwa betrugssichere Open-Internet-Prüfungen sowie Prüfungen unter Einbezug von webbasierten Chatbots.
Vom SEB-Server Screen Proctoring Service profitieren zahlreiche Zielgruppen: Studierende und Dozierende sämtlicher Departemente, EduIT, die Informatikdienste (ID), die Akademischen Dienste, die Unit for Teaching and Learning (UTL) sowie das Rektorat. Darüber hinaus ist der Nutzen nicht auf die ETH Zürich beschränkt; dank der weiten Verbreitung des SEB-ôkosystems – mit weit über 10 Millionen direkten SEB-Downloads pro Jahr – profitieren Hochschulen und Bildungseinrichtungen weltweit.
Das Safe Exam Browser-Ökosystem
Der Safe Exam Browser (SEB) bildet ein vielseitiges ôkosystem aus modularen Werkzeugen, die eine sichere Durchführung von computerbasierten Prüfungen ermöglichen. Dieses ôkosystem umfasst SEB-Clients für Windows, macOS und iOS, welche in Verbindung mit einem webbasierten Learning Management System (LMS) oder einem E-Assessment-System eingesetzt werden. Ergänzend können optionale Komponenten wie die SEB-Verificator App, der SEB-Server mit dem SEB Server Screen Proctoring Service genutzt werden, um die Funktionalität und Sicherheit weiter zu erhöhen.
Die Produkte des SEB-ôkosystems stehen als Freeware zur Verfügung. Sie verwandeln jeden Computer vorübergehend in eine geschützte Prüfungsstation. Durch die Kontrolle des Zugriffs auf Systemfunktionen, externe Webseiten und Anwendungen wird verhindert, dass während einer Prüfung unerlaubte Ressourcen und Kommunikationskanäle verwendet werden können.
SEB ist open-source, wird unter der Mozilla Public License angeboten, an der ETH Zürich entwickelt und durch die SEB Alliance zusammen mit der ETH Zürich finanziert, was eine kontinuierliche Weiterentwicklung und breite Nutzbarkeit sicherstellt.
SEB Server Screen Proctoring Service
Der SEB Server Screen Proctoring Service ist ein optionaler Bestandteil des SEB-ôkosystems. Er erstellt eine vom eigentlichen Prüfungssystem (z.B. Moodle) unabhängige Aufzeichnung jedes individuellen Prüfungsverlaufs in Form von regelmässigen Screenshots. Die Aufzeichnungen können in Echtzeit oder zeitversetzt mittels eines Mediaplayers eingesehen werden. Hierzu gibt es eine Detailansicht oder eine Mehrfachansicht mit n-mal n Kacheln, welche die Darstellung mehrerer Prüfungen gleichzeitig erlaubt. Zudem können die Metadaten der Screenshots mittels einer Browse-Funktion sortiert sowie mittels einer Suchfunktion gezielt durchsucht werden. Beide Funktionen können auf einzelne Prüfungsversuche eingegrenzt oder aber auf ganze Prüfungen ausgeweitet werden. Es ist also zum Beispiel möglich, kandidatenübergreifend alle Screenshots, in welchen auf eine bestimmte URL zugegriffen wurde, darzustellen.
Die unabhängige Aufzeichnung der individuellen Prüfungsverläufe in Form von Screenshots und Metadaten verbessert die Nachvollziehbarkeit der individuellen Prüfungsverlaufe massgeblich. Diese verbesserte Nachvollziehbarkeit von digitalen Prüfungen bringt wesentliche Vorteile in vier Bereichen: Erstens eine grössere Rekurssicherheit sowie die Dokumentation und Verifikation von Betrugsversuchen am Prüfungsgerät, zweitens die Möglichkeit durch technische Zwischenfälle oder Nutzerfehler verloren gegangene Prüfungsarbeit zu rekonstruieren, drittens eine vereinfachte Analyse und Debugging von technischen Zwischenfällen in Prüfungen sowie viertens die Gestaltung offener, aber betrugssicherer digitaler Prüfungsszenarien.
In allen vier Fällen werden die durch Screen Proctoring aufgezeichneten Daten nicht allein ausgewertet, sondern zusammen mit anderen relevanten verfügbaren Daten, wie den eigentlichen Prüfungsdaten in Moodle und/oder Ereignisprotokollen der Prüfungsaufsichten sowie des technischen vor-Ort-Supports, ausgewertet. Die Triangulation der verschiedenen Ereignisdaten ermöglicht, die verschiedenen Datenquellen gegenseitig zu validieren und erlaubt eine genauere und zuverlässigere Rekonstruktion der Ereignisse. Zudem schaffen die Screenshots Transparenz und sorgen für Glaubwürdigkeit. So reichte zum Beispiel einst eine Studentin eine Beschwerde ein, die in Moodle erfassten Antworten seien nicht die Antworten, welche sie eingegeben habe. In der Prüfung mussten die Studierenden in mehreren aufeinanderfolgenden Aufgaben numerische Werte als Antworten eingeben. Bei der Studentin war immer derselbe numerische Wert erfasst. Die Studentin argumentierte, sie habe diesen Wert nur einmal eingegeben und es liege offensichtlich ein technischer Fehler vor. Anstelle argumentieren zu müssen, dass ein solcher Fehler technisch weder plausibel noch möglich sei, konnten wir einfach die Bildschirmaufzeichnung konsultieren und mit den in Moodle erfassten Daten vergleichen. Aus der Aufzeichnung ging auch für Laien klar nachvollziehbar hervor, dass tatsächlich derselbe Wert mehrfach eingegeben wurde – sogar eine Korrektur wurde ersichtlich, als sie sich bei einer späteren Aufgabe in einer Nachkommastelle vertippte – ebenso stimmten die Timestamps der Bildschirmaufzeichnung mit denjenigen in Moodle genau überein. Die Bildschirmaufzeichnung schaffte Transparenz und der Fall konnte mit geringem Aufwand und noch vor einer Eskalation in Form eines Rechtsweges abgeschlossen werden.
Umgekehrt kann es zum Beispiel vorkommen, dass die Arbeit von Studierenden durch technische Zwischenfälle oder Nutzerfehler nicht gespeichert oder gelöscht wird. In solchen Fällen ermöglicht die unabhängige Bildschirmaufzeichnung eine Rekonstruktion der verlorenen Arbeit. Dies kann zum Beispiel vorkommen, wenn Studierende ihre Dateien nicht im vorgesehenen Arbeitsordner speichern. Somit speichert der eigentlich vorhandene Backup-Loop die Arbeit nicht regelmässig zwischen. Ein anderes Beispiel ist, dass die Studierenden die Datei mit ihrer Arbeit unbeabsichtigt löschen, leer überspeichern oder vergessen, diese in Moodle hochzuladen. Die Bildschirmaufzeichnung ermöglicht in solchen Fällen Kulanz und die Rekonstruktion der Arbeit, da diese in Form der Screenshots gespeichert wurde.
Kommt es zu technischen Komplikationen in einer digitalen Prüfung – zum Beispiel das wiederkehrende Einfrieren einer Programmierumgebung aufgrund einer ungeeignet gestalteten Prüfungsaufgabe, welche zu viel Arbeitsspeicher beansprucht und dies im Testing vor der Prüfung nicht festgestellt wurde – so ermöglicht das Screen Proctoring Zweierlei: Erstens erleichtern die Bildschirmaufzeichnungen die Problemanalyse und die Identifikation von Lösungen noch während der laufenden Prüfung enorm und erhöhen damit die Wahrscheinlichkeit, dass das Problem noch in der laufenden Prüfung wirksam adressiert werden und die Prüfung trotz technischer Probleme regulär und fair abgeschlossen werden kann erheblich. Zweitens wird in solchen Fällen die durch die technische Komplikation verloren gegangene Prüfungszeit der Studierenden von den Prüfungsaufsichten protokolliert und wieder gutgeschrieben. Gerade bei grossen Prüfungen kann dieser Prozess sehr anspruchsvoll sein. Die Bildschirmaufzeichnungen ermöglichen, nachträglich zu verifizieren, ob betroffene Studierende tatsächlich die ihnen zustehenden Zeitverlängerungen erhalten haben.
Zwar sind alle beschriebenen Arten von Zwischenfällen in der digitalen Prüfungspraxis an der ETH selten, aufgrund der grossen Anzahl digitaler Prüfungen – zehntausende Einzelprüfungen pro Jahr – sind sie im Servicebetrieb dennoch Alltag. Ohne Screen Proctoring wäre das Abhandeln solcher Fälle ungleich unzufriedenstellender sowie zeitaufwändiger für die betroffenen Studierenden, Dozierenden und/oder die ETH und ein Teil der Fälle müsste gänzlich ungeklärt bleiben.
Schliesslich ermöglicht der SEB Server Screen Proctoring Service die Gestaltung offener aber adäquat betrugssicherer Prüfungsszenarien wie Open-Internet-Prüfungen. Die bewährte Funktionsweise des SEB-ôkosystems sieht vor, dass Examinierende Ressourcen, auf welche Studierende in einer Prüfung Zugriff haben sollen – wie zum Beispiel ein Statistikprogramm, eine bestimmte Webseite oder die Vorlesungsunterlagen im PDF-Format – explizit verfügbar machen und freigeben. Allerdings gibt es Prüfungsszenarien, in welchen die Examinierenden den Studierenden ausdrücklich nicht vorgeben möchten, welche Ressourcen die Studierenden nutzen. Dies kann zum Beispiel eine Prüfung sein, welche die Recherche von Forschungsliteratur beinhaltet. In solchen Fällen kann mit SEB Screen Proctoring eine sichere Open-Internet-Prüfung gestaltet werden. SEB wird so konfiguriert, dass Studierende freien Zugang auf das Internet haben. Die Examinierenden definieren klare Verhaltensregeln für die Prüfung. Diese beinhalten in der Regel ein Verbot der Kommunikation mit anderen Menschen sowie insbesondere des Austauschs von Prüfungsarbeiten. Die Einhaltung der Verhaltensregeln wird dann durch die Echtzeitüberwachung der Studierenden im SEB Server Screen Proctoring Service sichergestellt, unterstützt durch die klassische Prüfungsaufsicht vor Ort im Prüfungsraum. Hierbei erlangen die auf das Prüfungsszenario optimierte Browse- und Suchfunktion grosse Bedeutung, da sie eine effiziente Überwachung der Einhaltung der vereinbarten Verhaltensregeln einer Prüfung ermöglichen. Diese offenen, aber sicheren Prüfungssetups ermöglichen grundlegend neue, authentische Prüfungsszenarien mit einer grösseren Nähe zur Fach- und Forschungspraxis, welche im Kontext projektbasierter Lehre sowie fortgeschrittener Veranstaltungen grosses Potential bieten.
SEB Server Screen Proctoring in der Praxis
SEB SPS befindet sich bereits im Regeleinsatz an der ETH sowie an anderen Hochschulen. Auch betrugssichere Open-Internet-Prüfungen mit SEB SPS wurden an der ETH bereits erfolgreich pilotiert. SEB SPS konnte zunächst noch nicht alle Prüfungsszenarien von EduIT abdecken (z.B. Linux-Prüfungen). Die noch erforderlichen Änderungen konnten 2025 erfolgreich abgeschlossen werden, womit inzwischen alle Prüfungsszenarien im Service Digitale Prüfungen abgedeckt werden.
Die SEB-Entwickler von EduIT sind durch die SEB-Allianz sowie die ETH Zürich finanziert. Im Betrieb führt SEB SPS zu erheblichen Einsparungen. Es sind dies insbesondere wegfallende Lizenzkosten für die kommerziellen Lösung sowie eine substanzielle Entlastung des EduIT Prüfungssupports während der Prüfungszeiten. Der Betrieb der on-Prem Server- und Speicherinfrastruktur für SEB SPS ist im Vergleich zur kommerziellen Lösung kostenneutral.
ID-Innovationspreis
Die ID-Mitarbeitenden können sich selbst oder andere ID-Mitarbeitende als Bewerber:in vorschlagen. Dabei können sich sowohl Einzelpersonen als auch ganze Teams bewerben bzw. vorgeschlagen werden. Eine Innovationsidee muss eine klare Neuerung beinhalten, die in dieser Form bisher bei der ID / an der ETH nicht umgesetzt oder angedacht war. (Auszug aus den Regeln & Bestimmungen)
Der erste ID-Innovationspreis wurde vom Direktor Dr. Rui Brandao an der ID-Mitarbeitenden-Information am 2. Juli 2018 vergeben.
Posted on
in IT-Sich, Mail, Web, News, Passwort, Applikationen, Software, Arbeitsplätze, Support
