Author: Marco Lehre

Vereinfachtes Reporting in der Unterrichtsbeurteilung der ETH Zürich

An vielen Hochschulen sind die Prozesse der Unterrichtsbeurteilung eindeutig geregelt. Dies aber meist nur bis zum Ende der Datenerhebung. In den letzten Jahren rückte der Schlussteil des Evaluationsprozesses, also die Analyse der Resultate und die Festlegung von Massnahmen aufgrund dieser Resultate, vermehrt in den Fokus. Bisher mussten die 16 Departemente pro Semester je einen Bericht an die Rektorin senden, in dem die kritisch evaluierten Veranstaltungen eruiert und Ursachen und Massnahmen zu deren Verbesserung beschrieben wurden. Die Rektorin hat dann wieder in Briefform eine Rückmeldung an jedes Departement zum Bericht geschrieben.

Mit einer Weiterentwicklung unserer Evaluationssoftware EvaSys können wir nun diesen Feedback-Prozess mit einer Online-Applikation unterstützen. In einem ersten Schritt werden die kritisch evaluierten Lehrveranstaltungen und Prüfungen automatisch aufgrund von flexibel einstellbaren Kriterien erkannt und den Departementen in einer Liste präsentiert. Diskussionen, ob eine Lehrveranstaltung oder Prüfung nun kritisch evaluiert ist oder vergessen wurde, gehören so der Vergangenheit an. Kritisch bedeutet, dass das Departement bei der entsprechenden Lehrveranstaltung oder Prüfung genauer hinschauen und eine Rückmeldung an die Rektorin geben muss. Dieses «genaue Hinschauen» ist nun in einem eigenen Menü, dem Massnahmendialog, abgebildet, wie er in der Abbildung unten ersichtlich ist.

Bild des Massnahmendialogs
Abbildung: Massnahmendialog zu einer Lehrveranstaltung. Im oberen Bereich werden die Fragetexte und die kritischen Mittelwerte (<3.0 bei einer 5-er-Skala) eingeblendet. Im grün umrandeten Feld muss das Departement Ursachen und Massnahmen eingeben. Rechts davon muss aus einer Liste von vordefinierten stichwortartigen, häufig getroffenen Massnahmen mind. eine ausgewählt werden. Dies kann auch eine eigens hinzugefügte Massnahme sein. Später im Prozess gibt dann die Rektorin eine Rückmeldung zu den von den Departementen beschriebenen Massnahmen. Diese Rückmeldung wird dann im grau umrandeten Feld unten ersichtlich.

Somit erhält das Departement für jedes Semester eine Liste von kritisch evaluierten Lehrveranstaltungen und Prüfungen. Der Massnahmendialog muss für jede kritische Lehrveranstaltung oder Prüfung aufgerufen und ausgefüllt werden. Die Suche nach kritisch bewerteten Veranstaltungen, die in den Departementen bisher manuell erfolgt ist, entfällt damit. In der Liste ist zudem ersichtlich, ob die entsprechende Lehrveranstaltung oder Prüfung schon in früheren Semestern kritisch evaluiert war. Somit lassen sich Trends wie die Verbesserung einer kritischen Veranstaltung besser nachvollziehen. Am Ende der Liste der kritischen Lehrveranstaltungen und Prüfungen muss das Departement noch ein Fazit über die Unterrichtsbeurteilungen des aktuellen Semesters eingeben, zu welchem die Rektorin auch in einem Feld ein Feedback geben kann.

Die Weiterentwicklung unterstützt den Feedbackprozess zwischen Departementen und Rektorin. Auf umständliche Berichterstattung und Korrespondenz in brieflicher Form kann in Zukunft verzichtet werden. Das Erkennen von kritischen und von wiederholt kritischen Lehrveranstaltungen und Prüfungen ist automatisiert, was den administrativen Aufwand wesentlich verringert und der inhaltlichen Arbeit an der Verbesserung der Qualität von Lerneinheiten und Prüfungen zugutekommt. Natürlich ist mit der Weiterentwicklung auch die Hoffnung verbunden, dass der Feedbackprozess in Zukunft etwas beschleunigt werden kann.

Read more

Posted on ,

Online-Unterrichtsbeurteilung im Hörsaal ist nun einfach möglich

Den Fragebogen kann man auch online im Hörsaal ausfüllen.

Studien zeigen, dass sich die Rücklaufquote zur Unterrichtsbeurteilung steigern lässt, wenn Dozierende die Studierenden zur Teilnahme an der UB motivieren und Zeit zum Ausfüllen der Umfrage im Unterricht zur Verfügung stellen.
Wir haben unser Evaluierungssystem EvaSys in diesem Jahr so weiterentwickelt, dass die Dozierenden in der Lage sind, das Startdatum der Umfrage zur Beurteilung ihrer Lerneinheit selber einzustellen. Dies ist insbesondere sinnvoll wenn die Online-Unterrichtsbeurteilung im zu einem bestimmten Zeitpunkt im Hörsaal durchgeführt werden soll.
Ein AAI-Login mit nethz-Zugangsdaten unter der URL
https://evasys-back1.let.ethz.ch/EUB/
genügt und die Dozierenden landen in der Ansicht “Meine Umfragen”.

Was ist in dieser Ansicht möglich?
Im aktuellen Semester:
Die Dozierenden sehen alle ihre Lerneinheiten des Semesters, zu denen eine Umfrage angelegt wurde. Sowohl Haupt- als auch Sekundärdozierende einer Lerneinheit können das Startdatum der Online-Umfrage durch Klicken auf das Bleistift-Symbol anpassen. Wenn die Befragung online im Hörsaal durchgeführt werden soll, startet sie/er die Umfrage idealerweise ca. 15 Minuten vor Beginn der Veranstaltung. Die Studierenden erhalten zum eingestellten Zeitpunkt via E-Mail einen personalisierten Link zur Umfrage und der/die Dozierende kann die Studierenden auffordern, die Umfrage im Hörsaal mit mobilen Geräten auszufüllen.

Für vergangene Semester:
Durch Wahl eines vergangenen Semesters können Dozierende die Resultate aus Lerneinheits- und Leistungskontrollbeurteilungen der letzten 7 Jahre einsehen, die Sie betreffen.

Wir hoffen, dass ab dem HS18 viele Dozierende die Möglichkeit einer Kursbeurteilung in Hörsaal nutzen und dadurch ein positiver Effekt auf die Rücklaufquote sichtbar wird.

Read more

Posted on ,

Online-Prüfungen direkt nach Semesterende: Raum mit 240 Plätzen steht neu zur Verfügung

Seit der Prüfungssession im Februar 2018 betreiben die Informatikdienste zusammen mit der Abteilung LET in der sogenannten Fokushalle im ONA-Gebäude an der Neunbrunnenstrasse in Oerlikon einen Prüfungsraum mit 240 Plätzen für Studierende. Die verfügbare Raumkapazität für Online-Prüfungen in den Prüfungssessionen konnte damit verdoppelt werden. Die Fokushalle ONA E7, in der während des Semesters Vorlesungen des D-ARCH stattfinden, wird jeweils für die Prüfungen um- und nach der Prüfungssession wieder rückgebaut.

Online-Prüfungen direkt nach dem Semesterende: Der Raum ONA E7 in Oerlikon mit 240 Prüfungsplätzen steht zur Verfügung. (Bild: ETH/Alessandro Della Bella)

Nun steht der nächste Quantensprung an: Das D-ARCH stellt die Fokushalle ab dem Herbstsemester 2018 früher für Prüfungen zur Verfügung. Die Informatikdienste und die Abteilung LET können daher diese grosse Halle schon nach dem Semesterende für Online-Prüfungen anbieten. Online-Prüfungen im ONA E7 sind in den kommenden Semestern immer ab dem ersten Montag nach Semesterende möglich. Die Kapazitäten für Online-Prüfungen in den Wochen nach dem Semesterende können dadurch fast verdreifacht werden.

Insbesondere für Dozierende, die ihre Semesterendprüfung oder benotete Semesterleistung nach Semesterende am Computer durchführen möchten, ist das eine sehr gute Nachricht. Bisher waren die Kapazitäten rund um das Semesterende ausgelastet und wir mussten diverse Anträge negativ beantworten. Die entstandene Warteliste können wir nun verkleinern. Online-Prüfungen mit vielen Studierenden und mit Verwendung von Drittapplikationen (z.B. Statistiksoftware) konnten nun bewilligt werden.

Die Abteilung LET dankt dem Departement ARCH für das grosszügige Entgegenkommen bei der Belegung der Fokushalle ONA E7. Die Verwendung der Fokushalle für Vorlesungen im Semester und für Online-Prüfungen zwischen den Semestern stellt für die ETH Zürich einen grossen Gewinn dar. Schon vorhandene Raumressourcen werden effektiv verwendet, ohne dass dadurch mehr Mietkosten entstehen.

Read more

Posted on , 5 Comments