Tag: Course evaluation

Vereinfachtes Reporting in der Unterrichtsbeurteilung der ETH Zürich

An vielen Hochschulen sind die Prozesse der Unterrichtsbeurteilung eindeutig geregelt. Dies aber meist nur bis zum Ende der Datenerhebung. In den letzten Jahren rückte der Schlussteil des Evaluationsprozesses, also die Analyse der Resultate und die Festlegung von Massnahmen aufgrund dieser Resultate, vermehrt in den Fokus. Bisher mussten die 16 Departemente pro Semester je einen Bericht an die Rektorin senden, in dem die kritisch evaluierten Veranstaltungen eruiert und Ursachen und Massnahmen zu deren Verbesserung beschrieben wurden. Die Rektorin hat dann wieder in Briefform eine Rückmeldung an jedes Departement zum Bericht geschrieben.

Mit einer Weiterentwicklung unserer Evaluationssoftware EvaSys können wir nun diesen Feedback-Prozess mit einer Online-Applikation unterstützen. In einem ersten Schritt werden die kritisch evaluierten Lehrveranstaltungen und Prüfungen automatisch aufgrund von flexibel einstellbaren Kriterien erkannt und den Departementen in einer Liste präsentiert. Diskussionen, ob eine Lehrveranstaltung oder Prüfung nun kritisch evaluiert ist oder vergessen wurde, gehören so der Vergangenheit an. Kritisch bedeutet, dass das Departement bei der entsprechenden Lehrveranstaltung oder Prüfung genauer hinschauen und eine Rückmeldung an die Rektorin geben muss. Dieses «genaue Hinschauen» ist nun in einem eigenen Menü, dem Massnahmendialog, abgebildet, wie er in der Abbildung unten ersichtlich ist.

Bild des Massnahmendialogs
Abbildung: Massnahmendialog zu einer Lehrveranstaltung. Im oberen Bereich werden die Fragetexte und die kritischen Mittelwerte (<3.0 bei einer 5-er-Skala) eingeblendet. Im grün umrandeten Feld muss das Departement Ursachen und Massnahmen eingeben. Rechts davon muss aus einer Liste von vordefinierten stichwortartigen, häufig getroffenen Massnahmen mind. eine ausgewählt werden. Dies kann auch eine eigens hinzugefügte Massnahme sein. Später im Prozess gibt dann die Rektorin eine Rückmeldung zu den von den Departementen beschriebenen Massnahmen. Diese Rückmeldung wird dann im grau umrandeten Feld unten ersichtlich.

Somit erhält das Departement für jedes Semester eine Liste von kritisch evaluierten Lehrveranstaltungen und Prüfungen. Der Massnahmendialog muss für jede kritische Lehrveranstaltung oder Prüfung aufgerufen und ausgefüllt werden. Die Suche nach kritisch bewerteten Veranstaltungen, die in den Departementen bisher manuell erfolgt ist, entfällt damit. In der Liste ist zudem ersichtlich, ob die entsprechende Lehrveranstaltung oder Prüfung schon in früheren Semestern kritisch evaluiert war. Somit lassen sich Trends wie die Verbesserung einer kritischen Veranstaltung besser nachvollziehen. Am Ende der Liste der kritischen Lehrveranstaltungen und Prüfungen muss das Departement noch ein Fazit über die Unterrichtsbeurteilungen des aktuellen Semesters eingeben, zu welchem die Rektorin auch in einem Feld ein Feedback geben kann.

Die Weiterentwicklung unterstützt den Feedbackprozess zwischen Departementen und Rektorin. Auf umständliche Berichterstattung und Korrespondenz in brieflicher Form kann in Zukunft verzichtet werden. Das Erkennen von kritischen und von wiederholt kritischen Lehrveranstaltungen und Prüfungen ist automatisiert, was den administrativen Aufwand wesentlich verringert und der inhaltlichen Arbeit an der Verbesserung der Qualität von Lerneinheiten und Prüfungen zugutekommt. Natürlich ist mit der Weiterentwicklung auch die Hoffnung verbunden, dass der Feedbackprozess in Zukunft etwas beschleunigt werden kann.

Read more

Posted on ,

Online-Unterrichtsbeurteilung im Hörsaal ist nun einfach möglich

Den Fragebogen kann man auch online im Hörsaal ausfüllen.

Studien zeigen, dass sich die Rücklaufquote zur Unterrichtsbeurteilung steigern lässt, wenn Dozierende die Studierenden zur Teilnahme an der UB motivieren und Zeit zum Ausfüllen der Umfrage im Unterricht zur Verfügung stellen.
Wir haben unser Evaluierungssystem EvaSys in diesem Jahr so weiterentwickelt, dass die Dozierenden in der Lage sind, das Startdatum der Umfrage zur Beurteilung ihrer Lerneinheit selber einzustellen. Dies ist insbesondere sinnvoll wenn die Online-Unterrichtsbeurteilung im zu einem bestimmten Zeitpunkt im Hörsaal durchgeführt werden soll.
Ein AAI-Login mit nethz-Zugangsdaten unter der URL
https://evasys-back1.let.ethz.ch/EUB/
genügt und die Dozierenden landen in der Ansicht “Meine Umfragen”.

Was ist in dieser Ansicht möglich?
Im aktuellen Semester:
Die Dozierenden sehen alle ihre Lerneinheiten des Semesters, zu denen eine Umfrage angelegt wurde. Sowohl Haupt- als auch Sekundärdozierende einer Lerneinheit können das Startdatum der Online-Umfrage durch Klicken auf das Bleistift-Symbol anpassen. Wenn die Befragung online im Hörsaal durchgeführt werden soll, startet sie/er die Umfrage idealerweise ca. 15 Minuten vor Beginn der Veranstaltung. Die Studierenden erhalten zum eingestellten Zeitpunkt via E-Mail einen personalisierten Link zur Umfrage und der/die Dozierende kann die Studierenden auffordern, die Umfrage im Hörsaal mit mobilen Geräten auszufüllen.

Für vergangene Semester:
Durch Wahl eines vergangenen Semesters können Dozierende die Resultate aus Lerneinheits- und Leistungskontrollbeurteilungen der letzten 7 Jahre einsehen, die Sie betreffen.

Wir hoffen, dass ab dem HS18 viele Dozierende die Möglichkeit einer Kursbeurteilung in Hörsaal nutzen und dadurch ein positiver Effekt auf die Rücklaufquote sichtbar wird.

Read more

Posted on ,