Tag: Unterrichtsbeurteilung

Vereinfachtes Reporting in der Unterrichtsbeurteilung der ETH Zürich

An vielen Hochschulen sind die Prozesse der Unterrichtsbeurteilung eindeutig geregelt. Dies aber meist nur bis zum Ende der Datenerhebung. In den letzten Jahren rückte der Schlussteil des Evaluationsprozesses, also die Analyse der Resultate und die Festlegung von Massnahmen aufgrund dieser Resultate, vermehrt in den Fokus. Bisher mussten die 16 Departemente pro Semester je einen Bericht an die Rektorin senden, in dem die kritisch evaluierten Veranstaltungen eruiert und Ursachen und Massnahmen zu deren Verbesserung beschrieben wurden. Die Rektorin hat dann wieder in Briefform eine Rückmeldung an jedes Departement zum Bericht geschrieben.

Mit einer Weiterentwicklung unserer Evaluationssoftware EvaSys können wir nun diesen Feedback-Prozess mit einer Online-Applikation unterstützen. In einem ersten Schritt werden die kritisch evaluierten Lehrveranstaltungen und Prüfungen automatisch aufgrund von flexibel einstellbaren Kriterien erkannt und den Departementen in einer Liste präsentiert. Diskussionen, ob eine Lehrveranstaltung oder Prüfung nun kritisch evaluiert ist oder vergessen wurde, gehören so der Vergangenheit an. Kritisch bedeutet, dass das Departement bei der entsprechenden Lehrveranstaltung oder Prüfung genauer hinschauen und eine Rückmeldung an die Rektorin geben muss. Dieses «genaue Hinschauen» ist nun in einem eigenen Menü, dem Massnahmendialog, abgebildet, wie er in der Abbildung unten ersichtlich ist.

Bild des Massnahmendialogs
Abbildung: Massnahmendialog zu einer Lehrveranstaltung. Im oberen Bereich werden die Fragetexte und die kritischen Mittelwerte (<3.0 bei einer 5-er-Skala) eingeblendet. Im grün umrandeten Feld muss das Departement Ursachen und Massnahmen eingeben. Rechts davon muss aus einer Liste von vordefinierten stichwortartigen, häufig getroffenen Massnahmen mind. eine ausgewählt werden. Dies kann auch eine eigens hinzugefügte Massnahme sein. Später im Prozess gibt dann die Rektorin eine Rückmeldung zu den von den Departementen beschriebenen Massnahmen. Diese Rückmeldung wird dann im grau umrandeten Feld unten ersichtlich.

Somit erhält das Departement für jedes Semester eine Liste von kritisch evaluierten Lehrveranstaltungen und Prüfungen. Der Massnahmendialog muss für jede kritische Lehrveranstaltung oder Prüfung aufgerufen und ausgefüllt werden. Die Suche nach kritisch bewerteten Veranstaltungen, die in den Departementen bisher manuell erfolgt ist, entfällt damit. In der Liste ist zudem ersichtlich, ob die entsprechende Lehrveranstaltung oder Prüfung schon in früheren Semestern kritisch evaluiert war. Somit lassen sich Trends wie die Verbesserung einer kritischen Veranstaltung besser nachvollziehen. Am Ende der Liste der kritischen Lehrveranstaltungen und Prüfungen muss das Departement noch ein Fazit über die Unterrichtsbeurteilungen des aktuellen Semesters eingeben, zu welchem die Rektorin auch in einem Feld ein Feedback geben kann.

Die Weiterentwicklung unterstützt den Feedbackprozess zwischen Departementen und Rektorin. Auf umständliche Berichterstattung und Korrespondenz in brieflicher Form kann in Zukunft verzichtet werden. Das Erkennen von kritischen und von wiederholt kritischen Lehrveranstaltungen und Prüfungen ist automatisiert, was den administrativen Aufwand wesentlich verringert und der inhaltlichen Arbeit an der Verbesserung der Qualität von Lerneinheiten und Prüfungen zugutekommt. Natürlich ist mit der Weiterentwicklung auch die Hoffnung verbunden, dass der Feedbackprozess in Zukunft etwas beschleunigt werden kann.

Read more

Posted on ,

Schlechte Unterrichtsbeurteilungen für innovativen Unterricht?

Unterricht

“Mit viel Engagement habe ich meine Lehrveranstaltung nach neuesten didaktischen Erkenntnissen umgestaltet. Sei es im Flipped Classroom oder mit erhöhtem Einsatz von Clicker-Fragen, die Studierenden waren während der Präsenz aktiv gefordert und haben auch gerne mitgemacht. Doch mit der Unterrichtsbeurteilung kam die grosse Enttäuschung. Die Studierenden bewerten mich und meinen Unterricht deutlich schlechter als vorher. Sie bevorzugen sogar Frontalunterricht, denn damit würden sie besser lernen. Habe ich etwas falsch gemacht? Soll ich wieder zurück zu meiner altbewährten Vorlesung?”

Was hier wie ein Einzelfall klingt, ist doch sehr verbreitet. Zahlreiche Untersuchungen dokumentieren, dass Unterrichtsformen mit Lerner zentrierten Methoden häufig zu schlechten Evaluationsergebnissen führen (z.B. Seidel, 2013). In einer kürzlich publizierten Studie haben Louis Deslauriers und Kollegen/innen der Harvard University genau diese Problematik untersucht (Deslauriers, 2019). Sie gingen der Frage nach, ob es bei aktiv involvierten Studierenden eine Diskrepanz zwischen dem tatsächlichen und dem empfundenen Lerngewinn gibt. Falls Studierende den Eindruck haben, weniger als in einer Vorlesung gelernt zu haben, dann führt dies zwangsläufig zu schlechteren Evaluationsergebnissen. Die experimentell angelegte Untersuchung bestätigte die negative Korrelation zwischen der Selbsteinschätzung und dem effektivem Lerngewinn. Folgende drei Gründe sind dafür verantwortlich:

  • Interaktive Unterrichtsmethoden verlangen eine erhöhte kognitive Leistung, die von Studierenden dann nicht unbedingt mit dem Lernen in Verbindung gesetzt wird.
  • Insbesondere Studienanfänger/innen verfügen noch nicht über die Fähigkeit, ihr eigenes Wissen in einem neuen Fachgebiet korrekt einzuschätzen.
  • Die klare und sprachgewandte Präsentation beim Frontalunterricht verleitet Studierende dazu, ihr eigenes Verständnis in Vorlesungen deutlich zu überschätzen.

Aufgrund der Ergebnisse einer Nachuntersuchung schlagen Delauriers und Kollegen/innen einige recht simple Massnahmen vor, um dieses Missverhältnis zwischen gefühltem und tatsächlichem Lerngewinn zu unterbinden. Zentral dabei ist, die Befürchtungen und Ängste der Studierenden ernst zu nehmen und sie zu thematisieren. So kann eine kurze Darlegung der Lernvorteile von aktivem Unterricht (z.B. Freeman, 2014) während der ersten Unterrichtsstunde bereits erste Befürchtungen auffangen. Aber auch im weiteren Verlauf der Veranstaltung sollte immer wieder auf den erzielten Lernfortschritt hingewiesen werden. Damit erlangen die Studierende eine bessere Einschätzung ihres eigenen Lerngewinns. Hilfreich ist zudem, auf die Gefahr der Lernillusion bei eloquenter Redegewandtheit des Dozierenden in Vorlesungen hinzuweisen (z.B. Toftness, 2018).

Auch an der ETH konnten wir den Einfluss dieser Massnahmen bestätigen. In einer Studie am Departement Physik verglichen wir den Lerngewinn zwischen interaktivem Unterricht und Vorlesung. Bereits in der ersten Lerneinheit wiesen wir die interaktive Gruppe ausführlich auf die positiven Auswirkungen des interaktiven Unterrichts hin. Zusätzlich wurden Unsicherheiten bezüglich des eigenen Lerngewinns im Semester kontinuierlich thematisiert. Bei der Unterrichtsevaluation konnten wir daraufhin kein Missverhältnis zwischen effektiver und geschätzter Lernleistung feststellen. Studierende im interaktiven Unterrichtsformat erzielten einen höheren Lerngewinn und gaben signifikant bessere Werte bezüglich ihres eigenen Lernens an als jene in der parallel durchgeführten Vorlesung (Schiltz, 2018).

Tipp:
Was hier jetzt speziell für interaktive Unterrichtsformen gilt, lässt sich sicher auch auf jeden anderen Wechsel der Lernform übertragen. Insbesondere wenn die neue Lernform noch nicht geläufig ist, sollte man die anfänglichen Bedenken der Studierenden ernst nehmen und ihnen klar vermitteln, welchen Nutzen sie vom Wechsel zu erwarten haben. Daneben ist es wichtig, Ergebnisse der Unterrichtsbeurteilung (ob gute oder schlechte) kritisch zu hinterfragen. Nicht immer ist der kausale Zusammenhang zwischen studentischer Zufriedenheit und tatsächlichem Lernerfolg gegeben (z.B. Carpenter, 2020).

Read more

Posted on ,

Online-Unterrichtsbeurteilung im Hörsaal ist nun einfach möglich

Den Fragebogen kann man auch online im Hörsaal ausfüllen.

Studien zeigen, dass sich die Rücklaufquote zur Unterrichtsbeurteilung steigern lässt, wenn Dozierende die Studierenden zur Teilnahme an der UB motivieren und Zeit zum Ausfüllen der Umfrage im Unterricht zur Verfügung stellen.
Wir haben unser Evaluierungssystem EvaSys in diesem Jahr so weiterentwickelt, dass die Dozierenden in der Lage sind, das Startdatum der Umfrage zur Beurteilung ihrer Lerneinheit selber einzustellen. Dies ist insbesondere sinnvoll wenn die Online-Unterrichtsbeurteilung im zu einem bestimmten Zeitpunkt im Hörsaal durchgeführt werden soll.
Ein AAI-Login mit nethz-Zugangsdaten unter der URL
https://evasys-back1.let.ethz.ch/EUB/
genügt und die Dozierenden landen in der Ansicht “Meine Umfragen”.

Was ist in dieser Ansicht möglich?
Im aktuellen Semester:
Die Dozierenden sehen alle ihre Lerneinheiten des Semesters, zu denen eine Umfrage angelegt wurde. Sowohl Haupt- als auch Sekundärdozierende einer Lerneinheit können das Startdatum der Online-Umfrage durch Klicken auf das Bleistift-Symbol anpassen. Wenn die Befragung online im Hörsaal durchgeführt werden soll, startet sie/er die Umfrage idealerweise ca. 15 Minuten vor Beginn der Veranstaltung. Die Studierenden erhalten zum eingestellten Zeitpunkt via E-Mail einen personalisierten Link zur Umfrage und der/die Dozierende kann die Studierenden auffordern, die Umfrage im Hörsaal mit mobilen Geräten auszufüllen.

Für vergangene Semester:
Durch Wahl eines vergangenen Semesters können Dozierende die Resultate aus Lerneinheits- und Leistungskontrollbeurteilungen der letzten 7 Jahre einsehen, die Sie betreffen.

Wir hoffen, dass ab dem HS18 viele Dozierende die Möglichkeit einer Kursbeurteilung in Hörsaal nutzen und dadurch ein positiver Effekt auf die Rücklaufquote sichtbar wird.

Read more

Posted on ,