Vereinfachtes Reporting in der Unterrichtsbeurteilung der ETH Zürich
An vielen Hochschulen sind die Prozesse der Unterrichtsbeurteilung eindeutig geregelt. Dies aber meist nur bis zum Ende der Datenerhebung. In den letzten Jahren rückte der Schlussteil des Evaluationsprozesses, also die Analyse der Resultate und die Festlegung von Massnahmen aufgrund dieser Resultate, vermehrt in den Fokus. Bisher mussten die 16 Departemente pro Semester je einen Bericht an die Rektorin senden, in dem die kritisch evaluierten Veranstaltungen eruiert und Ursachen und Massnahmen zu deren Verbesserung beschrieben wurden. Die Rektorin hat dann wieder in Briefform eine Rückmeldung an jedes Departement zum Bericht geschrieben.
Mit einer Weiterentwicklung unserer Evaluationssoftware EvaSys können wir nun diesen Feedback-Prozess mit einer Online-Applikation unterstützen. In einem ersten Schritt werden die kritisch evaluierten Lehrveranstaltungen und Prüfungen automatisch aufgrund von flexibel einstellbaren Kriterien erkannt und den Departementen in einer Liste präsentiert. Diskussionen, ob eine Lehrveranstaltung oder Prüfung nun kritisch evaluiert ist oder vergessen wurde, gehören so der Vergangenheit an. Kritisch bedeutet, dass das Departement bei der entsprechenden Lehrveranstaltung oder Prüfung genauer hinschauen und eine Rückmeldung an die Rektorin geben muss. Dieses «genaue Hinschauen» ist nun in einem eigenen Menü, dem Massnahmendialog, abgebildet, wie er in der Abbildung unten ersichtlich ist.
Abbildung: Massnahmendialog zu einer Lehrveranstaltung. Im oberen Bereich werden die Fragetexte und die kritischen Mittelwerte (<3.0 bei einer 5-er-Skala) eingeblendet. Im grün umrandeten Feld muss das Departement Ursachen und Massnahmen eingeben. Rechts davon muss aus einer Liste von vordefinierten stichwortartigen, häufig getroffenen Massnahmen mind. eine ausgewählt werden. Dies kann auch eine eigens hinzugefügte Massnahme sein. Später im Prozess gibt dann die Rektorin eine Rückmeldung zu den von den Departementen beschriebenen Massnahmen. Diese Rückmeldung wird dann im grau umrandeten Feld unten ersichtlich.
Somit erhält das Departement für jedes Semester eine Liste von kritisch evaluierten Lehrveranstaltungen und Prüfungen. Der Massnahmendialog muss für jede kritische Lehrveranstaltung oder Prüfung aufgerufen und ausgefüllt werden. Die Suche nach kritisch bewerteten Veranstaltungen, die in den Departementen bisher manuell erfolgt ist, entfällt damit. In der Liste ist zudem ersichtlich, ob die entsprechende Lehrveranstaltung oder Prüfung schon in früheren Semestern kritisch evaluiert war. Somit lassen sich Trends wie die Verbesserung einer kritischen Veranstaltung besser nachvollziehen. Am Ende der Liste der kritischen Lehrveranstaltungen und Prüfungen muss das Departement noch ein Fazit über die Unterrichtsbeurteilungen des aktuellen Semesters eingeben, zu welchem die Rektorin auch in einem Feld ein Feedback geben kann.
Die Weiterentwicklung unterstützt den Feedbackprozess zwischen Departementen und Rektorin. Auf umständliche Berichterstattung und Korrespondenz in brieflicher Form kann in Zukunft verzichtet werden. Das Erkennen von kritischen und von wiederholt kritischen Lehrveranstaltungen und Prüfungen ist automatisiert, was den administrativen Aufwand wesentlich verringert und der inhaltlichen Arbeit an der Verbesserung der Qualität von Lerneinheiten und Prüfungen zugutekommt. Natürlich ist mit der Weiterentwicklung auch die Hoffnung verbunden, dass der Feedbackprozess in Zukunft etwas beschleunigt werden kann.
100 Days at ETH. An interview with Dr. Gerd Kortemeyer
The new Director of LET, the unit for Educational Development and Technology at ETH, has been at his post for 100 days. We sat down with Dr. Gerd Kortemeyer to find out more about him as a person and his first impressions of Switzerland, ETH and his new role.
We have read your official profile of course, but what would you like to tell us about yourself that might not have been in the profile? How do you spend your time outside of work?
At the moment: watching too
much TV and communicating with my family back in the States and in Munich. As I
am still starting out here, I am usually exhausted at the end of a work day.
What I would like to do is spend more time in nature and taking photos –
photography has been my hobby ever since the days of darkrooms. I have nice
photo gear (Nikon if anybody cares) which currently just sits around collecting
dust. In the States, I used to volunteer for homeless charities by documenting
fundraising events and doing keepsake portraiture for homeless families. I was also
active in our church, taking care of the audiovisual equipment. Lastly, I
started a collaboration with a Tanzanian university of science and technology,
and I would like to pick that up again when I have more time and energy.
What
small things make your day better?
Coffee. Good food. Walking. I
am not an athlete, but I like walking long distances in nature or around a
beautiful city like Zurich. I like living within walking distance of my
workplace and enjoy the time walking to and from work for processing my day.
What do
you wish your brain was better at doing?
Sitting in one place and
thinking. I am more of a “migrant worker with a laptop.” When I have a big
project, I often have to walk around while thinking. I camp out at random desks
or coffee shops – I work well on the road traveling, but cannot think well
sitting at my desk.
What
has been both positive and challenging about your move to Switzerland?
Where do I start with
positive impressions; there have been so many. I love how friendly people are. Zurich
is both very Swiss and internationally colorful, a large city that feels like a
village – just an amazing mixture. And nature is incredible. Even after 100
days in Zurich, every time when I come off Seilbahn Rigiblick and see the
panorama, I still go “wow!”.
My greatest challenge is clearly the language! I am not very good with languages, as failed attempts learning French, Russian, and Hebrew prove. Even in English, after 25 years in the USA, I have such a strong German accent that people recognise where I am from after hearing three words. I hope to be able to understand Swiss German more in the foreseeable future.
Tell us
about your first impressions of ETH and LET?
Immediate impressions: It’s large
and confusing but my colleagues are very welcoming (thank you!) and are clearly
educators at heart. They immediately took it upon themselves to spend a lot of
time and effort educating me through a whole curriculum of introductions to the
wide spectrum of LET’s activities.
How has
your understanding of LET deepened over the last few months?
My impressions after 100
days: it’s still large and confusing. No, seriously, the thing I most had to
wrap my mind around is the unique “matrix structure” at LET which enables collaboration
across the various teams. Many of my colleagues have told me that they enjoy
the variety of their tasks and the collaborative spirit that exists here to
solve problems. I came to appreciate how people just work together across the
different groups. I also appreciate the level of professionalism and expertise;
it’s humbling, and I can only hope to be a good enabler.
What is
LET good at and you hope will never change?
The work of LET is not easy.
Due to the wide spectrum of activities, it is hard to communicate to the
outside what we do and what expertise we have. Outside stresses could easily
lead to internal problems, but I have the impression that that’s not the case.
I am so glad that we seem to have a genuine collaborative spirit, which I hope never
changes.
What do
you see as areas of great potential?
We need to be out there at
ETH and find more ways of working alongside all groups of stakeholders. LET can
walk with different groups of stakeholders and facilitate connections between
them.
I make the assumption that
across the institution all of us deeply care about student learning, or we
would work elsewhere. We might disagree how to best accomplish that, but this is
where systematic research and gathering of evidence come into play. How? We
also deeply care about facts and data, or, again, we would work elsewhere.
Fostering the scholarship of teaching and learning is very high on my agenda as
is working with faculty and other stakeholders across the institution. LET is a
service unit, and this service should include guidance, assistance, and
facilitation of educational research within the departments, including the dissemination
of those results.
In addition to the strong expertise we have in the science of learning, we have a strong IT group with creative people, and we are dedicated to fostering innovation. The synergy among them enables practical and applied initiatives as well as the implementation of evidence-based solutions and products. We have the right people and are at the right institution to be a global leader in the systemic approach to the development of next generation tools for teaching and learning. These initiatives can include collaborators all across ETH, and in its unique position, LET can facilitate collaboration.
What
observations have you been able to make about the field of educational development
and technology in Switzerland as compared to the USA?
As you know, I come from a
background of physics education research. In the States, Discipline-Based
Educational Research (“DBER”) has turned into a “thing.” This “thing” does not
really exist in Europe, partly due to a fundamentally different understanding
of what university education is about, as well as different understandings of
the roles of students and instructors. A lot of what we teach in our workshops
in terms of teaching strategies thus far has been imported from the States, and
I believe it’s time to develop our own European variety of DBER.
Educational Technology plays in a central role in teaching and learning in the States, as flipped, blended, hybrid, and online teaching venues have become mainstream. Thus, technology platforms have become mission-critical. We are not yet at that point in Europe (online exams being a big exception where we are at the cutting edge), but I would like to work on next-generation platforms to scale our efforts and keep up with the inevitable digitalisation of teaching and learning.
Online-Unterrichtsbeurteilung im Hörsaal ist nun einfach möglich
Den Fragebogen kann man auch online im Hörsaal ausfüllen.
Studien zeigen, dass sich die Rücklaufquote zur Unterrichtsbeurteilung steigern lässt, wenn Dozierende die Studierenden zur Teilnahme an der UB motivieren und Zeit zum Ausfüllen der Umfrage im Unterricht zur Verfügung stellen.
Wir haben unser Evaluierungssystem EvaSys in diesem Jahr so weiterentwickelt, dass die Dozierenden in der Lage sind, das Startdatum der Umfrage zur Beurteilung ihrer Lerneinheit selber einzustellen. Dies ist insbesondere sinnvoll wenn die Online-Unterrichtsbeurteilung im zu einem bestimmten Zeitpunkt im Hörsaal durchgeführt werden soll.
Ein AAI-Login mit nethz-Zugangsdaten unter der URL https://evasys-back1.let.ethz.ch/EUB/
genügt und die Dozierenden landen in der Ansicht “Meine Umfragen”.
Was ist in dieser Ansicht möglich? Im aktuellen Semester:
Die Dozierenden sehen alle ihre Lerneinheiten des Semesters, zu denen eine Umfrage angelegt wurde. Sowohl Haupt- als auch Sekundärdozierende einer Lerneinheit können das Startdatum der Online-Umfrage durch Klicken auf das Bleistift-Symbol anpassen. Wenn die Befragung online im Hörsaal durchgeführt werden soll, startet sie/er die Umfrage idealerweise ca. 15 Minuten vor Beginn der Veranstaltung. Die Studierenden erhalten zum eingestellten Zeitpunkt via E-Mail einen personalisierten Link zur Umfrage und der/die Dozierende kann die Studierenden auffordern, die Umfrage im Hörsaal mit mobilen Geräten auszufüllen.
Für vergangene Semester:
Durch Wahl eines vergangenen Semesters können Dozierende die Resultate aus Lerneinheits- und Leistungskontrollbeurteilungen der letzten 7 Jahre einsehen, die Sie betreffen.
Wir hoffen, dass ab dem HS18 viele Dozierende die Möglichkeit einer Kursbeurteilung in Hörsaal nutzen und dadurch ein positiver Effekt auf die Rücklaufquote sichtbar wird.
Online-Prüfungen direkt nach Semesterende: Raum mit 240 Plätzen steht neu zur Verfügung
Seit der Prüfungssession im Februar 2018 betreiben die Informatikdienste zusammen mit der Abteilung LET in der sogenannten Fokushalle im ONA-Gebäude an der Neunbrunnenstrasse in Oerlikon einen Prüfungsraum mit 240 Plätzen für Studierende. Die verfügbare Raumkapazität für Online-Prüfungen in den Prüfungssessionen konnte damit verdoppelt werden. Die Fokushalle ONA E7, in der während des Semesters Vorlesungen des D-ARCH stattfinden, wird jeweils für die Prüfungen um- und nach der Prüfungssession wieder rückgebaut.
Online-Prüfungen direkt nach dem Semesterende: Der Raum ONA E7 in Oerlikon mit 240 Prüfungsplätzen steht zur Verfügung. (Bild: ETH/Alessandro Della Bella)
Nun steht der nächste Quantensprung an: Das D-ARCH stellt die Fokushalle ab dem Herbstsemester 2018 früher für Prüfungen zur Verfügung. Die Informatikdienste und die Abteilung LET können daher diese grosse Halle schon nach dem Semesterende für Online-Prüfungen anbieten. Online-Prüfungen im ONA E7 sind in den kommenden Semestern immer ab dem ersten Montag nach Semesterende möglich. Die Kapazitäten für Online-Prüfungen in den Wochen nach dem Semesterende können dadurch fast verdreifacht werden.
Insbesondere für Dozierende, die ihre Semesterendprüfung oder benotete Semesterleistung nach Semesterende am Computer durchführen möchten, ist das eine sehr gute Nachricht. Bisher waren die Kapazitäten rund um das Semesterende ausgelastet und wir mussten diverse Anträge negativ beantworten. Die entstandene Warteliste können wir nun verkleinern. Online-Prüfungen mit vielen Studierenden und mit Verwendung von Drittapplikationen (z.B. Statistiksoftware) konnten nun bewilligt werden.
Die Abteilung LET dankt dem Departement ARCH für das grosszügige Entgegenkommen bei der Belegung der Fokushalle ONA E7. Die Verwendung der Fokushalle für Vorlesungen im Semester und für Online-Prüfungen zwischen den Semestern stellt für die ETH Zürich einen grossen Gewinn dar. Schon vorhandene Raumressourcen werden effektiv verwendet, ohne dass dadurch mehr Mietkosten entstehen.
Das eCollaboration Projekt soll das kollaborative Lernen und Zusammenarbeiten im Lehrkontext an der ETH für Studierende und Dozierende einfacher gestalten. Dazu wurden zwei digitale Werkzeuge evaluiert (Pressbooks und PolyboxEdu) und in die bestehende Servicelandschaft der ETH eingefügt.
Das Projekt gründet auf dem Konzept des Lernens als sozialen Prozess. Dabei geht man davon aus, dass die Beteiligten gemeinsam einen von allen getragenen Konsens zu einem bestimmten Thema entwickeln oder ein Produkt erarbeiten. Daraus resultiert ein höheres Niveau an Denkprozessen und die Informationen werden von den einzelnen im Vergleich zum individuellen Lernen länger abgespeichert. Soziale Impulsen wie z.B. Dialoge, Diskussionen, verschiedene Sichtweisen oder Meinungsverschiedenheiten wirken sich generell positiv auf den Lernprozess aus.
Bei Studierenden und Dozierenden wurde als grosser Bedarf das gemeinsame Erstellen und gleichzeitige Bearbeiten von Texten und Dokumenten sowie eine Diskussions- und Kommentarfunktion identifiziert. Diese Bedürfnisse werden durch eine Kombination der folgenden Tools abgedeckt.
Pressbooks bietet die Möglichkeit digitale Bücher zu erstellen. Dies erfolgt direkt im Learning Management System Moodle der ETH. Die Studierenden können darin gemeinsam an umfangreichen Dokumenten arbeiten, welche am Ende ein digitales Buch ergeben. Längere Dokumente können attraktiv dargestellt und doch flexibel bearbeitet werden.
Mögliche Einsatzszenarien sind:
gemeinsames Erstellen und Überarbeiten von Skripten/Zusammenfassungen
Reviewen von Dokumenten
FOCUS PRESSBOOKS
Urs Brändle vom D-Usys hat dieses Semester Pressbooks genutzt um die Datenauswertung für die Biodiversitätsexkursion aus dem FS 2018 zusammen mit seinen Studierenden zu dokumentieren.
Die Exkursionsgruppen schreiben jeweils ein Kapitel des eBooks, zum Beispiel zu Wasservögeln im Zürcher Seebecken, Flechten auf Stadtbäumen oder Makroinvertebraten in Fliessgewässern. Über die Revisionshistorie lässt sich genau nachvollziehen, wer was geschrieben hat. Kommentare ermöglichen Diskussionen oder Hinweise für Verbesserungen. Die Arbeitsprozesse sind somit transparent und ermöglichen den Studierenden den Vergleich und das Betrachten der Inhalte der jeweils anderen Exkursionsgruppen.
PolyboxEdu basiert auf dem etablierten Cloudspeicherdienst der ETH Polybox. PolyboxEdu bietet das gemeinsame synchrone Bearbeiten von Dokumenten in gängigen Office-Formaten. Diese können innerhalb der ETH geteilt und bearbeitet werden. Gleichzeitig kann die PolyboxEdu als Dateiablage (Repository) in Moodle genutzt werden (Anleitung).
Da die Studierenden auf PolyboxEdu auch selbst Arbeitsgruppen bilden können bietet es sich ideal für Formen von Student Directed Learning an, bei denen der Dozent nicht direkt Einfluss auf die Lerninhalte nimmt.
Mögliche Einsatzszenarien sind:
Ablage umfangreicherer Dateien direkt aus Moodle
Synchrones Zusammenarbeiten an Dokumenten (Versuchsprotkolle, Seminararbeiten, Ideensammlung etc.)
Geplant ist ausserdem ein Online Annotationstool um Zusammenarbeit, Kommunikation und kritisches Denken zu unterstützen. Geplant ist die Einführung im vierten Quartal 2018.
Für konkrete technische Hilfe und Umsetzung von eCollaboration Formaten steht Ihnen das Beratungsteam oder Melanie Walter (Projektleitung eCollaboration) gerne zur Verfügung.
