Educational innovation, development and discussion at ETH

For many years, ETH has been using two open-source software projects: Safe Exam Browser (SEB) and Moodle are the foundation of online assessment at ETH Zürich. They work together seamlessly but the management of SEB configurations is somewhat complicated. With the brand-new release of Moodle 3.9 in early June 2020, the integration was improved significantly to support a number of different online exam scenarios. For example, in a bring your own device (BYOD) scenario admins now have the possibility of enabling teachers to configure SEB settings directly in a quiz. Admins can manage templates of SEB settings that are provided to teachers via the quiz settings in Moodle.

A development project between two open source communities

How did this come about?

In 2017, a member of LET was on sabbatical in Australia and visited Moodle’s headquarters. During this visit, the idea arose that these two popular open-source solutions should work together on a deeper level. Together with the Moodle team at Bern University of Applied Science, the Moodle team at ETH Zürich planed a development project and wrote user stories. During this phase, it became clear, that the estimated amount of work could not be handled by these two institutions alone.

A crowdsourced project – eight universities and two companies acted in concert

With the user stories in our hands, we reached out to communities like SAMoo, MoodleDACH, SIG E-Assessment and Moodle-Forum. After dozens of calls, meetings and discussions, a further six universities (Zurich University of Applied Sciences, Ruhr-Universität Bochum, Berlin School of Economics and Law, University of Applied Sciences Neubrandenburg, University of Applied Sciences Upper Austria, University of Applied Sciences and Arts Hannover) agreed to contribute to the project. The code was developed by Catalyst IT, a Moodle Partner in Australia, with advice and support by Moodle HQ and the SEB development team. A diverse project team then worked together closely to find solutions for very different exam scenarios. Within only six months the integration was submitted for integration in the Moodle core version 3.9 and new SEB versions were published.

Configure Safe Exam Browser directly in Moodle

Usually Safe Exam Browser has to be configured via its Config Tool. In Moodle 3.9 teachers can do this directly in Moodle and for each separate Quiz activity. This is extremely helpful for e-assessments in a BYOD scenario. There is no need to provide a separate SEB settings file to students before the exam anymore. As students access the quiz, Moodle hands out the SEB configuration file and SEB is reconfigured as required by the student’s device. This means teachers can set a different SEB quit password for every attempt, configure different additional software for different quizzes, and because it is that easy to configure you can consider using SEB in formative quizzes to help students to focus.

Project learnings

This project was challenging in many ways. There were many different stakeholders, tight deadlines, two big open source communities, and different locations and time zones. Here are the most important learnings.

• Joint projects are possible but need an intense discussion in the community. Only about 30% of all interested institutions were able to invest in the project.
• Scenarios and user stories are excellent methods for creating a shared understanding of the requirements and objectives between all project partners.
• To prevent endless discussion, identify one or two strong partners, create provisional scenarios and user stories and then reach out to the wider community.
• Communication over different time zones is challenging (especially if you have weekly sprints) but manageable. Be mindful to share recordings and keep an active chat channel alive.
• When faced with obstacles (such as lack of funds) think out of the box and search for allies, that are willing to pursue the same goals as you. There is almost always a solution.

Conclusion

Despite the challenging nature of this project and the different needs of stakeholders, the objectives were met. It was a pleasure to have been part of this joint community project together with Moodle HQ and SEB core team. We are sure the outcome of this project will bring online assessment to a new level.

The new Moodle version can be downloaded here.  The Safe Exam Browser is available here.

Read more

Posted on 06/06/2023 by Thomas Korner,

Many useful lists provide technical recommendations for optimising virtual meetings (here is one from the IT Services Team at ETH Zurich. In this short post, though, I will go one step further. In video conferencing we are, quite literally, “hosts”. This makes us responsible for managing the behaviour of others, especially if it is disruptive. In this context it is important to communicate our expectations clearly. This requires us to consider our own requirements and the needs and circumstances of those participating in our virtual sessions, and to find a balance between them.

Teaching involves relationships, firstly between lecturers and students, but also among students themselves. Therefore, effective facilitation addresses the needs inherent in human relationships and how we can respect these in the virtual environment.

Let’s look at some key aspects to be considered:

Names

Many video conferencing tools allow participants to change the name displayed alongside their image. Consider asking students to adjust this to their preferred name. “SmiJo” is a lot less personal than “John Smith” or even just “Johnny”.

Rapport

To build rapport, take the time to make people feel acknowledged and welcome at the beginning of a virtual session. Create space for “warming up” with smalltalk before launching into the reason for the session. Depending on the size of the group you may wish to greet individuals by name when they appear, even if they are late. If the group is large, you can still acknowledge latecomers en masse. Trusting that their reasons for being late are legitimate will help to create an atmosphere which is conducive to learning.

Sound

Think about how you want participants to manage sound. Is it important to minimise background noise? The more participants there are, the more distracting background noise can be. However, in smaller informal settings, ambient noise can help people feel connected – an important consideration the longer we are in physical isolation. Agree on how the mute button should be used.

Video

A common belief is that all participants should switch on their cameras when joining a Zoom meeting. However, this may be difficult for various reasons: attendees may not have a camera; there may be other people around; or their bandwidths may not be able to cope with video. Some people are also profoundly uncomfortable with displaying themselves on camera for long periods.

Lecturers should therefore consider why they want students to turn their cameras on. Then they should articulate their expectations, and consider equally acceptable alternatives. Do cameras really need to be switched on? If so, is that for the whole meeting? For example, if the meeting is long, but not particularly interactive, the lecturer might ask the students to turn their cameras on at the beginning to “establish contact”, but say that it’s OK to switch them off later. This might be especially relevant if everyone is viewing slides, for example. Using “hide self view” can also minimise the cognitive fatigue we are all experiencing due to the increased frequency of online meetings and length of time spend in video conferences.

Remember that not everyone thinks about how they appear on screen: it may be useful to give people feedback and guidance in this area. Their lighting may make their images too dark to see, or if the video is flickering it can be hard on the eye after a time.

Background

The background displayed on the screen can be both informative and distracting. Students may choose virtual backgrounds to obscure a messy room or one that reveals things they prefer to keep private (such as family photos or an extensive wine collection). If their choice of background is too distracting you should let them know. Conversely, you can use the virtual background function as a way to connect. Ask people to share a photo of a place meaningful to them, or an image that provides comic relief!

Movement

As the host, when you view a gallery of many faces your eye will naturally be drawn to movement. If people join via mobile phone or tablet, they are likely to be more mobile and may move around in their spaces. This is sometimes unavoidable, but it can be very distracting. Make participants aware of this and ask them to deactivate their screens if they change positions or if they are moving around a lot.

Chat

Think about the best way to use the chat function. Will you be monitoring it actively, or not at all? Would you like people to use the chat to announce their departure from the session? Most video conferencing tools offer multiple ways to communicate. Tell your students how you want them to use them.

The intention of this post was to encourage you to think broadly about how you run a virtual meeting or lecture as well as how you manage your own on-screen behaviour. Our available technology provides us with so many options, but these sometimes generate divergent behaviour. Here establishing fair expectations will go a long way towards facilitating a successful virtual event.

Read more

Posted on 30/01/2022 by Karin Brown, 3 Comments

Enthält Ihre Veranstaltung Programmieraufgaben? Würden Sie gerne die Studierenden in ein und derselben Umgebung während des Semesters Programmieraufgaben lösen lassen und diese Umgebung dann auch in der Prüfung verwenden? Möchten Sie ausserdem Ihre Programmieraufgaben in der Prüfung mit anderen Aufgabenformaten wie Freitext- oder Multiple-Choice Aufgaben kombinieren?

Mit dem Abschluss der einjährigen Pilotphase von Code Expert ist dies nun für alle interessierten Dozierenden möglich. Mit dem Update des Prüfungsservers auf die Moodle Version 3.7.4+ steht Dozierenden der neue Moodle Fragetyp «Externer Fragetyp (ETH)» zur Verfügung. Mit diesem Fragetyp kann eine Aufgabe innerhalb eines anderen Systems über eine LTI [1]-Schnittstelle in ein Moodle Quiz eingebunden werden. Im konkreten Fall mit einer Aufgabe in Code Expert. Code Expert ist eine browserbasierte Lern- und Programmierumgebung die am Departement für Informatik (D-INFK ) entwickelt wird. Der Moodle-Fragetyp «Externe Verbindung (ETH)» wurde In einem gemeinsamen Projekt der Abteilung Lehrentwicklung und -technologie (LET) und des D-INFK entwickelt.

Wenn Sie Code Expert Aufgaben in einer Prüfung verwenden möchten, setzen Sie Code Expert bereits während der semesterbegleitenden Übungen ein. Auf diese Weise sind alle Studierenden bereits mit der Programmierumgebung für die Prüfung bestens vertraut. Weitere Informationen zu Code Expert finden Sie hier: https://code-expert.net/. Wenn Sie Code Expert in Ihrer Veranstaltung an der ETH einsetzen möchten, so melden Sie sich beim Code Expert-Team des D-INFK (expert@inf.ethz.ch). Informationen zur Integration von Code Expert in Moodle sind auf derselben Website zu finden: https://code-expert.net/lecturers/#integration-in-moodle. Die  Anleitung zur Einbindung von Code Expert Aufgaben in Moodle ist ebenso auf dieser Seite verlinkt: https://code-expert.net/assets/images/Anleitung_CodeExpertIntegrationInMoodleEN_20200409.pdf . Für weitere Fragen zum Einsatz von Code Expert in Online-Prüfungen melden Sie sich gerne bei: online-pruefungen@let.ethz.ch.

[1] LTI: https://www.imsglobal.org/activity/learning-tools-interoperability

Read more

Posted on 06/06/2023 by Kristina Anna Linnea Isacson Wildi,

… and just like that, ETH Zurich has moved its teaching online. The buildings are empty, much like the streets outside. But teaching and learning continues, just in a very different way.

The response to the global pandemic has been swift. With very little time to prepare, an almost complete switch to online teaching and learning has taken place. At the time of writing, many lecturers and support staff are still working hard to put systems in place so that students can continue studying despite neither students nor lecturers having access to their lecture halls.

This is a challenging situation, and the transition has been demanding for students and lecturers alike. The technology has struggled with the sudden increase in traffic, and this has caused some downtimes or sudden changes to IT services on local, national and international levels. The new scenario has required flexibility on everyone’s part.

What follows is a list of key points to help you prioritise your decisions as you move your teaching online.

Check in with your students

They will be personally, financially and emotionally affected by this crisis. Attending your lectures remotely may no longer have the same priority it used to have. Communicate your care for them. Ask them what’s going on. Download the email list from eDoz so that if all else fails, you can stay in touch.

Find out if your students have accessibility issues. Do they have new obligations (such as childcare or care for elderly parents)? Do they have children at home now? What do they prefer: a recording of your lecture, or live streaming? Do you share the same time zone? What kind of internet access and bandwidth do they have? How can you optimise live attendance, recordings and other downloads for them? They may need subtitles on your recordings if they have hearing issues. Ask them. What suggestions can they offer?

Work backwards

Work backwards by first thinking about your course’s performance assessments. What is the minimum that students need to do to pass? Even if you do nothing else, make sure to communicate this minimum to them and tell them where to focus their efforts. Clarify the graded assignments and provide the necessary study material. Keep ETH regulations and policies in mind, but also expect more updates on them as the pandemic continues. You may need to develop additional creative ways for students to submit their work. For example, poster sessions may need to become homemade videos.

Prioritise your course’s learning objectives

What are the most important competences your students need to acquire? What skills should they practice? What knowledge do they need in order to pass? Focus on helping students achieve these goals and cull anything that is superfluous. Now is the time to become ruthlessly efficient. Help with writing learning objectives is available here.

Minimise your direct input

Resist the impulse to simply transpose your existing lecture materials to an online format. This is not just about moving what worked in a classroom to an online space. Watching a two-hour video of your lecture will be hard for students. Instead, create shorter sequences (think of TED talks!). Mix up your media, and complement your lecturer recordings with video conferencing, reading assignments, slide sharing and contributions from guest speakers. Follow up with an engaging task that makes your students think about and apply what they have just heard.

Build in interaction

Plan different ways for students to get active. Use discussion forums, online group activities, peer feedback or clicker questions and polls. Interaction can be synchronous (in real time, all together, for example via video conference or online chat) or asynchronous (at the students’ own pace, for example via a video recording of a lecture or participation in an online forum). Your course should deploy a mixture of both.

Talk to others

There are many different ways to share your experiences and the challenges you face. You are not alone! ETH offers the following platforms for you to communicate with others.

Different DIY scenarios for remote teaching are posted on the ETH website.

Many lecturers, both at ETH and globally, are using Twitter to exchange ideas. Use the hashtag #ETHZonline to share your experiences.

Which tools to use

Try to stick with standard ETH tools, because you can access support for them.

• Moodle: ETH’s learning management system
• Teaching Document Repository (LDA): For sharing documents
• Zoom: Video conferencing, video recording
• OpenCast Studio: Video recording and editing studio
• Blogs@ETH: WordPress
• ETH Chat Server for staff and students
• Polybox: Virtual file sharing and simultaneous editing
• Collaborative LaTeXeditor
• EduApp: The ETH clicker question app
• And don’t forget the timeless option of email!

How to get help

ETH website – “Options for remote teaching”, especially do-it-yourself scenarios: https://ethz.ch/keepteaching

Online Teaching Forum. Post questions and upload resources you are willing to share.

Building an effective Moodle Course – Self-paced course for learning Moodle basics

Join the drop-in Zoom Sessions (e.g. the “Virtual Coffee Break” or “Refresh Teaching Special“).

If your department has an Educational Developer (find out), contact them for advice on both technology and didactics. Alternatively, contact LET Support by email or by phone between 8:00 and 18:00 on +41 44 632 06 65.

Read more

Posted on 09/12/2020 by Karin Brown,

“Mit viel Engagement habe ich meine Lehrveranstaltung nach neuesten didaktischen Erkenntnissen umgestaltet. Sei es im Flipped Classroom oder mit erhöhtem Einsatz von Clicker-Fragen, die Studierenden waren während der Präsenz aktiv gefordert und haben auch gerne mitgemacht. Doch mit der Unterrichtsbeurteilung kam die grosse Enttäuschung. Die Studierenden bewerten mich und meinen Unterricht deutlich schlechter als vorher. Sie bevorzugen sogar Frontalunterricht, denn damit würden sie besser lernen. Habe ich etwas falsch gemacht? Soll ich wieder zurück zu meiner altbewährten Vorlesung?”

Was hier wie ein Einzelfall klingt, ist doch sehr verbreitet. Zahlreiche Untersuchungen dokumentieren, dass Unterrichtsformen mit Lerner zentrierten Methoden häufig zu schlechten Evaluationsergebnissen führen (z.B. Seidel, 2013). In einer kürzlich publizierten Studie haben Louis Deslauriers und Kollegen/innen der Harvard University genau diese Problematik untersucht (Deslauriers, 2019). Sie gingen der Frage nach, ob es bei aktiv involvierten Studierenden eine Diskrepanz zwischen dem tatsächlichen und dem empfundenen Lerngewinn gibt. Falls Studierende den Eindruck haben, weniger als in einer Vorlesung gelernt zu haben, dann führt dies zwangsläufig zu schlechteren Evaluationsergebnissen. Die experimentell angelegte Untersuchung bestätigte die negative Korrelation zwischen der Selbsteinschätzung und dem effektivem Lerngewinn. Folgende drei Gründe sind dafür verantwortlich:

• Interaktive Unterrichtsmethoden verlangen eine erhöhte kognitive Leistung, die von Studierenden dann nicht unbedingt mit dem Lernen in Verbindung gesetzt wird.
• Insbesondere Studienanfänger/innen verfügen noch nicht über die Fähigkeit, ihr eigenes Wissen in einem neuen Fachgebiet korrekt einzuschätzen.
• Die klare und sprachgewandte Präsentation beim Frontalunterricht verleitet Studierende dazu, ihr eigenes Verständnis in Vorlesungen deutlich zu überschätzen.

Aufgrund der Ergebnisse einer Nachuntersuchung schlagen Delauriers und Kollegen/innen einige recht simple Massnahmen vor, um dieses Missverhältnis zwischen gefühltem und tatsächlichem Lerngewinn zu unterbinden. Zentral dabei ist, die Befürchtungen und Ängste der Studierenden ernst zu nehmen und sie zu thematisieren. So kann eine kurze Darlegung der Lernvorteile von aktivem Unterricht (z.B. Freeman, 2014) während der ersten Unterrichtsstunde bereits erste Befürchtungen auffangen. Aber auch im weiteren Verlauf der Veranstaltung sollte immer wieder auf den erzielten Lernfortschritt hingewiesen werden. Damit erlangen die Studierende eine bessere Einschätzung ihres eigenen Lerngewinns. Hilfreich ist zudem, auf die Gefahr der Lernillusion bei eloquenter Redegewandtheit des Dozierenden in Vorlesungen hinzuweisen (z.B. Toftness, 2018).

Auch an der ETH konnten wir den Einfluss dieser Massnahmen bestätigen. In einer Studie am Departement Physik verglichen wir den Lerngewinn zwischen interaktivem Unterricht und Vorlesung. Bereits in der ersten Lerneinheit wiesen wir die interaktive Gruppe ausführlich auf die positiven Auswirkungen des interaktiven Unterrichts hin. Zusätzlich wurden Unsicherheiten bezüglich des eigenen Lerngewinns im Semester kontinuierlich thematisiert. Bei der Unterrichtsevaluation konnten wir daraufhin kein Missverhältnis zwischen effektiver und geschätzter Lernleistung feststellen. Studierende im interaktiven Unterrichtsformat erzielten einen höheren Lerngewinn und gaben signifikant bessere Werte bezüglich ihres eigenen Lernens an als jene in der parallel durchgeführten Vorlesung (Schiltz, 2018).

Tipp:
Was hier jetzt speziell für interaktive Unterrichtsformen gilt, lässt sich sicher auch auf jeden anderen Wechsel der Lernform übertragen. Insbesondere wenn die neue Lernform noch nicht geläufig ist, sollte man die anfänglichen Bedenken der Studierenden ernst nehmen und ihnen klar vermitteln, welchen Nutzen sie vom Wechsel zu erwarten haben. Daneben ist es wichtig, Ergebnisse der Unterrichtsbeurteilung (ob gute oder schlechte) kritisch zu hinterfragen. Nicht immer ist der kausale Zusammenhang zwischen studentischer Zufriedenheit und tatsächlichem Lernerfolg gegeben (z.B. Carpenter, 2020).

Read more

Posted on 22/01/2021 by Guillaume Schiltz,

Im Oktober 2019 hat die Lehrkommission zum ersten Mal eine studentische Studiengangsinitiative positiv beurteilt und die Rektorin hat die Initiative in der Folge bewilligt. Diese Initiative heisst ROSE* und wurde von Studierenden über ein Jahr lang bearbeitet und setzt ihre Vision für mehr Integration und Interdisziplinarität in der Lehre um. Dieser Erfolg soll gefeiert werden! Wir haben uns mit den verantwortlichen Studierenden Medea Fux, Patrick Althaus und Adrian Süess unterhalten. 

*ROSE bedeutet Revolution Of STEM Education

Was ist ROSE?

ROSE ist ein Lehrprojekt von Studierenden für Studierende. Das Ziel ist es, eine neue Lehrveranstaltung einzuführen, in der Studierende in interdisziplinären Gruppen (jede Person kommt aus einem anderen Studiengang) während einem Semester an einem Projekt arbeiten. Viele Konzepte sind an die ETH Woche angelehnt, mit dem Unterschied, dass ROSE über ein Semester verteilt stattfindet und dass ROSE in die Curricula der Bachelorstudiengänge an der ETH integriert werden soll. 

Was hat euch dazu bewegt dieses Projekt zu starten?

An der ETH erlernen Studierende viel wertvolles Wissen und Können, jedoch sind wir der Meinung, dass insbesondere überfachliche Kompetenzen bisher zu wenig vermittelt werden. Hierzu gehört z.B. die Zusammenarbeit in einem diversen Team, Kommunikation und gemeinsame Entscheidungsfindung, Selbstreflexion und die Fähigkeit Kritik zu erhalten und zu geben. Es gibt an der ETH bereits einige extracurriculäre Angebote, die solche Fähigkeiten fördern. Jedoch möchten wir alle Studierenden erreichen und nicht nur diejenigen, die es noch schaffen, zusätzlich zu ihrem Studium solche Veranstaltungen zu besuchen. 

Wie verliefen die Gespräche an der ETH?

ROSE ist auf die Zusammenarbeit zwischen verschiedenen Teilen der ETH angewiesen, dies gilt insbesondere für die verschiedenen Departemente. In vielen Bereichen, besonders in der Lehre, arbeiten die Departemente sehr unabhängig voneinander und jede interdepartementale Zusammenarbeit ist mit einem hohen Koordinations- und Kommunikationsaufwand verbunden. Dies hat uns im bisherigen Prozess immer begleitet, und wir möchten auch etwas dazu beitragen, solches Zusammenarbeiten generell zu vereinfachen. 

Eine weitere Herausforderung war oft die Kommunikation über unser Projekt. Unter dem Begriff ‘Interdisziplinarität’ verstehen gefühlt alle etwas anderes und so sieht es auch mit anderen Begriffen wie ‘überfachliche Kompetenzen’, ‘Projektarbeit’, ’studentisches Projekt’ usw. aus. Eine gemeinsame Sprache zu finden ist wichtig und hier begrüssen wir sehr die Einführung des ETH Competence Framework, auf welches wir uns auch in ROSE stützen. 

Welche positiven Erfahrungen habt ihr während dem Prozess gemacht?

Es gibt an der ETH viele Personen die sich für eine Weiterentwicklung der Lehre einsetzen und einsetzen wollen und die auch bereit dazu sind Studierendenprojekte zu unterstützen. Generell erhielten wir oft positive Rückmeldungen dazu, dass das Projekt direkt von Studierenden kommt. 

Was wünscht ihr würden Dozierende anders machen?

Wir wünschen uns, dass häufiger Erkenntnisse der Lehrforschung und Erfahrungen von Lehrexpert*Innen direkt von den Dozierenden in den Unterricht aufgenommen werden. Wir denken, dass es hier noch viel Potential gibt, welches bei erhöhter Zusammenarbeit verschiedener Personen genutzt werden kann. 

Was würdet ihr gerne anderen Studierenden sagen, die auch Ideen haben?

Falls ihr coole Ideen habt, wie man Dinge an der ETH verändern könnte, ob im Kleinen oder im Grossen, zögert nicht die irgendwo einzubringen. Dies könnt ihr z.B. über euren Fachverein oder den VSETH tun, oder ihr informiert euch über die verschiedenen Möglichkeiten an der ETH Projekte vorzuschlagen. Wichtig ist dabei aber nicht zu vergessen, dass häufig nicht die Idee an sich wertvoll ist, sondern die konkrete Umsetzung davon. Beispiel ROSE: wir finden unsere Idee ist nicht sehr innovativ, der Grund für den bisherigen Erfolg liegt wohl mehr darin, dass wir ein Konzept erarbeitet haben, das zeigt, dass ROSE theoretisch umsetzbar ist. Ab nächstem Jahr geht es dann los mit der praktischen Umsetzung davon. 

Wenn Sie mehr über ROSE erfahren wollen können Sie über diese Emailaddresse Kontakt mit der Projektgruppe aufnehmen.

Read more

Posted on 09/12/2020 by Karin Brown,

Multiple Choice (MC) questions are a popular but challenging to master item format for formative assessments and examinations. They facilitate probing students’ knowledge of facts and understanding of simple concepts and their relationships, particularly in large student cohorts.
MC items consist of a stem followed by a number of options. The stem always ends with a short and concise question. It should be possible to answer this question meaningfully without looking at the options (e.g. ‘which of the following options is true’ cannot be answered meaningfully, whereas ‘which animal species are mammals’ can be answered meaningfully). The question may be preceded by a case-study, central idea, or more elaborate problem statement. The options are short and concise and avoid negations.
MC items can be split into two families: The one-best-answer family and the true-false family. In the one-best-answer family, students have to select a single best answer from a set of options. Options that are not the single best answer we call distractors. In the ETH Moodle, this functionality is available through the SC(ETH) question type. In the true-false family, students have to evaluate each option whether it is true or false. In the ETH Moodle, this functionality is available through the MTF(ETH) and the Kprime(ETH) question type. We discourage using the standard Moodle Multiple Choice and the True/False question types, which are no longer needed.

SC(ETH): Single Choice, One-Best-Answer

Single choice (SC), one-best-answer question types are the most appropriate MC format in most occasions. Students need to select a single best answer from a set of options, usually three to five. Because students need to select the best answer from the options, the options by themselves do not need to be strictly true or strictly false. Instead, the best answer needs to be clearly better than all other options. This facilitates the design of much more nuanced questions than is possible with the true-false paradigm. As an alternative to selecting the best answer, students can cross out options they consider to be distractors. Crossing out distractors may either be just a help for students to find the best answer (scoring method SC 1/0) or be relevant for scoring (scoring method Aprime).

Scoring method SC 1/0 (recommended): Students receive full points if the single best option is selected and no points otherwise. Crossed out distractors are disregarded.

Scoring method Aprime: Students receive full points if the single best option is selected, half points if all distractors save one (and save the single best option) are crossed out, and zero points otherwise.

MTF(ETH): Multiple True-False

When a question or problem requires the evaluation of multiple aspects simultaneously, Multiple True-False (MTF) question types may be more appropriate than the SC format. Students need to evaluate every option from a set of one to many options individually as true or false. This implies that each option by itself needs to be clearly and unambiguously true or false. This is a considerable restriction on the kinds of options one can formulate and makes formulating good options much more difficult. Instead of ‘true’ and ‘false’ one can also choose any other two categories, e.g. ‘blue’ and ‘red’, ‘mammal’ and ‘bird’, etc. The MTF(ETH) question type offers two alternative scoring methods.

Scoring method Subpoints (recommended): Students receive subpoints for each correctly marked option.

Scoring method MTF 1/0: Students receive full points if they marked all options correctly, zero points otherwise. This scoring method is rather unpopular with students – the Kprime question type offers a better alternative (see below).

Kprime(ETH): A Popular Compromise

The Kprime question type is a special variant of the MTF question type. It has been popularized through its use in human medicine. The Kprime question type includes exactly four options and the following scoring method: Students receive full points if they mark all four options correctly, half points if they make one mistake, and zero points otherwise. To use this scoring method, select the Kprime scoring method in the Kprime(ETH) question type.

‘Multiple Choice’: No Longer Needed, Soon to be Retired

Please refrain from using the standard Moodle Multiple Choice question type. The scoring mechanics implemented in the standard Moodle Multiple Choice question type are problematic. Please use the SC(ETH), MFT(ETH), and Kprime(ETH) question types instead. We are preparing the migration of existing Multiple Choice items to the new ETH question types. Until this migration is successfully finished, the standard Multiple Choice question type will remain available.

If you are interested in further information on MC items and their design, we recommend the Didactica Course on Multiple Choice. Please refer to the current program https://www.didactica.ethz.ch/

Read more

Posted on 18/12/2019 by Tobias Halbherr,

Als wichtiger Bestandteil von innovativer Lehre an der ETH Zürich, haben sich Online-Lernangebote in den letzten Jahren stetig weiterentwickelt. Vor allem der Ansatz des Blended Learning sowie das Konzept des Flipped Classroom, mit der Verknüpfung von Online-Selbstlernphasen und kooperativem Präsenzlernen gewinnen immer mehr an Bedeutung. 

Die didaktische Ausbildung für studentische Lehrassistierende an der ETH Zürich nimmt diesen Trend auf und setzt ihn zielgruppenorientiert um: Daher befindet sich das Kursangebot derzeit im Wandel – aus einer klassischen Präsenzveranstaltung soll zukünftig ein Blended Learning Kursangebot für alle Hilfsassistierenden mit Lehraufgaben entstehen. 

Zur didaktischen Ausbildung von Hilfsassistierenden bietet das LET seit vielen Jahren entsprechende Kurse an, bei denen das Lernen zu ca. 80% in Präsenz und ca. 20% des Lernens online stattfindet. Da die didaktischen Kurse für Lehrassistierenden immer besser besucht werden und die Skalierung der Präsenzkurse eine natürliche Grenze hat, wurde vor einiger Zeit mit der Konzeptplanung eines Blended Formats begonnen. Nach eigenen Videoproduktionen und mehrmaligen Feedbackschleifen mit ehemaligen Lehrassistierenden konnte ein erster Pilot im Sommer 2019 fertiggestellt und im HS 2019 für die Hilfsassistierenden am D-INFK angeboten werden. Für die erste Durchführung entschieden wir uns, Präsenzkurs und Onlinekurs parallel anzubieten und die Studierenden selbst aussuchen zu lassen, welches Format sie bevorzugen: Für den neuen Blended Learning Kurs am D-INFK registrierten sich 88 Teilnehmende, während am “klassischen” Präsenzkurs lediglich 16 Studierende teilnahmen. Bereits an dieser Verteilung beim Pilotkurs wird deutlich, dass die Lehrassistierenden ein flexibles Format bevorzugen, wie wir dies mit dem neuen Blended Learning Kurs “Didactic Basics for Student Teaching Assistants” anbieten. Bei dem neuen Kurskonzept ist das Verhältnis zwischen Online- und Präsenzlernen genau umgekehrt zum bisherigen Konzept: ca. 80% des Lernens findet nun online anhand von Lernvideos und anderen Online-Lernmaterialien statt, während der Transfer des Gelernten in einem Präsenztermin umgesetzt wird und weiterhin Peer Hospitationen (gegenseitige Unterrichtsbesuche) stattfinden, die zusammen ca. 20% des Gesamtaufwands für die Teilnehmenden ausmachen.

Die Online-Lernumgebung in Moodle stand den angemeldeten Teilnehmenden zum Beginn des Herbstsemester 2019 zur Verfügung und begann mit einer dreiwöchigen Startphase, um den unterschiedlichen Anstellungszeitpunkten von Hilfsassistierenden gerecht werden zu können. Nach dieser Ankunftsphase wurden dann im wöchentlichen Rhythmus die vier Kapitel des Online-Kurses veröffentlicht.

Die vier Kapitel des Onlinekurses beinhalten die folgenden didaktischen Themengebiete: 

• Getting started with your course planning
• Presentation and communication in class 
• Activating students in class
• Feedback & Assessment 

Im ersten Teil des Kurses reflektierten die Teilnehmenden ihre Rolle als Hilfsassistierende und erstellten einen Plan für eine Übungsstunde mit den dazugehörenden Lernzielen. Die Basis für die Erreichung der jeweilige Kompetenzstufe in den Kapiteln wurde durch vom LET produzierte Videos und mit den Videos verknüpften Aufgabenstellungen geschaffen.  Mit Ausnahme vom dritten Kapitel enthält jedes Kapitel 1-3 Videos, welche wichtige Inputs zu den jeweiligen Hauptthemen geben. Am Ende von jedem Kapitel gab es zudem eine Reflexionsaufgabe, die eine individuelle Rückschau der Hilfsassistierenden auf Ihre wichtigsten Erkenntnisse ermöglicht und mit der eine Konsolidierung des Wissens erreicht werden soll.  

Nach Abschluss der vierwöchigen Onlinephase fanden mehrere Transferworkshops in Form von Mittagsveranstaltungen in Kleingruppen mit jeweils 20-23 Personen statt. An diesen Präsenzterminen hatten die Hilfsassistierenden die Möglichkeit, die Lerninhalte aus der Onlinephase zu vertiefen und mit Peers sowie den Kursleitenden zu diskutieren. Zudem wurden am Präsenztermin Tandems für die Peer-Hospitation gebildet, deren Ergebnisse wiederum online präsentiert und diskutiert werden.

Bei den Transferworkshops wurden die Lerninhalte aus dem Onlinekurs mit eigenen Erfahrungen in der Lehre verglichen und gegenseitiges Feedback zu individuellen Lösungsansätzen der Aufgabenstellungen, wie z.B. dem Lesson Plan für eine Übungsstunde gegeben. Zum Abschluss des Onlinekurses wurde eine finale Reflexionsaufgabe gestellt, um den Hilfsassistierenden die Möglichkeit zu geben, ihre neue Sicht auf das Lehren und Lernen in Übungen in eigene Worte zu fassen, diese mit der vorhergehenden Sichtweise zu vergleichen und den Kurs in seiner Gesamtheit nochmals Revue passieren zu lassen. 

Insgesamt beinhaltet der Onlinekurs zehn schriftliche Leistungsnachweise, welche von den Teilnehmenden arbeitet und eingereicht werden müssen. Zusätzlich gehören die beiden Onlinebefragungen am Anfang und am Ende der Kurses, die Teilnahme am Transferevent und die Peer-Hospitation ebenfalls zu den Pflichtaufgaben des Kurses. Die Deadline für die Abgabe aller Leistungsnachweise steht noch bevor. Aus diesem Grund ist noch keine Aussage darüber möglich, über wie viele Lehrassistierenden den Onlinekurs erfolgreich bestanden haben. 

Die grosse Herausforderung bei der Erstellung eines Onlinekurses ist die Vorausplanung. Der gesamte Kurs sowie sämtliche Materialien und Abläufe müssen vor Kursbeginn vollständig feststehen. Aufgaben und Leistungsnachweise sollten von Anfang an klar definiert sein, damit die Teilnehmenden den Arbeitsaufwand einschätzen können. Eine weitere wichtige Überlegung ist die der Kommunikation zwischen Kursleitenden und Teilnehmenden: Wie soll die Kommunikation erfolgen? Innerhalb von welchem Zeitraum können die Teilnehmenden mit einer Rückmeldung rechnen? Wie bewerkstelligen wir die Rückmeldungen bei einer Vielzahl an Teilnehmenden? Klar festgesetzte Regelungen sind notwendig, um den reibungslosen Ablauf des Blended Learning Kurses zu gewährleisten. Zusammengefasst muss eine klare Struktur, vordefinierte Prozesse und eine sorgfältige Vorausplanung gegeben sein, um einen Onlinekurs erfolgreich durchführen zu können. 

Anhand des positiven Feedbacks der Teilnehmenden sehen wir in Blended Learning Kursen eine neue Perspektive für didaktische Kursangebote an der ETH Zürich. Zudem haben wir festgestellt, dass der Onlinekurs hinsichtlich Ablauf und Struktur noch weiterentwickelt und ausgebaut werden muss. Beispielsweise haben sich die teilnehmenden Studierenden gewünscht, dass gewisse Inhalte des Kurses bereits zu einem früheren Zeitpunkt freigeschaltet werden sollen, damit die Teilnehmenden diese bereits für ihre erste Übungsstunde als Lehrassistierenden einsetzen können. Die stärkere Orientierung an der Lehrpraxis der Teilnehmenden steht daher ganz oben auf unserer Agenda für die Weiterentwicklung des hybriden (Verknüpfung von Online- und Präsenzlernen) Kursangebots.

Ausblick

Für das Frühjahrssemester 2020 ist geplant, den Blended Learning Kurs für Hilfsassistierende aus anderen Departementen anzubieten. Inhaltlich soll die Transferveranstaltung verlängert werden, um ein Microteaching (Simulation von Unterrichtssituationen) einbauen zu können und den Kurs damit noch praxis- und transferorientierter gestalten zu können. Ein weiterer wichtiger Bestandteil der Weiterentwicklung des Onlinekurses ist die Produktion von weiteren Videos zu verschiedenen Themen der Hochschullehre. Dabei setzen wir den Akzent auf realitätsnahe Inhalte, in denen didaktische Themen anhand von realen Unterrichtssituationen erklärt werden. Didaktische Themen sollen daher auch zukünftig weder durch Animationsvideos noch durch idealisierte oder nachgespielte Unterrichtssequenzen thematisiert werden, sondern anhand von realen Situationen aus unterschiedlichen Übungen und Lehrveranstaltungen. Diese realitätsnahe Form von Lernvideos findet sich bislang eher selten, da es nicht einfach ist, die komplexen sozialen Interaktionen im Unterricht zu extrahieren und aufzuzeigen. Unserer Erfahrung nach haben jedoch die realen Unterrichtssituationen einen stärkeren Lerneffekt als nachgespielte Szenen. Und die Rückmeldungen der Studierenden bestätigen diese Überlegung, weshalb wir überzeugt sind, dass sich der Aufwand für diese Art von selbstproduzierten Videos aus pädagogisch-didaktischen Gründen langfristig auszahlen wird.

Read more

Posted on 21/11/2019 by Benno Volk,

Twice a year the programme “Teaching at ETH: Committed and skilled” helps Assistant Professors to implement evidence-based teaching ideas in their classroom teaching. We asked the most recent group to reflect on the most important thing they learned.

Newly appointed Assistant Professors are quickly faced with a range of new tasks they are expected to master. Often without significant introduction, they are expected to develop budgets, plan and teach courses, manage financial acquisitions and hire and train staff in various skills – all the while conducting research and writing publications. The pressure is high as they keep their eye on the prize, namely tenure.

“Teaching at ETH: Committed and skilled” gives Assistant Professors the opportunity to invest some rare time in developing their teaching skills, which for many is a new area of expertise. During the programme’s classroom phase they are introduced to key pedagogical concepts and encouraged to put these into practice in their own teaching environments. They then meet in small groups to discuss their teaching goals and challenges, where they have a chance to give and receive feedback on their ideas and teaching practice.

Over time, not only do their teaching skills develop; many of their previously held beliefs about teaching and learning also change. This was reflected in the latest group’s answers when we asked: “What words of wisdom would you like to pass on to the next course participants?”

Prof. Dr Simone Schürle-Finke responded with this gem: 

“Less content might result in more learning. I feel it is one of the hardest aspects of teaching – and I’m still learning, since as passionate scientists we want to tell and teach the students everything. But instead we should shift focus to enable them and give them the tools to learn by themselves, to feel ownership of their knowledge, to critically think and be motivated for self-learning.” 

Interested? The next “Teaching at ETH” programme starts in January 2020. Read more.

Read more

Posted on 20/11/2019 by Karin Brown,

Maybe you know the problem. You want feedback on your teaching from your students. You want to know what they think went well, and what didn’t. Maybe you need their evaluations for future job applications. In whatever case, in your evaluation a more or less representative amount of feedback and number of ratings would come in handy. But your students are sick of evaluations! They wonder why they have to fill something out which will be of no use to them, and nothing ever comes of evaluations anyway… .

So the muttering of students. However, something actually does happen with student evaluations – even if most students aren’t aware of it. It is rare that someone attends a course twice, and there is little opportunity to find out whether lecturers have implemented their students’ wishes. Therefore, to let students and others know what happens after a questionnaire is submitted and why evaluations are important to teaching quality, we have created a 3-minute video with the help of Youknow (specialists in explainer videos). Please show this video to your students and motivate them to take part in the survey! This is especially useful if you have the opportunity to conduct the evaluation in class.[1]

The challenge for us was to explain the entire comprehensive, stringent evaluation process from survey via publication of findings to deduction of appropriate measures briefly and appealingly. A bigger challenge was to be responsive to students and take their criticisms seriously, while also dignifying the engagement of most lecturers. Whether and how well we have achieved this in three minutes of moving images is yours to decide!

---

[1] By in class evaluation we mean that you programmed the time your evaluation survey will be send out to students, and you ask them during your lecture time to fill in the survey, via their laptop or smartphone.

Read more

Posted on 05/11/2019 by Nora Dittmann Domenichini,