Author: Tobias Halbherr

How to Multiple Choice with Moodle

Multiple Choice (MC) questions are a popular but challenging to master item format for formative assessments and examinations. They facilitate probing students’ knowledge of facts and understanding of simple concepts and their relationships, particularly in large student cohorts.
MC items consist of a stem followed by a number of options. The stem always ends with a short and concise question. It should be possible to answer this question meaningfully without looking at the options (e.g. ‘which of the following options is true’ cannot be answered meaningfully, whereas ‘which animal species are mammals’ can be answered meaningfully). The question may be preceded by a case-study, central idea, or more elaborate problem statement. The options are short and concise and avoid negations.
MC items can be split into two families: The one-best-answer family and the true-false family. In the one-best-answer family, students have to select a single best answer from a set of options. Options that are not the single best answer we call distractors. In the ETH Moodle, this functionality is available through the SC(ETH) question type. In the true-false family, students have to evaluate each option whether it is true or false. In the ETH Moodle, this functionality is available through the MTF(ETH) and the Kprime(ETH) question type. We discourage using the standard Moodle Multiple Choice and the True/False question types, which are no longer needed.

SC(ETH): Single Choice, One-Best-Answer

Single choice (SC), one-best-answer question types are the most appropriate MC format in most occasions. Students need to select a single best answer from a set of options, usually three to five. Because students need to select the best answer from the options, the options by themselves do not need to be strictly true or strictly false. Instead, the best answer needs to be clearly better than all other options. This facilitates the design of much more nuanced questions than is possible with the true-false paradigm. As an alternative to selecting the best answer, students can cross out options they consider to be distractors. Crossing out distractors may either be just a help for students to find the best answer (scoring method SC 1/0) or be relevant for scoring (scoring method Aprime).


Scoring method SC 1/0 (recommended): Students receive full points if the single best option is selected and no points otherwise. Crossed out distractors are disregarded.


Scoring method Aprime: Students receive full points if the single best option is selected, half points if all distractors save one (and save the single best option) are crossed out, and zero points otherwise.

MTF(ETH): Multiple True-False

When a question or problem requires the evaluation of multiple aspects simultaneously, Multiple True-False (MTF) question types may be more appropriate than the SC format. Students need to evaluate every option from a set of one to many options individually as true or false. This implies that each option by itself needs to be clearly and unambiguously true or false. This is a considerable restriction on the kinds of options one can formulate and makes formulating good options much more difficult. Instead of ‘true’ and ‘false’ one can also choose any other two categories, e.g. ‘blue’ and ‘red’, ‘mammal’ and ‘bird’, etc. The MTF(ETH) question type offers two alternative scoring methods.


Scoring method Subpoints (recommended): Students receive subpoints for each correctly marked option.


Scoring method MTF 1/0: Students receive full points if they marked all options correctly, zero points otherwise. This scoring method is rather unpopular with students – the Kprime question type offers a better alternative (see below).

Kprime(ETH): A Popular Compromise

The Kprime question type is a special variant of the MTF question type. It has been popularized through its use in human medicine. The Kprime question type includes exactly four options and the following scoring method: Students receive full points if they mark all four options correctly, half points if they make one mistake, and zero points otherwise. To use this scoring method, select the Kprime scoring method in the Kprime(ETH) question type.

‘Multiple Choice’: No Longer Needed, Soon to be Retired

Please refrain from using the standard Moodle Multiple Choice question type. The scoring mechanics implemented in the standard Moodle Multiple Choice question type are problematic. Please use the SC(ETH), MFT(ETH), and Kprime(ETH) question types instead. We are preparing the migration of existing Multiple Choice items to the new ETH question types. Until this migration is successfully finished, the standard Multiple Choice question type will remain available.

If you are interested in further information on MC items and their design, we recommend the Didactica Course on Multiple Choice. Please refer to the current program https://www.didactica.ethz.ch/

Read more

Posted on ,

Ausbau der Raumkapazitäten für Online-Prüfungen: Rückblick und Ausblick

Die ETH Zürich lancierte 2007 das Projekt «Online-Prüfungen an der ETH Zürich», welches 2010 in eine hochschulweite Dienstleistung für die Durchführung von Online-Prüfungen mündete. Zunächst konnten Online-Prüfungen allein in den Computerräumen des ETH Hauptgebäudes mit maximal gut 130 Studierenden gleichzeitig durchgeführt werden. 2012 wurde mit dem HG G 1 ein erster grosser Raum für Online-Prüfungen in Betrieb genommen, welcher Platz für weitere 160 Studierende bietet. Das HG G 1 wird während der Semester vom D-MAVT für Lehrveranstaltungen, Innovationsprojekte sowie als Lernraum genutzt und für die Sessionen dem Rektorat zur Nutzung übergeben. Zweimal jährlich wird das HG G 1 für die Nutzung als Online-Prüfungsraum während der Sessionen umgebaut. Mit dem HG G 1 konnten die Kapazitäten für Online-Prüfungen mehr als verdoppelt werden, sodass schon bald um die 100 Online-Prüfungen mit rund 10’000 Kandidaten jährlich durchgeführt werden konnten.

 

ETH Online Pruefung im HG am 25.1.2018. (ETH/Alessandro Della Bella)

Per Wintersession 2017/2018 hat die Abteilung LET in Zusammenarbeit mit den Informatikdiensten sowie der Abteilung Immobilien einen weiteren grossen Raum für Online-Prüfungen erfolgreich in Betrieb nehmen können. Nach dem Modell des HG G 1 stellt das D-ARCH dem Rektorat die Fokushalle ONA E 7 in Zürich-Oerlikon für die Durchführung von Online-Prüfungen zur Verfügung. Dank den Erfahrungswerten aus Inbetriebnahme und Betrieb des HG G 1 konnte das Projekt zur Instandsetzung des ONA E 7 für Online-Prüfungen in kurzer Zeit zwischen Sommer 2017 und Wintersession 2017/2018 erfolgreich umgesetzt werden. Die Fokushalle bietet Platz für bis zu 240 Studierende. Damit konnte die Warteliste für Online-Prüfungen in den Sessionen erfolgreich abgebaut und die Anzahl Prüfungen von gut 50 Online-Prüfungen mit knapp 5’000 Kandidat/innen im FS2017 auf über 90 geplante Online-Prüfungen mit insgesamt knapp 9’000 Kandidat/innen im FS2018 innert eines Jahres beinahe verdoppelt werden.

ETH Online Pruefung im ONA Oerlikon am 5.2.2018. (ETH/Alessandro Della Bella)

Mit diesen Massnahmen zum Ausbau der Rauminfrastrukturkapazitäten kann die Anzahl Online-Prüfungen auch nach FS2018 weiter gesteigert und der grossen Nachfrage besser begegnet werden. Mit dem derzeit in Bau befindlichen GLC-Gebäude ist voraussichtlich ab 2021 ein weiterer Ausbau der Infrastrukturkapazität für Online-Prüfungen geplant. Parallel zum Ausbau der Rauminfrastrukturkapazitäten wurde Anfang 2017 das Projekt «Prüfen mit mobilen Geräten» gestartet, welches Online-Prüfungen in bestehenden Räumlichkeiten ermöglicht. Mit Abschluss des Projekts und Übergang zum Service Ende 2018/Anfang 2019 werden so weiter Kapazitäten für Online-Prüfungen entstehen.

ETH Online Pruefung im HG am 25.1.2018. (ETH/Alessandro Della Bella)

Read more

Posted on ,