Tag: Online-Prüfen

Examinations in exceptional times: one year of remote written examinations in Moodle during the COVID-19 pandemic

When it became apparent in the Spring Semester 2020 that on-site examinations were not possible during the semester due to the COVID-19 pandemic, alternative performance assessments without requiring students to be physical present were needed. In collaboration with LET, ETH then soon developed the legal and organisational and didactical framework to ensure that examinations during and at the end of the semester could also be carried out in this exceptional situation.

According to the directive “COVID-19: Measures with regard to teaching” for Autumn Semester 2020 and Spring Semester 2021, high-stakes written examinations during the examination sessions are to take place on site under a strict safety concept. In contrast, written examinations during or at the end of semester in the context of end-of-semester examinations, semester performances and continuous performance assessment tasks can either be conducted on site using a safety concept or as a remote examination. However, a remote version of the examination must always be planned as a backup, in case the government regulations change.

The shift from classical written exams in presence to remote written examinations posed a challenge for everybody. To help teachers to adapt their examinations to an appropriate remote format, LET compiled an overview of alternative ways of assessment. The focus of this text is on one such scenario: written examinations conducted remotely on Moodle.

Long before COVID-19, ETH has been using a separate Moodle instance (Exam Moodle) as an online-platform for summative on-site examinations on desktop computers and mobile devices. Therefore, fortunately, the infrastructure was already in place, although additional functionalities were integrated to better accommodate examinations that are conducted remotely (e.g. a plugin to request a declaration of originality).

In the course of the last two semesters, LET has supported over 200 remote written examinations in Moodle with 14’000 individual performances. Throughout this year, we have found several key factors for successfully conducting remote examination in Moodle.

Useful advice before you start preparing your exam

When in doubt, consult the webpage on remote written examinations (Moodle): This webpage comprises all information relevant for preparing and conducting an remote written examination in Moodle, including a step-by-step manual for setting up the examination.

Setting up a course on the Exam Moodle and coordinate technical support well in advance: Send an email to online-pruefungen@let.ethz.ch if you would like to conduct a remote examination in Moodle as early as possible. We will create a course for you on the Exam Moodle, help you setting up your examination and coordinate how you can reach us as technical support during the examination.

Keep the “open-book” character in mind while designing the exam questions: Even though certain practices have to be applied in order to prevent students to easily communicate the solutions among each other (e.g. open-ended questions, randomization of closed-ended questions), the use of the Internet cannot be prevented. For this reason, you either create questions that cannot be easily looked up on the Internet or explicitly include the Internet search as part of the examination.

Best practice for preparation and conduct

  1. Take advantage of the new opportunities that arise:

Although preparing a remote examination in Moodle may seem challenging at first, it also holds the opportunity for new and creative ways to design an examination.

The biggest opportunity with remote examinations in Moodle is to embrace the fact that students have access to additional resources, such as databases and software, and make it an integral part of the examination. In this way, it is possible to assess the deep understanding of a topic and the application of knowledge rather than mere fact retrieval. This is ideally supported by open-ended rather than closed-ended questions, since the former give students the possibility to present their knowledge in detail. However, notwithstanding all the didactical opportunities, it is crucial that the alignment of the learning objectives with the examination is still maintained.  

Further didactic tips and tricks are available on this webpage.

2. Give students the possibility to navigate freely:

We strongly recommend refraining from using a predefined navigation for the following reasons:

  • Students are not able to get an overview of the whole exam first
  • Students are not able to choose which part of the examination they want to begin with. Stress levels rise when students have no choice but to start with a topic they find difficult.
  • As students are not able to navigate backwards, they cannot revise and adjust their given answers. This is particularly relevant in the case of a momentary blackout.
  • Overall, this creates additional stress for students in an already stressful situation and generally leads to an examination that tests stress resistance rather than the actual learning outcome.

3. Use Zoom as a tool for communication

First things first: You do not have to use or proctor your students with Zoom during a written remote examination in Moodle. However, Zoom is a great way to stay in touch with your students throughout the examination and we recommend using it as your primary communication channel. It allows you to communicate information quickly to all students and students can contact you via chat if they have a question or problem. The students’ cameras do not have to be switched on for this.

The main advantages over other communication channels such as email or phone are the immediacy of communication and the possibility of screen sharing. The latter is particularly useful when technical difficulties arise.

However, it is crucial to establish a second, internet-independent communication channel (e.g. phone). This way, students who lose their internet connection can still contact you.

4. Things to consider for setting up your Zoom meeting

Once you have decided to use Zoom during the remote examination in Moodle, there are a couple of considerations and preparations that should be made beforehand:

  • Distribute roles: make sure everybody involved in the examination knows what their responsibilities are during the exam. For example, who is responsible for questions in the chat? Who will make the announcements and share the password for the exam? Who will handle breakout rooms?
  • Chat settings: make sure that students can write only to you and the Co-Hosts in the Zoom chat. The setting to chat with all participants of the meeting should be disabled.
  • Breakout rooms: including breakout rooms in your Zoom meeting is very helpful in supporting participants with questions or problems, without disturbing the other participants.

5. Conduct a mock examination

A mock exam reduces potential technical difficulties in advance and gives students the opportunity to familiarize themselves with the Moodle exam platform. This way, students already know how to access the examination on the exam day and are familiar with the interface. In order to achieve this, the mock examination does not have to be elaborate. It can also consist of general questions that are not specific to your subject.

6. Make sure that students contact you immediately in case of technical problems

You cannot stress this enough! If a student faces any technical difficulties and cannot continue working on the examination, the student has to contact you immediately. Only if they inform you immediately, it is possible to extend the examination time by the time lost due to the problem. If students inform you after the examination that they were unable to continue working, this is no longer possible.

If you would like to conduct your examination as a remote written examination in Moodle or would like to discuss the possibilities for your remote examination in Moodle, please do not hesitate to contact us via online-pruefungen@let.ethz.ch.

Read more

Posted on ,

Programmieraufgaben online leicht gemacht

Enthält Ihre Veranstaltung Programmieraufgaben? Würden Sie gerne die Studierenden in ein und derselben Umgebung während des Semesters Programmieraufgaben lösen lassen und diese Umgebung dann auch in der Prüfung verwenden? Möchten Sie ausserdem Ihre Programmieraufgaben in der Prüfung mit anderen Aufgabenformaten wie Freitext- oder Multiple-Choice Aufgaben kombinieren?

Mit dem Abschluss der einjährigen Pilotphase von Code Expert ist dies nun für alle interessierten Dozierenden möglich. Mit dem Update des Prüfungsservers auf die Moodle Version 3.7.4+ steht Dozierenden der neue Moodle Fragetyp «Externer Fragetyp (ETH)» zur Verfügung. Mit diesem Fragetyp kann eine Aufgabe innerhalb eines anderen Systems über eine LTI [1]-Schnittstelle in ein Moodle Quiz eingebunden werden. Im konkreten Fall mit einer Aufgabe in Code Expert. Code Expert ist eine browserbasierte Lern- und Programmierumgebung die am Departement für Informatik (D-INFK ) entwickelt wird. Der Moodle-Fragetyp «Externe Verbindung (ETH)» wurde In einem gemeinsamen Projekt der Abteilung Lehrentwicklung und -technologie (LET) und des D-INFK entwickelt.

Wenn Sie Code Expert Aufgaben in einer Prüfung verwenden möchten, setzen Sie Code Expert bereits während der semesterbegleitenden Übungen ein. Auf diese Weise sind alle Studierenden bereits mit der Programmierumgebung für die Prüfung bestens vertraut. Weitere Informationen zu Code Expert finden Sie hier: https://code-expert.net/. Wenn Sie Code Expert in Ihrer Veranstaltung an der ETH einsetzen möchten, so melden Sie sich beim Code Expert-Team des D-INFK (expert@inf.ethz.ch). Informationen zur Integration von Code Expert in Moodle sind auf derselben Website zu finden: https://code-expert.net/lecturers/#integration-in-moodle. Die  Anleitung zur Einbindung von Code Expert Aufgaben in Moodle ist ebenso auf dieser Seite verlinkt: https://code-expert.net/assets/images/Anleitung_CodeExpertIntegrationInMoodleEN_20200409.pdf . Für weitere Fragen zum Einsatz von Code Expert in Online-Prüfungen melden Sie sich gerne bei: online-pruefungen@let.ethz.ch.

[1] LTI: https://www.imsglobal.org/activity/learning-tools-interoperability

Read more

Posted on ,

Weshalb Moodle?

Auf den Beitrag zum neuen Moodle-Design in diesem Blog im Januar diesen Jahres haben wir viel Feedback erhalten. Dafür möchten wir uns herzlich bedanken. Gerne möchten wir Ihnen im Nachgang mit diesem Blogbeitrag aufzeichnen, was eigentlich hinter Moodle steckt und weshalb sich die ETH Zürich für Moodle als strategische Lernplattform entschieden hat.

Seit rund 10 Jahren betreibt die ETH Zürich die zentrale Lernplattform Moodle. Anders als andere Plattformen (bspw. Blackboard) ist die Software Moodle ein Open-Source-Projekt. Vor über 20 Jahren hat ein Universitätsstudent aus Perth mit den Arbeiten an einer Software begonnen, um die Lehre über Distanz zu verbessern bzw. überhaupt erst zu ermöglichen. Martin Dougiamas hat dabei die Software von Beginn an offen gestaltet. So ist der komplette Source Code frei verfügbar, mehr noch: als Open-Source-Projekt fliessen immer wieder Ideen und Softwarecode in das Werkzeug ein.

Moodle bietet viele Schnittstellen, um individuelle Erweiterungen zu programmieren und andere Systeme anzubinden. Die Software ist modular aufgebaut, was es ermöglicht, neue Funktionen hinzuzufügen, ohne den Core-Code zu verändern.

Wer programmiert Moodle

Die Entwicklung des Core-Codes wird vom Headquarter vorantgetrieben, das Niederlassungen in Perth und Barcelona hat. Zur Zeit umfasst das Headquarter rund 75 Personen. Es gibt zusätzlich einige über die Welt verteilte Entwickler, die sich ebenfalls beteiligen. Meistens sind diese bei grossen Universitäten angestellt (auch an der ETH Zürich arbeiten zwei Entwickler für Moodle, dies vor allem im Bereich Onlineprüfungen). Zur Zeit hält Moodle weltweit einen Marktanteil von über 50% für Higher Education. Dies ist umso erstaunlicher, da es mit Blackboard, Brightspace und Instructure grosse Firmen gibt, die mit ihren Produkten an diesem Markt auftreten. Einige spannende Zahlen zu Moodle (Stand Mai 2019):

  • Registrierte Moodle-Installationen: über 100’000
  • Nutzerkonten: über 150 Millionen
  • Quizfragen: über 1.5 Milliarden

Entwicklungen in und für Moodle

Die ETH Zürich hat sich wie oben erwähnt, vor einigen Jahre für Moodle entschieden. Dies hatte verschiedene Gründe, dazu gehören: Die hohe Anpassbarkeit auf individuelle Bedürfnisse, eine sehr aktive und grosse Community, der Open-Source-Gedanke und einiges mehr.

Die ETH Zürich beteiligt sich in diversen Bereichen in der Moodle-Community. Speziell im Bereich Onlineprüfungen entwickeln wir didaktisch verbesserte Fragetypen (kPrime, Single Choice,…) und andere Erweiterungen (Ressilienz-Plugin bei Netzwerkstörungen) und stellen diese den anderen Nutzern – ganz im Open Source Gedanken – zur Verfügung (https://moodle.org/plugins/browse.php?list=contributor&id=91386 and https://github.com/ethz-let)

Das Moodle HQ hat einen klar definierten Entwicklungsplan und eine entsprechende Roadmap. Dies erlaubt es, frühzeitig eine stabile Serviceplanung zu machen. Die Roadmap ist öffentlich: https://docs.moodle.org/dev/Roadmap

Die zwei funktionellen Updates des Moodle-Cores pro Jahr werden an der ETH Zürich nach einigen Wochen installiert und damit auch die neuen und verbesserten Funktionen unseren Studierenden und Dozierenden zur Verfügung gestellt. Dieses Vorgehen ist auch aus Sicherheitsperspektive sinnvoll, da damit auch allfällige Bugs und security issues beseitigt werden.

«Lieber Support, ich habe einen Fehler entdeckt!»
«Lieber Support, ich habe eine tolle Idee!»

Vorteil einer Open-Source Software ist ihre Anpassbarkeit. Man kann grundsätzlich alles verändern. Da wir immer wieder die neueste Version des Core-Codes einspielen, verzichten wir darauf, diesen lokal bei uns zu verändern. In einer Community unterwegs zu sein, heisst aber eben auch, nicht direkten Einfluss auf die Entwicklung des Core-Codes zu haben. Wir sind sehr dankbar, von unseren Studierenden und Dozierenden immer wieder wertvolle Vorschläge zu erhalten. Sofern wir diese nicht direkt auf unserem System – ohne Veränderung des Core-Codes- umsetzen können, geben wir diese gerne in die Community weiter. Leider ist dieser Prozess allerdings nicht immer von Erfolg gekrönt.

Es gibt im Moodle Universum natürlich auch viele andere Entwicklerinnen, die Plugins ebenfalls Open-Source zur Verfügung stellen. Grundsätzlich lassen sich diese auf alle kompatiblen Moodle-Installationen installieren. Allerdings empfiehlt es sich hier, zurückhaltend zu sein. Einerseits weil jedes zusätzliche Modul die Software komplexer (und langsamer) macht. Andererseits muss sehr genau geklärt werden, wie häufig ein Plugin aktualisiert wird. Denn falls ein Plugin nicht mehr gewartet wird, was durchaus passieren kann, ist es irgendwann nicht mehr kompatibel. Dann muss man sich als Moodle-Anbieter entscheiden zwischen Plugin behalten und Moodle veralten lassen oder Plugin löschen und Moodle aktualisieren – beides eher suboptimal. Wir an der ETH haben einige Plugins im Einsatz, so beispielsweise Gruppenauswahl (Universität Lausanne)Scheduler (Universität of York), Open Cast (Universität Münster), evaluieren aber sehr genau, ob wir das Risiko des oben genannten Problems möglich klein halten können.

Fragen oder Kommentare? Wir freuen uns, mit Ihnen hier über darüber zu diskutieren!

Read more

Posted on ,

Online-Prüfungen direkt nach Semesterende: Raum mit 240 Plätzen steht neu zur Verfügung

Seit der Prüfungssession im Februar 2018 betreiben die Informatikdienste zusammen mit der Abteilung LET in der sogenannten Fokushalle im ONA-Gebäude an der Neunbrunnenstrasse in Oerlikon einen Prüfungsraum mit 240 Plätzen für Studierende. Die verfügbare Raumkapazität für Online-Prüfungen in den Prüfungssessionen konnte damit verdoppelt werden. Die Fokushalle ONA E7, in der während des Semesters Vorlesungen des D-ARCH stattfinden, wird jeweils für die Prüfungen um- und nach der Prüfungssession wieder rückgebaut.

Online-Prüfungen direkt nach dem Semesterende: Der Raum ONA E7 in Oerlikon mit 240 Prüfungsplätzen steht zur Verfügung. (Bild: ETH/Alessandro Della Bella)

Nun steht der nächste Quantensprung an: Das D-ARCH stellt die Fokushalle ab dem Herbstsemester 2018 früher für Prüfungen zur Verfügung. Die Informatikdienste und die Abteilung LET können daher diese grosse Halle schon nach dem Semesterende für Online-Prüfungen anbieten. Online-Prüfungen im ONA E7 sind in den kommenden Semestern immer ab dem ersten Montag nach Semesterende möglich. Die Kapazitäten für Online-Prüfungen in den Wochen nach dem Semesterende können dadurch fast verdreifacht werden.

Insbesondere für Dozierende, die ihre Semesterendprüfung oder benotete Semesterleistung nach Semesterende am Computer durchführen möchten, ist das eine sehr gute Nachricht. Bisher waren die Kapazitäten rund um das Semesterende ausgelastet und wir mussten diverse Anträge negativ beantworten. Die entstandene Warteliste können wir nun verkleinern. Online-Prüfungen mit vielen Studierenden und mit Verwendung von Drittapplikationen (z.B. Statistiksoftware) konnten nun bewilligt werden.

Die Abteilung LET dankt dem Departement ARCH für das grosszügige Entgegenkommen bei der Belegung der Fokushalle ONA E7. Die Verwendung der Fokushalle für Vorlesungen im Semester und für Online-Prüfungen zwischen den Semestern stellt für die ETH Zürich einen grossen Gewinn dar. Schon vorhandene Raumressourcen werden effektiv verwendet, ohne dass dadurch mehr Mietkosten entstehen.

Read more

Posted on , 5 Comments

#moodleDACH18 – a success story

A month ago ETH hosted the Moodle DACHunconference and Devcamp (https://www.moodle-dach.eu/) which has a specific focus on using Moodle in the higher education context. About 140 Moodle administrators, power users and developers from all over the world, met in the Earth sciences building. During the entire event the hashtag #moodleDACH18 was used. View the twitter wall with impressions and thoughts at https://walls.io/moodledach18.

Unconference

The first part was organised as a BarCamp. This format focusses on interactive meetings with short inputs. The agenda is co-constructed with the participants on the first morning of the conference. This means there are no submissions, papers or presentations submitted ahead of time, which greatly minimises preparation and the organisational work required. The participants were invited to pitch ideas for a session within 30 seconds. Directly afterwards these ideas were added to an online programme (session plan BarCamp) and allocated to an available meeting room. General Data Protection Regulation (GDPR), learning analytics, the usability of Moodle and online exams were central topics and well visited.

Participants queuing to pitch their ideas for a session.

DevCamp

After a day and a half of BarCamp the DevCamp started. After another idea pitching phase, 12 development projects started. Their primary goal was to have working code after the DevCamp. It was impressive to see, how the projects grew and almost all succeeded in presenting a working result on the final day. You can find an overview of the projects here (DevCamp projects). All participants then voted for the best project and thanks to our sponsors, three projects («Essay question word/char count», «Notification API Message Output», «MCDS-Moodle content Delivery System Admin Tool») won a prize.


Closing image of the DevCamp with most of the participants.

Conclusion

#moodleDACH18 was a real success story. The BarCampmethod changes the way how a conference works entirely. Interactive, spontaneous, diverse, discursive and cross-linked –those are all the hallmarks of a BarCamp, and we believe, this is one way how conferences of the 21st century could look. It minimises the preparation time and allows for flexibility and emergent topics. Additionally, the BarCamps were completely digitised. By using Moodle, Twitter and Google Docs there wasn’t hardcopy of anything to be seen anywhere.

The Moodle team at LET benefited strongly by participating in this event. Firstly, there was benefit that comes from networking with others from different higher education institutions. Seeing how Moodle is implemented in other places helps to identify areas where ETH is on the cutting edge, such as online exams, or where we could learn from the experience of others. Secondly, it nourishes relationships and thirdly, it helps to drive strategy for the development of Moodle on an institutional level and more generally.

The next Moodle DACH will be in Vienna.

Read more

Posted on ,

Ausbau der Raumkapazitäten für Online-Prüfungen: Rückblick und Ausblick

Die ETH Zürich lancierte 2007 das Projekt «Online-Prüfungen an der ETH Zürich», welches 2010 in eine hochschulweite Dienstleistung für die Durchführung von Online-Prüfungen mündete. Zunächst konnten Online-Prüfungen allein in den Computerräumen des ETH Hauptgebäudes mit maximal gut 130 Studierenden gleichzeitig durchgeführt werden. 2012 wurde mit dem HG G 1 ein erster grosser Raum für Online-Prüfungen in Betrieb genommen, welcher Platz für weitere 160 Studierende bietet. Das HG G 1 wird während der Semester vom D-MAVT für Lehrveranstaltungen, Innovationsprojekte sowie als Lernraum genutzt und für die Sessionen dem Rektorat zur Nutzung übergeben. Zweimal jährlich wird das HG G 1 für die Nutzung als Online-Prüfungsraum während der Sessionen umgebaut. Mit dem HG G 1 konnten die Kapazitäten für Online-Prüfungen mehr als verdoppelt werden, sodass schon bald um die 100 Online-Prüfungen mit rund 10’000 Kandidaten jährlich durchgeführt werden konnten.

 

ETH Online Pruefung im HG am 25.1.2018. (ETH/Alessandro Della Bella)

Per Wintersession 2017/2018 hat die Abteilung LET in Zusammenarbeit mit den Informatikdiensten sowie der Abteilung Immobilien einen weiteren grossen Raum für Online-Prüfungen erfolgreich in Betrieb nehmen können. Nach dem Modell des HG G 1 stellt das D-ARCH dem Rektorat die Fokushalle ONA E 7 in Zürich-Oerlikon für die Durchführung von Online-Prüfungen zur Verfügung. Dank den Erfahrungswerten aus Inbetriebnahme und Betrieb des HG G 1 konnte das Projekt zur Instandsetzung des ONA E 7 für Online-Prüfungen in kurzer Zeit zwischen Sommer 2017 und Wintersession 2017/2018 erfolgreich umgesetzt werden. Die Fokushalle bietet Platz für bis zu 240 Studierende. Damit konnte die Warteliste für Online-Prüfungen in den Sessionen erfolgreich abgebaut und die Anzahl Prüfungen von gut 50 Online-Prüfungen mit knapp 5’000 Kandidat/innen im FS2017 auf über 90 geplante Online-Prüfungen mit insgesamt knapp 9’000 Kandidat/innen im FS2018 innert eines Jahres beinahe verdoppelt werden.

ETH Online Pruefung im ONA Oerlikon am 5.2.2018. (ETH/Alessandro Della Bella)

Mit diesen Massnahmen zum Ausbau der Rauminfrastrukturkapazitäten kann die Anzahl Online-Prüfungen auch nach FS2018 weiter gesteigert und der grossen Nachfrage besser begegnet werden. Mit dem derzeit in Bau befindlichen GLC-Gebäude ist voraussichtlich ab 2021 ein weiterer Ausbau der Infrastrukturkapazität für Online-Prüfungen geplant. Parallel zum Ausbau der Rauminfrastrukturkapazitäten wurde Anfang 2017 das Projekt «Prüfen mit mobilen Geräten» gestartet, welches Online-Prüfungen in bestehenden Räumlichkeiten ermöglicht. Mit Abschluss des Projekts und Übergang zum Service Ende 2018/Anfang 2019 werden so weiter Kapazitäten für Online-Prüfungen entstehen.

ETH Online Pruefung im HG am 25.1.2018. (ETH/Alessandro Della Bella)

Read more

Posted on ,