Digitale Trends 2025

Posted on by
Reply

Bericht vom Symposium Digitale Trends 2025 – Entwicklungen in der akademischen Bildung

Webseite: https://www.kit.edu/kit/17485.php

Hintergrund

Das KIT (Karlsruher Institut für Technologie) lud am 15. Oktober 2015 zu dem Symposium „Digitale Trends 2025 – Entwicklungen in der akademischen Bildung“ ein. Organisiert wurde die Tagung vom kürzlich gegründeten ZML (Zentrum für Mediales Lernen).Gidion_IMG_1015

“Das ZML führt derzeit gemeinsam mit der Universität Stuttgart die Studie Mediale Hochschulperspektiven 2020 in Baden-Württemberg durch. Sie befasst sich mit aktuell relevanten Themen medialen Lehrens und Lernens in der akademischen Bildung und wird im Herbst abgeschlossen sein. Aus diesem Anlass veranstaltet das ZML ein Symposium zum Thema Digitale Trends 2025 – Entwicklungen in der akademischen Bildung. Das Symposium liefert Ergebnisse der Studie und beschäftigt sich mit Entwicklungstrends digitaler Anwendungen im Hochschulbereich.“ (aus dem Ausschreibungstext).

Ergebnisse

Insgesamt 9 relevante Trends konnten in dieser Studie identifiziert werden:

  1. Integrierte IT-Systeme: das zukünftige System erfasst und offeriert sämtliche digitalen Daten, welche das Studium betreffen. Als Ziel wird eine Vernetzung bzw. Integration von Campus-Management und Learning Management Systemen gesehen.   Relevanz: Rollen und Prozesse müssen für das elektronische System klar definiert werden, was wiederum Einfluss auf die realen Abläufe hat.
  2. Blended Learning als Standard: Hohe Durchmischung elektronischer Lerninhalte mit klassischen Lernsettings aufgrund geänderter Gewohnheiten und Ausstattungen (cloud computing, hyper targeting, internet of things). Relevanz: Bedarf an den Lehrenden ausgerichtet.
  3. Internetbasierte Lehre: prägt die digitalen Märkte der akademischen Bildung. Relevanz: MOOCs.
  4. Student Life Cycle: Dokumentation des individuellen Bildungsverlaufs, nicht auf das Studium beschränkt (Brückenkurse, Weiterbildung). Relevanz: ePortfolios.
  5. Selbstorganisation im Studium: kooperatives und selbstorganisiertes Lernen in digitalen Umgebungen. Relevanz: Austausch (sharing) von Wissen ermöglichen (analog zu Uber, AirBnB).
  6. Forschungsorientierte Lehre: mediale Verknüpfung von Theorie und Praxis in Wissenschaftlichen Laborlandschaften. Relevanz: Ortsunabhängigkeit.
  7. Sprachtransfer: Lecture Translator (Projekt am KIT). Relevanz: Einbezug der Nutzer bei Übersetzungen.
  8. Digitalisiertes Wissen: On-demand Aufbereitung wissenschaftlicher Inhalte (bwSync&Share, Projekt am KIT). Relevanz: wissenschaftliche Kooperation.
  9. Learning Analytics. Relevanz: Datenschutz

Trends_IMG_1028

Die Trends (1) bis (3) sind zum jetzigen Zeitpunkt bereits weit fortgeschritten, (4) bis (6) befinden sich in der Entwicklungsphase, (7) und (8) sind spezifisch für das KIT und mit entsprechenden Projekten verknüpft. Trend (9) bedarf einer vertieften Diskussion im Rahmen der (in Deutschland) geltenden Datenschutzbestimmungen.

Nach der Vorstellung dieser Trends durch den Leiter des ZML, Gerd Gidion, folgten Referate zum aktuellen Status von Akteuren aus Wirtschaft und Bildung. Wirklich neue Einsichten brachte jedoch keiner der Vortragenden und die von den Referenten geäusserten Entwicklungstendenzen waren dann auch sehr subjektiver und persönlicher Natur.

Vortraege_IMG_1029Einige Vorträge sind unter folgendem Link  als Video verfügbar:
http://www.zml.kit.edu/nachlese-digitale-trends-2025.php

Fazit

Der im Symposium gelieferte Ausblick auf das Jahr 2025 bot jetzt keine Überraschungen und deckt sich zum Teil mit kurzfristigeren Voraussagen, wie jenen etwa aus dem NMC Horizon Report. In der Diskussion wurde dann auch die Frage nach zu Zulänglichkeit solcher Prognosen gestellt. Immerhin gehen sämtliche Prognosen davon aus, dass die organisationale Einheit (Hochschule) keiner Entwicklung unterliegt. Dass unser Verständnis von Hochschule variiert und doch sehr stark durch digitale Entwicklungen beeinflusst werden kann, hat sich z.B. mit der Diskussion zu MOOCs gezeigt. Zunehmend werden die beiden Standpfeiler Lehre und Leistungskontrolle jetzt ausgelagert. Beides Entwicklungen, die vor zehn Jahren noch undenkbar waren. Laut Kommentar einer Teilnehmerin sind die im Symposium vorgestellten Trends daher zu kurz gefasst und man sollte die viel weitreichenderen institutionellen Folgen einer zunehmenden Digitalisierung in der akademischen Bildung nicht ausblenden.

Randbemerkungen

  • An der RWTH leitet Marcus Gerards die zentralen Einheit „Medien für die Lehre“, welche Blended Learning und Flipped Classroom erfolgreich unterstützt und ausbaut. Insbesondere praktiziert die RWTH ein Leistungskontrollsystem, in dem Studierende während des Semester 0.3-0.4 Notenpunkte an die Leistungskontrolle am Semesterende erarbeiten können. Dies unterstütze das kontinuierliche und nachhaltige Lernen. Die RWTH sieht in der vermuteten Kollaboration der Studierenden während des Semesters einen Lern-Mehrgewinn. Ein Blick nach Aachen wäre sicher auch für die ETH von Gewinn.
  • Fabian Schumann (iversity) bot einen interessanten Einblick in die erforderlichen Zeitaufwendungen bei der Erstellung eines MOOC. Dabei werden knapp 75% der benötigten Zeitressourcen für Videoproduktion und Medienerstellung aufgebraucht. Für didaktische (Instructional Design) und inhaltliche (Instructor) Aufbereitung bleiben lediglich 25% übrig. Dieses Verhältnis steht invers zum Aufgebot für Präsenzveranstaltungen und wirft daher einige Fragen bezüglich der Lehrintention auf.

Pause_IMG_1031

D-MATH StudyCenter

Posted on by
1

With the start of the autumn semester 2015, the Department of Mathematics offers a new service for undergraduates: the StudyCenter.

The StudyCenter provides the participants with the possibility of guided learning. Depending on their needs, students can repeat and deepen the contents of the Analysis or Linear Algebra lectures individually or in groups and benefit from the presence of coaches offering their help.

The StudyCenter is held at ETH Zurich Zentrum campus every Monday and Friday and at ETH Zurich Hönggerberg campus on Thursday afternoon.

Read more (ETH login)

StudyCenter

Exams at the Computer: Doubling the Capacity

Posted on by
1

At the ETH Zurich, the seats for exams at the computer are limited: during the semester, there are 118 available seats total (in four rooms); during the exam session, one big room with 160 seats gets added, amounting to a total of 278 seats for synchronous exams.

To double the capacity, we have used a ‘Schleusensystem’ (locking/sluice/gating; I do not know how native speakers would call this) for some time but I finally took some pictures to illustrate this post. So here it is!

The first ‘Schleuse’ that I was involved in was in June 2013. It was still during the semester (four rooms with a total of 118 seats) and there were 220 students. It went like this:

  • 9:00 the first group of students entered the exam rooms and started writing the exam. No one could leave the room before the exam finished (app. 10:40).
  • 10:35 the second group of students was ‘locked in’ in a ‘Schleusenraum’ (locking room). If a student came after that time, s/he was not accepted to the exam.
  • 10:40 the first group was sent away, far far away!
  • 10:42 a restart of all computers was performed, the rooms were quickly tidied.
  • 11:00 the second group was accompanied to the exam rooms and could start the exam.

Some of the trouble we had, was, because there were four rooms, that students forgot which room they were assigned to. We had informed them in advance and we had the list with us, so this was not a real problem but you could feel that the stress level was quite high and rising. Another time, the restarts didn’t work the first time around. This led to an (additional) delay of 20 minutes.

This summer 2015, we decided to flip it for two exams during the exam session. The first group wrote the exam, the first group was accompanied to a locking room, and the students were only released when all students of the second group had entered the exam room (after we had tidied up and the restarts had been performed).

The way from the exam room to the ‘Schleusenraum’ is approximately 100 meters and we used barriers to close the exits (hallways, stairs, elevators).

IMG_5795

IMG_5798

There was neither tension nor stress!

IMG_5811

IMG_5803

The time in the locking room has always been between 25 to 45 minutes (depending on group size and technical problems with the restarts). But, this time, students were not nervous anymore, they had written the exam, they could talk about it. Some had taken playing cards with them and played together. (Smartphones or any other electronical devices were still not allowed, so that they could not text anybody from the second group.)

The Downside

  • half of the students taking the exam have to wait in a room for 30 or more minutes
  • the supervisors need to be there at least twice the hours of the exam
  • more supervisors are needed for the transfer of the group going to / or coming from the locking room
  • the organisation is challenging (getting the barriers to the right locations, getting the supervisors to the right locations, everybody knowing where to be and what to do)

The Upside

  • one exam needs to be written (and not two series)
  • the exam can take place at the computer and not on paper

Conclusion

If you think about having two groups writing the same exam, lock up the first group and not the second! If you can, don’t do it at all.

moodle Activity: Workshop

Posted on by
Reply

moodle Workshop Activity

Being inspired by the “Critical Thinking” Initiative, the lecturers of Writing, Reporting & Communication (Prof. Dr. W. R. Taylor, Dr. E. de Bruin) used the moodle activity ‘Workshop‘ in Spring Semester 2015 with 30 students. The students had to write a review of scientific papers, design a poster and give a presentation. Then they had to assess 10 of their peers’ posters and 15 of their peers’ presentations. One lecture was used for the poster review – students brought along physical posters – and one lecture was used for the presentations. The Workshop activity helped with the peer review process of the posters and the presentations. The peer review was done in class, which meant that the students brought along their laptops or tablets.

Description of the moodle activity:

The workshop activity module enables the collection, review and peer assessment of students’ work.
Students can submit any digital content (files), such as word-processed documents or spreadsheets and can also type text directly into a field using the text editor.
Submissions are assessed using a multi-criteria assessment form defined by the teacher. […] Students are given the opportunity to assess one or more of their peers’ submissions. Submissions and reviewers may be anonymous if required.
Students obtain two grades in a workshop activity – a grade for their submission and a grade for their assessment of their peers’ submissions. Both grades are recorded in the gradebook.

This is a very powerful activity and it is not at all intuitive, especially for the lecturers! Setting up the activity, which is usually the lecturers’ duty, is quite a challenge. In contrast to that, correctly set up, the students had no trouble whatsoever in using the activity, i.e. in reviewing their peers’ work.

Phases to this activity

  • Setup phase
  • Submission phase
  • Assessment phase
  • Grading evaluation phase
  • Closed

Workshop PhasesYou need to do all the steps below each phase, and you need to manually change from one phase to the next using the ‘lightbulb’ next to the phases’ titles. (I had to call Urs Brändle, to find out how to do this!) If you’re that far and you read the instructions/messages shown to you when changing phase, you will be fine.

Random tips

  • You will find the ‘Edit assessment form’ and the ‘Allocate submissions’ in the Administration box of the Workshop activity (‘Workshop Administration’).
  • If the allocation has been done but you allow a student in the last minute to hand in their work (after the deadline), you will have to redo the allocation. (It had been a good idea to put it on ‘random’ and ‘automatic’ but…)
  • The grading is… Here’s a picture of how we understood how it is done:
    workshop-grading
  • There is no way of exporting all the assessments (and comments).
  • And one last tip: Inform the students beforehand about the grading, especially about the grading of how they assessed their peers!

We didn’t evaluate the use of the Workshop activity. It was a pilot and it worked, in the end, more or less, how we imagined it. If we had had to do it by hand, we would still be putting together the 2’250 data points (750 assessments * 3 criteria) and be entering them in Excel! 😉

Bericht aus einer Neuen Welt: Die beste aller möglichen Prüfungen

Posted on by
Reply
  • … gibt detaillierte Rückmeldungen über den Erreichungsgrad eines jeden vorher festgelegten Lernziels (verzichtet auf Prüfungsnoten und auf die ganze damit verbundene Arithmetik).
  • … gibt den Studierenden detailliertes Feedback über die erbrachten Leistungen (fordert die Studierenden auf, sich mit dem Prüfungsergebnis auseinanderzusetzen).
  • … bestätigt die nachweisliche Umsetzung fachlicher und überfachlicher Kompetenzen (verzichtet auf allgemeine Formulierungen).
  • … orientiert sich an Real-World Gegebenheiten = authentic assessment (verzichtet auf artifizielle Prüfungssituationen).
  • … ist integraler Teil des Lernprozesses (verzichtet auf eine reine Akkumulation von Einzelprüfungen).
David Boud: challenges

David Boud: What are we assessing for? (keynote)

All das ist nicht neu und wir kennen auch die Argumente, die gegen eine Umsetzung sprechen: zu kompliziert, zu zeitintensiv, methodisch nicht umsetzbar, u.v.m. Dennoch haben vor fünf Jahren David Boud und Kollegen aus über 30 Universitäten einen Katalog von Vorschlägen aufgestellt, wie Prüfungen im Jahr 2020 effektiver, aussagekräftiger und lernfördernder zu gestalten sind (Assessment 2020: Seven propositions for assessment reform in higher education, ← unbedingt lesenswert!):

The propositions have been developed to guide assessment thinking in the light of the increasing focus on standards, and to address criticisms of current practice. They set directions for change designed to enhance learning achievements for all students and improve the quality of their experience.

Bild: zVg (http://www.cetl.hku.hk/conf2015/gallery/)

Im vergangenen Mai haben sich in Hong Kong (International Conference: Assessment for Learning in Higher Education) mehr als 200 Universitätsangehörige aus 28 Ländern getroffen, um über ihre Erfahrungen und Probleme zu diskutieren, die bei der konkreten Umsetzung genau dieser Vorschläge aufgetreten sind.

John Biggs: "good teaching is beating the bell curve"

John Biggs: “good teaching is beating the bell curve”

Beeindruckt hat mich bereits am ersten Tag, mit welchem Selbstverständnis sich die Teilnehmenden zu der doch recht umfassenden Umgestaltung von Prüfungen geäussert haben. In ihren Fachbereichen und Universitäten ist diese Form des Leistungsnachweises bereits zu einem hohen Grad umgesetzt und scheint auch gut zu funktionieren. An der Konferenz musste keiner mehr von den Vorteilen überzeugt werden. Vielmehr ging es darum, Erfahrungen aus den unterschiedlichen Umsetzungen zu gewinnen.

Eigentlich wollte ich mich mit meinem Besuch gezielt über neuere Assessment-Methoden informieren. Dann aber fand ich es weitaus spannender im Verlauf der Konferenz herauszufinden, welche Entwicklung an den Universitäten einen solch fundamentalen Wechsel der Prüfungen überhaupt ermöglicht haben und welche Konsequenzen das für uns haben kann.

In zahlreichen Gesprächen mit den Teilnehmenden hat sich dabei folgender Ablauf konkretisiert:

  1. Studiengänge werden mit Standards (=Qualifikationsprofile im ETH-Jargon) versehen. Standards definieren die fachlichen und überfachlichen Kompetenzen, welche die Studierenden beim Abschluss erworben haben.
  2. Im Curriculum eines Studiengangs werden für jede einzelne Veranstaltung die Lernziele mit den Standards des entsprechenden Studiengangs abgeglichen. D.h. es wird spezifiziert, in welchen Veranstaltungen welche Kompetenzen in welcher Form vermittelt werden. Eventuell muss das Curriculum entsprechend den Standards angepasst werden, oder eine Überarbeitung der Standards steht an.
  3. Die Prüfungen (Leistungsnachweise) geben Aufschluss darüber, zu welchem Grad die Studierenden die vorgegebenen Lernziele erreicht haben. Sie liefern damit auch detaillierten Aufschluss über den Erreichungsgrad der einzelnen Standards und somit schliesst sich der Kreis Standards⇔Lernziele⇔Prüfungen. Prüfungen sind damit integraler Bestandteil der Curriculumsentwicklung.
Boud

David Boud: “we need to know HOW a student is excellent, not that he is”

Im Gegensatz zu konventionellen Prüfungen sind die Prüfungsergebnisse nun auf die vorher festgelegten Lernziele ausgerichtet. Zum Beispiel für das Lernziel: „Studierende erlangen Fertigkeiten im Lösen von physikalischen Fragen anhand von Übungsaufgaben“ wird detailliert angegeben, um welche Fertigkeiten es sich hierbei handelt und auf welcher Stufe jede dieser Fertigkeiten erreicht werden. Die Leistungsmessung erfolgt bei dieser Art Prüfung durchgängig anhand von Rubrics (Bewertungsrastern).

Am D-PHYS haben wir vor einiger Zeit ein solches Raster zur Bewertung von Aufgabenlösungen entwickelt. Das Raster wurde bisher nur sehr beschränkt eingesetzt, es illustriert aber gut, wie solche Rubrics auch bei uns aussehen können.

Rubrics waren während der Tagung auch ein wichtiges Thema. Diskutiert wurde z.B. wie man sie Studiengangs weit formulieren kann, um die individuelle Leistungsentwicklung besser abbilden zu können (Workshop 3, Paper 118).

Weitere zentrale Themen umfassten:

Communities of Practice (Workshop 1, Paper 34, Roundtable 2). Um Innovation innerhalb einer Institution zu diffundieren, eignen sich CoP am besten. Zentrale Einheiten, wie das ITL an der University of Sydney bieten hierfür geeignete Netzwerke. Graham Hendry vom ITL hat in diesem Rahmen zusätzlich einen aufschlussreichen Kriterienkatalog (als Rubrics) von sinnvollen Prüfungen vorgestellt. Auch das CETL der Universität Hong Kong hat mit dem Wise Assessment Project eine recht umfangreiche Austauschplattform aufgebaut.

Curriculumsentwicklung (Paper 10, 30, 104). Einige Universitäten haben sogenannte Core Curriculum (University of Hong Kong) oder Connected Curriculum (University College London) entwickelt, in denen überfachliche Kompetenzen fächerübergreifend vermittelt werden. Critical Thinking wurde hier immer wieder als Argument angeführt.

Assessment-Methoden (Workshop 2, Roundtable 1). Eine umfangreiche Sammlung an Methoden mit zahlreichen Beispielen wird vom CETL bereitgestellt und im Wise Assessment Project sukzessive erweitert.

sadler

Royce Sadler: “we need to adapt to students’ knowledge when designing assessment tasks”

Daneben wurden auch kritische Anmerkungen aufgeworfen:

  • Zusätzlich zu den Rubrics bedarf es des Erfahrungswissens der einzelnen Examinatoren und des Willens der Institution, Leistungskontrollen zu reformieren. Mit Rubrics allein, stellt sich noch kein Wandel im Prüfungswesen ein: „a rubric is a rubric, it’s just a piece of paper“ (Paper 118).
  • Eine Reform auf institutioneller Ebene soll nicht zu stark an Reglemente und Vorschriften gekoppelt sein. Vielmehr ist es wichtig, geeignete Wege aufzuzeigen und die konkrete Umsetzung den einzelnen Fachbereichen zu überlassen.

Zusammenfassend war der Besuch dieser Konferenz eine äusserst aufschlussreiche Reise in eine recht überzeugende Zukunft. Die bei uns bereits eingeleiteten Entwicklungen bezüglich Curricula weisen deutliche Parallelen auf und falls wir diese ernst nehmen, werden auch wir uns irgendwann ernsthaft mit unseren Leistungskontrollen befassen müssen. An der Konferenz wurden Möglichkeiten der Umsetzung aufgezeigt, die in vieler Hinsicht sicher einen der bestmöglichen Kompromisse zwischen effektiv erbrachter Leistung und deren Nachweis darstellt.

Zum Schluss noch einige Randbemerkungen:

  • An den Universitäten gibt es grössere Unterschiede zwischen den einzelnen Fachbereichen was die Umsetzung der Reformen betrifft. Am weitesten fortgeschritten sind, neben den Ingenieurwissenschaften, die Wirtschaftswissenschaften, die Rechtswissenschaften und die Veterinärmedizin. Bei Mathematik und den Naturwissenschaften besteht noch Nachholbedarf.
  • Massen-Onlineprüfungen mit MC-Fragen werden definitiv abgelehnt. Wenn  Onlineprüfungen, dann nur solche, die Leistung in einer authentischen Umgebung am Computer prüfen (Programmierung, Design usw.).
  • Portfolios werden eigentlich nur restriktiv für einzelne Lehrveranstaltungen eingesetzt. Lernportfolios über diese Grenzen hinaus, etwa zum Leistungsnachweis eines ganzen Studiengangs, waren kein Thema.
  • Studierende haben insbesondere die Vielfältigkeit der Prüfungsmethoden als sehr positiv empfunden (Roundtable 1 mit Studierenden der University of Hong Kong).
  • Nationale Programme und internationale Akkreditierungen waren sehr häufig ausschlaggebend für die Notwendigkeit der Reformen. Insbesondere die Universitäten in Australien und Neuseeland und teilweise in Grossbritannien und Asien sind bei der Umsetzung führend.
  • Und natürlich ist Hong Kong eine spannende Stadt mit vielen gegensätzlichen Facetten auf engstem Raum.

    The University of Hong Kong

    The University of Hong Kong (Centennial Campus)

Exams over WLAN?

Posted on by
Reply

It may just be possible!

IMG_5396-smudged

Last Friday (22 May 2015), thanks to lecturer and study coordinator Dr. Roland Müller, first year D-HEST students could take part in a mock exam as a preparation for the real exam in August. This exam has been done at the computer for several years now. Long ago, when we planned this, people would warn us that the WLAN may crash and that (many) other problems would occur. This did not scare us! 🙂

Key numbers:

  • 160 students with their own devices (133 computers and 27 tablets)
  • moodle exam (not too complex, mostly kprime and text questions)
  • 4 access points (HPH G1 standard installation)

We also instructed everybody to switch every other device they had brought along onto airplane mode or to switch them off. At the beginning, I helped three students to get onto a wireless network, and one student had real problems with his laptop. Stephan Walder from ID NET oversaw the traffic and found out a few irregularities. For example, one access point took over half of the clients, and the other three access points shared the rest. The mock exam went on smoothly and students worked in absolute silence. It was a wonderful experience.

Doing exams with portable devices may further:

  • flexibility (especially with rooms)
  • hand drawing capabilities
  • silence! (in contrast to the keyboards in the computer rooms which are incredibly loud)

It is not planned to go into BYOD for real exams but the use of tablets or portable computers for ‘exams at the computer’ may well be in the near future at ETH Zurich.

IMG_5394-smudged

Video Analytics: wann und wie benutzen Studierende Lernvideos?

Posted on by
1

Seit anderthalb Jahren betreibt das Departement Physik ein eigenes Videoaufnahmestudio, in welchem Lehrende Videos in Selbstbedienung erstellen können. Mit mittlerweile 135 Lernvideos aus 10 Vorlesungen und insgesamt über 20‘000 Aufrufen liegen genügend Daten vor, um die Benutzung der Videos über das Semester hinweg zu untersuchen. Youtube stellt dazu mit Analytics eine umfassende Datenbasis zur Verfügung.

videos

(Klicken Sie das Bild, um zum youtube Kanal der Physikvideos zu gelangen)

Datengrundlage: Als Untersuchungsbeispiel werden im Folgenden die Videos einer Physik-Einführungsvorlesung für Bauingenieure (Phys_BAUG) herangezogen. Diese Vorlesung wurde im Herbstsemester 2013 und im Herbstsemester 2014 für jeweils ca. 200 Studierende angeboten. Während der Vorlesungszeit erhielten die Studierenden jede Woche eine Videolösung (bestehend aus 1 bis 2 Einzelvideos). Somit liegen für den Untersuchungszeitraum von Sep 13 bis Feb 15 insgesamt 34 Videos (2×13 Videolösungen) vor. Jede Vorlesung hatte eine eigene Videosammlung, bestehend aus jeweils 13 unterschiedlichen Videolösungen.

fig01

Daten aus Phys_BAUG (HS13 und HS14)

Analyse:

In der Grafik werden zwei Kenngrössen im monatlichen Verlauf abgebildet:

  • views (Aufrufe): absolute Anzahl der von youtube registrierten Videoaufrufen (Balken),
  • percetage viewed: durchschnittlicher Anteil der angeschauten Videolänge, gemessen an der Gesamtlänge (Linie).

In Oct 13 wurden somit 655 Aufrufe registriert, wobei die dort aufgerufenen Videos im Schnitt zu 54% angeschaut wurden. Diese Kennzahlen sind laut youtube wichtige Indikatoren für die Zuschauerbindung und beeinflussen sicher auch die Vergütung von zugeschalteter Werbung (falls vorhanden).

Die absoluten Werte sind jedoch mit Vorsicht zu interpretieren. Als Aufruf wird jeder Click auf den Play-Button bewertet, wobei aber Manipulationen durch wiederholtes Clicken möglichst verhindert werden. Wie der Wert von percentage viewed genau ermittelt wird, ist in der Dokumentation nicht ersichtlich. Für den monatlichen Vergleich, wie hier angestrebt, sind diese Bedenken jedoch zweitrangig. Anzumerken ist, dass bei percentage viewed ein Anteil von 30-60% für eine durchschnittliche Videolänge von knapp 15 Minuten von youtube als hohe Zuschauerbindung angesehen wird. Zudem haben Befragungen ergeben, dass 86% der betroffenen Studierenden die Videolänge als „genau richtig“ angeben und somit kein Problem mit Videos von 15 bis 20 Minuten Dauer haben.

Weiterhin ist in der Grafik der Zeitraum in unterschiedliche Perioden unterteilt:

  • lecture period (Sep-Dec): Zeit in welcher die Vorlesung angeboten wird und die Studierenden wöchentlich eine neue Videolösung erhalten,
  • exam period (Jan): Ende Januar findet jeweils die Abschlussprüfung statt,
  • re-test period (Aug): eine Nachprüfung, an der aber nur sehr wenige Studierende teilnehmen,
  • no-lecture (Feb-Jul): in diesem Zeitraum finden weder Vorlesungen noch Prüfungen statt.

Diskussion:

In der Grafik fällt zunächst auf, dass sich die Aufrufe (views) während der Prüfungszeit (Jan 14, Jan 15) deutlich erhöhen. Die Videos wurden also verstärkt zur Prüfungsvorbereitung eingesetzt. Während der Vorlesungszeit (Sep bis Dec) fallen die Einbrüche im Sep und Dec auf. Sie sind darauf zurückzuführen, dass das Semester erst Mitte September beginnt und die Weihnachtszeit eher als lernfrei zu betrachten ist. Im Oct 13 wurden die Videos erstmalig in einer Physikvorlesung eingesetzt und daher auch stark beworben. Dies mag den deutlich erhöhten Wert in diesem Zeitraum erklären, der sich in Oct 14 nicht wiederholt. Insgesamt kann man also feststellen, dass in der Vorlesungszeit die Videos ziemlich gleichmässig (im wöchentlichen Rhythmus ihres Erscheinens) benutzt werden.

Bei percentage viewed liegen die Werte während der Vorlesungs- und der Prüfungsvorbereitungszeit etwa gleich hoch. Im Vergleich zu 2013 fallen sie 2014 jedoch geringer aus. Im Gegenzug erhöhen sich dann aber in Jan 15 die Aufrufe deutlich. Diese Abweichung lässt sich entweder auf die unterschiedlichen Videosammlungen, oder auf ein unterschiedliches Benutzerverhalten zurückführen. In 2014 wurden die Videos während der Vorlesungszeit eher partiell aufgeteilt geschaut und deutlich verstärkt in der Prüfungsvorbereitungszeit benutzt. Zum Benutzerverhalten kann noch angemerkt werden, dass laut Befragung 42% der Studierenden zwischen 30 und 60 Minuten mit jedem Video aufwenden. Dies entspricht etwa 2-4 Mal der eigentlichen Videodauer. Beim Anschauen habe 54% der Befragten zusätzlich noch das Vorlesungsskript konsultieren. Ein Grossteil der Studierenden setzt sich also intensiv mit dem Videoinhalt auseinander. Eventuell hat dieses Verhalten einen Einfluss auf die abweichenden Werte von percentage viewed.

Ergebnisse:

  • Insgesamt liefert youtube Analytics brauchbare Daten, um den langfristigen Verlauf der Benutzung von Lernvideos zu analysieren. Detaillierte Informationen zur Generierung der entsprechenden Kernzahlen wären bei der Interpretation jedoch hilfreich.
  • Im Hinblick auf die untersuchte Lernveranstaltung kann festgehalten werden, dass die Videos während der Vorlesung und ebenfalls während der Prüfungsvorbereitung intensiv benutzt wurden. Beim Design von Lernvideos ist daher dieser doppelte Anspruch, Unterstützung der Wissensaneignung und der Wissenskonsolidierung, unbedingt mit zu bedenken.
  • Zusätzlich zur vorliegenden Untersuchung liegen noch Daten aus verschiedenen Befragungen und Interviews vor. Diese und weitere Analysen aus youtube Analytics werden Gegenstand einer umfassenden Studie zum Nutzerverhalten und zur Lernwirksamkeit von Lernvideos darstellen.

Critical Thinking im Flipped Classroom

Posted on by
Reply

Hintergrund: Im Rahmen der Critical Thinking Initiative der ETH Zürich haben Dozierende des Department Physik (D-PHYS) und des Departement Geistes- Sozial- und Staatswissenschaften (D-GESS) im FS2015 eine gemeinsame Lehrveranstaltung entwickelt.
ctiFlankierend zur parallel angebotenen Physik-Einführungsvorlesung werden die dort behandelten physikalischen Themen nun im historischen und philosophisch-systematischen Hintergrund eingebettet und kritisch reflektiert. Fragen nach der Relevanz physikalischer Modelle, nach dem Erklärungspotential von Metaphern, nach dem Stellenwert physikalischer Theorien usw. werden hier anhand von Originaltexten erarbeitet und gemeinsam diskutiert.
Mit dieser Veranstaltung sollen die Studierenden befähigt werden, unterschiedliche Ansätze und Problemstellungen aus der Physik kritisch zu bewerten und dies auch souverän kommunizieren zu können. Reflexion und Kommunikation sind also die beiden Hauptpfeiler dieser neuen Veranstaltung. Entsprechend wird auch ein umfassendes Aktivitätsspektrum eingesetzt, um diese Fähigkeiten einzuüben.

Aufbau: Während des Semesters finden 7 Veranstaltungen statt, die jeweils im Team-Teaching von drei Dozenten (1 D-PHYS, 2 D-GESS) geleitet werden. Jede dreistündige Veranstaltung besteht aus einem Input (45 Minuten), einer Debatte der 3 Dozenten (25 Minuten) und einer Plenumsdiskussion (25 Minuten).

Debatte

Debatte (3 Dozenten vertreten 3 konträre Standpunkte)

Anschliessend wird die Diskussion in Kleingruppen (mit jeweils einem Assistenten) in separaten Räumen weitergeführt (45 Minuten). Im Vorfeld sind die Studierenden aufgefordert, die einführenden Originaltexte während zwei Wochen in einem Diskussionsforum (in Moodle) aufzuarbeiten.
Die Veranstaltung ist mit 3 ECTS ausgewiesen, wobei die aktive Teilnahme in den Diskussionsforen eine Voraussetzung zum Leistungsnachweis darstellt.

Diskussionsgruppe (unter Leitung eines Assistenten)

Diskussionsgruppe (unter Leitung eines Assistenten)

Ca. 70 Studierende (mehrheitlich im 2. Studiensemester) sind in der Veranstaltung eingeschrieben und besuchen diese auch regelmässig. Davon beteiligen sich nahezu 60 Studierende in den Diskussionsforen.

Erfahrungen:

  • Die Beiträge im Diskussionsforum sind äusserst vielseitig und ausführlich (im Schnitt 150 Wörter/Beitrag). Teilweise finden dort auch echte Diskussionsstränge statt. Eine Moderation oder ein Eingreifen der Dozenten/Assistenten ist nicht nötig.
  • Über die Diskussionsbeiträge erhalten die Dozenten bereits vor der eigentlichen Veranstaltung einen Überblick über Verständnisschwierigkeiten und problematische Themenbereiche.
  • Da die Studierenden die Thematik vor der eigentlichen Veranstaltung bereits intensiv aufgearbeitet haben (Lektüre, Foren), entsteht in der Veranstaltung selber eine erhöhte Diskussionsbereitschaft. Zusätzlich animiert die Debatte, in welcher jeder Dozent einen konträren Standpunkt vertritt, die Studierenden dazu, sich eine eigene Meinung zu bilden und diese dann in den anschliessenden Diskussionsgruppen einzubringen.

Fazit: Das Format der Veranstaltung bietet Abwechslung und die Vielfalt der Diskussionskanäle (Forum, Plenumsdiskussion, Kleingruppen) erlaubt es allen Studierenden, sich aktiv einzubringen. Wie im nachfolgenden Kommentar von einem Studierenden beschrieben, werden dabei die Ziele der Critical Thinking Initiative sehr schön umgesetzt:

„Es ist spannend zu sehen, wie verschiedene Menschen verschiedene Ansprüche an die Physik stellen. Man lernt sich dadurch selbst besser kennen.“