• … gibt detaillierte Rückmeldungen über den Erreichungsgrad eines jeden vorher festgelegten Lernziels (verzichtet auf Prüfungsnoten und auf die ganze damit verbundene Arithmetik).
• … gibt den Studierenden detailliertes Feedback über die erbrachten Leistungen (fordert die Studierenden auf, sich mit dem Prüfungsergebnis auseinanderzusetzen).
• … bestätigt die nachweisliche Umsetzung fachlicher und überfachlicher Kompetenzen (verzichtet auf allgemeine Formulierungen).
• … orientiert sich an Real-World Gegebenheiten = authentic assessment (verzichtet auf artifizielle Prüfungssituationen).
• … ist integraler Teil des Lernprozesses (verzichtet auf eine reine Akkumulation von Einzelprüfungen).

David Boud: What are we assessing for? (keynote)

All das ist nicht neu und wir kennen auch die Argumente, die gegen eine Umsetzung sprechen: zu kompliziert, zu zeitintensiv, methodisch nicht umsetzbar, u.v.m. Dennoch haben vor fünf Jahren David Boud und Kollegen aus über 30 Universitäten einen Katalog von Vorschlägen aufgestellt, wie Prüfungen im Jahr 2020 effektiver, aussagekräftiger und lernfördernder zu gestalten sind (Assessment 2020: Seven propositions for assessment reform in higher education, ← unbedingt lesenswert!):

The propositions have been developed to guide assessment thinking in the light of the increasing focus on standards, and to address criticisms of current practice. They set directions for change designed to enhance learning achievements for all students and improve the quality of their experience.

Bild: zVg (http://www.cetl.hku.hk/conf2015/gallery/)

Im vergangenen Mai haben sich in Hong Kong (International Conference: Assessment for Learning in Higher Education) mehr als 200 Universitätsangehörige aus 28 Ländern getroffen, um über ihre Erfahrungen und Probleme zu diskutieren, die bei der konkreten Umsetzung genau dieser Vorschläge aufgetreten sind.

John Biggs: “good teaching is beating the bell curve”

Beeindruckt hat mich bereits am ersten Tag, mit welchem Selbstverständnis sich die Teilnehmenden zu der doch recht umfassenden Umgestaltung von Prüfungen geäussert haben. In ihren Fachbereichen und Universitäten ist diese Form des Leistungsnachweises bereits zu einem hohen Grad umgesetzt und scheint auch gut zu funktionieren. An der Konferenz musste keiner mehr von den Vorteilen überzeugt werden. Vielmehr ging es darum, Erfahrungen aus den unterschiedlichen Umsetzungen zu gewinnen.

Eigentlich wollte ich mich mit meinem Besuch gezielt über neuere Assessment-Methoden informieren. Dann aber fand ich es weitaus spannender im Verlauf der Konferenz herauszufinden, welche Entwicklung an den Universitäten einen solch fundamentalen Wechsel der Prüfungen überhaupt ermöglicht haben und welche Konsequenzen das für uns haben kann.

In zahlreichen Gesprächen mit den Teilnehmenden hat sich dabei folgender Ablauf konkretisiert:

1. Studiengänge werden mit Standards (=Qualifikationsprofile im ETH-Jargon) versehen. Standards definieren die fachlichen und überfachlichen Kompetenzen, welche die Studierenden beim Abschluss erworben haben.
2. Im Curriculum eines Studiengangs werden für jede einzelne Veranstaltung die Lernziele mit den Standards des entsprechenden Studiengangs abgeglichen. D.h. es wird spezifiziert, in welchen Veranstaltungen welche Kompetenzen in welcher Form vermittelt werden. Eventuell muss das Curriculum entsprechend den Standards angepasst werden, oder eine Überarbeitung der Standards steht an.
3. Die Prüfungen (Leistungsnachweise) geben Aufschluss darüber, zu welchem Grad die Studierenden die vorgegebenen Lernziele erreicht haben. Sie liefern damit auch detaillierten Aufschluss über den Erreichungsgrad der einzelnen Standards und somit schliesst sich der Kreis Standards⇔Lernziele⇔Prüfungen. Prüfungen sind damit integraler Bestandteil der Curriculumsentwicklung.

David Boud: “we need to know HOW a student is excellent, not that he is”

Im Gegensatz zu konventionellen Prüfungen sind die Prüfungsergebnisse nun auf die vorher festgelegten Lernziele ausgerichtet. Zum Beispiel für das Lernziel: „Studierende erlangen Fertigkeiten im Lösen von physikalischen Fragen anhand von Übungsaufgaben“ wird detailliert angegeben, um welche Fertigkeiten es sich hierbei handelt und auf welcher Stufe jede dieser Fertigkeiten erreicht werden. Die Leistungsmessung erfolgt bei dieser Art Prüfung durchgängig anhand von Rubrics (Bewertungsrastern).

Am D-PHYS haben wir vor einiger Zeit ein solches Raster zur Bewertung von Aufgabenlösungen entwickelt. Das Raster wurde bisher nur sehr beschränkt eingesetzt, es illustriert aber gut, wie solche Rubrics auch bei uns aussehen können.

Rubrics waren während der Tagung auch ein wichtiges Thema. Diskutiert wurde z.B. wie man sie Studiengangs weit formulieren kann, um die individuelle Leistungsentwicklung besser abbilden zu können (Workshop 3, Paper 118).

Weitere zentrale Themen umfassten:

Communities of Practice (Workshop 1, Paper 34, Roundtable 2). Um Innovation innerhalb einer Institution zu diffundieren, eignen sich CoP am besten. Zentrale Einheiten, wie das ITL an der University of Sydney bieten hierfür geeignete Netzwerke. Graham Hendry vom ITL hat in diesem Rahmen zusätzlich einen aufschlussreichen Kriterienkatalog (als Rubrics) von sinnvollen Prüfungen vorgestellt. Auch das CETL der Universität Hong Kong hat mit dem Wise Assessment Project eine recht umfangreiche Austauschplattform aufgebaut.

Curriculumsentwicklung (Paper 10, 30, 104). Einige Universitäten haben sogenannte Core Curriculum (University of Hong Kong) oder Connected Curriculum (University College London) entwickelt, in denen überfachliche Kompetenzen fächerübergreifend vermittelt werden. Critical Thinking wurde hier immer wieder als Argument angeführt.

Assessment-Methoden (Workshop 2, Roundtable 1). Eine umfangreiche Sammlung an Methoden mit zahlreichen Beispielen wird vom CETL bereitgestellt und im Wise Assessment Project sukzessive erweitert.

Royce Sadler: “we need to adapt to students’ knowledge when designing assessment tasks”

Daneben wurden auch kritische Anmerkungen aufgeworfen:

• Zusätzlich zu den Rubrics bedarf es des Erfahrungswissens der einzelnen Examinatoren und des Willens der Institution, Leistungskontrollen zu reformieren. Mit Rubrics allein, stellt sich noch kein Wandel im Prüfungswesen ein: „a rubric is a rubric, it’s just a piece of paper“ (Paper 118).
• Eine Reform auf institutioneller Ebene soll nicht zu stark an Reglemente und Vorschriften gekoppelt sein. Vielmehr ist es wichtig, geeignete Wege aufzuzeigen und die konkrete Umsetzung den einzelnen Fachbereichen zu überlassen.

Zusammenfassend war der Besuch dieser Konferenz eine äusserst aufschlussreiche Reise in eine recht überzeugende Zukunft. Die bei uns bereits eingeleiteten Entwicklungen bezüglich Curricula weisen deutliche Parallelen auf und falls wir diese ernst nehmen, werden auch wir uns irgendwann ernsthaft mit unseren Leistungskontrollen befassen müssen. An der Konferenz wurden Möglichkeiten der Umsetzung aufgezeigt, die in vieler Hinsicht sicher einen der bestmöglichen Kompromisse zwischen effektiv erbrachter Leistung und deren Nachweis darstellt.

Zum Schluss noch einige Randbemerkungen:

• An den Universitäten gibt es grössere Unterschiede zwischen den einzelnen Fachbereichen was die Umsetzung der Reformen betrifft. Am weitesten fortgeschritten sind, neben den Ingenieurwissenschaften, die Wirtschaftswissenschaften, die Rechtswissenschaften und die Veterinärmedizin. Bei Mathematik und den Naturwissenschaften besteht noch Nachholbedarf.
• Massen-Onlineprüfungen mit MC-Fragen werden definitiv abgelehnt. Wenn  Onlineprüfungen, dann nur solche, die Leistung in einer authentischen Umgebung am Computer prüfen (Programmierung, Design usw.).
• Portfolios werden eigentlich nur restriktiv für einzelne Lehrveranstaltungen eingesetzt. Lernportfolios über diese Grenzen hinaus, etwa zum Leistungsnachweis eines ganzen Studiengangs, waren kein Thema.
• Studierende haben insbesondere die Vielfältigkeit der Prüfungsmethoden als sehr positiv empfunden (Roundtable 1 mit Studierenden der University of Hong Kong).
• Nationale Programme und internationale Akkreditierungen waren sehr häufig ausschlaggebend für die Notwendigkeit der Reformen. Insbesondere die Universitäten in Australien und Neuseeland und teilweise in Grossbritannien und Asien sind bei der Umsetzung führend.
• Und natürlich ist Hong Kong eine spannende Stadt mit vielen gegensätzlichen Facetten auf engstem Raum.
  

  The University of Hong Kong (Centennial Campus)