Vortrag zum Thema "Neue Wege in der Prüfungskultur" am HIS Workshop am 5./6. November 2008 in Hannover (Cornelia Ruedel)

1. HIS Workshop “Elektronische Prüfungen”
5./6. November 2008
Neue Wege in der Prüfungskultur
Cornelia Ruedel
E-Learning Center, Universität Zürich
http://www.elc.uzh.ch

2. Agenda:
• Aktuelle Prüfungsalltag
• Probleme mit den konventionellen Prüfungen
• Anforderungen an das neue Prüfungssystem
• E-Assessment Kreislauf
• Überblick über Innovationsfelder mit Beispiele
• Fragen
07.11.2008 / 2

3. Alltag an der Universität
Aktuelle Prüfungssituation
an der Universität Zürich
• vermehrtes Prüfungs-
aufkommen durch
die Bologna Reform
• Prüfungsdurchführung
und -auswertung ist eine
grosse Personalbelastung
Universitärer Dreikampf: Prüfung, Hausarbeit, Referat
07.11.2008 / 3

4. Probleme mit
konventionellen Prüfungen
Schriftlich:
fragliche Validität und Reliabilität,
zeitaufwendige Korrektur,
Problem: Handschrift
Mündlich:
fragliche Validität,Reliabilität
und Fairness,
jeder Prüfling hat andere Bedingungen
Zeitaufwendige Durchführung
07.11.2008 / 4

5. Universitäres Assessment:
Gegensätzliche Vorstellungen
von Studium und Lehre
Perspektive der Leistungsnachweis als
Dozierenden Ausgangspunkt und
wichtiges «Herzstück»
Welche Lehrinhalte sollen Was sind die Lerninhalte?
vermittelt werden?
Was und wie sollen die
Studierenden lernen?
Unterschiedliche Wie kann ich am Ziele am
Welche Lehr-Lernkonzeption effektives erreichen?
sind geeignet? Erwartungen Minimal- oder Maximalprinzip
Wie kann das Lernzeile bewertet
werden? Was sind die Prüfungskriterien?
Was muss ich wissen?
Leistungsnachweis als
Endpunkt und Perspektive der
lästiges «Anhängsel»! Studierenden
Folie (verändert) von Gabi Reinmann: Blended Assessment, Vortrag bei e-teaching.org am 10. Dez. 2008 07.11.2008 / 5

6. The Higher Education Academy
Maclellan (2002): Perceptions of
Assessment
07.11.2008 / 6

7. Anforderungen an ein neues
Prüfungssystem
+ mehr Vielfalt in der
Prüfungsform
+ mehr Feedback für die
Studierenden
+ weniger Zeitaufwand für
Dozierende
= ist das möglich?
Quelle: http://edorigami.edublogs.org/2008/07/17/21st-century-assessment-2/

8. Literature Review
07.11.2008 / 8

9. Bisherige Trends in E-Assessment
1991 - avoidance of marking by staff (summative)
1996 - delivery of feedback to students (formative)
2001 - delivery of hints/help to students (both)
2006 - avoidance of question setting by staff (both)
Folie (verändert) von Michael McCabe: Remarkable Pedagogical Benefits of Reusable Assessment Objects,
Aug. 2008, ENAC Potsdam
07.11.2008 / 9

10. Literature (1):
Applications in Educational
Assessment (1990):
Applications in Educational Assessment (1990): Future Technologies Report
submitted to Office of Technology Assessment
(Sponsored by the Congress of U.S., Washington)
Five categories of technologies that support key features of new assessments are:
(1) intelligent tutoring systems;
(2) simulations and modelling programs;
(3) multimedia systems;
(4) Learning with feedback;
(5) video technology that can record student responses.
07.11.2008 / 10

11. Literature (2):
Randy Elliot (1998)
Reinventing Assessment
First Generation Next-Generation Generation quot;R“
Electronic Tests
automating existing process • Combination of assessment and
without improvements qualitatively different to instruction
1. Generation • Simulation of complex
Innovations environments
• students can register by Innovations • chance to learn and assess
phone or email • Question Design under real conditions
•receive feedback at the end • Use of Multimedia Elements • collaborative work in electronic
• Response & Feedback learning communities
Location • Development • Large scale distance assessment
relatively small, comfortable • Scoring
center • Administrative Process • Location: Home, schools,
• Measuring traditional skills commercial learning environments,
more comprehensively libraries, businesses and
• Item Pools community center
Driver: Costs Drivers:
• proliferation of sophisticated
information and communication
technologies
• increasing competitive
global economy
07.11.2008 / 11

12. Literature (3):
Bobby Elliot (2007)
Assessment 2.0
Assessment 1.0 Assessment 1.5 Assessment 2.0
• paper-based • more up-to-date form • Authentic
• classroom-based • computers are used in the • Natural
• Formalised assessment process • Personalised
(in terms of organisation • E-testing (a form of on-screen • Negotiated
and administration) of knowledge) • Problem-based
• synchronised • E-Portfolio (digital repository • Deep
(in terms of time and place) of assessment used to assess • Collaborative
• controlled practical skills) • Peer and self-assessed
(in terms of contents and • Tool supported
marking)
07.11.2008 / 12

13. Literaturhinweise
Bennett, R.E., 1998. Reinventing assessment: Speculations on the future of large-scale educational testing, ETS Policy Information Center,
Research Division. Available at: http://www.ets.org/Media/Research/pdf/PICREINVENT.pdf.
Center for Children and Technology hrsg., 1990. Applications in Educational Assessment: Future Technologies. Available at: [Zugegriffen Oktober
27, 2008].
Elliot, B., Assessment 2.0: Modernising assessment in the age of Web 2.0. Available at: http://www.scribd.com/doc/461041/Assessment-20.
Ripley, M., 2006. The four changing faces of e-assessment 2006-2016. Insight: Thematic Report. Available at:
http://insight.eun.org/ww/en/pub/insight/thematic_dossiers/articles/e_assessment/eassessment2.htm [Zugegriffen Oktober 26, 2008].
Whitelock, D. & Brasher , A., 2005. A Roadmap for e-Assessment: A JISC funded project within the JISC e-Learning Programme (2005 - 2006).
Available at: http://www.jisc.ac.uk/media/documents/programmes/elearningpedagogy/roadmapeassessment.doc [Zugegriffen Oktober 26, 2008].

14. Zukunftsfelder
«E-Assessment»
07.11.2008 / 14

15. E-Assessment Kreislauf
07.11.2008 / 15

16. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 16

17. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 17

18. Vorbereitung: Funktion
Wie wird geprüft?
Leistungs- Selektion
bewertung
c h
s tis
v no
ati g
um
m dia
s
E-Assessment
v v
m ati a pti
for ad
Lernlenkung Steuerung
• Beispiel:
• Adaptive testing: PTO Online (http://www.pto.uzh.ch/)
07.11.2008 / 18

19. Vorbereitung: Funktion
Universität Zürich: PTO
Psychopathology Taught Online
http://www.pto.uzh.ch/ 07.11.2008 / 19

20. Vorbereitung: Funktion
Universität Zürich: PTO
Psychopathology Taught Online
07.11.2008 / 20

21. Vorbereitung: Funktion
Universität Zürich: PTO
Psychopathology Taught Online
http://www.pto.uzh.ch/ 07.11.2008 / 21

22. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 22

23. Vorbereitung: Kompetenz
Was wird geprüft?
• Sachkompetenz
• Methodenkompetenz
• Sozialkompetenz
• Selbstkompetenz
Projekte:
• Bewertung der Reflektion mittels Diskussionsforum an
der University of Leicester
• Online-Mikroskope der University of Derby
• Open Comment der Open University
07.11.2008 / 23

24. Vorbereitung: Kompetenz:
University of Derby: Mikroskope
für Cambridge University
Screenshots von Bioscope entwickelt von der University of Derby mit TRIADS für Cambridge Assessment 07.11.2008 / 24

25. Vorbereitung: Kompetenz:
University of Derby: Mikroskope
für Cambridge University
Screenshots von Bioscope entwickelt von der University of Derby mit TRIADS für Cambridge Assessment 07.11.2008 / 25

26. Vorbereitung: Kompetenz:
University of Derby: Mikroskope
für Cambridge University
Screenshots von Bioscope entwickelt von der University of Derby mit TRIADS für Cambridge Assessment 07.11.2008 / 26

27. Vorbereitung: Kompetenz:
Open University: Open Comment
07.11.2008 / 27

28. Vorbereitung: Kompetenz:
Open University: Open Comment
07.11.2008 / 28

29. Vorbereitung: Kompetenz:
Open University: Open Comment
07.11.2008 / 29

30. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 30

31. Vorbereitung: Format
Welche Prüfungsform wird verwendet?
• Klassische Formen (Offene Fragen)
• E-Assessment (geschlossene + halboffene Fragen)
• Neue Formen
• E-Portfolio
• Neue Web 2.0 Formen (Wiki, Blog, Podcast)
• Rollenspiele, Simulationen
Beispiele für Digital Storytelling on YouTube
• Did you know: http://www.youtube.com/watch?v=K04o2ic4g-A
• Pay attention:
http://www.youtube.com/watch?v=gT2E2F0DmyE&feature=related
07.11.2008 / 31

32. Vorbereitung: Format
Universität Zürich:
Rechtswissenschaften
Interaktives Rollenspiel
07.11.2008 / 32

33. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 33

34. Vorbereitung: PrüferIn -
Authorithy
Wer bewertet?
• Self Assessment
• Peer Assessment
• Group Assessment
• Teacher Assessment
Beispiele Peer Assessment:
• WEBPA (Loughborough University)
http://www.webpaproject.com/
• University of Dundee
http://www.dundee.ac.uk/learning/centre/ilt/selfpeer.htm
• University of Glamorgan
(http://www.comp.glam.ac.uk/staff/pdavies/CAA%202008/phil_
davies_2008.doc )
07.11.2008 / 34

35. Vorbereitung: PrüferIn
Loughborough University:
Peer Assessment: WebPA
07.11.2008 / 35

36. Vorbereitung: PrüferIn
Loughborough University:
Peer Assessment: WebPA
07.11.2008 / 36

37. Vorbereitung: PrüferIn
University of Glamorgan:
Comments – Both
Positive and Negative
in the various
categories. Provides a
Subjective Framework
for Commenting &
Marking
First Stage => Self Assess own Work
Second Stage (button on server) => Peer Assess 6 07.11.2008 / 37
Essays

38. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 38

39. Durchführung: Prüfungsort
Wo wird «assessed»?
• On-campus vs. off-campus
• Supervised vs. unsupervisored
• Static vs. mobile
Beispiele:
• Classroom-based Mobile Voting Systems
• Mobile Assessment mit PDA/Mobiles
07.11.2008 / 39

40. Durchführung: Prüfungsort
West Suffolk College
• Innovativer Einsatz von E-Portfolios in der Aus- und
Weiterbildung von Köchen
• Mobile Sammeln von Arbeitsproben
• Software von Paperfree Systems Ltd
07.11.2008 / 40

41. Durchführung: Prüfungsort
Mobile Assessment
M-learning:Tribal CTAD
M-Learning bietet Software an
die für PDAs, Mobile Phones,
Pocket PC‘s und das Internet
genutzt werden können
Anwender sind u.a.:
•Healty for Life (Birmingham Core Skills
Partnership and Birmingham Teenage
Pregnancy Project)
•Maths4Life (finanziert von UK-
Government Department for Children,
Schools and Families)
• Link:
http://www.m-learning.org/
07.11.2008 / 41

42. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 42

43. Durchführung: Prüfungszeitraum
Wo wird «assessed»?
• Continuous vs einmal
Beispiel:
• Mikrobiologie
Universität Zürich
Vortrag von Dr. Kurt
Hanselmann am 6. Mai 2008
zum Thema: „E-Assessment
in den Naturwissenschaften“
(http://www.elc.uzh.ch/veranst
altungen/elforum.html)
07.11.2008 / 43

44. Durchführung: Prüfungszeitraum
Universität Zürich:
Microbiology Dr. Kurt Hanselmann
Prüfungsvielfalt:
• Self-Testing (30%)
10 Frageblöcke a 10 Fragen
+ Self-Study: Key Word Search
(10%)
+ Self-Study: Case Study (20%)
+ E-Prüfung (20%)
OpenBook
+ E-Prüfung (20%)
+ Extra Credits (bis 5%)
für Einreichen zukünftiger
Prüfungsfragen
07.11.2008 / 44

45. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 45

46. Auswertung: Bewertung
Wie wird bewertet?
• Manuell vs. automatisch
• Traditionell vs. innovative
• Confidence-based marking
Beispiele:
• Certainty-Based Marking @ University College London
Tony Gardner-Medwin
• Confidence-Based Marking @ University of Glamorgan
Phil Davies
• Confidence-Based Marking
07.11.2008 / 46

47. Auswertung: Bewertung
Confidence / Certainity Based
Marking
Confidence-Based Marking
• Anwendung an University College London (Medizin) und
University of Glamorgan (IT) und neu bei der TU Graz (IT)
• Ansatzpunkt: Kritik an MC-Fragen - Ratefaktor
• Studierende müssen anzeigen wie «confident» sie bei der
Beantwortung sind
Bewertungsskala
Glamorgan University College London
confidence Right wrong certainty Right wrong
High 3 -6
very 4 -2 (c=3)
Mid 2 -2
fairly 2 -1 (c=2)
Low 1 0
not 1 0
(c=1)
07.11.2008 / 47

48. Auswertung: Bewertung
University College London:
Tony Gardner-Medwin (Medizin)
07.11.2008 / 48

49. Auswertung: Bewertung
University of Glamorgan:
Phil Davies (IT)
07.11.2008 / 49

50. Auswertung: Bewertung
University of Glamorgan
Rubrics für Peer Assessment
07.11.2008 / 50

51. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 51

52. Ergebnisse: Feedback
Welches Feedback bekommen die Studierenden?
• Mündlich vs. schriftlich
• Prüfung vs. Frage
Schriftliche Feedback-Variationen
Bestanden/Nicht-Bestanden
+ Gesamtnote
++ Note/Prozent nach Themenschwerpunkt
+++ Aufgeschlüsselt nach Fragen
++++ Ausführliche Kommentar
+++++ mit Lernhinweisen
07.11.2008 / 52

53. Ergebnisse: Feedback
Open University: OpenMark
07.11.2008 / 53

54. Ergebnisse: Feedback
Open University: OpenMark
07.11.2008 / 54

55. Ergebnisse: Feedback
Open University: OpenMark
07.11.2008 / 55

56. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 56

57. Staff Development
Wie werden die Dozierenden
unterstützt?
• Kurse
• Tools
Beispiele
• OpenMentor (Open University)
• Online Kurse
(University of Dundee & Leeds Metropolitan University)
07.11.2008 / 57

58. Staff Development
Widgets: Open Mentor
07.11.2008 / 58

59. Weiterbildung Kurs
University of Dundee
Assessment Online - 6-wöchiger Kurs
zum Thema E-Assessment mit
Questionmark Perception
Napier University &
Leeds Metroplitan University
Surf‘s Up
Student Assessment using Rich
Feedback
07.11.2008 / 59

60. Zukunftsfelder
E-Assessment
Vorbereitung Durchführung Auswertung Ergebnisse
Funktion
Prüfungsort
Kompetenz Bewertung Feedback
Zeitpunkt
/-raum
Format
PrüferIn
Staff Development
E-Assessment Repositories
07.11.2008 / 60

61. E-Assessment Repositories
Wie werden Fragen weiter-
verwendet werden?
• Fragenpools
• Reusable assessment objects
Beispiele
• COLA Project
• SOLAR Project
• University of Portsmith (Dr. Michael McCabe)
07.11.2008 / 61

62. E-Assessment Repositories:
COLA Projekt
(COLEG On-Line Project)
• Projekt der Vereinigung - Scottish Colleges Open
Learning Exchange Group
• Projekt zur Förderung der Benutzung vor virtuellen
Lernumgebung
• LMS:
• 2005: Blackboard, Granada Learnwise, Teknical's Virtual
Campus and WebCT
• 2008: Moodle
• Fragenpool:
• 2005: über formative 250 E-Assessments mit bis zu 20
Fragen
• 2008: über 450 Assessments
07.11.2008 / 62

63. E-Assessment Repositories:
COLA Projekt
(COLEG On-Line Project)
07.11.2008 / 63

64. E-Assessment Repositories:
COLA Projekt
(COLEG On-Line Project)
07.11.2008 / 64

65. SOLAR Project
Das Solar Project ist eine Initiative der SQA (Scottish Qualification
Authority) um „automatically marked summative assessment“
Schottischen Berufsschulen (Further Education Colleges) bereitzustellen.
Es ist ein „Repostitory“ für Prüfungen, die die Colleges für andere
Benutzer zur Verfügung stellen.
Das SOLAR Project ist ein erster gelungener Versuch mit einem
Repository und wird von 30 Colleges mehr und weniger genutzt wird.
Link: http://www.sqasolar.org.uk/mini/27322.html
07.11.2008 / 65

66. E-Assessment Repositories:
University of Portsmouth
Reusable Assessment Objects
Probleme mit Fragenpools:
• Grosse Anzahl von Fragen notwendig
• Unterschiedliche Anforderungen für summative und
formativen Einsatz (z.B. Sicherheitsansprüche,
Feedback)
Reusable Learning Assessment Questions
Objects (repositories) (banks)
Reusable Assessment
Objects
(e.g. Maple TA)
07.11.2008 / 66

67. E-Assessment Repositories:
University of Portsmouth
Reusable Assessment Objects
Multi-Questions
A multi-question is a computer generated questions with random parameters
(data) and algorithms (rules)
• What can be randomised? Not just numbers ....
• Characters, symbols, words, text, lists, sets, tables, ...
• Graphs, diagrams, pictures, videos, animations, sounds, ...
• Algebraic formulae, equations ...
• Where can randoms appear? Not just questions ....
• Questions: stem, keys, distractors, choices, answers
• Feedback, solutions, hints, help
• Anmerkung: MapleTA ist mittels WebCT accessible (Quelle Michael McCabe
)
Folie (verändert) von Michael McCabe: Remarkable Pedagogical Benefits of Reusable Assessment Objects, Aug. 2008, ENAC Potsdam 07.11.2008 / 67

68. E-Assessment Repositories:
University of Portsmouth
Reusable Assessment Objects
07.11.2008 / 68

69. Future of E-Assessment
07.11.2008 / 69

70. Fragen?
Cornelia Rüdel
cornelia.ruedel@access.uzh.ch
Blog: http://forschung.pruefung.net/