0
HIS Workshop “Elektronische Prüfungen”
5./6. November 2008




 Neue Wege in der Prüfungskultur
                   Corneli...
Agenda:
 •   Aktuelle Prüfungsalltag
 •   Probleme mit den konventionellen Prüfungen
 •   Anforderungen an das neue Prüfun...
Alltag an der Universität


Aktuelle Prüfungssituation
an der Universität Zürich
 • vermehrtes Prüfungs-
   aufkommen durc...
Probleme mit
konventionellen Prüfungen

                         Schriftlich:
  fragliche Validität und Reliabilität,
    ...
Universitäres Assessment:
           Gegensätzliche Vorstellungen
           von Studium und Lehre

                   Per...
The Higher Education Academy
Maclellan (2002): Perceptions of
Assessment




                                   07.11.2008...
Anforderungen an ein neues
         Prüfungssystem


                                                                     ...
Literature Review




                    07.11.2008 / 8
Bisherige Trends in E-Assessment


    1991 - avoidance of marking by staff (summative)
    1996 - delivery of feedback to...
Literature (1):
Applications in Educational
Assessment (1990):



 Applications in Educational Assessment (1990): Future T...
Literature (2):
 Randy Elliot (1998)
 Reinventing Assessment

First Generation                Next-Generation             ...
Literature (3):
 Bobby Elliot (2007)
 Assessment 2.0

Assessment 1.0                   Assessment 1.5                     ...
Literaturhinweise

Bennett, R.E., 1998. Reinventing assessment: Speculations on the future of large-scale educational test...
Zukunftsfelder
«E-Assessment»




                  07.11.2008 / 14
E-Assessment Kreislauf




                         07.11.2008 / 15
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Vorbereitung: Funktion
Wie wird geprüft?

    Leistungs-                                             Selektion
    bewertu...
Vorbereitung: Funktion
Universität Zürich: PTO
Psychopathology Taught Online




http://www.pto.uzh.ch/          07.11.200...
Vorbereitung: Funktion
Universität Zürich: PTO
Psychopathology Taught Online




                                07.11.200...
Vorbereitung: Funktion
Universität Zürich: PTO
Psychopathology Taught Online




http://www.pto.uzh.ch/          07.11.200...
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Vorbereitung: Kompetenz


Was wird geprüft?
 •   Sachkompetenz
 •   Methodenkompetenz
 •   Sozialkompetenz
 •   Selbstkomp...
Vorbereitung: Kompetenz:
           University of Derby: Mikroskope
           für Cambridge University




Screenshots vo...
Vorbereitung: Kompetenz:
           University of Derby: Mikroskope
           für Cambridge University




Screenshots vo...
Vorbereitung: Kompetenz:
           University of Derby: Mikroskope
           für Cambridge University




Screenshots vo...
Vorbereitung: Kompetenz:
Open University: Open Comment




                                07.11.2008 / 27
Vorbereitung: Kompetenz:
Open University: Open Comment




                                07.11.2008 / 28
Vorbereitung: Kompetenz:
Open University: Open Comment




                                07.11.2008 / 29
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Vorbereitung: Format

Welche Prüfungsform wird verwendet?
 • Klassische Formen (Offene Fragen)
 • E-Assessment (geschlosse...
Vorbereitung: Format
Universität Zürich:
Rechtswissenschaften


Interaktives Rollenspiel




                           07...
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Vorbereitung: PrüferIn -
Authorithy

Wer bewertet?
 • Self Assessment
 • Peer Assessment
 • Group Assessment
 • Teacher As...
Vorbereitung: PrüferIn
Loughborough University:
Peer Assessment: WebPA




                           07.11.2008 / 35
Vorbereitung: PrüferIn
Loughborough University:
Peer Assessment: WebPA




                           07.11.2008 / 36
Vorbereitung: PrüferIn
University of Glamorgan:




                      Comments – Both
                    Positive and...
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Durchführung: Prüfungsort


Wo wird «assessed»?
 • On-campus vs. off-campus
 • Supervised vs. unsupervisored
 • Static vs....
Durchführung: Prüfungsort
West Suffolk College

 • Innovativer Einsatz von E-Portfolios in der Aus- und
   Weiterbildung v...
Durchführung: Prüfungsort
Mobile Assessment
M-learning:Tribal CTAD

M-Learning bietet Software an
die für PDAs, Mobile Pho...
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Durchführung: Prüfungszeitraum

Wo wird «assessed»?
 • Continuous vs einmal

 Beispiel:
 • Mikrobiologie
   Universität Zü...
Durchführung: Prüfungszeitraum
Universität Zürich:
Microbiology Dr. Kurt Hanselmann

                       Prüfungsvielfa...
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Auswertung: Bewertung

Wie wird bewertet?
 • Manuell vs. automatisch
 • Traditionell vs. innovative
 • Confidence-based ma...
Auswertung: Bewertung
Confidence / Certainity Based
Marking
Confidence-Based Marking
• Anwendung an University College Lon...
Auswertung: Bewertung
University College London:
Tony Gardner-Medwin (Medizin)




                                07.11.2...
Auswertung: Bewertung
University of Glamorgan:
Phil Davies (IT)




                           07.11.2008 / 49
Auswertung: Bewertung
University of Glamorgan
Rubrics für Peer Assessment




                              07.11.2008 / 50
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Ergebnisse: Feedback

Welches Feedback bekommen die Studierenden?
 • Mündlich vs. schriftlich
 • Prüfung vs. Frage

 Schri...
Ergebnisse: Feedback
Open University: OpenMark




                            07.11.2008 / 53
Ergebnisse: Feedback
Open University: OpenMark




                            07.11.2008 / 54
Ergebnisse: Feedback
Open University: OpenMark




                            07.11.2008 / 55
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
Staff Development


Wie werden die Dozierenden
unterstützt?
 • Kurse
 • Tools

 Beispiele
 • OpenMentor (Open University)
...
Staff Development
Widgets: Open Mentor




                       07.11.2008 / 58
Weiterbildung Kurs
                                University of Dundee
                                Assessment Online ...
Zukunftsfelder
  E-Assessment

Vorbereitung   Durchführung         Auswertung   Ergebnisse


  Funktion
               Prü...
E-Assessment Repositories


Wie werden Fragen weiter-
verwendet werden?
 • Fragenpools
 • Reusable assessment objects

 Be...
E-Assessment Repositories:
COLA Projekt
(COLEG On-Line Project)



 • Projekt der Vereinigung - Scottish Colleges Open
   ...
E-Assessment Repositories:
COLA Projekt
(COLEG On-Line Project)




                             07.11.2008 / 63
E-Assessment Repositories:
COLA Projekt
(COLEG On-Line Project)




                             07.11.2008 / 64
SOLAR Project

Das Solar Project ist eine Initiative der SQA (Scottish Qualification
Authority) um „automatically marked s...
E-Assessment Repositories:
University of Portsmouth
Reusable Assessment Objects


Probleme mit Fragenpools:
 • Grosse Anza...
E-Assessment Repositories:
          University of Portsmouth
          Reusable Assessment Objects
            Multi-Ques...
E-Assessment Repositories:
University of Portsmouth
Reusable Assessment Objects




                              07.11.20...
Future of E-Assessment




                         07.11.2008 / 69
Fragen?
          Cornelia Rüdel
  cornelia.ruedel@access.uzh.ch

Blog: http://forschung.pruefung.net/
Upcoming SlideShare
Loading in...5
×

HIS Workshop 2008: Neue Wege in der Prüfungskultur

1,753

Published on

Vortrag zum Thema "Neue Wege in der Prüfungskultur" am HIS Workshop am 5./6. November 2008 in Hannover (Cornelia Ruedel)

Published in: Education, Technology

Transcript of "HIS Workshop 2008: Neue Wege in der Prüfungskultur"

  1. 1. HIS Workshop “Elektronische Prüfungen” 5./6. November 2008 Neue Wege in der Prüfungskultur Cornelia Ruedel E-Learning Center, Universität Zürich http://www.elc.uzh.ch
  2. 2. Agenda: • Aktuelle Prüfungsalltag • Probleme mit den konventionellen Prüfungen • Anforderungen an das neue Prüfungssystem • E-Assessment Kreislauf • Überblick über Innovationsfelder mit Beispiele • Fragen 07.11.2008 / 2
  3. 3. Alltag an der Universität Aktuelle Prüfungssituation an der Universität Zürich • vermehrtes Prüfungs- aufkommen durch die Bologna Reform • Prüfungsdurchführung und -auswertung ist eine grosse Personalbelastung Universitärer Dreikampf: Prüfung, Hausarbeit, Referat 07.11.2008 / 3
  4. 4. Probleme mit konventionellen Prüfungen Schriftlich: fragliche Validität und Reliabilität, zeitaufwendige Korrektur, Problem: Handschrift Mündlich: fragliche Validität,Reliabilität und Fairness, jeder Prüfling hat andere Bedingungen Zeitaufwendige Durchführung 07.11.2008 / 4
  5. 5. Universitäres Assessment: Gegensätzliche Vorstellungen von Studium und Lehre Perspektive der Leistungsnachweis als Dozierenden Ausgangspunkt und wichtiges «Herzstück» Welche Lehrinhalte sollen Was sind die Lerninhalte? vermittelt werden? Was und wie sollen die Studierenden lernen? Unterschiedliche Wie kann ich am Ziele am Welche Lehr-Lernkonzeption effektives erreichen? sind geeignet? Erwartungen Minimal- oder Maximalprinzip Wie kann das Lernzeile bewertet werden? Was sind die Prüfungskriterien? Was muss ich wissen? Leistungsnachweis als Endpunkt und Perspektive der lästiges «Anhängsel»! Studierenden Folie (verändert) von Gabi Reinmann: Blended Assessment, Vortrag bei e-teaching.org am 10. Dez. 2008 07.11.2008 / 5
  6. 6. The Higher Education Academy Maclellan (2002): Perceptions of Assessment 07.11.2008 / 6
  7. 7. Anforderungen an ein neues Prüfungssystem + mehr Vielfalt in der Prüfungsform + mehr Feedback für die Studierenden + weniger Zeitaufwand für Dozierende = ist das möglich? Quelle: http://edorigami.edublogs.org/2008/07/17/21st-century-assessment-2/
  8. 8. Literature Review 07.11.2008 / 8
  9. 9. Bisherige Trends in E-Assessment 1991 - avoidance of marking by staff (summative) 1996 - delivery of feedback to students (formative) 2001 - delivery of hints/help to students (both) 2006 - avoidance of question setting by staff (both) Folie (verändert) von Michael McCabe: Remarkable Pedagogical Benefits of Reusable Assessment Objects, Aug. 2008, ENAC Potsdam 07.11.2008 / 9
  10. 10. Literature (1): Applications in Educational Assessment (1990): Applications in Educational Assessment (1990): Future Technologies Report submitted to Office of Technology Assessment (Sponsored by the Congress of U.S., Washington) Five categories of technologies that support key features of new assessments are: (1) intelligent tutoring systems; (2) simulations and modelling programs; (3) multimedia systems; (4) Learning with feedback; (5) video technology that can record student responses. 07.11.2008 / 10
  11. 11. Literature (2): Randy Elliot (1998) Reinventing Assessment First Generation Next-Generation Generation quot;R“ Electronic Tests automating existing process • Combination of assessment and without improvements qualitatively different to instruction 1. Generation • Simulation of complex Innovations environments • students can register by Innovations • chance to learn and assess phone or email • Question Design under real conditions •receive feedback at the end • Use of Multimedia Elements • collaborative work in electronic • Response & Feedback learning communities Location • Development • Large scale distance assessment relatively small, comfortable • Scoring center • Administrative Process • Location: Home, schools, • Measuring traditional skills commercial learning environments, more comprehensively libraries, businesses and • Item Pools community center Driver: Costs Drivers: • proliferation of sophisticated information and communication technologies • increasing competitive global economy 07.11.2008 / 11
  12. 12. Literature (3): Bobby Elliot (2007) Assessment 2.0 Assessment 1.0 Assessment 1.5 Assessment 2.0 • paper-based • more up-to-date form • Authentic • classroom-based • computers are used in the • Natural • Formalised assessment process • Personalised (in terms of organisation • E-testing (a form of on-screen • Negotiated and administration) of knowledge) • Problem-based • synchronised • E-Portfolio (digital repository • Deep (in terms of time and place) of assessment used to assess • Collaborative • controlled practical skills) • Peer and self-assessed (in terms of contents and • Tool supported marking) 07.11.2008 / 12
  13. 13. Literaturhinweise Bennett, R.E., 1998. Reinventing assessment: Speculations on the future of large-scale educational testing, ETS Policy Information Center, Research Division. Available at: http://www.ets.org/Media/Research/pdf/PICREINVENT.pdf. Center for Children and Technology hrsg., 1990. Applications in Educational Assessment: Future Technologies. Available at: [Zugegriffen Oktober 27, 2008]. Elliot, B., Assessment 2.0: Modernising assessment in the age of Web 2.0. Available at: http://www.scribd.com/doc/461041/Assessment-20. Ripley, M., 2006. The four changing faces of e-assessment 2006-2016. Insight: Thematic Report. Available at: http://insight.eun.org/ww/en/pub/insight/thematic_dossiers/articles/e_assessment/eassessment2.htm [Zugegriffen Oktober 26, 2008]. Whitelock, D. & Brasher , A., 2005. A Roadmap for e-Assessment: A JISC funded project within the JISC e-Learning Programme (2005 - 2006). Available at: http://www.jisc.ac.uk/media/documents/programmes/elearningpedagogy/roadmapeassessment.doc [Zugegriffen Oktober 26, 2008].
  14. 14. Zukunftsfelder «E-Assessment» 07.11.2008 / 14
  15. 15. E-Assessment Kreislauf 07.11.2008 / 15
  16. 16. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 16
  17. 17. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 17
  18. 18. Vorbereitung: Funktion Wie wird geprüft? Leistungs- Selektion bewertung c h s tis v no ati g um m dia s E-Assessment v v m ati a pti for ad Lernlenkung Steuerung • Beispiel: • Adaptive testing: PTO Online (http://www.pto.uzh.ch/) 07.11.2008 / 18
  19. 19. Vorbereitung: Funktion Universität Zürich: PTO Psychopathology Taught Online http://www.pto.uzh.ch/ 07.11.2008 / 19
  20. 20. Vorbereitung: Funktion Universität Zürich: PTO Psychopathology Taught Online 07.11.2008 / 20
  21. 21. Vorbereitung: Funktion Universität Zürich: PTO Psychopathology Taught Online http://www.pto.uzh.ch/ 07.11.2008 / 21
  22. 22. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 22
  23. 23. Vorbereitung: Kompetenz Was wird geprüft? • Sachkompetenz • Methodenkompetenz • Sozialkompetenz • Selbstkompetenz Projekte: • Bewertung der Reflektion mittels Diskussionsforum an der University of Leicester • Online-Mikroskope der University of Derby • Open Comment der Open University 07.11.2008 / 23
  24. 24. Vorbereitung: Kompetenz: University of Derby: Mikroskope für Cambridge University Screenshots von Bioscope entwickelt von der University of Derby mit TRIADS für Cambridge Assessment 07.11.2008 / 24
  25. 25. Vorbereitung: Kompetenz: University of Derby: Mikroskope für Cambridge University Screenshots von Bioscope entwickelt von der University of Derby mit TRIADS für Cambridge Assessment 07.11.2008 / 25
  26. 26. Vorbereitung: Kompetenz: University of Derby: Mikroskope für Cambridge University Screenshots von Bioscope entwickelt von der University of Derby mit TRIADS für Cambridge Assessment 07.11.2008 / 26
  27. 27. Vorbereitung: Kompetenz: Open University: Open Comment 07.11.2008 / 27
  28. 28. Vorbereitung: Kompetenz: Open University: Open Comment 07.11.2008 / 28
  29. 29. Vorbereitung: Kompetenz: Open University: Open Comment 07.11.2008 / 29
  30. 30. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 30
  31. 31. Vorbereitung: Format Welche Prüfungsform wird verwendet? • Klassische Formen (Offene Fragen) • E-Assessment (geschlossene + halboffene Fragen) • Neue Formen • E-Portfolio • Neue Web 2.0 Formen (Wiki, Blog, Podcast) • Rollenspiele, Simulationen Beispiele für Digital Storytelling on YouTube • Did you know: http://www.youtube.com/watch?v=K04o2ic4g-A • Pay attention: http://www.youtube.com/watch?v=gT2E2F0DmyE&feature=related 07.11.2008 / 31
  32. 32. Vorbereitung: Format Universität Zürich: Rechtswissenschaften Interaktives Rollenspiel 07.11.2008 / 32
  33. 33. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 33
  34. 34. Vorbereitung: PrüferIn - Authorithy Wer bewertet? • Self Assessment • Peer Assessment • Group Assessment • Teacher Assessment Beispiele Peer Assessment: • WEBPA (Loughborough University) http://www.webpaproject.com/ • University of Dundee http://www.dundee.ac.uk/learning/centre/ilt/selfpeer.htm • University of Glamorgan (http://www.comp.glam.ac.uk/staff/pdavies/CAA%202008/phil_ davies_2008.doc ) 07.11.2008 / 34
  35. 35. Vorbereitung: PrüferIn Loughborough University: Peer Assessment: WebPA 07.11.2008 / 35
  36. 36. Vorbereitung: PrüferIn Loughborough University: Peer Assessment: WebPA 07.11.2008 / 36
  37. 37. Vorbereitung: PrüferIn University of Glamorgan: Comments – Both Positive and Negative in the various categories. Provides a Subjective Framework for Commenting & Marking First Stage => Self Assess own Work Second Stage (button on server) => Peer Assess 6 07.11.2008 / 37 Essays
  38. 38. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 38
  39. 39. Durchführung: Prüfungsort Wo wird «assessed»? • On-campus vs. off-campus • Supervised vs. unsupervisored • Static vs. mobile Beispiele: • Classroom-based Mobile Voting Systems • Mobile Assessment mit PDA/Mobiles 07.11.2008 / 39
  40. 40. Durchführung: Prüfungsort West Suffolk College • Innovativer Einsatz von E-Portfolios in der Aus- und Weiterbildung von Köchen • Mobile Sammeln von Arbeitsproben • Software von Paperfree Systems Ltd 07.11.2008 / 40
  41. 41. Durchführung: Prüfungsort Mobile Assessment M-learning:Tribal CTAD M-Learning bietet Software an die für PDAs, Mobile Phones, Pocket PC‘s und das Internet genutzt werden können Anwender sind u.a.: •Healty for Life (Birmingham Core Skills Partnership and Birmingham Teenage Pregnancy Project) •Maths4Life (finanziert von UK- Government Department for Children, Schools and Families) • Link: http://www.m-learning.org/ 07.11.2008 / 41
  42. 42. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 42
  43. 43. Durchführung: Prüfungszeitraum Wo wird «assessed»? • Continuous vs einmal Beispiel: • Mikrobiologie Universität Zürich Vortrag von Dr. Kurt Hanselmann am 6. Mai 2008 zum Thema: „E-Assessment in den Naturwissenschaften“ (http://www.elc.uzh.ch/veranst altungen/elforum.html) 07.11.2008 / 43
  44. 44. Durchführung: Prüfungszeitraum Universität Zürich: Microbiology Dr. Kurt Hanselmann Prüfungsvielfalt: • Self-Testing (30%) 10 Frageblöcke a 10 Fragen + Self-Study: Key Word Search (10%) + Self-Study: Case Study (20%) + E-Prüfung (20%) OpenBook + E-Prüfung (20%) + Extra Credits (bis 5%) für Einreichen zukünftiger Prüfungsfragen 07.11.2008 / 44
  45. 45. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 45
  46. 46. Auswertung: Bewertung Wie wird bewertet? • Manuell vs. automatisch • Traditionell vs. innovative • Confidence-based marking Beispiele: • Certainty-Based Marking @ University College London Tony Gardner-Medwin • Confidence-Based Marking @ University of Glamorgan Phil Davies • Confidence-Based Marking 07.11.2008 / 46
  47. 47. Auswertung: Bewertung Confidence / Certainity Based Marking Confidence-Based Marking • Anwendung an University College London (Medizin) und University of Glamorgan (IT) und neu bei der TU Graz (IT) • Ansatzpunkt: Kritik an MC-Fragen - Ratefaktor • Studierende müssen anzeigen wie «confident» sie bei der Beantwortung sind Bewertungsskala Glamorgan University College London confidence Right wrong certainty Right wrong High 3 -6 very 4 -2 (c=3) Mid 2 -2 fairly 2 -1 (c=2) Low 1 0 not 1 0 (c=1) 07.11.2008 / 47
  48. 48. Auswertung: Bewertung University College London: Tony Gardner-Medwin (Medizin) 07.11.2008 / 48
  49. 49. Auswertung: Bewertung University of Glamorgan: Phil Davies (IT) 07.11.2008 / 49
  50. 50. Auswertung: Bewertung University of Glamorgan Rubrics für Peer Assessment 07.11.2008 / 50
  51. 51. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 51
  52. 52. Ergebnisse: Feedback Welches Feedback bekommen die Studierenden? • Mündlich vs. schriftlich • Prüfung vs. Frage Schriftliche Feedback-Variationen Bestanden/Nicht-Bestanden + Gesamtnote ++ Note/Prozent nach Themenschwerpunkt +++ Aufgeschlüsselt nach Fragen ++++ Ausführliche Kommentar +++++ mit Lernhinweisen 07.11.2008 / 52
  53. 53. Ergebnisse: Feedback Open University: OpenMark 07.11.2008 / 53
  54. 54. Ergebnisse: Feedback Open University: OpenMark 07.11.2008 / 54
  55. 55. Ergebnisse: Feedback Open University: OpenMark 07.11.2008 / 55
  56. 56. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 56
  57. 57. Staff Development Wie werden die Dozierenden unterstützt? • Kurse • Tools Beispiele • OpenMentor (Open University) • Online Kurse (University of Dundee & Leeds Metropolitan University) 07.11.2008 / 57
  58. 58. Staff Development Widgets: Open Mentor 07.11.2008 / 58
  59. 59. Weiterbildung Kurs University of Dundee Assessment Online - 6-wöchiger Kurs zum Thema E-Assessment mit Questionmark Perception Napier University & Leeds Metroplitan University Surf‘s Up Student Assessment using Rich Feedback 07.11.2008 / 59
  60. 60. Zukunftsfelder E-Assessment Vorbereitung Durchführung Auswertung Ergebnisse Funktion Prüfungsort Kompetenz Bewertung Feedback Zeitpunkt /-raum Format PrüferIn Staff Development E-Assessment Repositories 07.11.2008 / 60
  61. 61. E-Assessment Repositories Wie werden Fragen weiter- verwendet werden? • Fragenpools • Reusable assessment objects Beispiele • COLA Project • SOLAR Project • University of Portsmith (Dr. Michael McCabe) 07.11.2008 / 61
  62. 62. E-Assessment Repositories: COLA Projekt (COLEG On-Line Project) • Projekt der Vereinigung - Scottish Colleges Open Learning Exchange Group • Projekt zur Förderung der Benutzung vor virtuellen Lernumgebung • LMS: • 2005: Blackboard, Granada Learnwise, Teknical's Virtual Campus and WebCT • 2008: Moodle • Fragenpool: • 2005: über formative 250 E-Assessments mit bis zu 20 Fragen • 2008: über 450 Assessments 07.11.2008 / 62
  63. 63. E-Assessment Repositories: COLA Projekt (COLEG On-Line Project) 07.11.2008 / 63
  64. 64. E-Assessment Repositories: COLA Projekt (COLEG On-Line Project) 07.11.2008 / 64
  65. 65. SOLAR Project Das Solar Project ist eine Initiative der SQA (Scottish Qualification Authority) um „automatically marked summative assessment“ Schottischen Berufsschulen (Further Education Colleges) bereitzustellen. Es ist ein „Repostitory“ für Prüfungen, die die Colleges für andere Benutzer zur Verfügung stellen. Das SOLAR Project ist ein erster gelungener Versuch mit einem Repository und wird von 30 Colleges mehr und weniger genutzt wird. Link: http://www.sqasolar.org.uk/mini/27322.html 07.11.2008 / 65
  66. 66. E-Assessment Repositories: University of Portsmouth Reusable Assessment Objects Probleme mit Fragenpools: • Grosse Anzahl von Fragen notwendig • Unterschiedliche Anforderungen für summative und formativen Einsatz (z.B. Sicherheitsansprüche, Feedback) Reusable Learning Assessment Questions Objects (repositories) (banks) Reusable Assessment Objects (e.g. Maple TA) 07.11.2008 / 66
  67. 67. E-Assessment Repositories: University of Portsmouth Reusable Assessment Objects Multi-Questions A multi-question is a computer generated questions with random parameters (data) and algorithms (rules) • What can be randomised? Not just numbers .... • Characters, symbols, words, text, lists, sets, tables, ... • Graphs, diagrams, pictures, videos, animations, sounds, ... • Algebraic formulae, equations ... • Where can randoms appear? Not just questions .... • Questions: stem, keys, distractors, choices, answers • Feedback, solutions, hints, help • Anmerkung: MapleTA ist mittels WebCT accessible (Quelle Michael McCabe ) Folie (verändert) von Michael McCabe: Remarkable Pedagogical Benefits of Reusable Assessment Objects, Aug. 2008, ENAC Potsdam 07.11.2008 / 67
  68. 68. E-Assessment Repositories: University of Portsmouth Reusable Assessment Objects 07.11.2008 / 68
  69. 69. Future of E-Assessment 07.11.2008 / 69
  70. 70. Fragen? Cornelia Rüdel cornelia.ruedel@access.uzh.ch Blog: http://forschung.pruefung.net/
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×