Einführung E-Assessment
               &
Organisation von E-Assessment

           Cornelia Ruedel
  E-Learning Center, Un...
Agenda

1. Teil: Einführung
 • Was ist E-Assessment?
 • Begrifflichkeiten und Zusammenhänge


2. Teil: Vom Pilotversuch zu...
Alltag an der Universität

Aktuelle Prüfungssituation
an der Universität Zürich
 • vermehrtes Prüfungs-
   aufkommen durch...
Probleme mit
   konventionellen Prüfungen

                               Schriftlich:
       fragliche Validität und Reli...
Was ist E-Assessment?




FusszeileGMW-Workshop   Ruedel et al (2007a)   03.09.2009 / 5
Was ist E-Assessment?
Definition
Unter E-Assessment versteht man die Benutzung von ICT bei den Arbeitschritten
zur Erstell...
Wie hat sich E-Assessment
      entwickelt? (Teil I)
          Bull, J. & McKenna, C. (2004): Overview over CAA Technologi...
Wie hat sich E-Assessment
entwickelt? (Teil 2)
             Warburton, B. & Conole, G. (2005): Different Types of CAA



 ...
Wie hat sich E-Assessment
entwickelt? (Teil 3)

             Bloh, E. (2006): Differenzierung von E- / Online-Assessment

...
Welche Einsatzbereiche gibt es?


      Selektion              Lernlenkung          Bewertung




     diagnostisch       ...
Prüfungsformen
                                              LEISTUNGSNACHWEISE

                                        R...
Teil 2:
                   Vom Pilotversuch
             zum universitätsweiten Angebot




FusszeileGMW-Workshop         ...
Was wird für ein Pilotversuch
benötigt?

                Universität                        Prüfungs-
                    ...
Grundsätzliche Überlegungen:
Wie entwickeln sich Pilotprojekte?

                    Warburton (2005): Typische CAA Entwic...
JISC Forschungsprojekt




  2005 - 2007:
  JISC Project: Case Studies Project «Innovative and
  effective Use of e-Assess...
Ergebnisse:
Maturity and Effectiveness




FusszeileGMW-Workshop        03.09.2009 / 16
Organisation-Klassifikation:
3 verschiedene Typen




FusszeileGMW-Workshop          03.09.2009 / 17
Typ 1: Departmental Champion

  • Wer: Dozent/in
  • Motivation: Verbesserung der Lehre/Prüfung
  • Software: sehr oft Eig...
Typ 2: Faculty based Team

  • Wer: Kreis von Dozierenden mit dem Support Team innerhalb
    einer Fakultät
  • Motivation...
Typ 3: Central Team

  • Wer: Zentrales Team unterstützt und koordiniert die E-
    Assessment Aktivitäten
  • Motivation:...
Was bringen die Forschungsergebnisse?




FusszeileGMW-Workshop                     03.09.2009 / 21
Einteilung als Entwicklungspfad

                                   Einführung von
                                    E-A...
Schlüsselfaktoren für die effektive
Organisation von e-Assessment


  • Unterstützung durch Universitätsleitung
  • Zentra...
Klare Richtlinien und Arbeitsabläufe




FusszeileGMW-Workshop                    03.09.2009 / 24
1. Schritt: Identifikation aller
        Beteiligten
                                      Erstellung
  Stakeholder
      ...
2. Schritt: Entwicklungskreislauf
(2006)




FusszeileGMW-Workshop   Whitelock, et al. (2006) / Ruedel et al. (2007a)   03...
3. Schritt: Definition der Arbeitsschritte
                                          - Analyse der Lehre
                 ...
4. Schritte: Schnittstellenanalyse

                              D   F   U     Z    K       ID   H   BUR   RD   S

      ...
5. Schritt: Arbeitsmodell mit Risiken


Risikomanagement
  •   Pädagogische Risiken
  •   Operationale Risiken
  •   Techn...
5. Schritt: Arbeitsmodell mit Risiken

                            D   F   U    Z   K   ID   H BUR RD    S



   Motivatio...
Zusammenfassung:

Organisatorische Schlüsselfaktoren
 • Unterstützung durch Universitätsleitung
 • Zentrales Team mit klar...
Literaturliste:
Bloh, E. (2006) Differenzierung von E-/Online-Assessment, Präsentation bei VCRP-Workshop –
„Möglichkeiten ...
Upcoming SlideShare
Loading in...5
×

09 GMW Workshop E Assessment

896

Published on

Vortrag am GMW-Workshop am 18./19. Juni 2009 an der Universität Zürich
(http://www.elc.uzh.ch/veranstaltungen/GMW-Workshop2009.html)

Published in: Education, Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
896
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
10
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

09 GMW Workshop E Assessment

  1. 1. Einführung E-Assessment & Organisation von E-Assessment Cornelia Ruedel E-Learning Center, Universität Zürich http://www.elc.uzh.ch
  2. 2. Agenda 1. Teil: Einführung • Was ist E-Assessment? • Begrifflichkeiten und Zusammenhänge 2. Teil: Vom Pilotversuch zum universitätsweiten Angebot • Bestandteile eines Pilotversuchs • Verschiedene Modelle • Schlüsselfaktoren
  3. 3. Alltag an der Universität Aktuelle Prüfungssituation an der Universität Zürich • vermehrtes Prüfungs- aufkommen durch die Bologna Reform • Prüfungsdurchführung und -auswertung ist eine grosse Personalbelastung • Problematik: Massenfächer (Z.B. UZH: Assessmentstufe Wirtschaftswissenschaften) Universitärer Dreikampf: Prüfung, Hausarbeit, Referat FusszeileGMW-Workshop 03.09.2009 / 3
  4. 4. Probleme mit konventionellen Prüfungen Schriftlich: fragliche Validität und Reliabilität, zeitaufwendige Korrektur Problem: Lesbarkeit der Handschriften Mündlich: fragliche Validität,Reliabilität und Fairness, jede/r Prüfling hat andere Bedingungen, zeitaufwendige Durchführung FusszeileGMW-Workshop 03.09.2009 / 4
  5. 5. Was ist E-Assessment? FusszeileGMW-Workshop Ruedel et al (2007a) 03.09.2009 / 5
  6. 6. Was ist E-Assessment? Definition Unter E-Assessment versteht man die Benutzung von ICT bei den Arbeitschritten zur Erstellung, Präsentation, Durchführung und der Auswertung von Leistungsnachweisen. oder Der Begriff E-Assessment beschreibt im Allgemeinen das Prüfen mit „e“-lektronischen Medien. Hierbei wird bei den Arbeitschritten Erstellung, Durchführung, Auswertung und Rückmeldung auf allen Ebenen (Dozenten, Prüflinge) der Computer verwendet. kurz gesagt: ... E-Assessment = Erstellung/Durchführung/Auswertung von Assessment mit Hilfe von Computer/Netzwerk FusszeileGMW-Workshop 03.09.2009 / 6
  7. 7. Wie hat sich E-Assessment entwickelt? (Teil I) Bull, J. & McKenna, C. (2004): Overview over CAA Technologies Software which has the capability to run on a stand-alone computer For example: a test which is over a network/intranet or Stand-alone posted to students on a CD- through the Internet and to ROM. Students take the test combine the use of all three and upon completion the technologies if appropriate. software accesses the Internet to upload files to a database. Closed Internet network/ Intranet For example: a test For example: an assessment completely downloaded which is delivered question by from a server onto a question from a closed network computer, which is offline server. When all results have during the test-taking and been stored, they are distributed reconnects to the network to tutors using the Internet. to upload final results. FusszeileGMW-Workshop Bull & McKenna (2004) 03.09.2009 / 7
  8. 8. Wie hat sich E-Assessment entwickelt? (Teil 2) Warburton, B. & Conole, G. (2005): Different Types of CAA CAA CBA OMR Online Assessment stand- alone Port- Networked folios FusszeileGMW-Workshop Warburton, B. & Conole, G. (2005) 03.09.2009 / 8
  9. 9. Wie hat sich E-Assessment entwickelt? (Teil 3) Bloh, E. (2006): Differenzierung von E- / Online-Assessment Technologiebasiertes Assessment E-Assessment Online Assessment Internet basiertes Assessment Computerbasiertes Web basiertes Assessment Assessment FusszeileGMW-Workshop Bloh (2006) 03.09.2009 / 9
  10. 10. Welche Einsatzbereiche gibt es? Selektion Lernlenkung Bewertung diagnostisch formativ summativ Lehrveranstaltung (en) Modul Eingangs- Prüfung test Crisp (2007) FusszeileGMW-Workshop 03.09.2009 / 10
  11. 11. Prüfungsformen LEISTUNGSNACHWEISE Referate Seminar- Protokolle arbeiten Schriftliche Poster- offene Prüfungen Präsentationen Electronic Fragen Digital Submission offene geschlossene Storytelling Fragen Fragen Gruppen- prüfungen geschlossene E-Klausur Fragen OMR Gruppen Wikis puzzle E-ASSESSMENTS elektronische Prüfungen Apaptives Testing Mündliche Online Prüfungen Diskussions- forum E-Port- Peer- folios Mündliche Blog Assess- Simu- Port- Mitarbeit ment lationen folios Studien- tagebücher Peer- Wissenschafts- Assess- praktische Tätigkeiten ment - gleich - gibt Ähnlichkeiten
  12. 12. Teil 2: Vom Pilotversuch zum universitätsweiten Angebot FusszeileGMW-Workshop 03.09.2009 / 12
  13. 13. Was wird für ein Pilotversuch benötigt? Universität Prüfungs- ordnungen Computer Räume Dozierende Lehr- Idee: Prüfungs- Prüfungsformen veranstaltung E-Assessment fragen Software Hardware Studierende Netzwerk Sicherheits- Verwaltung aspekte
  14. 14. Grundsätzliche Überlegungen: Wie entwickeln sich Pilotprojekte? Warburton (2005): Typische CAA Entwicklungen Ideal Institutional Ideal tutor Ad hoc Disastrous Planning Piloting Low Low High Embedded End of stakes, stakes, stakes life small large scale scale FusszeileGMW-Workshop Warburton (2005) 03.09.2009 / 14
  15. 15. JISC Forschungsprojekt 2005 - 2007: JISC Project: Case Studies Project «Innovative and effective Use of e-Assessment» • Good Practice • Identifikation von Erfolgsfaktoren • Hilfestellung für Universitäten im Anfangsstadium Whitelock et al. (2006) / Ruedel et al. (2007) FusszeileGMW-Workshop 03.09.2009 / 15
  16. 16. Ergebnisse: Maturity and Effectiveness FusszeileGMW-Workshop 03.09.2009 / 16
  17. 17. Organisation-Klassifikation: 3 verschiedene Typen FusszeileGMW-Workshop 03.09.2009 / 17
  18. 18. Typ 1: Departmental Champion • Wer: Dozent/in • Motivation: Verbesserung der Lehre/Prüfung • Software: sehr oft Eigenentwicklungen • Durchführung: Computerarbeitsräume • Dokumentation: vorhanden • Einfluss auf die Gesamtuniversität: gering • Kommunikation: Innerhalb der Fach-Community aber nicht innerhalb der Universität • Finanzierung: Meist aus Eigenmittel finanziert • Vorteile: sehr individuelle und innovative Lösungen FusszeileGMW-Workshop Ruedel et al.(2007b) 03.09.2009 / 18
  19. 19. Typ 2: Faculty based Team • Wer: Kreis von Dozierenden mit dem Support Team innerhalb einer Fakultät • Motivation: Meistens auf ein bestimmten Aspekt konzentriert, z.B. rich feedback • Software: Eigenentwicklung oder kommerzielle Software • Durchführung: Computerarbeitsräume • Dokumentation: langjährige Erfahrung mit vielen Publikationen • Einfluss auf die Gesamtuniversität: mässig • Kommunikation: innerhalb Fakultät & ausserhalb der Universität • Finanzierung: Projektmittel FusszeileGMW-Workshop Ruedel et al.(2007b) 03.09.2009 / 19
  20. 20. Typ 3: Central Team • Wer: Zentrales Team unterstützt und koordiniert die E- Assessment Aktivitäten • Motivation: Kosten- und Zeitersparnis • Software: Kommerzielle Software oder Eigenentwicklung mit hohen Sicherheitsstandard • Durchführung: Eigene Räumlichkeiten oder Computerarbeitsräume der Universität • Dokumentation: sehr gut • Einfluss auf die Gesamtuniversität: universitätsweite Angebot • Kommunikation: transparent innerhalb und ausserhalb der Hochschule • Finanzierung: Direkte finanzielle Unterstützung von der Universitätsleitung FusszeileGMW-Workshop Ruedel et al.(2007b) 03.09.2009 / 20
  21. 21. Was bringen die Forschungsergebnisse? FusszeileGMW-Workshop 03.09.2009 / 21
  22. 22. Einteilung als Entwicklungspfad Einführung von E-Assessment Departmental Faculty based Central Kommerzielle Champion Team Team Nutzung Typ 1 Typ 2 Typ 3 Zeit Müssen alle Stadien durchlaufen werden oder kann E- Assessment auch gleich in der 3. Stufe eingesetzt werden? FusszeileGMW-Workshop Ruedel et al.(2007b) 03.09.2009 / 22
  23. 23. Schlüsselfaktoren für die effektive Organisation von e-Assessment • Unterstützung durch Universitätsleitung • Zentrales Team mit klarer Rollenverteilung • Effektive Kommunikation mit Dozierenden • LMS als Katalysator für formatives e-Assessment • Klare Richtlinien und Arbeitsabläufe FusszeileGMW-Workshop Ruedel et al.(2007b) 03.09.2009 / 23
  24. 24. Klare Richtlinien und Arbeitsabläufe FusszeileGMW-Workshop 03.09.2009 / 24
  25. 25. 1. Schritt: Identifikation aller Beteiligten Erstellung Stakeholder Bereitstellung Curriculum Reinigung Autoren Finanzgeber Rechts- Bund Studie- dienst Editoren Eltern rende Rechen- Kanton Dozierende zentrum Institute Freunde E-Assess ID Aufsicht Netzwerk E-Assess- ment Wirtschaft Ment Meinungs Team Unterstützung Hörsaal- Mit- macher Fakultäten Buchung Studie- E-Learning rende Medien Uni- 1. Ebene Hörsaal- austattung leitung Bauten Verwaltung und Räume Senior Management 2. Ebene FusszeileGMW-Workshop 03.09.2009 / 25 3. Ebene
  26. 26. 2. Schritt: Entwicklungskreislauf (2006) FusszeileGMW-Workshop Whitelock, et al. (2006) / Ruedel et al. (2007a) 03.09.2009 / 26
  27. 27. 3. Schritt: Definition der Arbeitsschritte - Analyse der Lehre - Beratungen Motivation - Lernmaterialien - Mitarbeiterschulungen - Festlegung der Prüfungsart und Beurteilungskriterien - Fragenherstellung nach Vorgaben der Prüfungsinhalte Planung - Vorrevision der Fragen (sprachlich, inhaltlich) - Eingeben /Programmieren der Frage in den Frageneditor - Grafische Umsetzung (z.B. FLASH) Entwicklung - Revision der Fragen - Vortest der Fragen - Zusammenstellung des Fragenpools - Prüfungsausschreibung - Informationen über Leistungsnachweis für Studierende Administration - Anmeldung – Zugang zu Prüfungssystem - Erstellen der Kandidatenliste - Reservation des Prüfungsraum - Test des Lesistungsnachweis - Probelauf für die Studierende - Bereitstellen des Leistungsnachweis Durchführung - Durchführung - Prüfungsaufsicht - Datenübermittlung - Erste elektronische Auswertung/Beurteilung - Manuelle Auswertung bei Essay-Prüfungen - Analyse - Entscheide zur definitiven Bewertung Auswertung - Definitive elektronische Auswertung/Bewertung - Nachprüfen der Prüfungsresultate (manuelle Stichproben) - Feedback an die Kandidaten - Analyse/Bericht/Evaluation: Überprüfen der Gütekriterien Rekurse - Bearbeitung von allfälligen Rekursen - Archivierung der Resultate Archivierung - Elektronische Aufbewahrung der ganzen Prüfung - Nachlese und Verbesserungsvorschläge Evaluation FusszeileGMW-Workshop 03.09.2009 / 27 Ruedel et al (2007a)
  28. 28. 4. Schritte: Schnittstellenanalyse D F U Z K ID H BUR RD S Motivation x x x x X Planung x x x Entwicklung x Administration x x x x X x Durchführung x x x X Auswertung x Rekurse x X x Archivierung x x x X Evaluation x x x x FusszeileGMW-Workshop Ruedel et al (2007a) 03.09.2009 / 28
  29. 29. 5. Schritt: Arbeitsmodell mit Risiken Risikomanagement • Pädagogische Risiken • Operationale Risiken • Technische Risiken • Web-basierte Risiken • Finanzielle Risiken • Sicherheitsaspekte Ruedel et al (2007a) / Zakrzewski & Steven, C. (2003) FusszeileGMW-Workshop 03.09.2009 / 29
  30. 30. 5. Schritt: Arbeitsmodell mit Risiken D F U Z K ID H BUR RD S Motivation P1 P1 P1 Planung Entwicklung Administration Durchführung FusszeileGMW-Workshop 03.09.2009 / 30 Arbeitsmodell Zürich
  31. 31. Zusammenfassung: Organisatorische Schlüsselfaktoren • Unterstützung durch Universitätsleitung • Zentrales Team mit klarer Rollenverteilung • Effektive Kommunikation mit Dozierenden • LMS als Katalysator für formatives e-Assessment • Klare Richtlinien und Arbeitsabläufe Weitere wichtige Faktoren • Dozierende • Prüfungsfragen FusszeileGMW-Workshop 03.09.2009 / 31
  32. 32. Literaturliste: Bloh, E. (2006) Differenzierung von E-/Online-Assessment, Präsentation bei VCRP-Workshop – „Möglichkeiten und Probleme des Online Assessments“ in Kaiserslautern am 20.04.2006. Bull, J. & McKenna, C. (2004) Blueprint for Computer-assisted Assessment London: RoutledgeFalmer Ruedel, C.; Schiefner, M.; Noetzli, C.; Seiler Schiedt, E. (2007a).Risikomanagement für E-Assessment. In: Marianne Merkt, Kerstin Mayrberger, Rolf Schulmeister, Angela Sommer,Ivo van den Berk (Hrsg.). Studieren neu erfinden – Hochschule neu denken. Waxmann Verlag, siehe auch: http://pruefung.net/?p=439 Ruedel, C., Whitelock, D. and Mackenzie, D. (2007b) Key Factors for Effective Organisation of E- Assessment, IN: Proceedings of the 11th CAA Conference, Loughborough: Loughborough University, UK Warburton, B. und Conole, G. (2005) A review of computer-assisted assessment. ALT-J, Research in Learning Technology Vol. 13, No. 1, March 2005, pp. 17-31 Warburton, W. (2005) Towards a theory of computer-assisted asessment uptake in UK higher education. Unpublished PhD Thesis, University of Southampton. Zakrzewski, S. and Steven, C. (2000) A Model for Computer-based Assessment: the catherine wheel principle, Assessment & Evaluation in Higher Education, 25, 201-215 Zakrzewski, S. & Steven, C. (2003) Computer-based Assessment: quality assurance issues, the hub of the wheel. Assessment and Evaluation in Higher Education, 30, 603-620 FusszeileGMW-Workshop 03.09.2009 / 32
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×