Chancen Fallstricke E Assessment

  • 2,601 views
Uploaded on

Ausführlichere Präsentation zum Thema E-Assessments an Universitäten. Neben Chancen und Desideraten zur weiteren Beforschung von E-Assessments werden Erfahrungen an der Universität Bremen bei der …

Ausführlichere Präsentation zum Thema E-Assessments an Universitäten. Neben Chancen und Desideraten zur weiteren Beforschung von E-Assessments werden Erfahrungen an der Universität Bremen bei der Durchführung von E-Klausuren dargestellt.

More in: Education , Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
2,601
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
21
Comments
0
Likes
2

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Chancen und Fallstricke bei der Einführung von E- Assessments an der Universität Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen eBologna – eStrategien an den Fakultäten Friday Lectures, WiSe 2007/08 14.12.2007 Universität Wien © Karsten D. Wolf 2007
  • 2. Agenda • Notwendigkeiten & Trends • Haken & Ösen • Chancen & Ausblicke • Implementation • Organisation • TestCenter • Gender Mainstreaming • Empfehlungen Karsten D. Wolf ©2007
  • 3. Umstellung Bachelor-/Master- Struktur by: CarbonNYC © Karsten D. Wolf 2007
  • 4. We want credit points! © Karsten D. Wolf 2007
  • 5. Quelle: Johannes Hartig & Nina Jude 2007, S.30 © Karsten D. Wolf 2007
  • 6. © Karsten D. Wolf 2007
  • 7. http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • 8. mündliche und „alternative“ Prüfungsformate? http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • 9. mündliche und „alternative“ Prüfungsformate? http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • 10. + © Karsten D. Wolf 2007
  • 11. Pro und contra: Studenten • Sofortige Bereitstellung des • Benachteiligung von Personen mit geringerer Computerkompetenz Prüfungsergebnisses (digital literacy, 10-Finger- Schreiben) • Objektive, transparente und fehlerfreie Klausurbewertung • Benachteiligung von Personen mit negativer Einstellung zu • differenziertes Feedback Computern • vereinfachte Vorbereitung durch • Probleme bei der Konzentration online-Training unter Verwendung (Computermonitor, Lüfterlärm, der gleichen Fragenkataloge Tastaturgeklapper…) ➙ Stress? • Datenschutz? in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 12. Akzeptanz durch Studierende: Benutzbarkeit Bücking / Schwedes (2005) © Karsten D. Wolf
  • 13. Akzeptanz durch Studierende: Raum - Lüftung - Lautstärke - Temperatur - Platzangebot Bücking / Schwedes (2005) © Karsten D. Wolf
  • 14. Akzeptanz durch Studierende: Rückmeldung 35,5% Generelle Zustimmung 4% Totalablehnung Achtung: FB WiWi Bücking / Schwedes (2005) © Karsten D. Wolf
  • 15. Pro und contra: Lehrende / Prüfungsautor(inn)en • Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur automatische Auswertungsverfahren Digitalisierung vorhandener Fragen & Verwaltung und Aufbau eines hinreichend großen Fragenkataloges • Effiziente Unterstützung bei • Prüfungsdesign wird durch Freitextfragen-Korrektur Technik beschränkt • Wiederverwendbare und „kollaborative“ Fragenkataloge • technische Manipulationsmöglichkeiten (während und vor der Prüfung) • Qualitätssicherung und - verbesserung in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 16. Pro und contra: Prüfungsverwaltung • Vereinfachte • Initiale Zusatzbelastung durch Organisationsabläufe durch Im- Umstellung auf neue Arbeitsabläufe und Export von • Rechtliche Absicherung • Teilnehmer(innen)listen und • Durchführungsorganisation • Ergebnissen • Datenschutz & -sicherheit zwischen Prüfungsverwaltungssoftware (FlexNow!) und Prüfungssoftware in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 17. Pro und contra: Allgemein • Kosteneinsparung • Stabilität & Zuverlässigkeit • Mögliche Erstellung komplexer • Qualitätsverlust des Studiums und interaktiver Fragen durch durch reine Wissenstests Multimediaelemente in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • 18. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 19. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 20. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 21. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 22. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 23. Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 24. Vergleich der drei Szenarien: Break-Even Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 25. Durchführung: Wer ist beteiligt? • Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter) • Aufsichtskräfte (Lehrstühle) • Verwaltung (Prüfungsamt) • Editoren für E-Aufgaben (Lehrstühle zentrale Einrichtung) • E-Assessment Beauftragte (Fachbereiche) • E-Learning Support (zentrale Einrichtung) © Karsten D. Wolf
  • 26. Lehrkräfte / Autor(inn)en • Entwicklung • Fragen • Antworten • Distraktoren • Beurteilungsschema • Qualitätskontrolle • Fragen • Umsetzung der Fragen • Endgültige Abnahme des Fragenkataloges • Analyse und Überarbeiten der Fragen nach Klausuren © Karsten D. Wolf
  • 27. Lehrkräfte / Autor(inn)en • Entwicklung Woh • Fragen diese er ko • Antworten mmt Qual • Distraktoren ifika • Beurteilungsschema tion? • Qualitätskontrolle • Fragen • Umsetzung der Fragen • Finales Absegnen des Fragenkataloges • Analyse und Überarbeiten nach Klausuren © Karsten D. Wolf
  • 28. © Karsten D. Wolf 2007
  • 29. Alternative Assessment Formative Verfahren E-Portfolio © Karsten D. Wolf 2007
  • 30. © Karsten D. Wolf 2007
  • 31. Alternative Assessment © Karsten D. Wolf 2007
  • 32. Alternative Assessment Formative Verfahren © Karsten D. Wolf 2007
  • 33. Alternative Assessment Formative Verfahren E-Portfolio © Karsten D. Wolf 2007
  • 34. Alternative Assessment Formative Verfahren E-Portfolio Learning about © Karsten D. Wolf 2007
  • 35. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment © Karsten D. Wolf 2007
  • 36. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design © Karsten D. Wolf 2007
  • 37. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design Learning by Assessing © Karsten D. Wolf 2007
  • 38. Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design Learning by Assessing Learning to be © Karsten D. Wolf 2007
  • 39. Quelle: Falko Rheinberg © Karsten D. Wolf 2007
  • 40. Innovationsbereiche beim E-Assessment • Simulation • Realitätsnähe • Feedbackkomponenten • Explorationsmöglichkeiten • Automatisierte Bewertung von Essays • Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen. • Autorenwerkzeuge für fachspezifische Tests/Sims • Einbindung in E-Portfolios • Kompetenzmessung in Gruppen © Karsten D. Wolf
  • 41. Innovationsbereiche beim E-Assessment • Verbesserung der Messmodelle (Rasch Skalierung) • Tests werden in den Lehr-Lern-Prozess integriert • Transfer wird durch authentische Aufgaben erleichtert • Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden • Keine speziellen Prüfungen mehr notwendig • Durch Testbänke keine festen Prüfungstermine mehr • Kombination in Form von Blended Assessment © Karsten D. Wolf
  • 42. © Karsten D. Wolf 2007
  • 43. Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. Wolf
  • 44. E-Selection / E-Recruitment & Recrutainment • Auswahlverfahren für BA und MA • Uni Bremen WiSe 2006: 2355 Studienanfänger ❖ wachsende Anzahl von Master-Studiengänge © Karsten D. Wolf
  • 45. © Karsten D. Wolf 2007
  • 46. Implementation © Karsten D. Wolf 2007
  • 47. Neue Personen • Editoren • Entwicklung Fragevorlagen • Umsetzung der Fragen in Editor • Qualitätskontrolle • Fragekatalog pflegen • E-Assessment Beauftragte • Projektmanagement (120 Tage Vorlauf!) • Administration des E-Assessment-Servers (mandantenfähig) • Einweisung Autoren, Editoren und Aufsichtspersonal • Testläufe organisieren © Karsten D. Wolf
  • 48. Änderungen für bestehende Rollen • Verwaltung (Prüfungsamt) • Administration der Prüfungen im System (Buchungen, Termine) • Anpassung des Materials für die Durchführung von Examen • Archivierung der Examensdaten • Resultate • Protokolle • Logfiles • Aufsichtspersonal • Vorbereitung der PC-Pools • Technische Assistenz und Problembehebung © Karsten D. Wolf
  • 49. Fülle von Arbeitsplänen: Überblick Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 50. Arbeitsplan „Lehrstuhl“: Fragenkatalog erstellen Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 51. Arbeitsplan „Prüfungsamt“: Vorbereitung eines E-Examens Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 52. Beispiel: eExaminations an der Uni Bremen • Dezember 2004 - April 2006 • 14 E-Examen (11 in BWL/WiWi) • 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962) • ø 20 PCs pro Raum (10–54) • ø 24 Wiederholungen / Examen (5–64) • Max. 7 Räume / Tag und 6 „Slots“ pro Tag • Hoher Organisations-Overhead Quelle: ZMML Uni Bremen © Karsten D. Wolf
  • 53. Beispiel: Durchführungsplan Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 54. 30 30 30 30 ZMML Uni Bremen - Realisierung WiSe 2007 © Karsten D. Wolf 2007
  • 55. PC-Pool oder E-Testcenter? • Starke Reduzierung der Aufsichtsstunden • Höhere Sicherheit • Autonome LANs • Arbeitsabläufe können optimiert werden • Leichtere Unterstützung z.B. von Simulationen als Testumgebung • Ggf. Nutzung für Forschungsfragen • Rückkehr zum „alten“ CIP-Pool? • Nutzung außerhalb der Prüfungszeiten? © Karsten D. Wolf
  • 56. © Karsten D. Wolf 2007
  • 57. © Karsten D. Wolf 2007
  • 58. © Karsten D. Wolf 2007
  • 59. © Karsten D. Wolf 2007
  • 60. © Karsten D. Wolf 2007
  • 61. © Karsten D. Wolf 2007
  • 62. © Karsten D. Wolf 2007
  • 63. © Karsten D. Wolf 2007
  • 64. E-Learning Support: ZMML Uni Bremen • E-Assessment als Dienst einführen und anbieten • Beratung und Training der beteiligten Personen • Technische Vorbereitung der PC-Pools • Anbindung an andere IT-Dienste • Zusammenarbeit mit Softwarefirma (Anpassung) • Notfallteam für die Dauer der Prüfungsperiode zusammenstellen • Implementation zunächst nur mit einem Fachbereich • Kooperation mit einer Softwarefirma © Karsten D. Wolf
  • 65. Testumgebung L-Plus © Karsten D. Wolf 2007
  • 66. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 67. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 68. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 69. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 70. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 71. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 72. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 73. L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • 74. Komplexere Aufgabe Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 75. Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • mögliche Alternative: Scanlösung Paper&Pencil MC Test • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. Wolf
  • 76. Gender Mainstreaming von eAssessment? © Karsten D. Wolf 2007
  • 77. American Airlines, ca. April 2007
  • 78. Gender spezifische Computer Einstellungen und Fertigkeiten nach Whitley 1997
  • 79. PISA 2003 - Gender Differences Mädchen Jungen Computerspiele 35% 70% Software runterladen 25% 51% Musik runterladen 40% 56% Informationen suchen 50% 59% Zusammenarbeit 27% 36% Kommunikation 55% 56% Programmieren 16% 30% Graphikprogramme 26% 34% Tabellenkalkulation 18% 24% Textverarbeitung 49% 48%
  • 80. Keine Unterschiede der Internet Expertise computer expertise computer usage internet expertise internet usage n=108 (Wolf 2007)
  • 81. Evaluation der Lernumgebung Wisse wie… Kompliziert Schaue mehr Spaß andere Arbeiten an n=108 (Wolf 2007)
  • 82. Prozessunterschiede: Kommunikation n=36 (Wolf/Prasser 2006)
  • 83. So wie das Internet eine Alltagstechnologie wird… Pew Institute 2005
  • 84. Gender-sensitive Sprache und Lernmaterial (Auszug aus Pravda 2003) • Sexistische Sprache vermeiden / austauschen • In Beispielen Gender und deren Reihenfolge abwechseln • Möglichst Gender-neutrale Begriffe verwenden • Inhalte aus mehreren Perspektiven beschreiben • Lebenserfahrung beider Gender integrieren • Gender Hierarchien und Stereotype entfernen • Neue Rollenmodelle für beide Gender anbieten
  • 85. Zusammenfassung: Erfahrungen bisher • Entlastung und Verbesserung • Uni Bremen als Vorreiterin • Dauerhaftes Thema an Hochschulen (Trend) • Technische und organisatorische Professionalisierung • Verstetigung statt Pilotprojekte • Hohes Innovationspotenzial für Hochschullehre • Aktuelles Forschungsthema • TestCenter bietet ideale Voraussetzungen © Karsten D. Wolf
  • 86. FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.zmml.uni-bremen.de/
  • 87. Literaturempfehlungen Thomas M. Haladyna (2004). Developing and Validating Multiple- Choice Test Items. Lawrence Erlbaum Associates. Steven M. Downing & Thomas M. Haladyna (2006). Handbook of Test Developing. Lawrence Erlbaum Associates. Jürgen Rost (2004). Lehrbuch Testtheorie – Testkonstruktion. Huber. © Karsten D. Wolf
  • 88. Literaturempfehlungen Trevor G. Bond & Christine M. Fox (2007) Applying The Rasch Model. Lawrence Erlbaum Associates. Mark Wilson (2005). Constructing Measures. Lawrence Erlbaum Associates. Albert Maydeu-Olivares & John J. McArdle (2005). Contemporary Psychometrics. Lawrence Erlbaum Associates. © Karsten D. Wolf