Chancen Fallstricke E Assessment

Chancen und Fallstricke bei der Einführung von E- Assessments an der Universität Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen eBologna – eStrategien an den Fakultäten Friday Lectures, WiSe 2007/08 14.12.2007 Universität Wien © Karsten D. Wolf 2007

Umstellung Bachelor-/Master- Struktur by: CarbonNYC © Karsten D. Wolf 2007

We want credit points! © Karsten D. Wolf 2007

Quelle: Johannes Hartig & Nina Jude 2007, S.30 © Karsten D. Wolf 2007

http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007

mündliche und „alternative“ Prüfungsformate? http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007

+ © Karsten D. Wolf 2007

Pro und contra: Studenten • Sofortige Bereitstellung des • Benachteiligung von Personen mit geringerer Computerkompetenz Prüfungsergebnisses (digital literacy, 10-Finger- Schreiben) • Objektive, transparente und fehlerfreie Klausurbewertung • Benachteiligung von Personen mit negativer Einstellung zu • differenziertes Feedback Computern • vereinfachte Vorbereitung durch • Probleme bei der Konzentration online-Training unter Verwendung (Computermonitor, Lüfterlärm, der gleichen Fragenkataloge Tastaturgeklapper…) ➙ Stress? • Datenschutz? in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf

Akzeptanz durch Studierende: Benutzbarkeit Bücking / Schwedes (2005) © Karsten D. Wolf

Akzeptanz durch Studierende: Raum - Lüftung - Lautstärke - Temperatur - Platzangebot Bücking / Schwedes (2005) © Karsten D. Wolf

Akzeptanz durch Studierende: Rückmeldung 35,5% Generelle Zustimmung 4% Totalablehnung Achtung: FB WiWi Bücking / Schwedes (2005) © Karsten D. Wolf

Pro und contra: Lehrende / Prüfungsautor(inn)en • Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur automatische Auswertungsverfahren Digitalisierung vorhandener Fragen & Verwaltung und Aufbau eines hinreichend großen Fragenkataloges • Efﬁziente Unterstützung bei • Prüfungsdesign wird durch Freitextfragen-Korrektur Technik beschränkt • Wiederverwendbare und „kollaborative“ Fragenkataloge • technische Manipulationsmöglichkeiten (während und vor der Prüfung) • Qualitätssicherung und - verbesserung in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf

Pro und contra: Prüfungsverwaltung • Vereinfachte • Initiale Zusatzbelastung durch Organisationsabläufe durch Im- Umstellung auf neue Arbeitsabläufe und Export von • Rechtliche Absicherung • Teilnehmer(innen)listen und • Durchführungsorganisation • Ergebnissen • Datenschutz & -sicherheit zwischen Prüfungsverwaltungssoftware (FlexNow!) und Prüfungssoftware in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf

Pro und contra: Allgemein • Kosteneinsparung • Stabilität & Zuverlässigkeit • Mögliche Erstellung komplexer • Qualitätsverlust des Studiums und interaktiver Fragen durch durch reine Wissenstests Multimediaelemente in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf

Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf

Vergleich der drei Szenarien: Break-Even Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf

Durchführung: Wer ist beteiligt? • Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter) • Aufsichtskräfte (Lehrstühle) • Verwaltung (Prüfungsamt) • Editoren für E-Aufgaben (Lehrstühle zentrale Einrichtung) • E-Assessment Beauftragte (Fachbereiche) • E-Learning Support (zentrale Einrichtung) © Karsten D. Wolf

Lehrkräfte / Autor(inn)en • Entwicklung • Fragen • Antworten • Distraktoren • Beurteilungsschema • Qualitätskontrolle • Fragen • Umsetzung der Fragen • Endgültige Abnahme des Fragenkataloges • Analyse und Überarbeiten der Fragen nach Klausuren © Karsten D. Wolf

Lehrkräfte / Autor(inn)en • Entwicklung Woh • Fragen diese er ko • Antworten mmt Qual • Distraktoren ifika • Beurteilungsschema tion? • Qualitätskontrolle • Fragen • Umsetzung der Fragen • Finales Absegnen des Fragenkataloges • Analyse und Überarbeiten nach Klausuren © Karsten D. Wolf

Alternative Assessment Formative Verfahren E-Portfolio © Karsten D. Wolf 2007

Alternative Assessment © Karsten D. Wolf 2007

Alternative Assessment Formative Verfahren © Karsten D. Wolf 2007

Alternative Assessment Formative Verfahren E-Portfolio © Karsten D. Wolf 2007

Alternative Assessment Formative Verfahren E-Portfolio Learning about © Karsten D. Wolf 2007

Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment © Karsten D. Wolf 2007

Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design © Karsten D. Wolf 2007

Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design Learning by Assessing © Karsten D. Wolf 2007

Alternative Assessment Formative Verfahren E-Portfolio Learning about Learning by Assessment Learning by Design Learning by Assessing Learning to be © Karsten D. Wolf 2007

Quelle: Falko Rheinberg © Karsten D. Wolf 2007

Innovationsbereiche beim E-Assessment • Simulation • Realitätsnähe • Feedbackkomponenten • Explorationsmöglichkeiten • Automatisierte Bewertung von Essays • Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -proﬁlen. • Autorenwerkzeuge für fachspeziﬁsche Tests/Sims • Einbindung in E-Portfolios • Kompetenzmessung in Gruppen © Karsten D. Wolf

Innovationsbereiche beim E-Assessment • Verbesserung der Messmodelle (Rasch Skalierung) • Tests werden in den Lehr-Lern-Prozess integriert • Transfer wird durch authentische Aufgaben erleichtert • Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden • Keine speziellen Prüfungen mehr notwendig • Durch Testbänke keine festen Prüfungstermine mehr • Kombination in Form von Blended Assessment © Karsten D. Wolf

Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. Wolf

E-Selection / E-Recruitment & Recrutainment • Auswahlverfahren für BA und MA • Uni Bremen WiSe 2006: 2355 Studienanfänger ❖ wachsende Anzahl von Master-Studiengänge © Karsten D. Wolf

Implementation © Karsten D. Wolf 2007

Neue Personen • Editoren • Entwicklung Fragevorlagen • Umsetzung der Fragen in Editor • Qualitätskontrolle • Fragekatalog pﬂegen • E-Assessment Beauftragte • Projektmanagement (120 Tage Vorlauf!) • Administration des E-Assessment-Servers (mandantenfähig) • Einweisung Autoren, Editoren und Aufsichtspersonal • Testläufe organisieren © Karsten D. Wolf

Änderungen für bestehende Rollen • Verwaltung (Prüfungsamt) • Administration der Prüfungen im System (Buchungen, Termine) • Anpassung des Materials für die Durchführung von Examen • Archivierung der Examensdaten • Resultate • Protokolle • Logﬁles • Aufsichtspersonal • Vorbereitung der PC-Pools • Technische Assistenz und Problembehebung © Karsten D. Wolf

Fülle von Arbeitsplänen: Überblick Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf

Arbeitsplan „Lehrstuhl“: Fragenkatalog erstellen Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf

Arbeitsplan „Prüfungsamt“: Vorbereitung eines E-Examens Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf

Beispiel: eExaminations an der Uni Bremen • Dezember 2004 - April 2006 • 14 E-Examen (11 in BWL/WiWi) • 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962) • ø 20 PCs pro Raum (10–54) • ø 24 Wiederholungen / Examen (5–64) • Max. 7 Räume / Tag und 6 „Slots“ pro Tag • Hoher Organisations-Overhead Quelle: ZMML Uni Bremen © Karsten D. Wolf

Beispiel: Durchführungsplan Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf

30 30 30 30 ZMML Uni Bremen - Realisierung WiSe 2007 © Karsten D. Wolf 2007

PC-Pool oder E-Testcenter? • Starke Reduzierung der Aufsichtsstunden • Höhere Sicherheit • Autonome LANs • Arbeitsabläufe können optimiert werden • Leichtere Unterstützung z.B. von Simulationen als Testumgebung • Ggf. Nutzung für Forschungsfragen • Rückkehr zum „alten“ CIP-Pool? • Nutzung außerhalb der Prüfungszeiten? © Karsten D. Wolf

E-Learning Support: ZMML Uni Bremen • E-Assessment als Dienst einführen und anbieten • Beratung und Training der beteiligten Personen • Technische Vorbereitung der PC-Pools • Anbindung an andere IT-Dienste • Zusammenarbeit mit Softwareﬁrma (Anpassung) • Notfallteam für die Dauer der Prüfungsperiode zusammenstellen • Implementation zunächst nur mit einem Fachbereich • Kooperation mit einer Softwareﬁrma © Karsten D. Wolf

Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • mögliche Alternative: Scanlösung Paper&Pencil MC Test • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. Wolf

American Airlines, ca. April 2007

Gender speziﬁsche Computer Einstellungen und Fertigkeiten nach Whitley 1997

PISA 2003 - Gender Differences Mädchen Jungen Computerspiele 35% 70% Software runterladen 25% 51% Musik runterladen 40% 56% Informationen suchen 50% 59% Zusammenarbeit 27% 36% Kommunikation 55% 56% Programmieren 16% 30% Graphikprogramme 26% 34% Tabellenkalkulation 18% 24% Textverarbeitung 49% 48%

Keine Unterschiede der Internet Expertise computer expertise computer usage internet expertise internet usage n=108 (Wolf 2007)

Evaluation der Lernumgebung Wisse wie… Kompliziert Schaue mehr Spaß andere Arbeiten an n=108 (Wolf 2007)

Prozessunterschiede: Kommunikation n=36 (Wolf/Prasser 2006)

So wie das Internet eine Alltagstechnologie wird… Pew Institute 2005

Gender-sensitive Sprache und Lernmaterial (Auszug aus Pravda 2003) • Sexistische Sprache vermeiden / austauschen • In Beispielen Gender und deren Reihenfolge abwechseln • Möglichst Gender-neutrale Begriffe verwenden • Inhalte aus mehreren Perspektiven beschreiben • Lebenserfahrung beider Gender integrieren • Gender Hierarchien und Stereotype entfernen • Neue Rollenmodelle für beide Gender anbieten

Zusammenfassung: Erfahrungen bisher • Entlastung und Verbesserung • Uni Bremen als Vorreiterin • Dauerhaftes Thema an Hochschulen (Trend) • Technische und organisatorische Professionalisierung • Verstetigung statt Pilotprojekte • Hohes Innovationspotenzial für Hochschullehre • Aktuelles Forschungsthema • TestCenter bietet ideale Voraussetzungen © Karsten D. Wolf

FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.zmml.uni-bremen.de/

Literaturempfehlungen Thomas M. Haladyna (2004). Developing and Validating Multiple- Choice Test Items. Lawrence Erlbaum Associates. Steven M. Downing & Thomas M. Haladyna (2006). Handbook of Test Developing. Lawrence Erlbaum Associates. Jürgen Rost (2004). Lehrbuch Testtheorie – Testkonstruktion. Huber. © Karsten D. Wolf

Literaturempfehlungen Trevor G. Bond & Christine M. Fox (2007) Applying The Rasch Model. Lawrence Erlbaum Associates. Mark Wilson (2005). Constructing Measures. Lawrence Erlbaum Associates. Albert Maydeu-Olivares & John J. McArdle (2005). Contemporary Psychometrics. Lawrence Erlbaum Associates. © Karsten D. Wolf

Chancen Fallstricke E Assessment

by Karsten D. Wolf on Dec 19, 2007

Accessibility

Categories

Tags

Upload Details

Usage Rights

1 Embed 24

Statistics

Chancen Fallstricke E Assessment — Presentation Transcript