E-Assessments und Online Prüfungen

E-Assessments und Online-Prüfungen: Quantitative Bewältigungsstrategie oder qualitatives Entwicklungspotenzial der Hochschullehre? Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen © Karsten D. Wolf 2007

Umstellung Bachelor-/Master- Struktur verstärkter Massenbetrieb Bildungskanon ➙ Kompetenzen by: CarbonNYC © Karsten D. Wolf 2007

Schätzung für Universität Bremen • 12 Fachbereiche mit ca. 20.000 Studenten • Mindestens 70K - 115K Prüfungen / Semester • Tendenz steigend durch Umstieg auf BA/MA • MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis) • BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck) • Eigene Auswahlverfahren für Studienanfänger • Reduktion von 280 auf 230 Professor(inn)en • ca. 500 Prüfungsleistungen pro Semester pro Professor © Karsten D. Wolf

E-Selection, E-Recruitment & Self-Assessment • Elektronisch unterstützte Auswahlverfahren für BA und MA • Uni Bremen WiSe 2006: 2355 Studienanfänger ❖ wachsende Anzahl von Master-Studiengänge © Karsten D. Wolf

Quelle: Bücking 2008 (ZMML Uni Bremen)

Der Weg zum Testcenter an der Uni Bremen Quelle: Schwedes 2008 (ZMML Uni Bremen) © Karsten D. Wolf

L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007

Quelle: Schwedes 2008 (ZMML Uni Bremen)

Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • Alternative offene Formate: Lesbarkeit + Vorkorrekturen • Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. Wolf

Pro und contra: Studenten • Sofortige Bereitstellung des • Benachteiligung von Personen mit Prüfungsergebnisses geringerer Computerkompetenz (digital literacy, 10-Finger- Schreiben) • Objektive, transparente und fehlerfreie Klausurbewertung • Benachteiligung von Personen mit negativer Einstellung zu • differenziertes Feedback Computern • vereinfachte Vorbereitung durch • Probleme bei der Konzentration online-Training unter Verwendung (Computermonitor, Lüfterlärm, der gleichen Fragenkataloge Tastaturgeklapper…) ➙ Stress? • Datenschutz? in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf

Pro und contra: Lehrende / Prüfungsautor(inn)en • Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur automatische Auswertungsverfahren Digitalisierung vorhandener Fragen & Verwaltung und Aufbau eines hinreichend großen Fragenkataloges • Efﬁziente Unterstützung bei Freitextfragen-Korrektur • Prüfungsdesign wird durch Technik beschränkt • Wiederverwendbare und „kollaborative“ Fragenkataloge • technische Manipulationsmöglichkeiten (während und vor der Prüfung) • Qualitätssicherung und - verbesserung in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf

Pro und contra: Allgemein • Kosteneinsparung • Stabilität & Zuverlässigkeit • Mögliche Erstellung komplexer • Qualitätsverlust des Studiums und interaktiver Fragen durch durch reine Wissenstests Multimediaelemente in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf

Umstellung Bachelor-/Master- Struktur Input ➙ Output Bildungskanon ➙ Kompetenzen by: CarbonNYC © Karsten D. Wolf 2007

Deﬁnition Kompetenzen (Weinert) “Die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können” (Weinert 2002, S.27f) © Karsten D. Wolf 2008

Prinzipielles Problem • Operationalisierung • Messung • Bewertung Je komplexer eine Kompetenz ist, desto weniger validierte Instrumente sind vorhanden! © Karsten D. Wolf 2008

Gütekriterien für Tests: Heins Helmtest Validität ✘ Reliabilität ✔ Objektivität ✔ © Karsten D. Wolf 2008

Gütekriterien für universitäre Prüfungen? Validität ??? Reliabilität ?? Objektivität ? © Karsten D. Wolf 2008

Wie „schwer“ ist eine Aufgabe? 100kg 60kg 80kg 40kg

Maximalkraft? 80kg 60kg 100kg 40kg

Maximalkraft? 80kg 60kg 100kg 40kg Θ=40 Θ=60 Θ=80 Θ=100

Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 50% 0% Θ 40 60 80 100 © Karsten D. Wolf

Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 80kg Gewicht 50% 0% Θ 40 60 80 100 © Karsten D. Wolf

Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 80kg Gewicht 50% Aufgabe (Item) ist schwerer 0% Θ 40 60 80 100 © Karsten D. Wolf

Raschmodell: „Kompetenzstufen“ I II III IV 100% 50% 0% Θ -2 -1 0 1 2 © Karsten D. Wolf

Frage: Auf welchen Taxonomiestufen können E-Assessments messen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf 2008

We want credit points! © Karsten D. Wolf 2007

Test Wiseness Test In which pifﬂerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf

Test Wiseness Test: Wiederholung aus Wortstamm In which pifﬂerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf

Test Wiseness Test Wenn hier eine Frage stände, was wäre die richtige Antwort? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf

Test Wiseness Test: odd one out Wenn hier eine Frage stände, was wäre die richtige Antwort? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf

Test Wiseness Test Hixek norfolken pifﬂe? (a) Hiku nippon ibitus (b) Eﬁl Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf

Test Wiseness Test: Längste Alternative Hixek norfolken pifﬂe? (a) Hiku nippon ibitus (b) Eﬁl Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf

Umstellung Kompetenzen Bachelor-/Master- Struktur Wissen verstärkter Massenbetrieb Bildungskanon ➙ Kompetenze schlechtes Assessment n by: CarbonNYC © Karsten D. Wolf 2007

Gegenmaßnahmen • Schulung der Autoren / Autorinnen • Bessere Distraktoren • Höhere Taxonomiestufen • Conﬁdence-Based Marking (Gardner-Medwin 2006) • Übersaturierte Antwortauswahl per Drop-Down • Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten © Karsten D. Wolf

Testformen (angelsächsisch) Perceptions of Assessment (MacLellan 2002) © Karsten D. Wolf

Testformen (angelsächsisch) Aufsatz Lernjournale Klausuren mit kurzen Fragen Seminarbeiträge Präsentationen Perceptions of Assessment (MacLellan 2002) © Karsten D. Wolf

Testverfahren standardisiert nicht-standardisiert Alternative Psychometrisch Holistisch Traditionell Assessment (z.B. PISA) (z.B. CLA) (z.B. Klausuren) (z.B. Portfolio) formativ

Quelle: Johannes Hartig & Nina Jude 2007, S.30 © Karsten D. Wolf 2008

Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. Wolf

Diagnostische Fragen: Eignungsdiagnostik Eigenschaften Test Simulation Biographie Verhalten Ergebnisse Schuler & Höft 2001 © Karsten D. Wolf

Simulation

Authentic Assessment

Präsenz

ELearning Präsenz Online Word Blackboard

Blended Assessments PS 2 PS 3

Formative Assessment

„Neue“ Methoden / alternative assessment • Portfolio • Lernkontrakte • Beobachtungen im Prozess • Selbstbewertung, wechselseitige Bewertung & beauftragte Bewertung © Karsten D. Wolf 2008

T T T ST ST ST ST ST ST 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 Phase 1 Phase 2 Phase 3 © Prof. Dr. Karsten D. Wolf

„Neue“ Methoden / alternative assessment • Lerntagebücher • Leistungspräsentation • Rückmeldebögen (Rubrics) • Bewertungskonferenzen • Zertiﬁkate © Karsten D. Wolf 2008

Formative Assessment

Portfolio • Leistungen sowie Lern- und Arbeitsprozesse von Schülern / Studenten werden dokumentiert (inkl. Beschreibung und Reﬂexion der Schüler) • Betrifft alle Dimensionen • Auch “Leistungsmappe” (Vierlinger) in den 70ern • USA: hohe Verbreitung, die Alternative © Karsten D. Wolf 2008

Kurs-Portfolio • Sammlung aller möglichen Kurzprodukte reicht nicht Kurshefter, Arbeitsjournal, Arbeitsheft • Es bedarf zusätzlich • reﬂexiver Praxis • Auswahl zur Dokumentation der Leistung bzw. Leistungsentwicklung • Unterschiedliche Auswahl (Beste + schlechteste, besten, unterschiedlichsten etc.) © Karsten D. Wolf 2008

Auswirkung auf Didaktik und Methodik • Umgestaltung des Unterrichts • offene, aktive Formen • Lehrende als Lernbegleitende und Lernberatende • differenzierte und individualisierte Arbeit • Interessen der Schüler_innen können besser entsprochen werden • angepasstes Arbeitstempo © Karsten D. Wolf 2008

ePortfolio • webbasiertes Portfolio • Sammlung von Einlagen in digitalisierter Form • Unterstützung bei Verwaltung der Einlagen • Unterstützung bei der Reﬂektion (Vorlagen für Deckblätter etc.) und ggf. auch bei der Bewertung (Bewertungsbögen) • Unterschiedliche Zugangsrechte • Pädagogische Ziele entsprechen den klassischen Portfolios © Karsten D. Wolf 2008

Innovationsbereiche beim E-Assessment • Simulation • Realitätsnähe • Feedbackkomponenten • Explorationsmöglichkeiten • Automatisierte Bewertung von Essays • Verbesserung der Messmodelle (Rasch Skalierung) • Verkürzte Prüfungen (adaptives Testen) • Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -proﬁlen. • Autorenwerkzeuge für fachspeziﬁsche Tests/Sims © Karsten D. Wolf

Innovationsbereiche beim E-Assessment • Summative Tests werden in den Lehr-Lern-Prozess integriert • Einbindung in E-Portfolios • Kompetenzmessung in Gruppen • Transfer wird durch authentische Aufgaben erleichtert • Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden • Keine speziellen Prüfungen mehr notwendig • Durch Testbänke keine festen Prüfungstermine mehr • Kombination in Form von Blended Assessment © Karsten D. Wolf

Ausgangsfrage: E-Assessments können auf allen Taxonomiestufen eingesetzt werden • Formative Bewertungsverfahren • Alternative Verfahren werden praktikabel Erzeugen • Unterstützung auch bei offenen Formate • Dialog über Prüfungsqualität Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf 2008

FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.ifeb.uni-bremen.de/assessment/

E-Assessments und Online Prüfungen

0 comments

Notes on slide 1

Favorites, Groups & Events