E-Assessments und Online Prüfungen
Upcoming SlideShare
Loading in...5
×
 

E-Assessments und Online Prüfungen

on

  • 2,291 views

Präsentation auf dem Forum ProLehre am 18. Dezember 2008 in Kassel (siehe http://educampus.uni-kassel.de/?p=439)....

Präsentation auf dem Forum ProLehre am 18. Dezember 2008 in Kassel (siehe http://educampus.uni-kassel.de/?p=439).

Grundsätzliche Frage war: ist E-Assessment eine rein quantitative Bewältigungsstrategie oder auch ein qualitatives Entwicklungspotential.

Statistics

Views

Total Views
2,291
Views on SlideShare
2,268
Embed Views
23

Actions

Likes
1
Downloads
9
Comments
0

2 Embeds 23

http://www.ifeb.uni-bremen.de 18
http://www.slideshare.net 5

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

E-Assessments und Online Prüfungen E-Assessments und Online Prüfungen Presentation Transcript

  • E-Assessments und Online-Prüfungen: Quantitative Bewältigungsstrategie oder qualitatives Entwicklungspotenzial der Hochschullehre? Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen © Karsten D. Wolf 2007
  • Umstellung Bachelor-/Master- Struktur verstärkter Massenbetrieb Bildungskanon ➙ Kompetenzen by: CarbonNYC © Karsten D. Wolf 2007
  • Schätzung für Universität Bremen • 12 Fachbereiche mit ca. 20.000 Studenten • Mindestens 70K - 115K Prüfungen / Semester • Tendenz steigend durch Umstieg auf BA/MA • MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis) • BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck) • Eigene Auswahlverfahren für Studienanfänger • Reduktion von 280 auf 230 Professor(inn)en • ca. 500 Prüfungsleistungen pro Semester pro Professor © Karsten D. Wolf
  • E-Selection, E-Recruitment & Self-Assessment • Elektronisch unterstützte Auswahlverfahren für BA und MA • Uni Bremen WiSe 2006: 2355 Studienanfänger ❖ wachsende Anzahl von Master-Studiengänge © Karsten D. Wolf
  • Quelle: Bücking 2008 (ZMML Uni Bremen)
  • Der Weg zum Testcenter an der Uni Bremen Quelle: Schwedes 2008 (ZMML Uni Bremen) © Karsten D. Wolf
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • Quelle: Schwedes 2008 (ZMML Uni Bremen)
  • Quelle: Schwedes 2008 (ZMML Uni Bremen)
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • Quelle: Schwedes 2008 (ZMML Uni Bremen)
  • Quelle: Schwedes 2008 (ZMML Uni Bremen)
  • Quelle: Schwedes 2008 (ZMML Uni Bremen)
  • Quelle: Schwedes 2008 (ZMML Uni Bremen)
  • Quelle: Bücking 2008 (ZMML Uni Bremen)
  • Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • Alternative offene Formate: Lesbarkeit + Vorkorrekturen • Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. Wolf
  • Quelle: Bücking 2008 (ZMML Uni Bremen)
  • Quelle: Bücking 2008 (ZMML Uni Bremen)
  • Quelle: Bücking 2008 (ZMML Uni Bremen)
  • Pro und contra: Studenten • Sofortige Bereitstellung des • Benachteiligung von Personen mit Prüfungsergebnisses geringerer Computerkompetenz (digital literacy, 10-Finger- Schreiben) • Objektive, transparente und fehlerfreie Klausurbewertung • Benachteiligung von Personen mit negativer Einstellung zu • differenziertes Feedback Computern • vereinfachte Vorbereitung durch • Probleme bei der Konzentration online-Training unter Verwendung (Computermonitor, Lüfterlärm, der gleichen Fragenkataloge Tastaturgeklapper…) ➙ Stress? • Datenschutz? in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • Pro und contra: Lehrende / Prüfungsautor(inn)en • Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur automatische Auswertungsverfahren Digitalisierung vorhandener Fragen & Verwaltung und Aufbau eines hinreichend großen Fragenkataloges • Effiziente Unterstützung bei Freitextfragen-Korrektur • Prüfungsdesign wird durch Technik beschränkt • Wiederverwendbare und „kollaborative“ Fragenkataloge • technische Manipulationsmöglichkeiten (während und vor der Prüfung) • Qualitätssicherung und - verbesserung in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • Pro und contra: Allgemein • Kosteneinsparung • Stabilität & Zuverlässigkeit • Mögliche Erstellung komplexer • Qualitätsverlust des Studiums und interaktiver Fragen durch durch reine Wissenstests Multimediaelemente in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • Umstellung Bachelor-/Master- Struktur Input ➙ Output Bildungskanon ➙ Kompetenzen by: CarbonNYC © Karsten D. Wolf 2007
  • Definition Kompetenzen (Weinert) “Die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können” (Weinert 2002, S.27f) © Karsten D. Wolf 2008
  • Prinzipielles Problem • Operationalisierung • Messung • Bewertung Je komplexer eine Kompetenz ist, desto weniger validierte Instrumente sind vorhanden! © Karsten D. Wolf 2008
  • Gütekriterien für Tests: Heins Helmtest Validität ✘ Reliabilität ✔ Objektivität ✔ © Karsten D. Wolf 2008
  • Gütekriterien für universitäre Prüfungen? Validität ??? Reliabilität ?? Objektivität ? © Karsten D. Wolf 2008
  • Wie „schwer“ ist eine Aufgabe? 100kg 60kg 80kg 40kg
  • Maximalkraft? 80kg 60kg 100kg 40kg
  • Maximalkraft? 80kg 60kg 100kg 40kg Θ=40 Θ=60 Θ=80 Θ=100
  • Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 50% 0% Θ 40 60 80 100 © Karsten D. Wolf
  • Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 80kg Gewicht 50% 0% Θ 40 60 80 100 © Karsten D. Wolf
  • Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 80kg Gewicht 50% Aufgabe (Item) ist schwerer 0% Θ 40 60 80 100 © Karsten D. Wolf
  • Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 80kg Gewicht 50% Aufgabe (Item) ist schwerer 0% Θ 40 60 80 100 © Karsten D. Wolf
  • Raschmodell: „Kompetenzstufen“ I II III IV 100% 50% 0% Θ -2 -1 0 1 2 © Karsten D. Wolf
  • Frage: Auf welchen Taxonomiestufen können E-Assessments messen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf 2008
  • © revcruz @ flickr
  • We want credit points! © Karsten D. Wolf 2007
  • Test Wiseness Test In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  • Test Wiseness Test: Wiederholung aus Wortstamm In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  • Test Wiseness Test Wenn hier eine Frage stände, was wäre die richtige Antwort? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  • Test Wiseness Test: odd one out Wenn hier eine Frage stände, was wäre die richtige Antwort? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  • Test Wiseness Test Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  • Test Wiseness Test: Längste Alternative Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  • Umstellung Kompetenzen Bachelor-/Master- Struktur Wissen verstärkter Massenbetrieb Bildungskanon ➙ Kompetenze schlechtes Assessment n by: CarbonNYC © Karsten D. Wolf 2007
  • Gegenmaßnahmen • Schulung der Autoren / Autorinnen • Bessere Distraktoren • Höhere Taxonomiestufen • Confidence-Based Marking (Gardner-Medwin 2006) • Übersaturierte Antwortauswahl per Drop-Down • Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten © Karsten D. Wolf
  • Testformen (angelsächsisch) Perceptions of Assessment (MacLellan 2002) © Karsten D. Wolf
  • Testformen (angelsächsisch) Aufsatz Lernjournale Klausuren mit kurzen Fragen Seminarbeiträge Präsentationen Perceptions of Assessment (MacLellan 2002) © Karsten D. Wolf
  • Testverfahren standardisiert nicht-standardisiert Alternative Psychometrisch Holistisch Traditionell Assessment (z.B. PISA) (z.B. CLA) (z.B. Klausuren) (z.B. Portfolio) formativ
  • Quelle: Johannes Hartig & Nina Jude 2007, S.30 © Karsten D. Wolf 2008
  • Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. Wolf
  • Diagnostische Fragen: Eignungsdiagnostik Eigenschaften Test Simulation Biographie Verhalten Ergebnisse Schuler & Höft 2001 © Karsten D. Wolf
  • Simulation
  • Simulation
  • Simulation © Karsten D. Wolf 2007
  • Authentic Assessment
  • Präsenz
  • ELearning Präsenz Online Word Blackboard
  • Blended Assessments PS 2 PS 3
  • Formative Assessment
  • „Neue“ Methoden / alternative assessment • Portfolio • Lernkontrakte • Beobachtungen im Prozess • Selbstbewertung, wechselseitige Bewertung & beauftragte Bewertung © Karsten D. Wolf 2008
  • T T T ST ST ST ST ST ST 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 Phase 1 Phase 2 Phase 3 © Prof. Dr. Karsten D. Wolf
  • „Neue“ Methoden / alternative assessment • Lerntagebücher • Leistungspräsentation • Rückmeldebögen (Rubrics) • Bewertungskonferenzen • Zertifikate © Karsten D. Wolf 2008
  • Formative Assessment
  • Portfolio • Leistungen sowie Lern- und Arbeitsprozesse von Schülern / Studenten werden dokumentiert (inkl. Beschreibung und Reflexion der Schüler) • Betrifft alle Dimensionen • Auch “Leistungsmappe” (Vierlinger) in den 70ern • USA: hohe Verbreitung, die Alternative © Karsten D. Wolf 2008
  • Kurs-Portfolio • Sammlung aller möglichen Kurzprodukte reicht nicht Kurshefter, Arbeitsjournal, Arbeitsheft • Es bedarf zusätzlich • reflexiver Praxis • Auswahl zur Dokumentation der Leistung bzw. Leistungsentwicklung • Unterschiedliche Auswahl (Beste + schlechteste, besten, unterschiedlichsten etc.) © Karsten D. Wolf 2008
  • Auswirkung auf Didaktik und Methodik • Umgestaltung des Unterrichts • offene, aktive Formen • Lehrende als Lernbegleitende und Lernberatende • differenzierte und individualisierte Arbeit • Interessen der Schüler_innen können besser entsprochen werden • angepasstes Arbeitstempo © Karsten D. Wolf 2008
  • ePortfolio • webbasiertes Portfolio • Sammlung von Einlagen in digitalisierter Form • Unterstützung bei Verwaltung der Einlagen • Unterstützung bei der Reflektion (Vorlagen für Deckblätter etc.) und ggf. auch bei der Bewertung (Bewertungsbögen) • Unterschiedliche Zugangsrechte • Pädagogische Ziele entsprechen den klassischen Portfolios © Karsten D. Wolf 2008
  • Innovationsbereiche beim E-Assessment • Simulation • Realitätsnähe • Feedbackkomponenten • Explorationsmöglichkeiten • Automatisierte Bewertung von Essays • Verbesserung der Messmodelle (Rasch Skalierung) • Verkürzte Prüfungen (adaptives Testen) • Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen. • Autorenwerkzeuge für fachspezifische Tests/Sims © Karsten D. Wolf
  • Innovationsbereiche beim E-Assessment • Summative Tests werden in den Lehr-Lern-Prozess integriert • Einbindung in E-Portfolios • Kompetenzmessung in Gruppen • Transfer wird durch authentische Aufgaben erleichtert • Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden • Keine speziellen Prüfungen mehr notwendig • Durch Testbänke keine festen Prüfungstermine mehr • Kombination in Form von Blended Assessment © Karsten D. Wolf
  • Ausgangsfrage: E-Assessments können auf allen Taxonomiestufen eingesetzt werden • Formative Bewertungsverfahren • Alternative Verfahren werden praktikabel Erzeugen • Unterstützung auch bei offenen Formate • Dialog über Prüfungsqualität Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf 2008
  • © Karsten D. Wolf 2007
  • FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.ifeb.uni-bremen.de/assessment/