Lernerfolg und Lernmotivation fördern mit E-Assessment

Lernerfolg und Lernmotivation fördern mit E-Assessment? Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen Universität Bremen Assessment drives learning • ELT TU Wien 8.04.2011 cc Karsten D. WolfMittwoch, 20. April 2011

Agenda Washback Effekt von EAssessment + wie kann man Studierende durch gute EAssessments zum Lernen motivieren? Kompetenzmodelle und ihre Umsetzung per EAssessment Fehler bei EAssessments vermeiden Good Practice bei EAssessment Items Erstellung Akzeptanz von EAssessments Implementation an der Uni Bremen - Kosten und Beneﬁts cc Karsten D. WolfMittwoch, 20. April 2011

Washback Effekt: Prüfungen bestimmen das Lernverhalten! cc Karsten D. WolfMittwoch, 20. April 2011

Washback Effekt: Schwierigkeit einer Klausur über Menge an Wissen zu regulieren führt zu ﬂachem Bulemie Lernen … Ebbinghaus Reine Wissenstests können die eigene Lehrver- anstaltung unterminieren …positive Washback Effekte sind ebenfalls möglich Verständnisorientiertes Lernen belohnen cc Karsten D. WolfMittwoch, 20. April 2011

Ausgangsfrage: Ist es möglich, auch höhere Taxonomiestufen mit geschlossenen Aufgabenformaten zu testen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011

1. Erinnern • Wiedererkennen / Identiﬁzieren • Abrufen / Wiederﬁnden cc Karsten D. WolfMittwoch, 20. April 2011

Überarbeitete Bloom‘sche Taxonomie der Lernziele Anderson, L. W., & Krathwohl, D. R. (Eds.). (2001). A taxonomy for learning, teaching and assessing: A revision of Blooms Taxonomy of educational objectives: Abridged edition, New York : Longman. cc by Karsten D. WolfMittwoch, 20. April 2011

2. Verstehen • Interpretieren / Klären / Darstellen • Exempliﬁzieren / Beispiele geben • Klassiﬁzieren / Kategorisieren • Zusammenfassen / Generalisieren • Ableiten / Folgern / Prognostizieren • Vergleichen / Zuordnen / Kontrastieren • Erklären / Modelle konstruieren cc Karsten D. WolfMittwoch, 20. April 2011

Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011

Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011

Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011

Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren äußerst selten gebrauchtes, irrelevantes Wissen äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011

Problem: Aufgabenschwierigkeiten über Wissensmenge regulieren obskures Wissen äußerst selten gebrauchtes, irrelevantes Wissen äußerst selten gebrauchtes Wissen selten gebrauchtes Wissen Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011

Konkret: Geschlossen auf hohen Taxonomiestufen prüfen? Erzeugen Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. WolfMittwoch, 20. April 2011

3. Anwenden • Ausführen / Durchführen • Anwendung / Gebrauch cc Karsten D. WolfMittwoch, 20. April 2011

4. Analysieren • Differenzieren / Unterscheiden • Organisieren / Strukturieren • Zuordnen / Zerlegen cc Karsten D. WolfMittwoch, 20. April 2011

5. Evaluieren • Überprüfen / Kontrollieren • Kritisieren / Urteilen cc Karsten D. WolfMittwoch, 20. April 2011

6. Erzeugen • Generieren / Hypothesen bilden • Planen / Entwerfen • Produzieren / Konstruieren cc Karsten D. WolfMittwoch, 20. April 2011

Dimensionen des Wissens • Faktenwissen • Konzeptuelles Wissen • Prozedurales Wissen • Meta-Kognitives Wissen cc Karsten D. WolfMittwoch, 20. April 2011

Konkret: Geschlossen auf hohen Taxonomiestufen prüfen? • Analyse der realen Tätigkeitsfelder in Wissenschaft und Praxis • authentische Materialsammlung • Einsatz von Softwareumgebungen (z.B. R, Mathcad) • ggf. teilautomatisierte Auswertung von Kurztexten Erinnern cc by Karsten D. WolfMittwoch, 20. April 2011

3. Semester Bachelor Produktionstechnik + WiIng 2 SWS (keine Übung) 2CP Modul mit Fertigungstechnik und Arbeits- und Betriebswissenschaft WS 2010/2011: 350 Studierende © Karsten D. WolfMittwoch, 20. April 2011

Konzeptwissen A (Organisatorisch) reproduzieren Hofmeister 2005: Klassiﬁkationsmatrix zum Ulme* Kompetenzstufenmodell * Untersuchung der Leistungen, Motivation, Einstellungen © Karsten D. WolfMittwoch, 20. April 2011

Konzeptwissen A (Organisatorisch) reproduzieren Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011

Konzeptwissen A (Organisatorisch) anwenden/verstehen Hofmeister 2005: Klassiﬁkationsmatrix zum Ulme Kompetenzstufenmodell © Karsten D. WolfMittwoch, 20. April 2011

Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011

Konzeptwissen B (Verallgemeinern) anwenden/verstehen Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011

Prozedurwissen (Techniken und Methoden) anwenden und verstehen Prof. Dr. Lutz Mädler | Uni Bremen © Karsten D. WolfMittwoch, 20. April 2011

Fazit Prof. Dr. Lutz Mädler ✓ Abstimmen der Lernziele mit den Prüfungsfragen ✓ Frage nach dem „wie“ und nicht dem „was“ ✓ nicht „was ist korrekt?“ sondern „warum ist die Antwort richtig?“ ✓ Abbildungen nicht aus den Vorlesungen © Karsten D. WolfMittwoch, 20. April 2011

Vorteile E-Assessment (Prof. Dr. Lutz Mädler) © Karsten D. WolfMittwoch, 20. April 2011

Nachteile E-Assessment (Prof. Dr. Lutz Mädler) © Karsten D. WolfMittwoch, 20. April 2011

Motivierend prüfen: Verständnisorientiertes Lernen belohnen • Höhere Taxonomiestufen • Authentische Aufgaben • Conﬁdence Based Marking cc Karsten D. WolfMittwoch, 20. April 2011

Fehler vermeiden: nicht die Test Wiseness messen! cc Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test The answer of this one refers to an (a) overture (b) mountain (c) building (d) misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test: Grammatikalische Hinweise The answer of this one refers to an (a) an overture (b) a mountain (c) a building (d) a misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test In which pifﬂerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test: Wiederholung aus Wortstamm In which pifﬂerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test If there where a question here, which could be the correct answer? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test: sinngleiche Antworten falsch Wenn hier eine Frage stände, was wäre die richtige Antwort? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test Hixek norfolken pifﬂe? (a) Hiku nippon ibitus (b) Eﬁl Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test: Längste Alternative Hixek norfolken pifﬂe? (a) Hiku nippon ibitus (b) Eﬁl Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test: Odd one out Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test: Rechtschreibung Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (c) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Test: Alternative 3 Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (3) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. WolfMittwoch, 20. April 2011

Test Wiseness Gegenmaßnahmen Cheat Sheet ❖ Übersaturierte Multiple • Kategorische Formulierungen (immer, nie, …) -> Falsch Choice Auswahl • Phrase-Repeat -> Richtig • Absurde / unlogische Antwort -> Falsch ❖ „Gute“ Distraktoren • Präzision / Spezifizierung -> Richtig • Länge einer Antwort -> länger = Richtig • Grammatik -> Fehler = Falsch ❖ Distraktoren aus Fehlern in • Hinweis -> Hinweis auf die richtige Antwort in der Fragestellung offenen Durchläufen • Reihenfolge der Antworten -> keine Muster • Krumme Finger raus -> bei vielen ähnlichen Antworten ist die vollkommen andere ❖ Confidence Based Marking Lösung die richtige • Rechtschreibung / Grammatik -> Fehler häufiger in den Distraktoren • … © Karsten D. WolfMittwoch, 20. April 2011

Gegenmaßnahmen • Schulung der Autoren / Autorinnen • Bessere Distraktoren • Höhere Taxonomiestufen • Conﬁdence-Based Marking (Gardner-Medwin 2006) • Übersaturierte Antwortauswahl per Drop-Down • Automatisierte oder halb-automatisierte Auswertung von offenen Frageformaten © Karsten D. WolfMittwoch, 20. April 2011

Prof. Dr. Kathleen Scalise (University Oregon) http://pages.uoregon.edu/kscalise/taxonomy/taxonomy.htmlMittwoch, 20. April 2011

Mittwoch, 20. April 2011

Motivierend prüfen: Authentisch und abwechslungsreich prüfen cc Karsten D. WolfMittwoch, 20. April 2011

John Seely Brown Xerox Parc Cognitive Apprenticeship learning about ➙ learning to be http://mitworld.mit.edu/video/419/ cc by Karsten D. WolfMittwoch, 20. April 2011

Motivierend mit MC prüfen 1.Offenheit des Antwortformats: geschlossen bis moderat geöffnet 2. Auswertungsalgorithmus: automatisch 3.Authentizität 4. Medienanreicherung 5.Interaktivität [aufwendig/teuer] Gestaltungsdimensionen von Rich E-Assessment: Wolf/Koppel/Schwedes 2011 cc Karsten D. WolfMittwoch, 20. April 2011

SimulationMittwoch, 20. April 2011

Authentic AssessmentMittwoch, 20. April 2011

Mittwoch, 20. April 2011

Collegiate Learning Assessment (Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. WolfMittwoch, 20. April 2011

1 2 3 4 5 6 7 8 9Mittwoch, 20. April 2011

http://www.elearning2null.de/ http://www.ifeb.uni-bremen.de/thetawelle/ cc by Karsten D. WolfMittwoch, 20. April 2011

cc by Karsten D. WolfMittwoch, 20. April 2011

Weitere Beispiele • Analyse / Debuggen von Sourcecode • Bewertung von Schülerlösungen • Analyse von Unternehmenskennzahlen • Bewertung von Unterrichtsentwürfen • Schreiben eines Analyseskriptes zur Auswertung von Daten • Interpretation von Laborwerten • Komplexe Fallstudien mit linearer Fragenabfolge •… © Karsten D. WolfMittwoch, 20. April 2011

Schätzung für Universität Bremen • 12 Fachbereiche mit ca. 20.000 Studenten • Mindestens 70K - 115K Prüfungen / Semester • Tendenz steigend durch Umstieg auf BA/MA • MA & Prom: anspruchsvollere Prüfungen (Projekte, Präsentationen, Thesis) • BA: mehr Prüfungen (größere Kohorten, veranstaltungsbegleitend, Zeitdruck) • Eigene Auswahlverfahren für Studienanfänger • Reduktion von 280 auf 230 Professor(inn)en • ca. 500 Prüfungsleistungen pro Semester pro Professor © Karsten D. WolfMittwoch, 20. April 2011

Quelle: Bücking 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011

Quelle: Schwedes 2008 (ZMML Uni Bremen)Mittwoch, 20. April 2011

Zusammenfassung: Wann ist das sinnvoll? • Mehr als 300 Kandidaten pro Prüfung • Mehr als 50 Rechner pro Raum • Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage) • Kurze Klausuren (bis 2 Stunden) mit vielen Fragen • Alternative offene Formate: Lesbarkeit + Vorkorrekturen • Alternative authentische Aufgaben: PC bietet authentische Arbeitsumgebung • Alternativen: Kooperation von Autorinnen und Autoren • Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. WolfMittwoch, 20. April 2011

E-Assessment - Was nun? Schritt 0: Prüfer/innen unterstützen Schritt 1: Fehler vermeiden Schritt 2: Anspruchsvoll prüfen Schritt 3: Motivierend prüfen Schritt 4: Verstetigen cc Karsten D. WolfMittwoch, 20. April 2011

FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.fb12.uni-bremen.de/de/ Medienpaedagogik.htmlMittwoch, 20. April 2011

Lernerfolg und Lernmotivation fördern mit E-Assessment

by Karsten D. Wolf on Apr 20, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

Statistics

Lernerfolg und Lernmotivation fördern mit E-Assessment — Presentation Transcript