Workshop E-Assessment
Kompetent Prüfen am PC
Karsten D. Wolf
Fachbereich 12
Didaktische Gestaltung multimedialer Lernumgeb...
Themenspektrum?

• Grundsätzliche Überlegungen zum Testen

• Formative und alternative Prüfungsverfahren

• Was macht eine...
Traditionelles Modell der Leistungsbewertung



                           Leistungsprüfung              Leistungs-
     U...
Fachbereich 12
Einsatz von ePortolios im Unterricht                                       Erziehungs- und
als Beurteilungs...
Fachbereich 12
Einsatz von ePortolios im Unterricht                Erziehungs- und
als Beurteilungs- und Gestaltungsmittel...
Bezugsnormen zur Leistungsbewertung




               Quelle: Falko Rheinberg
Bezugsnormen zur Leistungsbewertung




               Quelle: Falko Rheinberg
Bezugsnormen zur Leistungsbewertung


                                         III
                                       ...
Entkopplung Veranstaltung & Prüfung


                                          III
                                      ...
Alternative Assessment for Learning


             Unterricht: Leistungsdokumentation:
           Leistungsprüfung und Lei...
„Neue“ Methoden des alternative assessments

• Portfolio                           • Lerntagebücher


• Lernkontrakte     ...
1   2   3




4   5   6




7   8   9
Formative Assessment
Formative Assessment
Formative Assessment
Formative Assessment
Formative Assessment
Rückmeldebogen (rubric)
                    A                B               C               D                E
          ...
Was ist neu bei E-Klausuren

• Zeitlicher Vorlauf und organisatorisch-technischer Aufwand

• Technische Unterstützung bei ...
„Bitte diskutieren sie dievon (a) summativen
zwischen der Gestaltung
                           Wechselwirkung

sowie (b) ...
Quelle: Johannes Hartig & Nina Jude 2007, S.30




                                                 © Karsten D. Wolf 2010
© Karsten D. Wolf 2010
Test Wiseness Clues bei MC-Fragen

• Die allgemeingültigste Antwort ist zumeist die richtige
  The lugs
      1.are solid ...
Test Wiseness Clues bei MC-Fragen

• Die richtige Antwort bei Zahlenwerten ist meistens der mittlere Wert
  The mature hum...
Test Wiseness Clues bei MC-Fragen

• Wenn zwei Alternativen das Gegenteil besagen, wähle eine davon
  The planarian has
  ...
Test Wiseness Clues bei MC-Fragen

• Auf Wortwiederholungen zwischen Frage und Antwort achten
  The Strong Vocational Inte...
Test Wiseness Clues bei True-False-Fragen

• Bestimmte Wörter machen eine Antwort mit hoher Wahrscheinlichkeit falsch
 ode...
Test Wiseness Cheat Sheet

• Categorial Exclusive -> false
• Phrase-Repeat -> true
• Absurd/Implausible Answer -> false
• ...
Test Wiseness Test


       The answer of this one refers to an

       (a) overture
       (b) mountain
       (c) buildi...
Test Wiseness Test: Grammatikalischer Hinweis


       The answer of this one refers to an

       (a) an overture
       ...
Test Wiseness Test


       In which pifflerock did zorkrans inkle?

       (a) gi hien
       (b) gis inkle
       (c) gis...
Test Wiseness Test: Wiederholung aus Wortstamm


       In which pifflerock did zorkrans inkle?

       (a) gi hien
       ...
Test Wiseness Test


       If there where a question here,
       which could be the correct answer?

       (a) besiegt
...
Test Wiseness Test: odd one out


       Wenn hier eine Frage stände,
       was wäre die richtige Antwort?

       (a) be...
Test Wiseness Test


       Hixek norfolken piffle?

       (a) Hiku nippon ibitus
       (b) Efil Yadlan Ruoj
       (c) Yo...
Test Wiseness Test: Längste Alternative


       Hixek norfolken piffle?

       (a) Hiku nippon ibitus
       (b) Efil Yadl...
Test Wiseness Test



       Dome ukerland dimmel?

       (a) Nepal
       (b) Canada
       (c) Britain
       (d) Unite...
Test Wiseness Test: Odd out



       Dome ukerland dimmel?

       (a) Nepal
       (b) Canada
       (c) Britain
       ...
Test Wiseness Test



       Zarfarkle, en Ko day?

       (a) Henkledorf
       (b) Ricktoffen
       (c) Ifetain
       ...
Test Wiseness Test: Alternative 3



       Zarfarkle, en Ko day?

       (a) Henkledorf
       (b) Ricktoffen
       (3) ...
Test Wiseness Test



       Die richtige Antwort ist?

       (a) Parrallele
       (b) Absisse
       (c) Koordinate
   ...
Test Wiseness Test: Rechtschreibung



       Die richtige Antwort ist?

       (a) Parrallele
       (b) Absisse
       (...
Fragetypen am Testcenter der Universität Bremen




                                        © Karsten D. Wolf
Ausgangsfrage:
E-Assessments können auf
allen Taxonomiestufen eingesetzt werden
• Formative Bewertungsverfahren
• Alternat...
MCQs für Bloom?

• L1: Erinnern
  Welche der folgenden Personen ist der Autor von „Das Kapital“
  Mannheim / Marx / Weber ...
MCQs für Bloom

• L3: Anwenden

 Welches der folgenden Werte stimmt am ehesten mit dem Volumen einer
 Kugel mit einem Radi...
MCQs für Bloom

• L4: Analyse




                 © Karsten D. Wolf
MCQs für Bloom

• L6: Evaluation




                   © Karsten D. Wolf
Innovationsbereiche bei MC-Formaten

• Übersaturierung der Antwortmöglichkeiten
  • 300 Medikamente
  • 250 Philosophen
• ...
Innovationsbereiche beim E-Assessment

• Simulation
  • Realitätsnähe
  • Feedbackkomponenten
  • Explorationsmöglichkeite...
Die pädagogische Chance


 “die Leistungsbewertung für die
 pädagogische Aufgabe (…)
 zurückgewinnen und in den Prozess
 d...
© Karsten D. Wolf 2010
FB 12 Erziehungs- und Bildungswissenschaften
                                   Didaktische Gestaltung
                   ...
Kompetent Prüfen am PC Workshop 2010
Kompetent Prüfen am PC Workshop 2010
Upcoming SlideShare
Loading in...5
×

Kompetent Prüfen am PC Workshop 2010

1,814

Published on

Folien eines Vortrags anlässlich des Workshops Kompetent prüfen am PC des Testcenter Bremen.

Published in: Education, Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,814
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
10
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Transcript of "Kompetent Prüfen am PC Workshop 2010"

  1. 1. Workshop E-Assessment Kompetent Prüfen am PC Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen ZMML 7.06.2010 © Karsten D. Wolf 2010
  2. 2. Themenspektrum? • Grundsätzliche Überlegungen zum Testen • Formative und alternative Prüfungsverfahren • Was macht einen Test gut? (Testtheorie) • Test Wiseness und Tipps zur Qualität der Fragen • Taxonomiestufen • Gestaltung von MC Fragen © Karsten D. Wolf 2008
  3. 3. Traditionelles Modell der Leistungsbewertung Leistungsprüfung Leistungs- Unterricht und Bewertung dokumentation lehrer- Klausur zentrierter mdl. Examen Note Ziffernzeugnis darstellender Hausarbeit Unterricht … t Quelle: F. Winter (2004), S. 68 © Karsten D. Wolf
  4. 4. Fachbereich 12 Einsatz von ePortolios im Unterricht Erziehungs- und als Beurteilungs- und Gestaltungsmittel Bildungswissenschaften Drei Bezugsnormen Quelle: Falko Rheinberg © Prof. Dr. Karsten D. Wolf 2010
  5. 5. Fachbereich 12 Einsatz von ePortolios im Unterricht Erziehungs- und als Beurteilungs- und Gestaltungsmittel Bildungswissenschaften Schlussfolgerung Klingt einfach, ist es aber nicht: Kombination der drei Bezugsnormen! Soziale + individuelle BZN positiv auf Leistungsmoti Sachliche + individuelle in der Erforschung… Ziel lehrzielorientierte Prüfverfahren © Prof. Dr. Karsten D. Wolf 2010
  6. 6. Bezugsnormen zur Leistungsbewertung Quelle: Falko Rheinberg
  7. 7. Bezugsnormen zur Leistungsbewertung Quelle: Falko Rheinberg
  8. 8. Bezugsnormen zur Leistungsbewertung III II I Quelle: Falko Rheinberg
  9. 9. Entkopplung Veranstaltung & Prüfung III II I Quelle: Falko Rheinberg
  10. 10. Alternative Assessment for Learning Unterricht: Leistungsdokumentation: Leistungsprüfung und Leistungsbewertung: erweiterte Lehr- direkte und Lernformen Dokumentation dialogisch (Portfolio) inhaltlich diagnostisch LEISTUNGSPRÄSENTATION t Quelle: F. Winter (2004), S. 70 © Karsten D. Wolf
  11. 11. „Neue“ Methoden des alternative assessments • Portfolio • Lerntagebücher • Lernkontrakte • Leistungspräsentation • Beobachtungen im Prozess • Rückmeldebögen (Rubrics) • Selbstbewertung, wechselseitige • Zertifikate Bewertung & beauftragte Bewertung • Verzicht auf (Ziffer-)Noten © Karsten D. Wolf 2010
  12. 12. 1 2 3 4 5 6 7 8 9
  13. 13. Formative Assessment
  14. 14. Formative Assessment
  15. 15. Formative Assessment
  16. 16. Formative Assessment
  17. 17. Formative Assessment
  18. 18. Rückmeldebogen (rubric) A B C D E 1 2 3 4 5 Erzeugen & Analysieren Anwenden Verstehen Mängel in Evaluieren (& Erinnern) V (& E) Kriterium 1 Operationa- Operationa- Operationa- Operationa- Operationa- lisierung auf lisierung auf lisierung auf lisierung auf Kompetenz 1 höchstem lisierung auf mittlerem niedrigem mangelhaften hohem Niveau (30%) Niveau Niveau Niveau Niveau Kriterium 2 Operationa- Operationa- Operationa- Operationa- Operationa- lisierung auf lisierung auf lisierung auf lisierung auf Kompetenz 2 höchstem lisierung auf mittlerem niedrigem mangelhaften hohem Niveau (50%) Niveau Niveau Niveau Niveau Kriterium 3 Operationa- Operationa- Operationa- Operationa- Operationa- lisierung auf lisierung auf lisierung auf lisierung auf Kompetenz 3 höchstem lisierung auf mittlerem niedrigem mangelhaften hohem Niveau (20%) Niveau Niveau Niveau Niveau K.O. cc by Karsten D. Wolf 2010
  19. 19. Was ist neu bei E-Klausuren • Zeitlicher Vorlauf und organisatorisch-technischer Aufwand • Technische Unterstützung bei Auswertung • ggf. neue Itemformate (z.B. Multimedia) • ggf. ungewohnte Itemformate (z.B. vom Freitext zum Multiple Choice) • Veränderungsprozess • ggf. Qualitätsprobleme • erneutes Nachdenken über Qualität von Klausuren & Testverfahren © Karsten D. Wolf 2008
  20. 20. „Bitte diskutieren sie dievon (a) summativen zwischen der Gestaltung Wechselwirkung sowie (b) formativen Leistungstests mit den Lernanstrengungen der Lernenden. “ © Karsten D. Wolf 2010
  21. 21. Quelle: Johannes Hartig & Nina Jude 2007, S.30 © Karsten D. Wolf 2010
  22. 22. © Karsten D. Wolf 2010
  23. 23. Test Wiseness Clues bei MC-Fragen • Die allgemeingültigste Antwort ist zumeist die richtige The lugs 1.are solid and immobile and located within the chest 2.are the only organs that produce insulin 3.function primarily in respiration 4.possess the sphincter of Oddi • Die längste Antwort kann häufig die richtige sein One of the main reasons for Custer‘s defeat at the Little Big Horn was the fact that 1.he split his troops into three groups, making each group too small to effectively fight 2.the weather was too hot 3.he had sick horses 4.he wanted to be president Quelle: The Learning & Academic Skills Center, Univ. of MN © Karsten D. Wolf
  24. 24. Test Wiseness Clues bei MC-Fragen • Die richtige Antwort bei Zahlenwerten ist meistens der mittlere Wert The mature human being has how many teeth? 1. 15 2. 32 3. 54 4. 7 • Wenn zwei Alternativen die gleiche Bedeutung haben, sind beide falsch The treaty of Brest Litovsk was ratified by Moscow because 1.Tzar Alexander I wanted to prevent Napoleon‘s invasion of Russia. 2.Russia was unable to keep up with the armament manufacture of Austria 3.Russia could not keep pace with the military production of Austria 4.Nicolai Lenin wanted to get the Soviet Union out of WWI Quelle: The Learning & Academic Skills Center, Univ. of MN © Karsten D. Wolf
  25. 25. Test Wiseness Clues bei MC-Fragen • Wenn zwei Alternativen das Gegenteil besagen, wähle eine davon The planarian has 1.an anterior brain 2.three legs 3.red eyes 4.a posterior brain • Auf grammatikalische Fehler zwischen Fragenteil und Antwort achten Important in feeling pain are 1.bone 2.ear 3.muscle 4.nerves Quelle: The Learning & Academic Skills Center, Univ. of MN © Karsten D. Wolf
  26. 26. Test Wiseness Clues bei MC-Fragen • Auf Wortwiederholungen zwischen Frage und Antwort achten The Strong Vocational Interest Blank is used to measure 1.aptitudes 2.interest 3.achievement 4.adjustment • Länge der „Fill-in-the-blanks“ berücksichtigen A popular song during World War I was ________ __________ 1.Over the Hill 2.Over there 3.Why the Kaiser 4.Adolph Quelle: The Learning & Academic Skills Center, Univ. of MN © Karsten D. Wolf
  27. 27. Test Wiseness Clues bei True-False-Fragen • Bestimmte Wörter machen eine Antwort mit hoher Wahrscheinlichkeit falsch oder richtig Falsch • Immer, Niemals, Nur, Notwendigerweise, Muss, Alle, Keine, Unmöglich, Ausnahmslos Könnte richtig oder falsch sein • Oft, Selten, Vielleicht, Manchmal, Gewöhnlich, kann, normalerweise Beispiele It is always sunny during winter at LaCrosse July is always a summer month The compensation of a skilled workperson often exceeds that of a laborer Operas are invariably sung in Italian Insurances sometimes serves as protection against income interruption Quelle: The Learning & Academic Skills Center, Univ. of MN © Karsten D. Wolf
  28. 28. Test Wiseness Cheat Sheet • Categorial Exclusive -> false • Phrase-Repeat -> true • Absurd/Implausible Answer -> false • Precision/Specificity -> true • Length -> longer = true • Grammar -> mistakes = false • Give-Away -> right answer found in other question‘s stem • Order of answer -> no answer pattern • Odd man out -> the different answer to other very similar ones is true • Spelling -> mistakes more often occur in distractors © Karsten D. Wolf
  29. 29. Test Wiseness Test The answer of this one refers to an (a) overture (b) mountain (c) building (d) misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  30. 30. Test Wiseness Test: Grammatikalischer Hinweis The answer of this one refers to an (a) an overture (b) a mountain (c) a building (d) a misnomer http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  31. 31. Test Wiseness Test In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  32. 32. Test Wiseness Test: Wiederholung aus Wortstamm In which pifflerock did zorkrans inkle? (a) gi hien (b) gis inkle (c) gish frankel (d) gishen fronk http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  33. 33. Test Wiseness Test If there where a question here, which could be the correct answer? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  34. 34. Test Wiseness Test: odd one out Wenn hier eine Frage stände, was wäre die richtige Antwort? (a) besiegt (b) siegreich (c) niedergeschlagen (d) unterworfen http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  35. 35. Test Wiseness Test Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  36. 36. Test Wiseness Test: Längste Alternative Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  37. 37. Test Wiseness Test Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  38. 38. Test Wiseness Test: Odd out Dome ukerland dimmel? (a) Nepal (b) Canada (c) Britain (d) United States http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  39. 39. Test Wiseness Test Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (c) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  40. 40. Test Wiseness Test: Alternative 3 Zarfarkle, en Ko day? (a) Henkledorf (b) Ricktoffen (3) Ifetain (d) Krator http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  41. 41. Test Wiseness Test Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  42. 42. Test Wiseness Test: Rechtschreibung Die richtige Antwort ist? (a) Parrallele (b) Absisse (c) Koordinate (d) Tangennte http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf
  43. 43. Fragetypen am Testcenter der Universität Bremen © Karsten D. Wolf
  44. 44. Ausgangsfrage: E-Assessments können auf allen Taxonomiestufen eingesetzt werden • Formative Bewertungsverfahren • Alternative Verfahren werden praktikabel Erzeugen • Unterstützung auch bei offenen Formate • Dialog über Prüfungsqualität Evaluieren Analysieren Anwenden Verstehen Erinnern Anderson / Krathwohl 2001: Revision of Bloom‘s taxonomy cc by Karsten D. Wolf 2010
  45. 45. MCQs für Bloom? • L1: Erinnern Welche der folgenden Personen ist der Autor von „Das Kapital“ Mannheim / Marx / Weber / Engels / Michels Welche der folgenden Definitionen zu … ist richtig? Welche der folgenden Sequenzen ist richtig? • L2: Verstehen Welche der folgenden Antworten beschreibt die VORBEREITUNGS-Phase eines kreativen Prozesses zur Lösung eines bestimmten Problems? … / … / … / All available information about the problem is collected Erinnern + Verstehen http://web.uct.ac.za/projects/cbe/mcqman/mcqappc.html © Karsten D. Wolf
  46. 46. MCQs für Bloom • L3: Anwenden Welches der folgenden Werte stimmt am ehesten mit dem Volumen einer Kugel mit einem Radius von 5 Metern überein? 2000 kubikmeter / 1000 / 500 / 250 aber auch Entscheidungssituationen in kleinen Fällen oder leichte Transfer- Aufgaben © Karsten D. Wolf
  47. 47. MCQs für Bloom • L4: Analyse © Karsten D. Wolf
  48. 48. MCQs für Bloom • L6: Evaluation © Karsten D. Wolf
  49. 49. Innovationsbereiche bei MC-Formaten • Übersaturierung der Antwortmöglichkeiten • 300 Medikamente • 250 Philosophen • Confidence Based Marking • zusätzlich angeben, wie sicher man sich ist • höhere Positiv- wie Negativ-Punkte • Effekt: tiefergehende Lernstrategien • Emulation: jeweils 3 Punkte für richtig / falsch / leer kein Punkt • Modified Essay Question • Fallbeschreibung mit sequentiell weiterführenden Fragen • systematische Vertiefung © Karsten D. Wolf
  50. 50. Innovationsbereiche beim E-Assessment • Simulation • Realitätsnähe • Feedbackkomponenten • Explorationsmöglichkeiten • Automatisierte Bewertung von Essays • Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen. • Autorenwerkzeuge für fachspezifische Tests/Sims • Einbindung in E-Portfolios • Kompetenzmessung in Gruppen © Karsten D. Wolf
  51. 51. Die pädagogische Chance “die Leistungsbewertung für die pädagogische Aufgabe (…) zurückgewinnen und in den Prozess des Lernens, des Korrigierens, und des Beratens einzubinden.” (Andreas Flitner 1999, S. 244) © Karsten D. Wolf 2010
  52. 52. © Karsten D. Wolf 2010
  53. 53. FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.ifeb.uni-bremen.de/assessment/
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×