Grundlagen des E-Assessment Teil 2: Online-Prüfungen  (automatische Auswertung, „Tests“)   11:  Grundlagen des E-Assessmen...
Online-Prüfungen
Definition Online-Prüfung <ul><li>Online-Prüfung  ist die Bezeichnung für eine Prüfung, die über ein Computernetz zur Verf...
Beispiele <ul><li>Zunächst ein Beispiel aus der allgemeinen Bildung: Schon seit 1998 werden in Österreich die theoretische...
Aufgabenarten von Online-Prüfungen <ul><li>Multiple Choice </li></ul><ul><li>Grafische Auswahl </li></ul><ul><li>Zuordnung...
Multiple Choice (Mehrfachauswahl) http://www.flickr.com/photos/stevekeys/2711191763/sizes/o/
Graphische Auswahl Riedel (2003). Integration studentenzentrierter fallbasierter Lehr- und Lernsysteme in reformierten Med...
Graphische Auswahl Screenshot aus einem ECDL-Test
Zuordnung (Drag & Drop)  Aus:  http://www.questionwriterblog.com/archives/matchingdnd.jpg
Zuordnung (Drag & Drop) Aus:  http://www.knowledgepresenter.com/kpuniversity/v7/whitepapers/DragAndDropQuestions.pdf
Kurzantwort/ Lückentext http://clp.arizona.edu/cls/por/images/cloze.png
Prüfungsformen von Online-Prüfungen <ul><li>Variation: Aufgaben und Antwortalternativen (-anordnung) variabel; Aufgaben au...
Bewertung der Prüfungsmethode <ul><li>Beurteilungsobjektivität ist hoch </li></ul><ul><li>Praxisnähe ist unterschiedlich h...
Gruppen-/Partnerarbeit: Nehmen Sie sich ein  Lernziel vor und entwickeln Sie dazu eine Aufgabe für Online-Tests (bitte kei...
Schlechte Fragen, gute Fragen
Gute Frage ...? Mehr: http://pruefung.net/?p=153 Aus einem Test zur Basiskompetenz Lesen & Schreiben (Projekt „SkillSum“ d...
Erstellung von einfachen Multiple-Choice-Aufgaben nach Gronlund (in Jacobs 2000) <ul><li>Die folgenden Richtlinien zur Ers...
Multiple-Choice-Aufgabe http:// www.phil.uni-sb.de /FR/Medienzentrum/verweise/ psych /aufgaben/ mcguideline.html
Multiple-Choice-Aufgaben ... <ul><li>Zwei Möglichkeiten der Abgrenzung der korrekten Antwort von den Distraktoren  </li></...
Schlechte Distraktoren (Känguruh) <ul><li>Von welchem Insekt wird die afrikanische Schlafkrankheit übertragen ? </li></ul>...
Schlechte Distraktoren <ul><li>Schlechte Distraktoren sind problematisch, weil sie die Erfolgsquote für das Raten erhöhen ...
Gute Distraktoren <ul><li>Häufige Fehler könnten als plausible Distraktoren dienen. Der erfahrene Lehrer kennt typische Fe...
Regeln für gute Distraktoren… <ul><li>Präsentiere im Aufgabenstamm ein einziges klar formuliertes Problem !  </li></ul><ul...
Gruppen-/Partnerarbeit: Entwickeln Sie Multiple-Choice-Fragen für eine Prüfung zu diesem Workshop Im Anspruch ggf. Kritik ...
Wir haben uns dazu entschieden, die vorhandenen Fragen des „Einstufungstests“ zu diskutieren … <ul><li>Frage 1.  Die E-Por...
Ergebnis: <ul><li>Auffallend ist, dass die richtigen Antworten immer die längsten sind. </li></ul><ul><li>Bei der 3. Aufga...
Die richtigen Fragen stellen … für das Lernen! <ul><li>http:// www.sqasolar.org.uk /mini/ files / Hot_Research_Questions.w...
E-Klausuren an Hochschulen
Tücken von papierbasierten Prüfungen … http://www.youtube.com/watch?gl=DE&hl=de&v=_CqgnZhb--Q
Probleme mit herkömmlichen Prüfungen an Universitäten Aus: Cornelia Rüdel (2008). Neue Wege in der Prüfungskultur. Folie4 ...
E-Assessment an Hochschulen: Spielwiesen Aus: Cornelia Rüdel (2008). Neue Wege in der Prüfungskultur. Folie10 http://www.h...
Rahmenbedingungen für E-Klausuren <ul><li>Vorbereitung  </li></ul><ul><ul><li>Anpassung der Prüfungsordnungen </li></ul></...
Rechtliches zu E-Klausuren <ul><li>Ziel: potentielle Angriffsflächen so klein wie möglich zu gestalten, das betrifft: </li...
Zukunft von Online-Prüfungen
Zukunft von (Online-) Prüfungen  Martin Ripley (2006).  The four changing faces of e-assessment 2006-2016.  http://insight...
Trends bei Online-Prüfungen Martin Ripley (2006).  The four changing faces of e-assessment 2006-2016.  http://insight.eun....
Online-Prüfungen in der beruflichen Weiterbildung <ul><li>Besonders hohe Zunahmen wurden im Jahr 2000 für das Jahr 2010 fü...
Kontakt  Dr. Sandra Schaffert  Salzburg Research  Jakob-Haringer-Str. 5/III A-5020 Salzburg Phone: +43-662-2288-429 Fax: +...
Upcoming SlideShare
Loading in...5
×

Schaffert (2009). Grundlagen des E-Assessment - Teil 2

1,173

Published on

Sandra Schaffert (2009). Grundlagen des E-Assessment - Teil 2 (Online-Prüfungen). Workshopunterlagen zu Kurs 11: Grundlagen des E-Assessment
Lehrgang eCompetence 2008/2009
5. März 2009, Universität Wien

Published in: Education, Technology
2 Comments
1 Like
Statistics
Notes
No Downloads
Views
Total Views
1,173
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
8
Comments
2
Likes
1
Embeds 0
No embeds

No notes for slide

Schaffert (2009). Grundlagen des E-Assessment - Teil 2

  1. 1. Grundlagen des E-Assessment Teil 2: Online-Prüfungen (automatische Auswertung, „Tests“) 11: Grundlagen des E-Assessment Lehrgang eCompetence 2008/2009 5. März 2009, Universität Wien Dr. Sandra Schaffert, Salzburg Research, Weblog E-Assessment – http://pruefung.net Sandra Schaffert 2009 http://creativecommons.org/licenses/by/3.0/de/
  2. 2. Online-Prüfungen
  3. 3. Definition Online-Prüfung <ul><li>Online-Prüfung ist die Bezeichnung für eine Prüfung, die über ein Computernetz zur Verfügung gestellt und automatisch ausgewertet wird (Schaffert 2004). </li></ul>
  4. 4. Beispiele <ul><li>Zunächst ein Beispiel aus der allgemeinen Bildung: Schon seit 1998 werden in Österreich die theoretischen Führerscheinprüfungen am Computer abgelegt. </li></ul><ul><li>Bei den Schweizer Bundesbahnen werden die Lehrabschlussprüfungen seit 1972 mit Hilfe von spezielen Markierungskarten, die durch ein Computerprogramm ausgewertet wurden durchgeführt und werden inzwischen (natürlich) computergestützt durchgeführt. </li></ul><ul><li>Auch der US-amerikanische Educational Testing Service (ETS) hat schon jahrelange Erfahrung in der Durchführung der vielen computergestützten Prüfungen, z.B. den Aufnahmetests der Universitäten. </li></ul><ul><li>Die Firma Thomson Prometric hat sich auf die Verteilung sowie Administration von Prüfungen im Bildungsbereich spezialisiert, dort werden jährlich weltweit tausende Prüfungen, insbesondere im Bereich der Informationstechnologie computergestützt abgelegt. </li></ul>
  5. 5. Aufgabenarten von Online-Prüfungen <ul><li>Multiple Choice </li></ul><ul><li>Grafische Auswahl </li></ul><ul><li>Zuordnung (Drag & Drop) </li></ul><ul><li>Kurzantwort/Lückentext </li></ul><ul><li>Und andere! </li></ul>
  6. 6. Multiple Choice (Mehrfachauswahl) http://www.flickr.com/photos/stevekeys/2711191763/sizes/o/
  7. 7. Graphische Auswahl Riedel (2003). Integration studentenzentrierter fallbasierter Lehr- und Lernsysteme in reformierten Medizinstudiengängen, S. 105 http://galaxy.mi.hs-heilbronn.de/medicase/common/pdf/dissertation_riedel.pdf
  8. 8. Graphische Auswahl Screenshot aus einem ECDL-Test
  9. 9. Zuordnung (Drag & Drop) Aus: http://www.questionwriterblog.com/archives/matchingdnd.jpg
  10. 10. Zuordnung (Drag & Drop) Aus: http://www.knowledgepresenter.com/kpuniversity/v7/whitepapers/DragAndDropQuestions.pdf
  11. 11. Kurzantwort/ Lückentext http://clp.arizona.edu/cls/por/images/cloze.png
  12. 12. Prüfungsformen von Online-Prüfungen <ul><li>Variation: Aufgaben und Antwortalternativen (-anordnung) variabel; Aufgaben aus Datenbanken </li></ul><ul><li>Adaption (passt sich den Fähigkeiten des Kandidaten an) </li></ul><ul><li>Simulation (Fülle von Handlungsoptionen, z. B. Flugzeugsimulator) </li></ul>
  13. 13. Bewertung der Prüfungsmethode <ul><li>Beurteilungsobjektivität ist hoch </li></ul><ul><li>Praxisnähe ist unterschiedlich hoch </li></ul><ul><li>Der Aufwand und die Kosten für die Entwicklung sind sehr stark davon abhängig, wie die Prüfung gestaltet ist. Für aufwändigere Entwicklungen, die die Regel sein sollten, sind die Kosten vergleichsweise hoch. </li></ul><ul><li>Der Aufwand für die Durchführung hängt von den Möglichkeiten der Einrichtung ab </li></ul><ul><li>Der Aufwand für die Auswertung ist denkbar gering </li></ul><ul><li>Der Entwicklungsgrad von Online-Prüfungen ist insgesamt als unterdurchschnittlich zu betrachten </li></ul><ul><li>In allen Mitteilungen zur Einführung von Online-Prüfungen wird auf die hohe Akzeptanz der Kandidaten hingewiesen </li></ul><ul><li>Verglichen mit mündlichen Prüfungen ist die Dokumentation des Prüfungsverlaufs und der Ergebnisse einfach zu realisieren. </li></ul><ul><li>Die Nachhaltigkeit von Online-Prüfungen ist ein Aspekt, der häufig übersehen wird: Online-Prüfungen lassen sich vergleichsweise gut wieder verwenden </li></ul><ul><li>siehe Schaffert 2004, 76f </li></ul>
  14. 14. Gruppen-/Partnerarbeit: Nehmen Sie sich ein Lernziel vor und entwickeln Sie dazu eine Aufgabe für Online-Tests (bitte keine klassische Mehrfachauswahlfrage!) http://www.flickr.com/photos/dhammza/577671123/sizes/o/
  15. 15. Schlechte Fragen, gute Fragen
  16. 16. Gute Frage ...? Mehr: http://pruefung.net/?p=153 Aus einem Test zur Basiskompetenz Lesen & Schreiben (Projekt „SkillSum“ der Open University UK)
  17. 17. Erstellung von einfachen Multiple-Choice-Aufgaben nach Gronlund (in Jacobs 2000) <ul><li>Die folgenden Richtlinien zur Erstellung von einfachen MC-Aufgaben basieren überwiegend auf dem Kapitel  &quot;Writing Selection Items&quot; von Norman E. Gronlund aus: Gronlund, N.E. 1998. Assessment of Students Achievement. 6th. edition: Allyn & Bacon. Boston </li></ul><ul><li>und sind entnommen aus: Bernhard Jacobs (2000): Übungsaufgaben stellen mit JavaScript. http://www.phil.uni-sb.de/FR/Medienzentrum/verweise/psych/aufgaben/aufgaben.html </li></ul>
  18. 18. Multiple-Choice-Aufgabe http:// www.phil.uni-sb.de /FR/Medienzentrum/verweise/ psych /aufgaben/ mcguideline.html
  19. 19. Multiple-Choice-Aufgaben ... <ul><li>Zwei Möglichkeiten der Abgrenzung der korrekten Antwort von den Distraktoren </li></ul><ul><ul><li>Die zutreffende Antwort ist wahr. Alle Distraktoren sind falsch (true answer form) [häufig bei Faktenwissen] </li></ul></ul><ul><ul><li>Die zutreffende Antwort ist die beste Auswahl unter allen Alternativen. (best answer form) [häufiger bei Verständniswissen, Handlungswissen] </li></ul></ul><ul><li>Anzahl der Antwortoptionen </li></ul><ul><ul><li>Die Wahl guter Distraktoren ist das schwierigste Problem bei der Konstruktion von MC-Aufgaben. 4 Antwortoptionen haben sich in der Praxis als recht brauchbar erwiesen. Es besteht aber keine Notwendigkeit, für jede Aufgabe 4 Antwortoptionen festzulegen. Es ist günstiger, nur 3 Alternativen zu verwenden, wenn man nicht mehr als 2 gute Distraktoren findet. Es mag sinnvoll sein, 5 Alternativen zu entwickeln, wenn man 4 brauchbare Distraktoren konstruieren kann. </li></ul></ul>
  20. 20. Schlechte Distraktoren (Känguruh) <ul><li>Von welchem Insekt wird die afrikanische Schlafkrankheit übertragen ? </li></ul><ul><li>1.)  Moskito 2.)  Termite 3.)  Tsetsefliege 4.)  Känguruh </li></ul><ul><li>(übernommen aus: Rütter 1973, S.166). </li></ul>
  21. 21. Schlechte Distraktoren <ul><li>Schlechte Distraktoren sind problematisch, weil sie die Erfolgsquote für das Raten erhöhen und aus keinen diagnostischen Wert haben (=wenn es niemand ankreuzt, kein Fehlkonzept dahinter steht) </li></ul>!
  22. 22. Gute Distraktoren <ul><li>Häufige Fehler könnten als plausible Distraktoren dienen. Der erfahrene Lehrer kennt typische Fehler seiner Studenten oder kann sie sich zumindest theoretisch vorstellen. </li></ul><ul><li>Formuliere die Alternativen in der Sprache des Studenten </li></ul><ul><li>Verwende gut klingende Worte (genau, wichtig, bedeutsam) in Distraktoren und korrekter Antwort. </li></ul><ul><li>Distraktoren und korrekte Antwort sollten sich nicht in Komplexität und Satzlänge unterscheiden. Die Textlänge einer Alternative sollte keine Prognose auf ihre Richtigkeit zulassen. </li></ul><ul><li>Verwende äußere Hinweise in den Distraktoren (z.B. ähnliche Worte wie im Aufgabenstamm, wissenschaftlich beeindruckende Aussagen, wohlklingende Passagen aus dem Lehrbuch usw. ) </li></ul>
  23. 23. Regeln für gute Distraktoren… <ul><li>Präsentiere im Aufgabenstamm ein einziges klar formuliertes Problem ! </li></ul><ul><li>Formuliere den Aufgabenstamm in einer einfachen und klaren Sprache ! </li></ul><ul><li>Packe so viele Wörter wie möglich in den Aufgabenstamm, wenn dadurch Wörter in den Antwortoptionen eingespart werden können ! </li></ul><ul><li>Formuliere den Aufgabenstamm positiv ! </li></ul><ul><li>Wenn eine negative Formulierung des Aufgabenstamms unvermeidlich ist, dann stelle die Negation unübersehbar heraus! </li></ul><ul><li>Sorge dafür, daß die als korrekt bezeichnete Antwort auch tatsächlich die korrekte Antwort (=eindeutig richtige) ist ! </li></ul><ul><li>Vermeide eine Formulierung der korrekten Antwort &quot;aus dem Lehrbuch&quot; oder in stereotyper Phraseologie! </li></ul><ul><li>Vermeide absolute Begriffe wie &quot;immer, niemals, alle, kein, nur&quot; in den Distraktoren! </li></ul><ul><li>Vermeide die Beziehung der Antwortoptionen untereinander </li></ul>
  24. 24. Gruppen-/Partnerarbeit: Entwickeln Sie Multiple-Choice-Fragen für eine Prüfung zu diesem Workshop Im Anspruch ggf. Kritik durch andere Gruppen http://www.flickr.com/photos/dhammza/577671123/sizes/o/
  25. 25. Wir haben uns dazu entschieden, die vorhandenen Fragen des „Einstufungstests“ zu diskutieren … <ul><li>Frage 1. Die E-Portfolio-Methode ist besonders geeignet um </li></ul><ul><ul><li>objektiv zu bewerten </li></ul></ul><ul><ul><li>schnell und effizient zu prüfen </li></ul></ul><ul><ul><li>als alternatives Assessmentkonzept eingesetzt zu werden </li></ul></ul><ul><ul><li>das Prüfen attraktiver zu machen </li></ul></ul><ul><li>Frage 2. Online-Prüfungen werden in der Regel verstanden als </li></ul><ul><ul><li>eine Konsequenz aus dem Web-2.0-Hype </li></ul></ul><ul><ul><li>Prüfungen via Video-Konferenz </li></ul></ul><ul><ul><li>automatisch auswertbare, webbasierte Prüfungen </li></ul></ul><ul><ul><li>Softwareprüfungen im Internet </li></ul></ul><ul><li>Frage 3. I m Bezug auf Abschlussprüfungen darf man nicht unterschätzen, dass sie </li></ul><ul><ul><li>nur schwer objektiv zu bewerten sind. </li></ul></ul><ul><ul><li>manipuliert werden können. </li></ul></ul><ul><ul><li>fehlerfrei sind. </li></ul></ul><ul><ul><li>als heimlichen Lehrplan das Lernen und Lehren beeinflussen </li></ul></ul>
  26. 26. Ergebnis: <ul><li>Auffallend ist, dass die richtigen Antworten immer die längsten sind. </li></ul><ul><li>Bei der 3. Aufgabe ist der Aufgabenstamm negativ formuliert </li></ul><ul><li>Eine Antwortalternative bei der 3. Aufgabe ergibt sprachlich keinen Sinn (wohl ein „Känguruh“) </li></ul><ul><li>Alle 3 Fragen erscheinen weniger als Wissenstest für die Einstufung geeignet, weil Teilnehmer keine Möglichkeit haben, einfach „ich weiss es nicht“ anzukreuzen. </li></ul><ul><li>Kommentar: Alle 3 Fragen prüfen eher Faktenwissen, als z. B. Handlungswissen. </li></ul>
  27. 27. Die richtigen Fragen stellen … für das Lernen! <ul><li>http:// www.sqasolar.org.uk /mini/ files / Hot_Research_Questions.wmv </li></ul>
  28. 28. E-Klausuren an Hochschulen
  29. 29. Tücken von papierbasierten Prüfungen … http://www.youtube.com/watch?gl=DE&hl=de&v=_CqgnZhb--Q
  30. 30. Probleme mit herkömmlichen Prüfungen an Universitäten Aus: Cornelia Rüdel (2008). Neue Wege in der Prüfungskultur. Folie4 http://www.his.de/publikation/seminar/Workshop_E-Pruefung/TOP15.pdf
  31. 31. E-Assessment an Hochschulen: Spielwiesen Aus: Cornelia Rüdel (2008). Neue Wege in der Prüfungskultur. Folie10 http://www.his.de/publikation/seminar/Workshop_E-Pruefung/TOP15.pdf
  32. 32. Rahmenbedingungen für E-Klausuren <ul><li>Vorbereitung </li></ul><ul><ul><li>Anpassung der Prüfungsordnungen </li></ul></ul><ul><ul><li>Einbringung der Problematik in die zuständigen Gremien </li></ul></ul><ul><ul><li>zentrale Installation </li></ul></ul><ul><li>Vorbereitung für konkrete Prüfung </li></ul><ul><ul><li>Online-Einschreibung und Erstellung von Prüflingsgruppen </li></ul></ul><ul><ul><li>Bereitstellung von Probetests </li></ul></ul><ul><ul><li>Erstellung und Verteilung eines Merkblatts </li></ul></ul><ul><ul><li>Reservierung von PC-Übungsräumen im ZDV </li></ul></ul><ul><ul><li>Testphase für jede Prüfung </li></ul></ul><ul><ul><li>Aufsicht und technische Hilfestellung </li></ul></ul><ul><ul><li>Auswertung mit Korrektur von Freitextaufgaben </li></ul></ul><ul><ul><li>Bearbeitung von Reklamationen </li></ul></ul><ul><ul><li>Prüfungsverwaltung </li></ul></ul><ul><li>Nach Wolf Lustig (o.J.). Online-Prüfungen in der Fremdsprachenausbildung </li></ul><ul><li>http://www.e-learning.uni-mainz.de/Dateien/online-pruefung-fremdsprache.pdf </li></ul>
  33. 33. Rechtliches zu E-Klausuren <ul><li>Ziel: potentielle Angriffsflächen so klein wie möglich zu gestalten, das betrifft: </li></ul><ul><li>Sicherstellung der Prüfungsvoraussetzung </li></ul><ul><li>Quittung für die Anmeldung </li></ul><ul><li>Anlegen der Nutzer im E-Klausur System </li></ul><ul><li>Authentifizierung und Unterschrift (Anmeldung, Prüfungsantritt, Prüfungsverlauf) </li></ul><ul><li>Täuschung verhindern </li></ul><ul><li>Anfechtungsgründe ausschließen </li></ul><ul><li>Ähnlichkeit zu traditioneller Prüfung erhalten </li></ul><ul><li>Dokumentation der Klausur </li></ul><ul><li>(siehe E-Klausur Wiki http://wiki.uni-giessen.de/eklausur/ ) </li></ul>
  34. 34. Zukunft von Online-Prüfungen
  35. 35. Zukunft von (Online-) Prüfungen Martin Ripley (2006). The four changing faces of e-assessment 2006-2016. http://insight.eun.org/ww/en/pub/insight/thematic_dossiers/articles/e_assessment/eassessment2.htm
  36. 36. Trends bei Online-Prüfungen Martin Ripley (2006). The four changing faces of e-assessment 2006-2016. http://insight.eun.org/ww/en/pub/insight/thematic_dossiers/articles/e_assessment/eassessment2.htm
  37. 37. Online-Prüfungen in der beruflichen Weiterbildung <ul><li>Besonders hohe Zunahmen wurden im Jahr 2000 für das Jahr 2010 für folgendes vorhergesehen: </li></ul><ul><ul><li>In Bereichen, in denen der Umgang mit Computern zum beruflichen Alltag gehört </li></ul></ul><ul><ul><li>Zur Lernerfolgskontrolle </li></ul></ul><ul><ul><li>Als Ersatz für formalisierte Prüfungsteile </li></ul></ul><ul><ul><li>Als Ergänzung traditioneller Seminare zur Lernerfolgskontrolle, Gruppenbildung, Optimierung des Unterrichts </li></ul></ul><ul><ul><li>Forschungsaktivitäten zu computergestützten Prüfungen und Online-Prüfungen </li></ul></ul><ul><ul><li>Einsatz von computergestützten Prüfungen in der beruflichen Weiterbildung allgemein </li></ul></ul>Schaffert (2004)
  38. 38. Kontakt Dr. Sandra Schaffert Salzburg Research Jakob-Haringer-Str. 5/III A-5020 Salzburg Phone: +43-662-2288-429 Fax: +43-662-2288-222 [email_address] http://edumedia.salzburgresearch.at (Anwendungsfeld) http:// sandra.schaffert.ws (Weblog mit allen Aktivitäten) http:// pruefung.net (Weblog zu E-Assessment)
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×