Simulations- und spielbasierte Kompetenzmessung

1,679 views

Published on

Präsentation auf dem 6. Fernausbildungskongress an der Helmut-Schmidt-Universität in Hamburg.

Was kann man mit Simulationen messen?
Wann lohnt es sich?
Warum Serious Games?
Wie Kompetenzen messen?

  • Be the first to comment

Simulations- und spielbasierte Kompetenzmessung

  1. 1. Workshop A1 Simulations- und spielbasierte Kompetenzmessung? Karsten D. Wolf Fachbereich 12 Didaktische Gestaltung multimedialer Lernumgebungen 6. Fernausbildungskongress 8.10.2009 Helmut-Schmidt Universität der Bundeswehr, Hamburg A1 Simulations- und spielbasiertes Lernen rickydiver78 on flickr © Karsten D. Wolf 2008 Montag, 21. September 2009
  2. 2. Videostill (Smash Court Tennis 3 on Playstation 3) rickydiver78D. Wolfflickr cc by Karsten on 2007 Montag, 21. September 2009
  3. 3. Montag, 21. September 2009
  4. 4. Montag, 21. September 2009
  5. 5. Es muss nicht immer ein Computer sein Montag, 21. September 2009
  6. 6. Is Simulation Worth the Effort? Johnson 2006 • Hohe Entwicklungskosten müssen sich lohnen • Identifikation hochkompetenter Personen besonders wertvoll • Identifikation schlechter Performanz besonders wichtig • Echte Arbeitsleistungen liegen zur Bewertung nicht vor • Zu gefährlich • Zu selten • Gelegenheit zum Testen nicht vorhanden oder schwierig zu beobachten • Zulassungsprüfung, um „echt“ zu arbeiten • Kombination mehrerer Fertigkeiten miteinander, Messung einzelner Konstrukte greift zu kurz © Karsten D. Wolf 2009 Montag, 21. September 2009
  7. 7. Weitere Punkte, die bedacht werden müssen • Realistische Simulation überhaupt möglich? • Interaktionspartner Menschen oder physikalische Strukturen bzw. künstliche Algorithmen? • Frage der (insbesondere äußere Kriteriums-) Validität • Finanzierbarkeit ab 1000+ Personen • Gibt es nicht einfachere bzw. bereits vorliegende Kennzahlen? © Karsten D. Wolf 2009 Montag, 21. September 2009
  8. 8. Nandu Chitnis on flickr Montag, 21. September 2009
  9. 9. Montag, 21. September 2009
  10. 10. • gefahrene Kilometer/Monat • Spritverbrauch • Termintreue • Unfälle • Reparaturkosten • etc. Nandu Chitnis on flickr Montag, 21. September 2009
  11. 11. hugovk on flickr Montag, 21. September 2009
  12. 12. Montag, 21. September 2009
  13. 13. • Umsatz / Monat • Beschwerden / Verkaufsfälle • Umtauschfälle / Verkaufsfälle • Kundenzufriedenheit • etc. hugovk on flickr Montag, 21. September 2009
  14. 14. Entertaining Games with Non-Entertainment Goals Goal orientated ‘play’, often in real world scenarios, intended to ‘improve’ the player/s knowledge, awareness or skills (Gary Hayes) Datenbank mit 500+ Serious Games Montag, 21. September 2009
  15. 15. Neuer Trend: Productivity Games Beim Spielen Arbeit erledigen… Montag, 21. September 2009
  16. 16. Social Reality Game Montag, 21. September 2009
  17. 17. Montag, 21. September 2009
  18. 18. Montag, 21. September 2009
  19. 19. „…we learned that the transparent environments created in online games made leadership easier to assume. And that leadership in online games is more temporary and flexible than it is in the business world. And finally, online games give leaders the freedom to fail, and experiment with different approaches and techniques, something that any Fortune 500 company that hopes to innovate needs to understand.“ Montag, 21. September 2009
  20. 20. Learn from mistakes of self and others Follows through on commitments / words = actions Montag, 21. September 2009
  21. 21. Arbeit findet zunehmend Computer mediiert statt! Johan Larsson on flickr Montag, 21. September 2009
  22. 22. Aber nicht alles! Montag, 21. September 2009
  23. 23. Kompetenzen als Lern-Lehr-Ziele Nach Weinert (2001, S.27 f.) versteht man Kompetenzen als „die bei Individuen verfügbaren oder durch sie erlernbaren kognitiven Fähigkeiten und Fertigkeiten, um bestimmte Probleme zu lösen, sowie die damit verbundenen motivationalen, volitionalen und sozialen Bereitschaften und Fähigkeiten, um die Problemlösungen in variablen Situationen erfolgreich und verantwortungsvoll nutzen zu können“. Nach Straka & Macke (2009) beinhalten Kompetenzen Dispositionen (motorische, kognitive, emotionale, motivationale), deklaratives und prozedurales Wissen, Fähigkeiten und Fertigkeiten sowie moralische Urteilsfähigkeit © Karsten D. Wolf 2009 Montag, 21. September 2009
  24. 24. Gewicht? Größe? Schnelligkeit? Montag, 21. September 2009
  25. 25. Kompetenzen? Persönlichkeit? Einstellungen? Interesse & Motivation? Montag, 21. September 2009
  26. 26. „Ein Test ist ein wissenschaftliches Routineverfahren zur Untersuchung eines oder mehrerer empirisch abgrenzbarer Persönlichkeitsmerkmale mit dem Ziel einer möglichst quantitativen Aussage über den relativen Grad der individuellen Merkmalsaus- prägung“ (Lienert 1969, S. 7) © Karsten D. Wolf 2008 Montag, 21. September 2009
  27. 27. Anforderungen an Testverfahren • Sparsames Modell mit theoretischer Fundierung • Integration wesentlicher Aspekte der Kompetenz • Gütekriterien • Objektivität (online nur im Testcenter möglich) • Reliabilität • Validität (Inhalts-, Kriteriums-, Konstrukt-) • Relevanz • Akzeptanz • Veränderbarkeit • Leichte Anwendbarkeit © Karsten D. Wolf Montag, 21. September 2009
  28. 28. Eine einfache Theorie A > B © Karsten D. Wolf 2009 Montag, 21. September 2009
  29. 29. Eine einfaches Testmodell Te au st- fga be 17 21 35 42 © Karsten D. Wolf 2009 Montag, 21. September 2009
  30. 30. Eine einfaches Testmodell Te au st- fga U be 17 P 21 V 35 42 © Karsten D. Wolf 2009 Montag, 21. September 2009
  31. 31. Eine einfaches Testmodell Tes au t- fga V=PxU © Karsten D. Wolf 2009 Montag, 21. September 2009
  32. 32. Eine einfaches Testmodell Tes au t- fga V=PxU Richtig = Hohe Kompetenz x Schwere Aufgabe © Karsten D. Wolf 2009 Montag, 21. September 2009
  33. 33. Das Testmodell in der Anwendung A > B A: Richtig = B: Falsch = Hohe Kompetenz Niedrige Kompetenz x Schwere Aufgabe x Schwere Aufgabe © Karsten D. Wolf 2009 Montag, 21. September 2009
  34. 34. Wie „schwer“ ist eine Aufgabe? 100kg 60kg 80kg 40kg Montag, 21. September 2009
  35. 35. Maximalkraft? 80kg 60kg 100kg 40kg Montag, 21. September 2009
  36. 36. Maximalkraft? 80kg 60kg 100kg 40kg Θ=40 Θ=60 Θ=80 Θ=100 Montag, 21. September 2009
  37. 37. Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 50% 0% Θ 40 60 80 100 © Karsten D. Wolf 2007 Montag, 21. September 2009
  38. 38. Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 80kg Gewicht 50% 0% Θ 40 60 80 100 © Karsten D. Wolf 2007 Montag, 21. September 2009
  39. 39. Kurve der Itemcharakteristik (ICC) p(x) 60kg Gewicht 100% 80kg Gewicht 50% Aufgabe (Item) ist schwerer 0% Θ 40 60 80 100 © Karsten D. Wolf 2007 Montag, 21. September 2009
  40. 40. Wie bestimmt man Kompetenzstufen? Experten/-innen IV III II I Theoretisches Kompetenzmodell © Karsten D. Wolf 2007 Montag, 21. September 2009
  41. 41. Wie bestimmt man Kompetenzstufen? A B C D E F G H I J K IV III II I Theoretisches Kompetenzmodell © Karsten D. Wolf 2007 Montag, 21. September 2009
  42. 42. Wie bestimmt man Kompetenzstufen? A B C D E F G H I J K Theoretisches Kompetenzmodell © Karsten D. Wolf 2007 Montag, 21. September 2009
  43. 43. Wie bestimmt man Kompetenzstufen? I II III IV A C E B F H D I G J K Empirisches Kompetenzmodell © Karsten D. Wolf 2007 Montag, 21. September 2009
  44. 44. Wie bestimmt man Kompetenzstufen? I II III IV A C E B F H D I G J K Empirisches Kompetenzmodell © Karsten D. Wolf 2007 Montag, 21. September 2009
  45. 45. Kurve der Itemcharakteristik (vereinfacht) 100% 50% 0% Θ -2 -1 0 1 2 © Karsten D. Wolf 2007 Montag, 21. September 2009
  46. 46. Kurve der Itemcharakteristik (stark vereinfacht) 100% 50% 0% Θ -2 -1 0 1 2 © Karsten D. Wolf 2007 Montag, 21. September 2009
  47. 47. Trennschärfe: 0 kann es nicht, 2 schon 100% 50% 0% Θ -2 -1 0 1 2 © Karsten D. Wolf 2007 Montag, 21. September 2009
  48. 48. Itemschwierigkeit: schwerer! 100% 50% 0% Θ -2 -1 0 1 2 © Karsten D. Wolf 2007 Montag, 21. September 2009
  49. 49. Raschmodell: Schwierigkeitsparameter I II III IV 100% 50% 0% Θ -2 -1 0 1 2 © Karsten D. Wolf 2007 Montag, 21. September 2009
  50. 50. Test Wiseness – Probleme von MC-Tests Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Montag, 21. September 2009
  51. 51. Test Wiseness: Längste Alternative ist richtig! Hixek norfolken piffle? (a) Hiku nippon ibitus (b) Efil Yadlan Ruoj (c) Yokon Gnithol (d) Ikkek zippo unkerzotz notiaplan hippolslumg enslife yolent http://www.kvhigh.com/learning/testtips.html © Karsten D. Wolf Montag, 21. September 2009
  52. 52. Performance Based Assessment Shavelson • Die Leistung messen, die gelernt werden soll • Performance: Bewegen im Raumanzug • Systematische Variation der Anforderungen • Was macht etwas schwieriger? • Adäquanz zwischen z.B. allgemeiner Fitness und kontextualer Anforderung? • Inwieweit führt die Kombination von Faktoren zur Notwendigkeit der authentischen Prüfung? © Karsten D. Wolf 2009 Montag, 21. September 2009
  53. 53. Chirurgische Simulationen Heinrichs/Lukoff/Youngblood/Dev/Shavelson 2007 © Karsten D. Wolf 2009 Montag, 21. September 2009
  54. 54. Montag, 21. September 2009
  55. 55. SAT-Score und Collegiate Learning Assessment Shavelson 2006 © Karsten D. Wolf 2009 Montag, 21. September 2009
  56. 56. Evidence Centered Design Competency <=> Proficiency Shute/Ventura/Bauer/Zapata-Rivera © Karsten D. Wolf 2007 Montag, 21. September 2009
  57. 57. Shute/Ventura/Bauer/Zapata-Rivera © Karsten D. Wolf 2008 Montag, 21. September 2009
  58. 58. Shute/Ventura/Bauer/Zapata-Rivera © Karsten D. Wolf 2008 Montag, 21. September 2009
  59. 59. Warum Serious Games und nicht Simulationen? • Motivation (Relevanz und Bedeutsamkeit) • Emotion (Immersion und Betroffenheit) • Volition beweisen • Flow erleben • Beobachtung des Verhaltens über längere Zeit • Arbeiten in Gruppen - Gruppenperformanz messen • Kurt Squire: From Content to Context – Videogames as Designed Experience © Karsten D. Wolf 2009 Montag, 21. September 2009
  60. 60. Forschungsfelder • Kompetenzmodelle entwickeln • Testmodelle empirisch validieren • Integration in Simulationen und Serious Games • Diagnostik • Förderdiagnostik • Intensives und adaptives Üben © Karsten D. Wolf 2009 Montag, 21. September 2009
  61. 61. Rich E-Assessment: Workforce Literacy © Karsten D. Wolf 2009 Montag, 21. September 2009
  62. 62. FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungen http://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.de http://www.ifeb.uni-bremen.de/assessment/ Montag, 21. September 2009

×