Chancen Fallstricke E Assessment
Upcoming SlideShare
Loading in...5
×
 

Chancen Fallstricke E Assessment

on

  • 508 views

 

Statistics

Views

Total Views
508
Views on SlideShare
508
Embed Views
0

Actions

Likes
0
Downloads
6
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

CC Attribution License

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Chancen Fallstricke E Assessment Chancen Fallstricke E Assessment Presentation Transcript

  • Chancen und Fallstricke bei der Einführung von E-Assessments an der UniversitätKarsten D. WolfFachbereich 12Didaktische Gestaltung multimedialer LernumgebungeneBologna – eStrategien an den FakultätenFriday Lectures, WiSe 2007/08 14.12.2007Universität Wien © Karsten D. Wolf 2007
  • Agenda • Notwendigkeiten & Trends • Haken & Ösen • Chancen & Ausblicke • Implementation • Organisation • TestCenter • Gender Mainstreaming • Empfehlungen Karsten D. Wolf ©2007
  • UmstellungBachelor-/Master-Struktur by: CarbonNYC © Karsten D. Wolf 2007
  • We wantcredit points! © Karsten D. Wolf 2007
  • Quelle: Johannes Hartig & Nina Jude 2007, S.30 © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • mündliche und „alternative“ Prüfungsformate?http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • mündliche und „alternative“ Prüfungsformate?http://tinyurl.com/2esxkd Martin Ripley 2006 © Karsten D. Wolf 2007
  • + © Karsten D. Wolf 2007
  • Pro und contra: Studenten• Sofortige Bereitstellung des • Benachteiligung von Personen mit Prüfungsergebnisses geringerer Computerkompetenz (digital literacy, 10-Finger- Schreiben)• Objektive, transparente und fehlerfreie Klausurbewertung • Benachteiligung von Personen mit negativer Einstellung zu• differenziertes Feedback Computern• vereinfachte Vorbereitung durch • Probleme bei der Konzentration online-Training unter Verwendung (Computermonitor, Lüfterlärm, der gleichen Fragenkataloge Tastaturgeklapper…) ➙ Stress? • Datenschutz? in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • Akzeptanz durch Studierende: Benutzbarkeit Bücking / Schwedes (2005) © Karsten D. Wolf
  • Akzeptanz durch Studierende: Raum - Lüftung - Lautstärke - Temperatur - Platzangebot Bücking / Schwedes (2005) © Karsten D. Wolf
  • Akzeptanz durch Studierende: Rückmeldung 35,5% Generelle Zustimmung 4% Totalablehnung Achtung: FB WiWi Bücking / Schwedes (2005) © Karsten D. Wolf
  • Pro und contra: Lehrende / Prüfungsautor(inn)en• Enorme Arbeitsentlastung durch • Hoher Initialaufwand zur automatische Auswertungsverfahren Digitalisierung vorhandener Fragen & Verwaltung und Aufbau eines hinreichend großen Fragenkataloges• Effiziente Unterstützung bei Freitextfragen-Korrektur • Prüfungsdesign wird durch Technik beschränkt• Wiederverwendbare und „kollaborative“ Fragenkataloge • technische Manipulationsmöglichkeiten (während und vor der Prüfung)• Qualitätssicherung und - verbesserung in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • Pro und contra: Prüfungsverwaltung• Vereinfachte • Initiale Zusatzbelastung durch Organisationsabläufe durch Im- Umstellung auf neue Arbeitsabläufe und Export von • Rechtliche Absicherung • Teilnehmer(innen)listen und • Durchführungsorganisation • Ergebnissen • Datenschutz & -sicherheit zwischen Prüfungsverwaltungssoftware (FlexNow!) und Prüfungssoftware in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • Pro und contra: Allgemein• Kosteneinsparung • Stabilität & Zuverlässigkeit• Mögliche Erstellung komplexer • Qualitätsverlust des Studiums und interaktiver Fragen durch durch reine Wissenstests Multimediaelemente in Anlehnung an Bücking / Schwedes 2005 © Karsten D. Wolf
  • Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Simulationsrechnungen: Wann lohnt es? Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Vergleich der drei Szenarien: Break-Even Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Durchführung: Wer ist beteiligt?• Lehrkräfte / Autor(inn)en (Profs, Mitarbeiter)• Aufsichtskräfte (Lehrstühle)• Verwaltung (Prüfungsamt)• Editoren für E-Aufgaben (Lehrstühle ↔ zentrale Einrichtung)• E-Assessment Beauftragte (Fachbereiche)• E-Learning Support (zentrale Einrichtung) © Karsten D. Wolf
  • Lehrkräfte / Autor(inn)en• Entwicklung • Fragen • Antworten • Distraktoren • Beurteilungsschema• Qualitätskontrolle • Fragen • Umsetzung der Fragen• Endgültige Abnahme des Fragenkataloges• Analyse und Überarbeiten der Fragen nach Klausuren © Karsten D. Wolf
  • Lehrkräfte / Autor(inn)en• Entwicklung • Fragen Woh • Antworten diese er ko • Distraktoren Qual mmt • Beurteilungsschema ifika• Qualitätskontrolle • Fragen tion? • Umsetzung der Fragen• Finales Absegnen des Fragenkataloges• Analyse und Überarbeiten nach Klausuren © Karsten D. Wolf
  • © Karsten D. Wolf 2007
  • Alternative AssessmentFormative VerfahrenE-Portfolio © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • Alternative Assessment © Karsten D. Wolf 2007
  • Alternative AssessmentFormative Verfahren © Karsten D. Wolf 2007
  • Alternative AssessmentFormative VerfahrenE-Portfolio © Karsten D. Wolf 2007
  • Alternative AssessmentFormative VerfahrenE-PortfolioLearning about © Karsten D. Wolf 2007
  • Alternative AssessmentFormative VerfahrenE-PortfolioLearning aboutLearning by Assessment © Karsten D. Wolf 2007
  • Alternative AssessmentFormative VerfahrenE-PortfolioLearning aboutLearning by AssessmentLearning by Design © Karsten D. Wolf 2007
  • Alternative AssessmentFormative VerfahrenE-PortfolioLearning aboutLearning by AssessmentLearning by DesignLearning by Assessing © Karsten D. Wolf 2007
  • Alternative AssessmentFormative VerfahrenE-PortfolioLearning aboutLearning by AssessmentLearning by DesignLearning by AssessingLearning to be © Karsten D. Wolf 2007
  • Quelle: Falko Rheinberg © Karsten D. Wolf 2007
  • Innovationsbereiche beim E-Assessment• Simulation • Realitätsnähe • Feedbackkomponenten • Explorationsmöglichkeiten• Automatisierte Bewertung von Essays• Data Mining der Lösungsprozesse von Experten zur Erstellung von K.modellen / -profilen.• Autorenwerkzeuge für fachspezifische Tests/Sims• Einbindung in E-Portfolios• Kompetenzmessung in Gruppen © Karsten D. Wolf
  • Innovationsbereiche beim E-Assessment• Verbesserung der Messmodelle (Rasch Skalierung)• Tests werden in den Lehr-Lern-Prozess integriert• Transfer wird durch authentische Aufgaben erleichtert• Erreichen eines Kompetenz„levels“ kann beim Lernen & Arbeiten erreicht werden• Keine speziellen Prüfungen mehr notwendig• Durch Testbänke keine festen Prüfungstermine mehr• Kombination in Form von Blended Assessment © Karsten D. Wolf
  • © Karsten D. Wolf 2007
  • Collegiate Learning Assessment(Klein / Benjamin / Shavelson / Bolus 2007) http://www.cae.org/content/pro_collegiate.htm © Karsten D. Wolf
  • E-Selection / E-Recruitment & Recrutainment• Auswahlverfahren für BA und MA• Uni Bremen WiSe 2006: 2355 Studienanfänger❖ wachsende Anzahl von Master-Studiengänge © Karsten D. Wolf
  • © Karsten D. Wolf 2007
  • Implementation © Karsten D. Wolf 2007
  • Neue Personen• Editoren • Entwicklung Fragevorlagen • Umsetzung der Fragen in Editor • Qualitätskontrolle • Fragekatalog pflegen• E-Assessment Beauftragte • Projektmanagement (120 Tage Vorlauf!) • Administration des E-Assessment-Servers (mandantenfähig) • Einweisung Autoren, Editoren und Aufsichtspersonal • Testläufe organisieren © Karsten D. Wolf
  • Änderungen für bestehende Rollen• Verwaltung (Prüfungsamt) • Administration der Prüfungen im System (Buchungen, Termine) • Anpassung des Materials für die Durchführung von Examen • Archivierung der Examensdaten • Resultate • Protokolle • Logfiles• Aufsichtspersonal • Vorbereitung der PC-Pools • Technische Assistenz und Problembehebung © Karsten D. Wolf
  • Fülle von Arbeitsplänen: Überblick Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Arbeitsplan „Lehrstuhl“:Fragenkatalog erstellen Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Arbeitsplan „Prüfungsamt“:Vorbereitung eines E-Examens Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Beispiel: eExaminations an der Uni Bremen• Dezember 2004 - April 2006• 14 E-Examen (11 in BWL/WiWi)• 5669 Studenten (ø 405 Kandidaten pro Examen, 47–962)• ø 20 PCs pro Raum (10–54)• ø 24 Wiederholungen / Examen (5–64)• Max. 7 Räume / Tag und 6 „Slots“ pro Tag• Hoher Organisations-Overhead Quelle: ZMML Uni Bremen © Karsten D. Wolf
  • Beispiel: Durchführungsplan Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • 30 30 30 30ZMML Uni Bremen - Realisierung WiSe 2007 © Karsten D. Wolf 2007
  • PC-Pool oder E-Testcenter?• Starke Reduzierung der Aufsichtsstunden• Höhere Sicherheit• Autonome LANs• Arbeitsabläufe können optimiert werden• Leichtere Unterstützung z.B. von Simulationen als Testumgebung• Ggf. Nutzung für Forschungsfragen• Rückkehr zum „alten“ CIP-Pool?• Nutzung außerhalb der Prüfungszeiten? © Karsten D. Wolf
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • © Karsten D. Wolf 2007
  • E-Learning Support: ZMML Uni Bremen• E-Assessment als Dienst einführen und anbieten• Beratung und Training der beteiligten Personen• Technische Vorbereitung der PC-Pools• Anbindung an andere IT-Dienste• Zusammenarbeit mit Softwarefirma (Anpassung)• Notfallteam für die Dauer der Prüfungsperiode zusammenstellen• Implementation zunächst nur mit einem Fachbereich• Kooperation mit einer Softwarefirma © Karsten D. Wolf
  • Testumgebung L-Plus © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • L-Plus Demo (www.lplus.de) © Karsten D. Wolf 2007
  • Komplexere Aufgabe Bücking (2006) / ZMML Uni Bremen © Karsten D. Wolf
  • Zusammenfassung: Wann ist das sinnvoll?• Mehr als 300 Kandidaten pro Prüfung• Mehr als 50 Rechner pro Raum• Lange Korrekturzeiten pro Frage (> 30 Sekunden / Frage)• Kurze Klausuren (bis 2 Stunden) mit vielen Fragen• mögliche Alternative: Scanlösung Paper&Pencil MC Test• Alternativen: Kooperation von Autorinnen und Autoren• Alternativen: (Vor-)Erstellung von Items durch Studierende © Karsten D. Wolf
  • Gender Mainstreaming von eAssessment? © Karsten D. Wolf 2007
  • American Airlines, ca. April 2007
  • Gender spezifischeComputer Einstellungen und Fertigkeiten nach Whitley 1997
  • PISA 2003 - Gender Differences Mädchen Jungen Computerspiele 35% 70% Software runterladen 25% 51% Musik runterladen 40% 56% Informationen suchen 50% 59% Zusammenarbeit 27% 36% Kommunikation 55% 56% Programmieren 16% 30% Graphikprogramme 26% 34% Tabellenkalkulation 18% 24% Textverarbeitung 49% 48%
  • Keine Unterschiede der Internet Expertise computer expertise computer usage internet expertise internet usage n=108 (Wolf 2007)
  • Evaluation der Lernumgebung Kompliziert Wisse wie… Schaue mehr Spaß andere Arbeiten an n=108 (Wolf 2007)
  • Prozessunterschiede:Kommunikation n=36 (Wolf/Prasser 2006)
  • So wie das Internet eine Alltagstechnologie wird… Pew Institute 2005
  • Gender-sensitive Sprache und Lernmaterial(Auszug aus Pravda 2003)• Sexistische Sprache vermeiden / austauschen• In Beispielen Gender und deren Reihenfolge abwechseln• Möglichst Gender-neutrale Begriffe verwenden• Inhalte aus mehreren Perspektiven beschreiben• Lebenserfahrung beider Gender integrieren• Gender Hierarchien und Stereotype entfernen• Neue Rollenmodelle für beide Gender anbieten
  • Zusammenfassung: Erfahrungen bisher• Entlastung und Verbesserung• Uni Bremen als Vorreiterin• Dauerhaftes Thema an Hochschulen (Trend)• Technische und organisatorische Professionalisierung• Verstetigung statt Pilotprojekte• Hohes Innovationspotenzial für Hochschullehre• Aktuelles Forschungsthema• TestCenter bietet ideale Voraussetzungen © Karsten D. Wolf
  • FB 12 Erziehungs- und Bildungswissenschaften Didaktische Gestaltung multimedialer Lernumgebungenhttp://www.ifeb.uni-bremen.de/wolf wolf@uni-bremen.dehttp://www.zmml.uni-bremen.de/
  • Literaturempfehlungen Thomas M. Haladyna (2004). Developing and Validating Multiple- Choice Test Items. Lawrence Erlbaum Associates. Steven M. Downing & Thomas M. Haladyna (2006). Handbook of Test Developing. Lawrence Erlbaum Associates. Jürgen Rost (2004). Lehrbuch Testtheorie – Testkonstruktion. Huber. © Karsten D. Wolf
  • Literaturempfehlungen Trevor G. Bond & Christine M. Fox (2007) Applying The Rasch Model. Lawrence Erlbaum Associates. Mark Wilson (2005). Constructing Measures. Lawrence Erlbaum Associates. Albert Maydeu-Olivares & John J. McArdle (2005). Contemporary Psychometrics. Lawrence Erlbaum Associates. © Karsten D. Wolf