Your SlideShare is downloading. ×
0
Learning analytics en            formatieve toetsing   UM-ervaringen uit het ONBETWIST-projectSURF-programma ‘Toetsing en ...
Wiskunde SURF projecten in tijd• Webspijkeren I: dec 2004 – dec 2006• Webspijkeren II: sept 2006 – sept 2008Verbeteren aan...
ONBETWIST database• Bevat grote collectie toetsen & toetsvragen:• Wiskunde• Statistiek• Ingangs-  niveau &• 1e jaars• Beta...
Casus: UM economie & bedrijfskundeKenmerken:• Grote studies (950 studenten/jaar)• Sterke internationalisering (35% NL; 42%...
Referentie• Praktisch artikel in September 2012  nummer van OnderwijsInnovatie:• Toetsgestuurd leren en learning  analytic...
MyStatLab• Digitale  leeromgeving  statistiek:  MSL, Pearson.  Toetsgestuurd  leren plus  extra functies  (‘Help me  solve...
ONBETWIST• Digitale leerom-  geving wiskunde:  ONBETWIST  database van  oefen- en toets-  vragen. In lokale  BB opgenomen ...
Voorspellers van wiskunde & statistiek prestaties• Voorkennis, op 2 manieren gemeten:   – ONBETWIST diagnostische toets Al...
Vroegtijdig signaleren: week 0 en week 2Formatieve toetsen en het signaleren van academische prestaties:• Bij binnenkomst ...
Learning analytics & demografische factorenDoel: opstellen van profiel van de intensief digitaal oefenen met systeemdata/s...
Learning analytics & culturele verschillen• Nationaliteitsdata omgezet in  nationale cultuur dimensies  (Hofstede):       ...
Learning analytics & leerstijlenLeerstijldata gebaseerd op leerstijlmodel Jan Vermunt• Leerstrategieën: diepe, stapsgewijz...
Learning analytics & Martin’s ‘Motivation &Engagement Wheel’4 kwadranten gebaseerd op:• Gedachten versus Gedragingen• Adap...
Learning analytics & Martin’s ‘Motivation &      0.2Engagement Wheel’• Alle adaptieve gedachten en alle               0.1 ...
Learning analytics & Pekrun’s Control-Waardetheorie van Leeremoties• Leeremoties worden beïnvloed door het gevoel ‘in cont...
Samenvattend• Formatieve toetsing heeft uiterst belangrijke informatie functie, zelfs al voordat het  vak begint: diagnost...
Upcoming SlideShare
Loading in...5
×

OWD2012 - 3 - Learning analytics en formatieve toetsing - Dirk Tempelaar

257

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
257
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Transcript of "OWD2012 - 3 - Learning analytics en formatieve toetsing - Dirk Tempelaar"

  1. 1. Learning analytics en formatieve toetsing UM-ervaringen uit het ONBETWIST-projectSURF-programma ‘Toetsing en Toetsgestuurd Leren’ Dirk Tempelaar Maastricht University School of Business & Economics
  2. 2. Wiskunde SURF projecten in tijd• Webspijkeren I: dec 2004 – dec 2006• Webspijkeren II: sept 2006 – sept 2008Verbeteren aansluiting, verlagen dropout, aanbieden bijspijkercursussen, vooral individueel oefen/toets materiaal. Onderzoek instructie scenario’s.• NKBW I: sept 2008 – sept 2009• NKBW II: sept 2009 – dec 2010Opvolger Webspijkeren. Meer partners, en HO. Sterker toetsgericht. Wiskunde monitor: ingangstoets.• ONBETWIST: maart 2010 -: Toetsgestuurd leren is centrale focus; onderdeel SURF ‘Toetsen en Toetsgestuurd leren’. Wiskunde & statistiek.
  3. 3. ONBETWIST database• Bevat grote collectie toetsen & toetsvragen:• Wiskunde• Statistiek• Ingangs- niveau &• 1e jaars• Beta & Gamma
  4. 4. Casus: UM economie & bedrijfskundeKenmerken:• Grote studies (950 studenten/jaar)• Sterke internationalisering (35% NL; 42% Duitstalig Europa; 7% IntBac; …)• Extreem grote diversiteit in voorkennis & vooropleiding: A vs B, nationale verschillen• Blended learning: PGO (verplicht) en aanvullend digitaal, toetsgericht leren (optioneel, vooral voor studenten ‘op achterstand’.• Veel data: (concern)systemen & studentensurveys
  5. 5. Referentie• Praktisch artikel in September 2012 nummer van OnderwijsInnovatie:• Toetsgestuurd leren en learning analytics, pp. 17-26.• Dirk Tempelaar, Hans Cuypers, Evert van de Vrie, Henk van der Kooij, André Heck.• http://www.ou.nl/web/onderzoek/ti jdschrift-onderwijsinnovatie
  6. 6. MyStatLab• Digitale leeromgeving statistiek: MSL, Pearson. Toetsgestuurd leren plus extra functies (‘Help me solve this’, ‘View an example’).
  7. 7. ONBETWIST• Digitale leerom- geving wiskunde: ONBETWIST database van oefen- en toets- vragen. In lokale BB opgenomen om gebruik en resultaten te kunnen koppelen aan andere data.
  8. 8. Voorspellers van wiskunde & statistiek prestaties• Voorkennis, op 2 manieren gemeten: – ONBETWIST diagnostische toets Algebraische Rekenvaardigheden – Niveau vooropleiding (A vs B)• Intensiteit oefenen – Uren (MSL) of aantal toetsen (BB) – Oefenscore16 0.7 StatsExamen14 0.6 WiskExamen12 0.510 0.4 Stats#Uren8 0.3 StatsToetsScore6 0.2 Wisk#Toetsen4 0.1 WiskToetsScore2 0.00 InstaptoetsLaag & InstaptoetsHoog & InstaptoetsLaag & InstaptoetsHoog & OefenenWiskLaag OefenenWiskLaag OefenenWiskHoog OefenenWiskHoog
  9. 9. Vroegtijdig signaleren: week 0 en week 2Formatieve toetsen en het signaleren van academische prestaties:• Bij binnenkomst (week 0) twee voorspellers: vooropleiding (A vs B) en score diagnostische ingangstoets. Voorspellen samen 21% van variatie in eindscore.• Na eerste Quiz, eind week 2: 57% van variatie in eindscore te verklaren uit formatieve toetsen, en het oefenen ervoor.• Dus naast leerfunctie belangrijke informatiefunctie. Qmscore: correlaties 0 week Qmscore: correlaties 2 week0.5 0.7 0.60.4 0.50.3 0.40.2 0.3 0.20.1 0.1 0 0 B-opleiding Ingangstoets B-opleiding Ingangstoets Quiz1Wisk Quiz1Stats Statscore Wiskscore
  10. 10. Learning analytics & demografische factorenDoel: opstellen van profiel van de intensief digitaal oefenen met systeemdata/surveys• Studenten met B-opleiding behalen hogere score wiskunde zonder extra te oefenen• Maar niet voor statistiek;• VWOers hebben betere aansluiting, maar vertrouwen daar te veel op;• Instaptoetsscore voorspellend voor score oefentoetsomgeving;• Bescheiden gender-effect: vrouwelijke studenten actiever. 0.4 0.3 0.2 0.1 Stats#Uren 0.0 StatsScore Wisk#Toetsen -0.1 WiskScore -0.2 -0.3 -0.4 B-opleiding VWO Ingangstoets Vrouw/Man
  11. 11. Learning analytics & culturele verschillen• Nationaliteitsdata omgezet in nationale cultuur dimensies (Hofstede): 0.4 Machtsafstand, Individualisme/Collecti 0.3 visme, Masculiniteit/Femininiteit, Onz ekerheidsvermijding, Lange-Korte 0.2 Termijn Denken en Hedonisme 0.1 (uitbundigheid) versus Soberheid. 0.0• Flinke effecten voor Masculiniteit Stats#Uren (onderwijs = competitie), LangeTermijn -0.1 StatsScore Oriëntatie, en Onthouding (Soberheid) -0.2 Wisk#Toetsen WiskScore• Kleine effecten -0.3 Machtsafstand, Collectivisme, Onzeker heidsvermijding -0.4• Verschil tussen effect op primair tijd, of tijd & score.
  12. 12. Learning analytics & leerstijlenLeerstijldata gebaseerd op leerstijlmodel Jan Vermunt• Leerstrategieën: diepe, stapsgewijze, en concrete verwerking• Regulatiestrategieën: zelfsturing, externe sturing, en stuurloos of gebrek aan regulering‘Model-student’: zelfsturend & gericht op diepe verwerking: heeft het toetsgerichteleren maar beperkt nodig.‘Afhankelijke student’: benodigd externe sturing, gericht op stapsgewijze verwerking:sterke samenhang met toetsgericht leren. 0.2Stuurloos: oefent intensief, maar profiteert daar helemaal niet van 0.1 Stats#Uren 0.0 StatsScore Wisk#Toetsen WiskScore -0.1
  13. 13. Learning analytics & Martin’s ‘Motivation &Engagement Wheel’4 kwadranten gebaseerd op:• Gedachten versus Gedragingen• Adaptief versus MalAdaptief of Belemmerend
  14. 14. Learning analytics & Martin’s ‘Motivation & 0.2Engagement Wheel’• Alle adaptieve gedachten en alle 0.1 Stats#Uren adaptieve gedragingen een gunstig StatsScore Wisk#Toetsen effect hebben op toetsgericht WiskScore 0.0 leren, waarbij gedragingen meer effect hebben dan gedachten• MalAdaptieve kwadranten: verschil 0.3 tussen gedachten, vooral Angst: positief effect, en gedragingen: negatief effect. 0.2• Verklaart deels gender-effect in 0.1 Stats#Uren toetsgericht leren: maladaptiviteit heeft StatsScore 0.0 bij vrouwelijke studenten eerder de Wisk#Toetsen vorm van gedachten: angst en -0.1 WiskScore Vrouw/Man onzekerheid, bij manlijke studenten -0.2 eerder de vorm van gedragingen: uitval en zelf-handicap
  15. 15. Learning analytics & Pekrun’s Control-Waardetheorie van Leeremoties• Leeremoties worden beïnvloed door het gevoel ‘in controle’ te zijn en iets waardevols te doen.• Keuze voor leeremoties die verondersteld worden sterk bij te dragen aan studiesucces of uitval: de negatieve emoties angst, verveling en hopeloosheid, de positieve emotie plezier.• In het midden van de cursus gemeten 0.3• Positieve emoties: positief effect, 0.2• Negatieve emoties: negatief effect. 0.1• Effect op score veel sterker dan op Stats#Uren tijd/aantal toetsen 0.0 StatsScore -0.1 Wisk#Toetsen WiskScore -0.2 -0.3 -0.4 Control Angst Verveling Hopeloos Plezier
  16. 16. Samenvattend• Formatieve toetsing heeft uiterst belangrijke informatie functie, zelfs al voordat het vak begint: diagnostische ingangstoetsing• Informatie functie geldt ook de inzet die studenten laten zien in het toetsgerichte leren, zelfs al in eerste weken, naast een leerfunctie• Beide zijn onderdeel van ‘student modeling’• Learning Analytics heeft tot taak relevante informatie zo snel mogelijk ter beschikking van studenten en docenten te krijgen• Learning Analytics van historische data (als in deze studie) maakt mogelijk (risico) groepen te identificeren die gebaat zijn bij intensief digitaal oefenen• Dit is voorbeeld van gebruik ‘student profiling’• Bijzondere opdracht voor studentgericht onderwijs, zoals PGO, waarin de student de beslisser is: hoe de informatievoorziening zo adequaat mogelijk op individuele student afstemmen
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×