Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

422 views

Published on

Published in: Education
  • Be the first to comment

  • Be the first to like this

OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

  1. 1. Jeroen Donkers, Universiteit Maastricht, O&O Profanalytics.blogspot.nl
  2. 2.  Gefinancierd door Surf (Innovatieprogramma learning analytics) Looptijd: maart-september 2012 Opdracht van WiV Projectteam: ◦ Jeroen Donkers, Jean van Berlo, Daniëlle Verstegen, Arno Muijtjens, Guido Tans, Peter Bex
  3. 3.  4 x per jaar, 8000 studenten geneeskunde in 5 instellingen tegelijkertijd 200 MCQ vragen (met vraagteken) over de hele stof Relatieve normering
  4. 4.  Relatie tussen het gebruik van ProF en de voortgangstoets-resultaten ◦ Bepalen wat te meten ◦ Aanpassen van het ProF systeem om te meten ◦ Verzamelen van data ◦ Analyse en datamining ◦ Vertaling van de resultaten Vervolg: longitudinale effecten, visualisatie
  5. 5.  We hebben ProF aangepast zodat het met Piwik kan werken: ◦ Piwik-koppeling is configureerbaar in ProF ◦ Navigatie via URLs is consequenter gemaakt ◦ User-defined variabelen voor o.a. Userid ◦ Piwik-sessie starten bij inloggen gebruiker ◦ Opt-out mogelijkheid We gebruiken de piwik API om gedetailleerde gebruiksdata in XML vorm te downloaden
  6. 6.  Data verzameld in periode mei-juni De data uit Piwik is gekoppeld met de uitslagen van de voortgangstoets van mei Analyse met behulp van  Projet R  RapidMiner, Kmine, ProM 6.1 (process mining)
  7. 7. Gebruik van ProF in Mei-Juni 2012 onder reguliere studenten die de Mei-toets 2012 hebben meegedaan jaar UM LUMC UMCN UMCG TOTAAL 1 72.1% 207 287 14.0% 31 222 28.0% 89 318 4.3% 15 345 29.2% 342 1172 2 11.5% 33 287 9.7% 22 226 27.5% 99 360 10.7% 38 354 15.6% 192 1227 3 14.9% 46 309 11.9% 26 219 11.4% 35 308 12.6% 47 373 12.7% 154 1209 4 11.1% 27 243 6.8% 15 220 7.3% 22 301 5.5% 22 398 7.4% 86 1162 5 27.8% 74 266 2.3% 4 175 5.6% 17 306 8.7% 26 298 11.6% 121 1045 6 16.0% 13 81 2.4% 5 207 10.2% 22 215 10.5% 31 294 8.9% 71 797totaal 27.2% 400 1473 8.1% 103 1269 15.7% 284 1808 8.7% 179 2062 14.6% 966 6612  Meer gebruikt in het eerste jaar  Veel gebruikt in jaar 1 Maastricht, voornamelijk door het portfolio
  8. 8. TOTAAL ALLEEN REGULIERE STUDENTEN ZONDER VumcTOTAAL toetsresultaatjaar onvoldoende voldoende goed alles 1 14.9% 22 148 28.3% 196 693 37.5% 124 331 29.2% 342 1172 2 8.7% 18 206 11.7% 76 648 26.3% 98 373 15.6% 192 1227 3 10.8% 22 203 10.1% 69 684 19.6% 63 322 12.7% 154 1209 4 5.6% 10 179 6.1% 40 655 11.0% 36 328 7.4% 86 1162 5 6.8% 9 133 12.2% 72 588 12.3% 40 324 11.6% 121 1045 6 3.1% 4 127 8.8% 37 420 12.0% 30 250 8.9% 71 797 alles 8.5% 85 996 13.3% 490 3688 20.3% 391 1928 14.6% 966 6612 Goede studenten gebruiken ProF meer dan studenten met een onvoldoende In jaar 4-6 is dat niet significant
  9. 9. ALLES ONVOLD0.15 0.150.10 0.100.05 0.050.00 0.00 0 20 40 60 80 120 0 20 40 60 80 120 numactions numactions[outcome == 0] VOLD GOED0.15 0.150.10 0.100.05 0.050.00 0.00 0 20 40 60 80 120 0 20 40 60 80 120 numactions[outcome == 1] numactions[outcome == 2]
  10. 10. 50% 45% Percentage van de sessies 40% 35% 30% 25% Onvold 20% Vold 15% Goed 10% 5% 0% 1 2-5 6-20 >20 Lengte van de sessie in aantal acties Gamma is -0.246: Slechte studenten hebben langere sessies dan goede Veel sessies met maar één actie!
  11. 11.  Weinig patroon in volgorde: process mining leverde niet veel op Daarom vooral naar tellingen gekeken: hoe vaak kijken studenten naar bepaalde deel aspecten
  12. 12. Verdeling fractie paginas met cumulatieve Alles Onvold 800 60 Verdeling fractie paginas met details 40 400 Alles Onvold 20 25 400 0 0 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] 15 200 0 5 0 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] Vold Goed 300 200 Vold Goed 100 0 100 150 50 100 0 50 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] 0 0 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] Verdeling fractie paginas met goedscore Verdeling fractie paginas met momentaan vs longitudinaal Alles Onvold Alles Onvold 0 10 20 30 40400 500 30200 0 10 0 2000 (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1] Vold Goed Vold Goed150 100 500 50 200 150 0 (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] 100 0 50 0 (-Inf,0] (0.25,0.5] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1]
  13. 13.  Piwik is erg nuttig Door koppeling van gebruik aan toetsdata krijgen we nuttige informatie over hoe studenten met het systeem omgaan Dit levert ons kennis om ◦ Het systeem aan te passen: andere openingspagina ◦ Instructie te verbeteren: omgaan met cumulatieve, scoresoorten, ect We gaan door met meten om longitudinale effecten te kunnen meten
  14. 14.  Je moet veel tools aan elkaar koppelen – kennis van (script)talen (php, perl, sql, R) is daarbij handig Werken met R bleek handiger dan met mooie intractieve tools als RapidMiner, Knime en ook PROM 6.1 Privacy: mogen we dit zomaar allemaal doen?

×