Your SlideShare is downloading. ×
OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

177
views

Published on

Published in: Education

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
177
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
6
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Jeroen Donkers, Universiteit Maastricht, O&O Profanalytics.blogspot.nl
  • 2.  Gefinancierd door Surf (Innovatieprogramma learning analytics) Looptijd: maart-september 2012 Opdracht van WiV Projectteam: ◦ Jeroen Donkers, Jean van Berlo, Daniëlle Verstegen, Arno Muijtjens, Guido Tans, Peter Bex
  • 3.  4 x per jaar, 8000 studenten geneeskunde in 5 instellingen tegelijkertijd 200 MCQ vragen (met vraagteken) over de hele stof Relatieve normering
  • 4.  Relatie tussen het gebruik van ProF en de voortgangstoets-resultaten ◦ Bepalen wat te meten ◦ Aanpassen van het ProF systeem om te meten ◦ Verzamelen van data ◦ Analyse en datamining ◦ Vertaling van de resultaten Vervolg: longitudinale effecten, visualisatie
  • 5.  We hebben ProF aangepast zodat het met Piwik kan werken: ◦ Piwik-koppeling is configureerbaar in ProF ◦ Navigatie via URLs is consequenter gemaakt ◦ User-defined variabelen voor o.a. Userid ◦ Piwik-sessie starten bij inloggen gebruiker ◦ Opt-out mogelijkheid We gebruiken de piwik API om gedetailleerde gebruiksdata in XML vorm te downloaden
  • 6.  Data verzameld in periode mei-juni De data uit Piwik is gekoppeld met de uitslagen van de voortgangstoets van mei Analyse met behulp van  Projet R  RapidMiner, Kmine, ProM 6.1 (process mining)
  • 7. Gebruik van ProF in Mei-Juni 2012 onder reguliere studenten die de Mei-toets 2012 hebben meegedaan jaar UM LUMC UMCN UMCG TOTAAL 1 72.1% 207 287 14.0% 31 222 28.0% 89 318 4.3% 15 345 29.2% 342 1172 2 11.5% 33 287 9.7% 22 226 27.5% 99 360 10.7% 38 354 15.6% 192 1227 3 14.9% 46 309 11.9% 26 219 11.4% 35 308 12.6% 47 373 12.7% 154 1209 4 11.1% 27 243 6.8% 15 220 7.3% 22 301 5.5% 22 398 7.4% 86 1162 5 27.8% 74 266 2.3% 4 175 5.6% 17 306 8.7% 26 298 11.6% 121 1045 6 16.0% 13 81 2.4% 5 207 10.2% 22 215 10.5% 31 294 8.9% 71 797totaal 27.2% 400 1473 8.1% 103 1269 15.7% 284 1808 8.7% 179 2062 14.6% 966 6612  Meer gebruikt in het eerste jaar  Veel gebruikt in jaar 1 Maastricht, voornamelijk door het portfolio
  • 8. TOTAAL ALLEEN REGULIERE STUDENTEN ZONDER VumcTOTAAL toetsresultaatjaar onvoldoende voldoende goed alles 1 14.9% 22 148 28.3% 196 693 37.5% 124 331 29.2% 342 1172 2 8.7% 18 206 11.7% 76 648 26.3% 98 373 15.6% 192 1227 3 10.8% 22 203 10.1% 69 684 19.6% 63 322 12.7% 154 1209 4 5.6% 10 179 6.1% 40 655 11.0% 36 328 7.4% 86 1162 5 6.8% 9 133 12.2% 72 588 12.3% 40 324 11.6% 121 1045 6 3.1% 4 127 8.8% 37 420 12.0% 30 250 8.9% 71 797 alles 8.5% 85 996 13.3% 490 3688 20.3% 391 1928 14.6% 966 6612 Goede studenten gebruiken ProF meer dan studenten met een onvoldoende In jaar 4-6 is dat niet significant
  • 9. ALLES ONVOLD0.15 0.150.10 0.100.05 0.050.00 0.00 0 20 40 60 80 120 0 20 40 60 80 120 numactions numactions[outcome == 0] VOLD GOED0.15 0.150.10 0.100.05 0.050.00 0.00 0 20 40 60 80 120 0 20 40 60 80 120 numactions[outcome == 1] numactions[outcome == 2]
  • 10. 50% 45% Percentage van de sessies 40% 35% 30% 25% Onvold 20% Vold 15% Goed 10% 5% 0% 1 2-5 6-20 >20 Lengte van de sessie in aantal acties Gamma is -0.246: Slechte studenten hebben langere sessies dan goede Veel sessies met maar één actie!
  • 11.  Weinig patroon in volgorde: process mining leverde niet veel op Daarom vooral naar tellingen gekeken: hoe vaak kijken studenten naar bepaalde deel aspecten
  • 12. Verdeling fractie paginas met cumulatieve Alles Onvold 800 60 Verdeling fractie paginas met details 40 400 Alles Onvold 20 25 400 0 0 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] 15 200 0 5 0 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] Vold Goed 300 200 Vold Goed 100 0 100 150 50 100 0 50 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] 0 0 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] Verdeling fractie paginas met goedscore Verdeling fractie paginas met momentaan vs longitudinaal Alles Onvold Alles Onvold 0 10 20 30 40400 500 30200 0 10 0 2000 (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1] Vold Goed Vold Goed150 100 500 50 200 150 0 (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] 100 0 50 0 (-Inf,0] (0.25,0.5] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1]
  • 13.  Piwik is erg nuttig Door koppeling van gebruik aan toetsdata krijgen we nuttige informatie over hoe studenten met het systeem omgaan Dit levert ons kennis om ◦ Het systeem aan te passen: andere openingspagina ◦ Instructie te verbeteren: omgaan met cumulatieve, scoresoorten, ect We gaan door met meten om longitudinale effecten te kunnen meten
  • 14.  Je moet veel tools aan elkaar koppelen – kennis van (script)talen (php, perl, sql, R) is daarbij handig Werken met R bleek handiger dan met mooie intractieve tools als RapidMiner, Knime en ook PROM 6.1 Privacy: mogen we dit zomaar allemaal doen?