Jeroen Donkers, Universiteit Maastricht, O&O                   Profanalytics.blogspot.nl
   Gefinancierd door Surf (Innovatieprogramma    learning analytics)   Looptijd: maart-september 2012   Opdracht van Wi...
   4 x per jaar, 8000 studenten geneeskunde in    5 instellingen tegelijkertijd   200 MCQ vragen (met vraagteken) over d...
   Relatie tussen het gebruik van ProF en de    voortgangstoets-resultaten    ◦   Bepalen wat te meten    ◦   Aanpassen v...
   We hebben ProF aangepast zodat het met    Piwik kan werken:    ◦   Piwik-koppeling is configureerbaar in ProF    ◦   N...
   Data verzameld in periode mei-juni   De data uit Piwik is gekoppeld met de    uitslagen van de voortgangstoets van me...
Gebruik van ProF in Mei-Juni 2012 onder reguliere studenten die de Mei-toets 2012 hebben meegedaan  jaar       UM         ...
TOTAAL ALLEEN REGULIERE STUDENTEN ZONDER VumcTOTAAL       toetsresultaatjaar         onvoldoende               voldoende  ...
ALLES                                 ONVOLD0.15                                        0.150.10                          ...
50%                                    45%        Percentage van de sessies                                    40%        ...
   Weinig patroon in volgorde: process mining    leverde niet veel op   Daarom vooral naar tellingen gekeken: hoe    vaa...
Verdeling fractie paginas met cumulatieve                                                                                 ...
   Piwik is erg nuttig   Door koppeling van gebruik aan toetsdata    krijgen we nuttige informatie over hoe    studenten...
   Je moet veel tools aan elkaar koppelen –    kennis van (script)talen (php, perl, sql, R) is    daarbij handig   Werke...
OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers
OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers
Upcoming SlideShare
Loading in...5
×

OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

250

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
250
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
7
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

OWD2012 - 2,3 - Studiesucces verhogen met learning analytics - Jeroen Donkers

  1. 1. Jeroen Donkers, Universiteit Maastricht, O&O Profanalytics.blogspot.nl
  2. 2.  Gefinancierd door Surf (Innovatieprogramma learning analytics) Looptijd: maart-september 2012 Opdracht van WiV Projectteam: ◦ Jeroen Donkers, Jean van Berlo, Daniëlle Verstegen, Arno Muijtjens, Guido Tans, Peter Bex
  3. 3.  4 x per jaar, 8000 studenten geneeskunde in 5 instellingen tegelijkertijd 200 MCQ vragen (met vraagteken) over de hele stof Relatieve normering
  4. 4.  Relatie tussen het gebruik van ProF en de voortgangstoets-resultaten ◦ Bepalen wat te meten ◦ Aanpassen van het ProF systeem om te meten ◦ Verzamelen van data ◦ Analyse en datamining ◦ Vertaling van de resultaten Vervolg: longitudinale effecten, visualisatie
  5. 5.  We hebben ProF aangepast zodat het met Piwik kan werken: ◦ Piwik-koppeling is configureerbaar in ProF ◦ Navigatie via URLs is consequenter gemaakt ◦ User-defined variabelen voor o.a. Userid ◦ Piwik-sessie starten bij inloggen gebruiker ◦ Opt-out mogelijkheid We gebruiken de piwik API om gedetailleerde gebruiksdata in XML vorm te downloaden
  6. 6.  Data verzameld in periode mei-juni De data uit Piwik is gekoppeld met de uitslagen van de voortgangstoets van mei Analyse met behulp van  Projet R  RapidMiner, Kmine, ProM 6.1 (process mining)
  7. 7. Gebruik van ProF in Mei-Juni 2012 onder reguliere studenten die de Mei-toets 2012 hebben meegedaan jaar UM LUMC UMCN UMCG TOTAAL 1 72.1% 207 287 14.0% 31 222 28.0% 89 318 4.3% 15 345 29.2% 342 1172 2 11.5% 33 287 9.7% 22 226 27.5% 99 360 10.7% 38 354 15.6% 192 1227 3 14.9% 46 309 11.9% 26 219 11.4% 35 308 12.6% 47 373 12.7% 154 1209 4 11.1% 27 243 6.8% 15 220 7.3% 22 301 5.5% 22 398 7.4% 86 1162 5 27.8% 74 266 2.3% 4 175 5.6% 17 306 8.7% 26 298 11.6% 121 1045 6 16.0% 13 81 2.4% 5 207 10.2% 22 215 10.5% 31 294 8.9% 71 797totaal 27.2% 400 1473 8.1% 103 1269 15.7% 284 1808 8.7% 179 2062 14.6% 966 6612  Meer gebruikt in het eerste jaar  Veel gebruikt in jaar 1 Maastricht, voornamelijk door het portfolio
  8. 8. TOTAAL ALLEEN REGULIERE STUDENTEN ZONDER VumcTOTAAL toetsresultaatjaar onvoldoende voldoende goed alles 1 14.9% 22 148 28.3% 196 693 37.5% 124 331 29.2% 342 1172 2 8.7% 18 206 11.7% 76 648 26.3% 98 373 15.6% 192 1227 3 10.8% 22 203 10.1% 69 684 19.6% 63 322 12.7% 154 1209 4 5.6% 10 179 6.1% 40 655 11.0% 36 328 7.4% 86 1162 5 6.8% 9 133 12.2% 72 588 12.3% 40 324 11.6% 121 1045 6 3.1% 4 127 8.8% 37 420 12.0% 30 250 8.9% 71 797 alles 8.5% 85 996 13.3% 490 3688 20.3% 391 1928 14.6% 966 6612 Goede studenten gebruiken ProF meer dan studenten met een onvoldoende In jaar 4-6 is dat niet significant
  9. 9. ALLES ONVOLD0.15 0.150.10 0.100.05 0.050.00 0.00 0 20 40 60 80 120 0 20 40 60 80 120 numactions numactions[outcome == 0] VOLD GOED0.15 0.150.10 0.100.05 0.050.00 0.00 0 20 40 60 80 120 0 20 40 60 80 120 numactions[outcome == 1] numactions[outcome == 2]
  10. 10. 50% 45% Percentage van de sessies 40% 35% 30% 25% Onvold 20% Vold 15% Goed 10% 5% 0% 1 2-5 6-20 >20 Lengte van de sessie in aantal acties Gamma is -0.246: Slechte studenten hebben langere sessies dan goede Veel sessies met maar één actie!
  11. 11.  Weinig patroon in volgorde: process mining leverde niet veel op Daarom vooral naar tellingen gekeken: hoe vaak kijken studenten naar bepaalde deel aspecten
  12. 12. Verdeling fractie paginas met cumulatieve Alles Onvold 800 60 Verdeling fractie paginas met details 40 400 Alles Onvold 20 25 400 0 0 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] 15 200 0 5 0 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] Vold Goed 300 200 Vold Goed 100 0 100 150 50 100 0 50 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] 0 0 (-Inf,0] (0.25,0.5] (-Inf,0] (0.25,0.5] Verdeling fractie paginas met goedscore Verdeling fractie paginas met momentaan vs longitudinaal Alles Onvold Alles Onvold 0 10 20 30 40400 500 30200 0 10 0 2000 (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1] Vold Goed Vold Goed150 100 500 50 200 150 0 (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] (-Inf,0] (0,0.25] (0.25,0.5] (0.5,0.75] (0.75,1] 100 0 50 0 (-Inf,0] (0.25,0.5] (0.75,1] (-Inf,0] (0.25,0.5] (0.75,1]
  13. 13.  Piwik is erg nuttig Door koppeling van gebruik aan toetsdata krijgen we nuttige informatie over hoe studenten met het systeem omgaan Dit levert ons kennis om ◦ Het systeem aan te passen: andere openingspagina ◦ Instructie te verbeteren: omgaan met cumulatieve, scoresoorten, ect We gaan door met meten om longitudinale effecten te kunnen meten
  14. 14.  Je moet veel tools aan elkaar koppelen – kennis van (script)talen (php, perl, sql, R) is daarbij handig Werken met R bleek handiger dan met mooie intractieve tools als RapidMiner, Knime en ook PROM 6.1 Privacy: mogen we dit zomaar allemaal doen?
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×