Dinsdag 11 november 2014 Sessieronde 2 Titel: Aspecten van learning analytics bij een digitale leeromgeving Spreker: André Heck (Universiteit van Amsterdam) Zaal: Diamond l

1. Good Practices
SURF-project COACH
Aspecten van Learning Analytics
bij een digitale leeromgeving
André Heck
Universiteit van Amsterdam

2. 1. Context
2. Vormgeving van ICT Wiskunde
3. Learning Analytics
4. Resultaten
5. SIGs
Digitaal Toetsen en Learning Analytics

3. • Matige basisvaardigheden wiskunde bij
studenten die in hoger onderwijs starten
• Beperkte tijd beschikbaar om wiskunde
kennis en vaardigheden van instromers
op te frissen, omhoog te krijgen en te houden
• Grote aantallen studenten:
350 1stejaars Psychobiologie,
250 1stejaars Bio-medische wetenschappen
& Biologie
1. Context

4. • Heterogene instroom:
N&G/N&T profiel, Wiskunde A/B
• Wens bij levenswetenschappen UvA:
Wiskunde leren in context
• Beperkte contacttijd:
Zelfstudie met feedback via de digitale
leeromgeving
• Wiskunde verplicht onderdeel van 1stejaars
vak: score  8 op elke digitale toets is een
voorwaarde tot slagen;
ook wiskundevragen op het tentamen

5. Cohort bij COACH experiment
• 308 studenten psychobiologie 2013-2014
• 253 studenten biologie & bio-medische
wetenschappen 2014-2015
• Gegevens van studenten zijn verzameld bij
binnenkomst via digitale, thuis in te vullen
enquete:
leeftijd, geslacht, wiskundige vooropleiding,
profielkeuze, eindcijfer vwo-wiskunde,
mate van wiskunde- en toetsangst, etc.
• Diagnostische toets algebraïsche
vaardigheden op vwo-A niveau

6. Psycho-biologie
2013-2014
Biomedische
wetenschap
2014-2015
Biologie
2014-2015
aantal
studenten
308 186 67
geslacht
man / vrouw
86 / 222 72 / 113 41 / 26
vwo-wiskunde
A / B
101 / 189 49 / 119 26 / 38
profiel NG / NT 184 / 103 110 / 63 41 / 23
gem. cijfer
vwo-wisk. (SD)
6.8 (1.0) 6.7 (1.0) 6.6 (0.7)
gem. cijfer en-treetoets
(SD)
6.6 (1.8) 7.0 (1.6) 6.8 (1.7)

7. 2. Vormgeving van ICT Wiskunde
• College+(optioneel) werkcollege/vragenuur +
digitale oefening en zelfstudie
• Digitale contextrijke lesmodules met theorie,
gerandomiseerde voorbeelden en oefeningen
• Mengsel van gerandomiseerde context-sommen
en kale wiskundesommen
• ±25 korte digitale formatieve toetsen
(MAAR vereiste score  8 voor elke toets)
• Digitale feedback voor student en docent
• Forum + email-ondersteuning door docent

8. Feedback voor student en docent
• Gerandomiseerde uitgewerkte voorbeelden
• Formatieve en adaptieve feedback op
antwoorden in oefeningen
• Eindeloze kans op verbetering bij toetsen
(MAAR vereiste score  8.0 voor elke toets)
• Summatieve feedback via score overzicht
• Vorderingen bij te houden op allerlei niveaus
• Student dashboard
(learning analytics experiment COACH)

9. Implementatie
• via SOWISO omgeving voor het leren,
oefenen en toetsen van wiskunde
www.sowiso.nl
• (desgewenst) toegankelijk via eigen cursus
website
• SURF conext login met uvanet-id met
automatische toewijzing aan cursus
waarvoor met is ingeschreven
Enkele screen shots volgen

12. Oefening met feedback op maat
Computeralgebra systeem (Macsyma) is noodzakelijk

13. Invoeren weergave van wiskundige formules
moet flexibel zijn en standaarden volgen

14. Een gerandomiseerd uitgewerkt antwoord

15. Herhaling van uitwerkingen in theorieblok

16. Hints en stapsgewijs oefenen

22. Computerscherm als werkblad

23. Vraag en antwoord op het forum

24. Verschillende voortgangsrapportages
voor student en docent

25. 3. Learning Analytics
“Verzamelen, analyseren en
rapporteren van data over
studenten en hun omgeving ten
behoeve van het begrijpen en
verbeteren van het onderwijs en
de omgeving waarin dit onder-wijs
plaatsvindt” (SoLAR)
Duur van LA cyclus varieert van
• 1 cyclus per cursus (vakevaluatie)
• Vele korte cycli (instant feedback)

26. Één cyclus: Registratie, verwerking en analyse
(achteraf) van gebruikersdata
• Studentgegevens: profielkeuze (NG/NT); wiskunde-achtergrond
(vwo A/B); eindexamencijfer(s) voor vwo
wiskunde; resultaat van diagnostische entreetoets;
deeltentamencijfer(s) en eindcijfer 1stejaarsvak;
testresultaat m.b.t. wiskundeangst; testresultaat m.b.t.
toetsangst
• Activiteitgegevens: (deel)scores; antwoorden;
fouten; pogingen; tijdsduur
• Analyse van effecten van indicatoren op
studiegedrag en studieresultaten
• Analyse van moeilijkheden in onderdelen

27. Kanttekeningen
• Dataverwerking tijdrovend
• Analyses pas achteraf
Resultaten pas nuttig voor
• cursus volgend studiejaar
• bijspijkeren na de cursus
• hergebruik verbeterde leerbronnen, c.q.
items uit vragenbank

28. Vele cycli: actuele inzichten in studiegedrag
en studievoortgang
COACH project (juni 2013-2014)
Sander Latour, Natasa Brouwer, Alan Berg,
Chiel Kooijman, Steven Laan, Auke Wiggers
SOWISO, Perceptum
• Uitgangsituatie:
– studenten gebruiken verschillende online leeromgevingen
– goede studenten starten tijdig met leren, anderen stellen uit
• Doel: Ontwerp en implementatie van
– learning record store (opslag van studie data uit diverse bronnen)
– overkoepelend student dashboard
(representatie van nuttige samengestelde data
Constructive Overview Aggregating Comparative Hits

29. Opzet experiment COACH
• Student centraal
Onderzoeksvraag: Helpt het overkoepelend dashboard
COACH de student een meer actieve studiehouding te
ontwikkelen en leidt het gebruik tot een groter studiesucces?
• Stappen experiment
– verzamelen data - drie leeromgevingen
– opslaan data - Learning Record Store
– visualiseren data - Student dashboard
• Experimentele groep / Controle groep
site met opgaven
– Random verdeling in twee groepen
– Groep A ziet dashboard, groep B ziet geen dashboard

30. Data flow tijdens experiment

31. COACH
Constructive Overview Aggregating Comparative Hits
SOWISO
Khan Academie
LRS
Aggregatie
Patronen
Groep B
“zonder”
COACH is:
● een student dashboard dat
● Data uit bronnen samenvoegt
● TinCan / xAPI gebaseerd is
● Expermenteel getoets is.
Groep A
“met”
COACH dashboard geeft:
● actueel activiteitenoverzicht
● positionering t.o.v. anderen
● aanbevelingen

32. Vergelijking met anderen
● Relatieve voortgang in vergelijking met andere studenten
● Gebaseerd op cumulatieve score op korte digitale toetsen
● Bedoeld als informatie en niet als oordeel
Dit zijn andere studenten Dit ben jezelf
Aanbevolen leerbronnen
● Suggestie van activiteiten om een bepaalde mijlpaal (toets) te halen
● Gebaseerd op wat anderen gedaan hebben om de mijlpaal te halen
● Activiteiten worden gewogen op basis van plaats, duur en uitkomst
● Activiteiten worden niet aanbevolen als de student ze al gedaan heeft
● Duidelijke aanbeveling bovenaan in de lijst; obscuurdere suggesties later

33. 33
COACH Dashboard -videos

34. COACH Dashboard -toetsen
• Welke toetsen heb ik gedaan?
• Wat heb ik daar gescoord?

35. COACH Dashboard - aanbevelingen
● Toets als context van de aanbeveling
● Gebruik voor de toets wordt geanalyseerd
● Volgorde wordt meegenomen
● Resultaten gesorteerd op bewijs en zekerheid

36. 4. Resultaten
Analyse cursuscyclus
• Participatie
• Evaluatie
– Psychobiologie 2013-2014
Inleiding Cognitieve Neurowetenschappen
– Biologie, Bio-medische wetenschappen 2014-2015
Biochemie, bio-organische chemie en celbiologie

37. Participatie (308 psychobiologiestudenten)
In 4 weken tijd:
• 11154 korte toetsen gemaakt
– gemiddeld 36 toetsen per student
• 77666 toetsvragen
– gemiddeld 252 toetsvragen per student
• 81371 oefeningen gemaakt
– gemiddeld 259 oefeningen per student

38. Werkverdeling in cursusperiode

39. Werkverdeling per dag

40. Werkverdeling per uur
naar evaluatie

41. Participatie (253 studenten biologie en
biomedische wetenschappen)
In 7 weken tijd:
• 8941 korte toetsen gemaakt
– gemiddeld 35 toetsen per student
• 64066 toetsvragen
– gemiddeld 253 toetsvragen per student
• 54609 oefeningen gemaakt
– gemiddeld 216 oefeningen per student
• 22639 theorieblokken geopend
– gemiddeld 90 theorieblokken per student

42. Werkverdeling in cursusperiode

43. Werkverdeling per weekdag

44. Werkverdeling per uur

45. Evaluatie van ICT Wiskunde (beide vakken)
• Wiskunde niet populair, maar goed te doen
• Weinig uitstelgedrag (studenten werken hard)
• Voldoende tijd voor het maken van opdrachten
• Minder fouten in laboratoriumwerk met
wiskundige berekeningen
(denk aan verdunningsreeksen, pH berekening, etc.)
• Studenten hebben behoefte of vinden prettig
– Uitgewerkte voorbeelden
– Uitleg door docent, tutoren & medestudenten
– Contacttijd (voor moeilijkere onderwerpen)

46. • Digitale omgeving ondersteunt zelfstudie
“Als laatste wilde ik zeggen dat ik manier van toetsen
en de feedback die bij de oefenvragen komt, wel erg
fijn vond. Zo kon je snel dingen weer op halen en
het anderen makkelijker uitleggen!”
• Studenten maken weinig of geen gebruik van
kennisclips
Kennelijk volstaan gerandomiseerde
uitgewerkte voorbeelden
• Geen verschil in tentamenscores studenten
met/zonder dashboard

47. Ervaringen met COACH dashboard
• Technische hobbels (meer dan voorzien):
e-mail accounts, schaalbaarheid LRS, dataverwerking
• Acceptatie van studenten
ook wat betreft van geven van achtergrondgegevens
• Neutrale respons t.a.v. bedoeling, werking en
nut van student dashboard
• Weinig gebruik gemaakt van dashboard
(nadelig beinvloed door duur en opzet cursus?)

48. Vervolgstappen
• Vervolgonderzoek in langere cursussen
binnen levenswetenschappen
• Herimplementatie van learning record store
en COACH student dashboard
• Verdergaande digitalisering van wiskunde
onderwijs en samenwerking met anderen

49. Meer info
• COACH: André Heck a.j.p.heck@uva.nl
• SOWISO: Marc Habbema, Max Cohen
www.sowiso.nl

50. SIG Digitaal Toetsen
Wat doet de SIG Digitaal Toetsen?
• Kennis bundelen: nieuwe ontwikkelingen in Nederland en daarbuiten
volgen en signaleren.
• Kennis delen: bij elkaar brengen van experts, docenten en
projectmedewerkers maar ook uitwisseling van toetsmateriaal en het
gebruik van standaarden die dit mogelijk maken stimuleren.
• Kennis verspreiden: de collectieve expertise over didactiek, technologie
en organisatie beschikbaar stellen voor belangstellenden.
• Waar vindt u de SIG Digitaal Toetsen?
• SURFspace: www.surfspace.nl/toetsen geeft een overzicht van
kennisbronnen en links over digitaal toetsen. Veel bijdragen op deze
site zijn afkomstig van leden van de SIG. Op het forum worden
discussies over digitaal toetsen gevoerd.
• Bijeenkomsten: de SIG Digitaal Toetsen organiseert regelmatig
bijeenkomsten waar experts van de onderwijsinstellingen elkaar
ontmoeten en actuele ontwikkelingen met elkaar delen.

51. SIG Learning Analytics
Wat doet de SIG Learning Analytics?
• Kennis delen: het uitwisselen van informatie, nieuws en best practices.
• Kennis bundelen: bij elkaar brengen van experts, docenten, studenten
en andere belangstellenden.
• Kennis genereren: samen nieuwe inzichten ontwikkelen op
bijeenkomsten en in focusgroepen.
• Waar vindt u de SIG Learning Analytics?
• SURFspace: een online platform met nieuws, blogs en literatuur over
learning analytics: www.surfspace.nl/learninganalytics
• Bijeenkomsten: de SIG Learning Analytics organiseert regelmatig
bijeenkomsten, bijvoorbeeld bij SURFacademy, het
professionaliseringsprogramma van SURF.