Sessieronde 1 Beschrijving: Analyseren en verbeteren doen we al heel lang, maar dit geeft altijd inzicht achteraf. Wat als u gedurende de loop van het eerste jaar al met een hogere mate van zekerheid van het tussentijds BSA kunt voorspellen wat de kans op uitval is? En als u de studentpopulatie kunt onderverdelen in segmenten, waardoor u interventies, voorlichtingsactiviteiten, trainen, tutoraten etc. gerichter kunt inzetten? Hierdoor wordt de ondersteuning beter en efficiënter. In deze sessie krijgt u inzicht in de concrete bevindingen van student analytics en discussiëren we met u over de risico’s daarvan.

1. Student Analytics
18 juni 2015
Steven Losekoot, Theo Bakker, Mark Boersma
Uitkomsten van een onderzoek naar
studiesucces aan de VU en optimale
begeleiding van studenten
Van analyse naar voorspellen

2. Eén op drie studenten valt uit
Jarenlang heeft het hoger
onderwijs een one-size-fits-all
oplossing nagestreefd voor haar
studenten. Een aanpak die wel
leidt tot efficiency winst, maar
niet per se tot de hoogst
mogelijke effectiviteit.
Een gerichte, persoonlijke
benadering is nodig
Student Analytics
kan dit mogelijk maken
Een ‘wicked problem’
1
Boredpanda.com: Kinderen op weg naar school

3. We analyseren alle beschikbare data
om studiegedrag te kunnen
voorspellen
2

4. En helpen hogescholen en
universiteiten om hun dienstverlening
aan studenten te transformeren
3

5. De voordelen zijn een persoonlijke
benadering vanuit tutoren, mentoren
en studieadviseurs voor alle
studenten
4

6. Onderwijsinstellingen die hier
gebruik van maken geeft dit een
‘unique selling point’
5

7. 6
Verlaagt de kans op onnodige uitval
van studenten

8. En biedt daarmee bovendien een
middel om de prestatieafspraken te
halen
7

9. Visie Door beter inzicht in de individuele behoefte van de student draagt Data
Analytics bij aan de kwaliteit van persoonlijke, proactieve studentbegeleiding
8© Deloitte Consulting, 2014
Informatie over
• Achtergrond
• Motivatie
• Studievoortgang
• Struikelblokken
Worden geanalyseerd en
geeft inzicht in:
• Leerstijlen
• Kans op uitval, switch of
succes
• Daadwerkelijke behoefte
aan begeleiding
Studenten
Gerichtere voorlichting
in de wervingsfase Gerichte
matchings-
activiteiten
Tutoraat
gebaseerd
op de
behoefte
van de
student
Indien nodig
aangevuld
met trainingen
en advies
In een
doorlopende lijn
met het formele
studieadvies
Tutoren
Voorlichters
Faculteiten
Studieadviseurs
BSA-
commissie
En advies
voor
jaar 2
of switch
& Studie-
adviseurs
Tutoren
Student-
begeleiding
Voor de poort
Periode
1-2
Periode 2-3
Periode 4
Periode 5-6
Voor aanvang
Consistente en continue aandacht

10. © 2014 Deloitte The Netherlands9
Welke factoren spelen een rol in studiesucces?
Wat is de visie van de instelling op dit thema?
VISIE EN STRATEGIE
ANALYSE VAN DATA
Wat is de huidige
werkpraktijk? Hoe zijn
processen en systemen
ingericht? Wat is de cultuur?
Welke interventies worden
nu ingezet?
ANALYSE VAN WERKPRAKTIJK
Welke vormen van student-
begeleiding sluiten optimaal
aan bij de daadwerkelijke
behoefte van studenten?
STUDENTBEGELEIDING
EVIDENCE BASED
Hoe kunnen we de uitkomsten van
de analyses borgen in cultuur,
processen & procedures en
informatiesystemen?
VERANDERING
Wat is het effect van de
nieuwe aanpak?
MONITORING
STUDIE-
SUCCES
Wat kunnen we leren uit
studentdata (historische en
realtime data)
Scope van het onderzoek In het onderzoek concentreerden we ons op de
ontwikkeling van evidence based studentbegeleiding door een analyse
van data en werkpraktijk
Evidence based studentbegeleiding

11. © 2014 Deloitte The Netherlands
Help de juiste student
proactief het gehele jaar door
en zo vroeg mogelijk
met gerichte voorlichting en
begeleiding

12. Baseer de aanpak op 1) kans op uitval, 2) achtergrond van uitval en de
student en 3) optimale inzet van beschikbare interventies
VU-brede aanpak voor optimale studentbegeleiding
11
01/
%
56Kans op uitval
03/Optimale inzet
beschikbare interventies
02/Achtergrond
uitval en student
© Deloitte Consulting, 2014
De juiste student
met de beste interventie
op het juiste moment

13. © Deloitte Consulting, 2014 12
Opzet onderzoek Via veel verschillende bronnen zijn deze gegevens
verzameld en vervolgens geanalyseerd
Eerstejaars inschrijvingen
MIVU NSE
SAP DUO
Selligent CBS
Analyse op studiesucces
Externe
data
Definitie Uitval of switch
Geen herinschrijving aan dezelfde opleiding in het
tweede jaar of uitschrijving hetzelfde jaar
Gebruikte cohorten: 2012 en 2013
Definitie Diplomarendement
Diploma van desbetreffende opleiding binnen 4 jaar
behaald (alleen berekend voor herinschrijvers)
Gebruikt cohort: 2010
22.584
Eerstejaars inschrijvingen
20.352
Unieke studenten
5
Studiejaren
(2009 – 2013)
44
Opleidingen
12
Faculteiten
2.876.879
Resultaten
100-en
Afgeleide variabelen
Populatieonderzoek
VU Data
Een rijke mix
aan data

14. Correctheid
voorspelling uitval
% goed voorspeld per
periode
De resultaten van de data analyses bouwden voort op elkaar
Het data-onderzoek is uitgevoerd in drie stappen
© Deloitte Consulting, 2014 13
Univariate analyse
• Het effect van steeds één variabele op
uitval of switch, en op diplomarendement
• Weergave in een staafdiagram
Regressie-analyse
• Onderzoek naar de meest significante
variabelen
• Komen tot een betrouwbaar en consistent
model waarmee voorspellingen kunnen
worden uitgevoerd
Segmentatie-analyse
• Onderzoek naar de onderlinge samenhang
van de variabelen
• Onderscheiden van verschillende groepen
studenten
Geslacht
Effect op uitval of switch in het eerste jaar
M
V
0% 25% 50% 75% 100%
Uitval of switch (1ste jaar)
91100
80
0
60
40
20
92
6
89
4
86
10 5
8580
71
32
2
1
3
2
1
3
Van losse gegevens
naar een inzichtrijk
totaalbeeld

15. Univariate inzichten Studenten die zich laat aanmelden voor hun
studie ervaren minder studiesucces
Dagen van aanmelding voorafgaand aan start studie
Verdeling van eerstejaars inschrijvingen
Toelichting
Dagen van aanmelding voorafgaand aan start studie
Effect op uitval of switch in het eerste jaar
Dagen van aanmelding voorafgaand aan start studie
Effect op diplomarendement na vier jaar
- 13,2% van de studenten meldt zich in de laatste 25
dagen aan voor hun studie. Deze studenten vallen
aanzienlijk meer uit dan de overige studenten (47,3%)
[0,25]
(25,50]
(50,75]
(75,100]
(100,150]
(150,200]
0% 25% 50% 75% 100%
Diplomarendement (4 jaar)
[0,25]
(25,50]
(50,75]
(75,100]
(100,150]
(150,200]
0% 25% 50% 75% 100%
Uitval of switch (1ste jaar)
* Bevat 12,3% missende waardes
[0,25]
(25,50]
(50,75]
(75,100]
(100,150]
(150,200]
0% 25% 50% 75% 100%
Percentage eerstejaars inschrijvingen (EOI)
VU (#8.599) FEW (#1.008) FEWEB (#1.633)
14
Bijdrage van elk gegeven
aan uitval en diplomarendement
is bekend

16. - s() staat voor ‘smooth’ term- dit is een niet lineaire geschat verband 15
Regressie-analyse Het model schat op basis van een logische en evenwichtige
keuze uit variabelen de kans op uitval of switch op 7 meetmomenten
Formule voor de voorspelling: Uitval ~ Geslacht + Gem. middelbare schoolcijfer + Voorlichting_voor +
Voorlichting_na + s(Leeftijd) + s(dagen tussen aanmelding en start studie) + Faculteit + s(EC | periode) + s(EC –
gem. EC cohort) + Aantal herkansingen + Uiteindelijk BSA
Resultaten Definitief BSA
Moment van
aanmelding
en Leeftijd
Middelbare
schoolcijfers
FaculteitVoorlichtingGeslacht
Zeven
groepen
variabelen
voorspellen
uitval optimaal

17. © 2014 Deloitte The Netherlands
Correctheid voorspelling uitval
16
Correctheid voorspelling diplomarendement
Voorspelling Gedurende het jaar worden de voorspellingen accurater; na
periode 2 is een zeer goede inschatting mogelijk
9291898685
80
71
0
10
20
30
40
50
60
70
80
90
100
210 54 63
787877757370
67
0
10
20
30
40
50
60
70
80
90
100
10 2 6543
Percentage goed voorspeld per periode Percentage goed voorspeld per periode
Met ieder blok groeit de kwaliteit van de voorspelling

18. Voorspelling De voorspelling is al vanaf periode 2 beter dan het tussentijdse
BSA-advies (periode 3) en wordt gedurende het jaar nog sterker
Tussentijdse BSA en voorspelling per periode
Effect op uitval of switch in het eerste jaar
Tussentijdse BSA 0 1 2 3 4 5 6
59% 36% 51% 61% 67% 74% 79% 81%
18% 17% 16% 17% 16% 16% 18% 18%
9% 5% 6% 5% 5% 4% 3% 3%
- Voor een eerlijke vergelijking is
gekozen voor categorieën die tot
dezelfde grootte van groepen leiden
tijdens de derde periode
- Er is alleen gekeken naar studenten
die vóór periode drie een tussentijds
BSA-advies gekregen hebben
Toelichting vergelijking
>25%
10-25%
<10%
Kans op
uitval of switch
Voorspelling
Voordelen voorspelmodel
- De juiste student- het model is accurater dan het
tussentijdse BSA-advies
- Zo vroeg mogelijk- in periode 2 geeft het model een
betere voorspelling dan het tussentijdse BSA-advies tijdens
periode 3
- Het hele jaar door- elke periode verbetert de voorspelling
en geeft het beste inzicht voor een proactieve benadering
- Uniform - de voorspelling houdt rekening met verschillende
studies en BSA-normen en doet dit op dezelfde manier
- Geautomatiseerd - kan leiden tot verminderde werkdruk
17© Deloitte Consulting, 2014
Na periode 2 voorspelt het model al
beter dan het tussentijdse BSA-advies
Studenten winnen zo 2
maanden tijd om bij te sturen

19. Interventie Door op uitval of switch te sorteren en bij 25% van de studenten
te interveniëren, bereikt de VU zo 75% van uitvallers (tot periode 4)
© Deloitte Consulting, 2014 18
Door zich te richten
op 25% van de studenten (periode 4)
Bereikt de
VU 75% van
de studenten
die zullen
uitvallen of
switchen
1
2
De organisatie kan tijd en
mensen efficiënt inzetten

20. Segmentatie (1/2) De 18.869 VU-studenten zijn op basis van studiegedrag in de 6
perioden van het eerste jaar ingedeeld in 11 groepen
© Deloitte Consulting, 2014 19
7) Degelijke studenten
Laag inkomen; vrouwen met
gemiddelde schoolcijfers. Lage
uitval, behalen hun
diploma(#2.259)
4) Toekomstige sterren
Potentieel goed presterende
studenten, maar niet allemaal
zullen ze afstuderen (#1.309)
2) Feeststudenten
Veelal mannen uit welvarende
huishoudens. Relatief veel onvoldoendes
en herkansingen. Gemengde uitval en
diplomarendement(#1.199)
1) Afhakers
Oudere (mannelijke) studenten uit goed
milieu, voorlichting niet voor maar tijdens de
studie. Doen bij onvoldoende geen
herkansing. Hoge uitval (#636)
9) Sterke starters
Goede start, maar
wisselende uitval en
diplomarendement (#1.776)
5) No show-ers
Divers segment met hoge
cijfers en kans op uitval
(#740)
8) Uitvallende taaltoetsers
Mannen van 20+ jaar met
slechte schoolresultaten.
Volgen niet voor maar tijdens
de studie voorlichting.
Onvoldoende taaltoets, hoge
uitval (#2.986)
6) Middenmoters
Mannen uit welvarende, landelijke
gebieden met lage middelbare school
cijfers, geen uitval en hoog
diplomarendement (#1.126)
11) IJverige meisjes
Veelal vrouwen met matige
schoolcijfers die een trage start
beleven. Het eerste jaar
eindigen ze sterk. Ze vallen niet
uit en behalen hun diploma
(#2.186)
10) Herkansers
Trage opstarters die het
minimum aantal EC’s behalen
om te slagen. Doen veel
herkansingen. Geen uitval,
geen diploma (#3.181)
3) Ideale studenten
Vroege leerlingen met direct
uitstekende studieresultaten, lage
uitval en hoog diplomarendement
(#1.471)
1
2
3 4
5
6
7
8
9
1110
Het totaalbeeld biedt inzicht in soorten uitval en omvang

21. Segmentatie (2/2) Op basis van de segmentatiekaart kunnen we een aantal
algemene conclusies trekken over de groepen
© Deloitte Consulting, 2014 20
Rechterkant
• Minder uitval
• Meer diplomarendement
• Meer voorlichting voor start
studie
• Minder voorlichting na start
studie
• Meer vrouwen
• Jongere studenten (17-19 jr)
1
2
3 4
5
6
7
8
9
1110
Linkerkant
• Hoge uitval
• Minder
diplomarendement
• Minder voorlichting voor
start studie
• Meer voorlichting na start
studie
• Meer mannen
• Oudere studenten (20+ jr)
Onderkant
• Omgeving: Meer verstedelijkte gebieden
• Omgeving: Hogere inkomens
• Omgeving: Minder niet-westerse
allochtonen
Bovenkant
• Omgeving middelbare school: Minder verstedelijkte gebieden
• Omgeving middelbare school: Lagere inkomens
• Omgeving middelbare school: Meer niet-westerse allochtonen
Studiesucces is duidelijk verspreid over de kaart, uitvallers en switchers bevinden zich aan de linkerkant.
De achtergrond van
studenten verrijkt
gericht beleid

22. 21
© Deloitte Consulting, 2014
0.0
0.2
0.4
0.6
0.8
1
2
3 4
5
6
7
8
9
1110
Uitval of switch binnen één jaar Bachelordiploma in 4 jaar
1
2
3 4
5
6
7
8
9
1110
1
2
3 4
5
6
7
8
9
1110
Cum Laude
Vier patronen van uitval en studiesucces
Op basis van uitval of switch en diplomarendement
kunnen we vier patronen onderscheiden
A
B
C
D
A
B
C
D
A
B
C
D
Binnen de segmentatiekaart kunnen we grofweg vier
patronen onderscheiden in uitval/switch en diploma-
rendement:
A: Zeer snelle uitval en geen kans op studiesucces
B: Gedeeltelijke uitval, later in het jaar; als ze
doorstuderen studeren ze veelal niet nominaal
C: Nominale studenten
D: Excellente studenten; studeren veelal niet nominaal
Idealiter schuiven de lijnen op naar linksboven als
gevolg van passende voorlichting en begeleiding.
Vier invalshoeken
voor begeleiding

23. -01 00 01 02 03 04 05
Vooraanvang
Inschrijving
Periode1
Periode2
Periode3
Periode4
Periode5
06
Periode6
Tussentijds BSA BSATaaltoets
+ 1e cijfer
MatchingVoorlichting
Versnel de invoer van optimale studentbegeleiding door de volgende VU-
brede, uniforme maatregelen
VU-breed beleid voor optimale studentbegeleiding
A. (1) Richt studentbegeleiding VU-breed zoveel mogelijk gelijk in en (2) monitor het effect ervan
B. Ontsluit informatie over voortgang en kans op succes naar alle partners in de gehele keten op need-to-
know basis (begeleiders èn studenten); vraag vooraf toestemming aan de student voor het gebruik van
informatie voor begeleiding
C. Richt op centraal niveau een ‘studeren in 1x goed’ traject in ter ondersteuning van studievaardigheden
D. (1) Differentieer voorlichting naar studiekiezers en herkiezers en (2) organiseer een centraal
heroriëntatietraject
E. … etc
22
Acties
A B C F F FF D ED E H F H F HG
© Deloitte Consulting, 2014
Over de
gehele keten
Verbetering van randvoorwaarden vergroten het succes

24. 23© Deloitte Consulting, 2014
Percentages uitval per segment als basis voor prioritering
Aantallen studenten en uitval variëren per segment. Samen vormen ze de
basis voor prioritering van interventies.
Percentage studenten per segment van de totale populatie
0 2 4 6 8 10 12 14 16 18
9) Sterke starters
12
17
9
8) Uitvallende taaltoetsers 16
11) IJverige meisjes
10) Herkansers
3
6
4
1) Afhakers
8
6) Middenmoters
3) Ideale studenten
6
127) Degelijke studenten
4) Toekomstige sterren
5) No show-ers
7
2) Feeststudenten
Uitval of Switch
Overig
2
2
2
2
3
5
7
8
10
14
45
0 5 10 15 20 25 30 35 40 45
9) Sterke starters
1) Afhakers
6) Middenmoters
8) Uitvallende taaltoetsers
5) No show-ers
2) Feeststudenten
10) Herkansers
3) Ideale studenten
11) IJverige meisjes
7) Degelijke studenten
4) Toekomstige sterren
Uitval of Switch
Percentage uitval per segment van de totale uitval
Prioritering: 8 > 9 > 1 > 5 > 10 > 2
De prioriteit van
begeleiding laten we
afhangen van de grootst
mogelijke effecten

25. Persona’s om de ideeën aan te scherpen
© Deloitte Consulting, 2014 24

26. 5 persona’s om de ideeën aan te scherpen
© Deloitte Consulting, 2014 25

27. Vanuit het perspectief van de student
© Deloitte Consulting, 2014 26

28. © 2014 Deloitte The Netherlands27
Welke factoren spelen een rol in studiesucces?
Wat is de visie van de instelling op dit thema?
VISIE EN STRATEGIE
ANALYSE VAN DATA
Wat is de huidige
werkpraktijk? Hoe zijn
processen en systemen
ingericht? Wat is de cultuur?
Welke interventies worden
nu ingezet?
ANALYSE VAN WERKPRAKTIJK
Welke vormen van student-
begeleiding sluiten optimaal
aan bij de daadwerkelijke
behoefte van studenten?
STUDENTBEGELEIDING
EVIDENCE BASED
Hoe kunnen we de uitkomsten van
de analyses borgen in cultuur,
processen & procedures en
informatiesystemen?
VERANDERING
Wat is het effect van de
nieuwe aanpak?
MONITORING
STUDIE-
SUCCES
Wat kunnen we leren uit
studentdata (historische en
realtime data)
Vervolgstappen Vervolgstappen om de onderzoeksresultaten optimaal te
gebruiken
1. Ontwikkel een integrale, VU-brede visie op
studentbegeleiding
2. Borg de kennis over de studentenpopulatie en
studentbegeleiding onder medewerkers per
faculteit
3. Borg de nieuwe werkwijze in procedures,
processen en systemen en stel een roadmap op
naar de gewenste situatie
4. Monitor het effect van de nieuwe
aanpak en veranker de uitkomsten in
planning en control

29. Contactgegevens
• Steven Losekoot, Programmamanager Ondersteuning Studeren en Doceren,
s.losekoot@vu.nl
• Mark Boersma, Analytics Lead Deloitte Consulting Hoger Onderwijs,
mboersma@deloitte.nl
• Theo Bakker, Senior Manager Onderwijs, tbakker@deloitte.nl
© Deloitte Consulting, 2014 28

30. Deloitte refers to one or more of Deloitte Touche Tohmatsu Limited, a UK private company limited by guarantee, and its network of member firms,
each of which is a legally separate and independent entity. Please see www.deloitte.com/about for a detailed description of the legal structure of
Deloitte Touche Tohmatsu Limited and its member firms.
Deloitte provides audit, tax, consulting, and financial advisory services to public and private clients spanning multiple industries. With a globally
connected network of member firms in more than 150 countries and territories, Deloitte brings world-class capabilities and high-quality service to
clients, delivering the insights they need to address their most complex business challenges. Deloitte’s more than 200,000 professionals are
committed to becoming the standard of excellence.
This communication contains general information only, and none of Deloitte Touche Tohmatsu Limited, its member firms, or their related entities
(collectively, the “Deloitte network”) is, by means of this communication, rendering professional advice or services. No entity in the Deloitte network
shall be responsible for any loss whatsoever sustained by any person who relies on this communication.
.