Titel: Informatie of desinformatie: avonturen van de Keuzegidsredactie met waarheidsbevinding Spreker: Frank Steenkamp Lunchsessie Zaal 24

1. INFORMATIE of..
DESINFORMATIE?
met de resultaten van de NSE?
Lunchpresentatie
Studiekeuzeconferentie
Bunnik 22 mei 2014
Frank Steenkamp

2. Outline:
1. C.H.O.I. en Keuzegids, kort
2. WAT is eerlijk en objectief informeren?
3. Voorbeelden:
…. Bla
…. Bla
4. Toegift?

3. 1. De Keuzegids
Onafhankelijke vergelijkingsgids voor studiekeuze
Al 23 jaar. En nog steeds nodig.

4. 2. Eerlijk en objectief
informeren..Is er dan een probleem met die informatie??
JA.
Studiekeuze IS al moeilijk genoeg.
Jongeren zijn beïnvloedbaar, gevoelig voor
slimme imagocampagnes *
ALS we zeggen te informeren, laten we dat dan
EERLIJK en ZORGVULDIG doen!

5. 2. WAT is zorgvuldig informeren?
Waaraan moet de informatie voldoen?
• Relevant
• Toegankelijk en begrijpelijk
• Actueel
• Volledig
• Statistisch betrouwbaar
• Evenwichtig en eerlijk
We nemen de proef op de som.
Daarvoor heb ik u nodig!

6. 3. VOORBEELDEN..
a. Opleidingsaanbod: zijn die lijstjes wel
objectief en neutraal?
b. Accreditatiegegevens: wie kan ze vinden en
kloppen ze wel?
c. Studentenoordelen: hoe betrouwbaar?
d. Kiest u maar!

7. Dat de commerciëlen sturen, wist u al?
3. Voorbeeld a:
opleidingsaanbod
Qompas:
-> overzicht van WO-
studies, indeling in
groepen.
-> welke sector hoort
hier niet thuis?
-> waarom wordt hij
dan toch getoond??

8. a: opleidingsaanbod
TKMST: kondigt een bijzondere opleiding aan…
En geeft er een MAXIMALE
beoordeling aan mee…..

9. a: opleidingsaanbod
Alleen…. Is deze opleiding nog niet geaccrediteerd.
Voorbarig dus!
De hogeschool is er zelf nog eerlijker over..
Ook het regulier hbo en wo presenteren geregeld
‘tracks’ als erkende ‘opleidingen’, zonder dat dit altijd
helder is.

10. a*: opleidingsaanbod xtra
Welke opleidingen staan
bovenaan? Waarom?
Neem Studiekeuze123,
Bedrijfseconomie
Is dit:
- Alfabetisch?
- Op aantal sterren?
- Random?

11. (volgorde Hbo bedrijfseconomie)
Er zit een systeem in, maar wat?
Waarom Windesheim bijna altijd bovenaan?
Bedrijfseconomie
1 Saxion Deventer
2 Windesheim locatie Zwolle
3 Avans Breda
4 Fontys Hogescholen Eindhoven
5 Stenden Hs locatie Emmen
6 HZ University of Applied Sciences
7 Hs van Amsterdam
8 NHL Hs
9 Fontys Hogescholen Venlo
10 Hs Rotterdam
11 Saxion Enschede
12 HanzeHs Groningen
13 Hs Utrecht
14 Zuyd Hs locatie Sittard
15 Hs van Arnhem en Nijmegen locatie Arnhem
Elektrotechniek
1 Windesheim locatie Zwolle
2 Avans Breda
3 Fontys
4 Hs van Amsterdam
5 NHL Hs
6 Hs Rotterdam
7 Saxion Enschede
8 HanzeHs Groningen
9 Hs Utrecht
10 Zuyd Hs locatie Sittard
11 Hs van Arnhem en Nijmegen locatie Arnhem
12 Hs Inholland Alkmaar

12. (volgorde bedrijfseconomie)
Wat is het systeem hierachter?
‘n verborgen code,
BRIN-nummer?
BRIN-nr
1 Saxion Deventer 23AH
2 Windesheim locatie Zwolle 01VU
3 Avans Breda 07GR
4 Fontys Hogescholen Eindhoven 30GB
5 Stenden Hs locatie Emmen 22EX
6 HZ University of Applied Sciences 21MI
7 Hs van Amsterdam 28DN
8 NHL Hs 21WN
9 Fontys Hogescholen Venlo 30GB
10 Hs Rotterdam 22OJ
11 Saxion Enschede 23AH
12 HanzeHs Groningen 25BE
13 Hs Utrecht 25DW
14 Zuyd Hs locatie Sittard 25JX
Het lijkt erop, maar het klopt nog niet echt….!

13. (volgorde bedrijfseconomie)
De oplossing ligt in de historie: BRINs uit 2005
BRIN-nr BRIN 2005
1 Saxion Deventer 23AH 00BH
2 Windesheim locatie Zwolle 01VU 01VU
3 Avans Breda 07GR 07GR
4 Fontys Hogescholen Eindhoven 30GB 15CL
5 Stenden Hs locatie Emmen 22EX 21IY
6 HZ University of Applied Sciences 21MI 21MI
7 Hs van Amsterdam 28DN 21QW
8 NHL Hs 21WN 21WN
9 Fontys Hogescholen Venlo 30GB 21WO
10 Hs Rotterdam 22OJ 22OJ
11 Saxion Enschede 23AH 23AH
12 HanzeHs Groningen 25BE 25BE
13 Hs Utrecht 25DW 25DW
14 Zuyd Hs locatie Sittard 25JX 25JX
2005 was het beginjaar van Studiekeuze123!

14. (volgorde bedrijfseconomie)
Leuk jaarringenonderzoek?
Tegelijk: nogal ondoorzichtig.
Windesheim heeft onevenredig voordeel.
Dan toch liever het alfabet. Is eerlijker zoeken.

15. 3. Voorbeeld b:
accreditatiescoresJe verwacht dat de
gegevens te vinden
zijn, en
- toegankelijk
- actueel
- volledig en
- foutloos verwerkt
We keken naar de
NVAO en naar
Studiekeuze123.
… en dat levert verrassende conclusies op

16. b: accreditatiescores
NVAO 3500 accreditatiebesluiten online, maar:
• zoekmachine rammelt (blijven proberen!)
• vaak onvindbaar na naamswijziging
• soms zelfs foute rapport achter een link
Master Economics Erasmus Universiteit?
=> rapport Mondhygiëne Groningen!
Ook lastig: 3500 pdf-rapporten, maar niet op
tekst doorzoekbaar. (goedkoop ingescand)
http://search.nvao.net/search-detail/48799

17. b: accreditatiescores
Wat doet Studiekeuze123 hiermee?
… krijgt alle gegevens van NVAO
… maakt een landelijke database voor o.a. de Keuzegids
… vermeldt accreditatiebesluiten op de eigen website.
Dat moet natuurlijk kloppen met elkaar.
Doet het dat ook?
Checken bij enkele opleidingen

18. b: accreditatiescores
Voorbeeld: TUE Electrical Engineering
Bij Studiekeuze123 vinden we:
GEEN accreditatiegegevens. Jammer..

19. b: accreditatiescores
Maar bij NVAO is er wél rapport:
Er is probleem. Dat zouden we willen weten

20. b: accreditatiescores
Studiesucces – interessante kwestie
Er is probleem. Dat zouden we willen weten
Is dit moeilijk samen te vatten / te linken?

21. b: accreditatiescores HBO
Media & Entertainment Management Inholland
Woelige historie. Hoe verwerkt? Kijk in de database:
2 = Goed. Dat scoort de opleiding op bijna alles
En de informatie lijkt actueel: dec 2013
Dus staat het ook zo op www.studiekeuze123?

22. b: accreditatiescores
MEM Inholland op www.studiekeuze123
Wie heeft er gelijk: database of website?

23. b: accreditatiescores
… GEEN VAN BEIDE!!
De datum klopt. Maar het oordeel? NEE
Op alle punten een 1, dus niet “Goed” maar “Voldoende”

24. b: accreditatiescores
Er zijn dus DRIE werkelijkheden:
… Database: verouderde info, met misleidend actuele datum
… Website: “geen informatie beschikbaar”
… NVAO: het echte, zuinig oordeel – moeilijk opzoekbaar
Dit is moeilijk te verteren. Komt het vaker voor?
Nog honderden keren.
Is ‘technisch’ verklaarbaar.
Maar zou ABSOLUUT beter moeten

25. 3. Voorbeeld c:
studentenoordelenMisschien wel de belangrijkste vergelijkende
keuze-informatie die er is.
Dus mogen we verwachten:
• Statistisch betrouwbaar
• Eerlijk, GEEN beïnvloeding
Laten we eens kijken..

26. c: BETROUWBARE studentenoordelen
Wat vinden we bij Studiekeuze123?
Hoe betrouwbaar wil je zijn?
Discussie mogelijk
Keuzegids zegt: 95%-marge max 0,25 (0,30)
Steekproef moet dan meestal 25+ zijn

27. c: betrouwbare studentenoordelen
Vandaag nieuw op Studiekeuze123:
Instelling Opleiding Steekproef Jaar Populatie Onzekerheid
Venlo HAS Toegepaste biologie 6 2014 25 0,61
Notenboom Business Sch. Hospitality & Events Mngmnt 8* 2013 22 0,48
*) verspreid over 3 locaties
Ook bij kleine opleidingen wordt de lezer dus
maximaal bediend met studentenoordelen.
Maar wat is de betekenis van die oordelen,
De voorspellende waarde?

28. c: betrouwbare studentenoordelen
Toegepaste bio in Venlo:
Scoort op “Inhoud” een 4,2
Lees dit als ‘Iets tussen 3,6 en 4,8’
Of tussen ‘gewoon’ en ‘super-fantastisch’…
Bovendien: het zijn louter 1e jaars
Die zijn altijd positiever in hun oordeel.
Dus… wat is de voorspellende waarde?

29. c: betrouwbare studentenoordelen
Hospitality Notenboom:
Scoort op “Studiebegeleiding” een 3,5
Lees dit als ‘Iets tussen 3,1 en 4,1’
Of tussen zwakste 5% en sterkste 5%
Het is nog erger: groot verschil tussen locaties:
Maastricht scoort met 4 man een 4,3
Maar Hilversum met 3 man een 3,0
Mag je dit middelen? Wat is voorspellende waarde?
Ons devies: “Liever niks dan quasi-feiten”

30. c: EERLIJKE studentenoordelen
Er zijn twijfels geuit over de “onwaarschijnlijk”
sterk gestegen score bij toerisme-school TIO
Vraag:
• Kan de student bij alle opleidingen
onbevangen zijn oordeel geven?
• Of is er toch strategische beïnvloeding?
Maar bewijs is er niet.
Zou het dan toch allemaal wel meevallen?

31. c2: EERLIJKE studentenoordelen
Feb 2014: Mail opleiding X aan studenten
“.. Nog lang niet iedereen heeft deze enquête ingevuld. Daarom
vraag ik jullie persoonlijk, als jullie coördinator, of jullie s.v.p. voor
ons team deze enquête toch willen invullen. Wij zouden hier heel
blij mee zijn. Want mooie cijfers voor onze Hogeschool in de NSE
betekent een positief licht voor ons allen in externe publicaties
zoals de Elsevier en de Keuzegids. Wij hopen dit jaar een mooie
plek te veroveren tussen de andere Hogescholen en hier gaan wij
dan ook echt voor!
Discussie: is dit OP of OVER het randje?

32. c2: EERLIJKE studentenoordelen
Maar het gaat verder..
“.. Dat betekent natuurlijk niet dat er niets te verbeteren zou zijn.
Echter opmerkingen ter verbetering hebben in de NSE, vanwege
de lange tijd die het duurt voordat de resultaten bekend zijn,
weinig effect. Veel beter is het om dit opmerkingen in evaluaties
van modules te maken of richting mij te ventileren.
Kortom de slogan is: Ben je ergens tevreden over, zeg het de NSE
en ben je ergens ontevreden over, zeg het ons…”
Als zulke manipulatie mogelijk is, is het de bijl aan de slagader
van de studiekeuzeinformatie. Althans – als het werkt!
Naschrift: Deze teamleider zal spijt hebben van zijn actie. Want
(a) hij is betrapt en (b) de scores van de opleiding zijn in 2014
duidelijk gedaald. Studenten laten zich niet zó makkelijk sturen!

33. Er zijn nog vele voorbeelden van incomplete, halve,
verouderde en onwaarheden. Kiest u er één:
• Instroom/omvang opleidingen
• Studiesucces
• Selectie/loting
• Collegegeld/studiekosten
• Toelatingseisen masters
• Uitval/rendement masters
• Positie op de arbeidsmarkt
3. Voorbeeld d: kiest u maar!

34. 4. Slot: perspectief
De meeste ‘studiekeuze-informatie’ betreft de
gemiddelde student. Maar wie is dat?
Wordt het geen tijd om meer te differentiëren:
- Mannen/vrouwen
- Vooropleiding
- Profiel, voorkeuren, competenties
Over 5 jaar lachen we hopelijk om de standaard-
benadering van nu.