Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Toepassingen van Student Analytics voor studieadviseurs

1,217 views

Published on

Jelger van Zaane, Vrije Universiteit - HOlink2018 - donderdag 7 juni - sessieronde 1 - Boston 19

Published in: Education
  • Be the first to comment

  • Be the first to like this

Toepassingen van Student Analytics voor studieadviseurs

  1. 1. VAN INFORMATIE NAAR ACCEPTATIE ONDERZOEK NAAR STUDIESUCCES AAN DE VU BINNEN RICHTLIJNEN VOOR ETHIEK EN PRIVACY 9 JUNI 2018, V1 HO-LINK
  2. 2. V STUDENT ANALYTICS AAN DE VU – DOET DE VU AAN BIG DATA? VOLUME V VARIETY V VELOCITY V VALUE V600+ externe uren 5.768 interne uren sprints van 3 weken >1500 kenmerken 39 bronnen 7 jaar aan data 169.023 inschrijvingen 4.400.000 resultaten 21,8 GB aan data begeleiding 381 studenten dagelijkse frequentie van data 752 bestanden 3 academische jaren Juni2018 10 wetenschappelijke projecten voorlichting 62.000 studenten 10 beleidsrapporten >30 beleids- dashboards 112 presentaties
  3. 3. DOELEN – WAT WIL DE VU MET STUDENT ANALYTICS BEREIKEN? 3 Student Analytics Verkennen en ontdekken, voorspellen, actiegerichte inzichten fore-sightinsighthindsight Business intelligence Feiten begrijpen, rapportage verleden en huidige prestatie Data extractie & integratie Prestaties meten & rapporteren Visualisaties Segmentatie & statistisch clusteren Voorspellende modellen Optimalisatie, simulatie & scenario analyse Management- informatie (MIVU) (SAP BW) Met inzet van Student Analytics wil de VU evidence based, actiegericht inzichten ontwikkelen voor verbetering van instroom, doorstroom en uitstroom van studenten ten gunste van begeleiding, beleidsvorming en wetenschappelijk onderzoek. V
  4. 4. Geslacht Leeftijd op 1 oktober Land van herkomst VO Gezinssamenstelling Profielkeuze Vooropleiding en onderwijsinstelling Tussenjaren / Jaren sinds diploma Verblijfsjaren Voorlichting en introductie Matching Eindexamencijfers Uitslagen taaltoets VU Studieprestaties aan de VU Honours en Cum Laude Studenttevredenheid Uitval en diplomarendement Alumnidata Studiesucces & tevredenheid Stroominformatie Geografische spreiding (GIS) Kwaliteit scholen Achtergrond scholen DATA – DATA EN KENMERKEN DIE ZIJN VERZAMELD 4 Instroom Vooropleiding & aansluiting Demografie Als basis voor verschillende soorten analyses, beleidsontwikkeling en wetenschappelijk onderzoek zijn de volgende soorten data verzameld, waarvan het grootste gedeelte is gebruikt voor analyses van studiesucces in de bachelor: Bijzondere persoonsgegevens Opgenomen in de dataset voor wetenschappelijk onderzoek, maar niet gebruikt in analyses binnen het project: • Eerste generatie & etniciteit, geboorteland • Functiebeperking
  5. 5. N IET ZO FIJN …
  6. 6. KWALITEITSBORGING 6 Hoe borgen we de kwaliteit van ons werk... De VU
  7. 7. WE HEBBEN ONZE QUALITY ASSURANCE VERBETERD 7 Randall Munroe, CC BY-NC Wat hebben we gedaan? • Automatisering en testen van onze statistische waarde keten • Statistisch documentatie van onze modellen • Wetenschappelijke / academische reviews • Disclaimers over correlatie and causalitet (next slide) • Code of Practice Privacy en Ethiek • Procedures om evidence based policy making te ondersteunen
  8. 8. DISCLAIMER & TOESTEMMING VOOR GEBRUIK VAN DIT MATERIAAL 8 Bij deze presentatie dient de lezer met het volgende rekening te houden: Correlatie & causaliteit Van de verbanden die zijn gevonden in dit onderzoek is geen causaliteit aangetoond; enkel correlatie. Het kan zijn dat de correlatie verklaard wordt uit achterliggende, interveniërende variabelen. Dit is niet bekend; verder onderzoek hiernaar is nodig. Uitvoering van het onderzoek Het onderzoek is uitgevoerd door de VU in samenwerking met Deloitte Consulting. Het rapport is geschreven door medewerkers van het team Institutional Research van de afdeling Onderwijs- en Studentzaken. Representatief enkel voor de VU De uitkomsten van dit onderzoek zijn representatief voor de bachelor instroom in de VU (eerstejaars opleiding aan de instelling van 2010 tot en met 2015); het is niet gezegd dat deze uitkomsten ook voor overige Nederlandse universiteiten van toepassing zijn. Toestemming voor gebruik van gegevens uit deze publicatie Gebruik van gegevens uit deze publicatie is uitsluitend toegestaan onder voorwaarde dat het artikel waarin deze gegevens worden opgenomen door de VU gecontroleerd kan worden op feitelijke onjuistheden en deze – indien geconstateerd – worden aangepast. Zie het colofon voor contactgegevens (laatste pagina).
  9. 9. VEEL B ETER !
  10. 10. ROLLEN – SLEUTELROLLEN IN ANALYTICS 11 Business User Database administrator (DBA) Privacy Officer Project Manager Project Sponsor Business Intelligence Analyst Security Officer In de ontwikkeling en toepassing van Analytics zijn de volgende sleutelrollen van belang geweest: V Data Engineer Data Scientist
  11. 11. KWALITEITSZORG – STATISTISCHE WAARDEKETEN 12 Bron: CBS 2013, p7 (vertaald) . Ruwe data Technisch correcte data Consistente data IV Verrijkte Analyseset V Statistische resultaten variabele controle, normalisatie repareren en opvullen schatten, analyseren, afleiden. tabellen, plots Statistische waardeketen Per stap in de keten neemt de waarde en bruikbaarheid van de data toe 1. > 2. Naar technisch correcte data DTMAANMLDNG > INS_Datum_aanmelding 2. > 3. Naar consistente data Format: dd-mm-yyyy; Missende data opvullen met de meest voorkomende aanmelddatum (= 30 april) 3. > 4. Naar een verrijkte analyseset INS_Aantal_dagen_tussen_aanmelding_en_1_ september INS_Aanmelding_na_deadline OPL_Deadline_aanmelding 4. > 5. Naar statistische resultaten Kans op uitval in relatie tot aantal dagen tot 1 september. 5. > 6. Naar actiegerichte inzichten VI Rapporten, dashboards,etc Verrijken en samenvoegen 1 2 3 4 5 6
  12. 12. KWALITEITSZORG – STATISTISCHE WAARDEKETEN 13 Tableau gebruiken we voor het snel visualiseren van mogelijke verbanden en toelichtingen in rapporten. Ter illustratie
  13. 13. KWALITEITSZORG – STATISTISCHE WAARDEKETEN 14 VOORSPELMODEL BACHELOR UITVAL NA 1 JAAR BIJLAGE III – STUDENT ANALYTICS 2016 VERSIE 5, 6 MAART 2017 Martijn Meeter Hoogleraar Onderwijskunde VU Sandjai Bhulai Hoogleraar Data Analytics VU Wetenschappelijke bijlage voorspelmodel Wetenschappelijke toetsing Methodiek en uitkomsten worden gevalideerd door wetenschappers van de VU
  14. 14. PRIVACY & ETHIEK 15 Uitgangspunten ten aanzien van privacy & ethiek... De VU CODE OF PRACTICE STUDENT ANALYTICS 2017 UITGANGSPUNTEN IN PRIVACY & ETHIEK 11 OKTOBER 2017, V0.9 CONCEPT
  15. 15. ETHIEK & PRIVACY – CODE OF PRACTICE 16 Code of Practice Waar staat de VU voor in het gebruik van Student Analytics CODE OF PRACTICE STUDENT ANALYTICS 2017 UITGANGSPUNTEN IN PRIVACY & ETHIEK 11 OKTOBER 2017, V0.9 CONCEPT In februari 2018 heeft de VU een Code of Practice Privacy & Ethiek gepubliceerd voor Student Analytics Deze Code of Practice is bedoeld om: I. Studenten te informeren over wat Student Analytics is en de wijze waarop de VU hun persoonsgegevens in dit kader verwerkt. II. Medewerkers en onderzoekers te informeren over de wijze waarop Student Analytics binnen de VU mag worden ingezet en de waarborgen die daarbij in acht moeten worden genomen.
  16. 16. ETHIEK & PRIVACY – EEN KORTE GESCHIEDENIS 1. Pilot project met analyse van data • Proof of concept met Deloitte - Project Privacy Impact Assessment (PIA) – overleg uitkomsten met CvB 2. Uitbreiding project & pilot met begeleiding van studenten • Uitbreiding Student analytics - Project PIA • Toestemmingsprocedure voor pilot met begeleiding van studenten 3. Onderzoek naar ethische vraagstukken • Code of practice v1 – privacy; klankbordgroep – ethische vragen (Studenten, studentbegeleiders, docenten) • Code of practice v2 – privacy & ethiek 4. Procedure voor verdere verspreiding binnen en buiten de VU • Procedure voor kennisname door personeel • FAQ voor studenten (met USR) • Code of practice v2 CC – privacy & ethiek – Creative Commons • Engelse vertaling 17 2014 2015 2016 2017 2018
  17. 17. ETHIEK & PRIVACY – THEMA’S DIE MEESPELEN Verantwoordelijkheid Transparantie & Instemming Toegankelijkheid Privacy Validiteit van onderzoek Positieve interventies mogelijk maken Negatieve effecten zo klein mogelijk maken Zorgvuldig beheer van de data 18 Voorbeeld Code of practice van JISC Op de volgende thema’s wilden we een duidelijke, publieke visie formuleren NB De situatie in de UK is niet 1-op-1 gelijk aan de situatie in Nederland
  18. 18. ETHIEK & PRIVACY – JURIDISCHE ZAKEN Verantwoordelijkheid Transparantie & Instemming Toegankelijkheid Privacy Validiteit van onderzoek (M. Meeter) Positieve interventies mogelijk maken Negatieve effecten zo klein mogelijk maken Zorgvuldig beheer van de data 19 Op de meeste onderdelen was deze visie al uitgewerkt door de privacy officers van Juridische Zaken Petra Tolen en Tom Paffen
  19. 19. ETHIEK & PRIVACY – DISCUSSIE OVER INSTEMMING & ETHIEK Verantwoordelijkheid Transparantie & Instemming Toegankelijkheid Privacy Validiteit van onderzoek Positieve interventies mogelijk maken Negatieve effecten zo klein mogelijk maken Zorgvuldig beheer van de data 20 A. Inspraak & instemming B. Positieve interventies mogelijk maken C. Negatieve effecten zo klein mogelijk maken Voor verdieping van een aantal thema’s hebben we een bijeenkomst georganiseerd met studenten en medewerkers
  20. 20. CASE – LATE AANMELDERS Uit student analytics onderzoek blijkt dat studenten die zich na 1 mei aanmelden vaker uitvallen. Hoe dichter bij 1 september, des te hoger de uitval. Ook komen zij niet naar introductiedagen. Een opleidingsdirecteur wil op basis hiervan studenten die na 1 mei komen voortaan strenger beoordelen en hen niet meer toelaten. Hij stelt voor om een geautomatiseerde mail te maken die de studenten direct afwijst. • Wat vind je vanuit de wet op de privacy van deze praktijk? • Wat vind je vanuit ethische uitgangspunten van deze praktijk? • Wat vind je vanuit validiteit van conclusies van deze praktijk? 21 1
  21. 21. CASE – LATE AANMELDERS Privacy • Geautomatiseerde toepassing van algoritmes zonder menselijke tussenkomst is niet toegestaan Ethische uitgangspunten • De VU wil een inclusieve universiteit zijn. Selectie op basis van student analytics is niet toegestaan Validiteit • Een late keuze duidt vaak op een langere geschiedenis in het VWO en HO, niet per se op gebrek aan motivatie. Met name studenten die herexamens doen, een negatief BSA hebben elders, een HBO-P diploma of zijn uitgeloot bij Geneeskunde schrijven zich later in. 22 Beleid • We passen voorlichtingsteksten van de website in het algemeen aan zodat late studenten zich beter herkennen (voorgenomen beleid) • We overwegen aanvullend open dagen te organiseren in de zomer • We hebben een 2-daagse introductie georganiseerd met praktische aanwijzingen 1
  22. 22. CASE – ONDERWIJSVERNIEUWING OCW schrijft een subsidie uit voor docenten voor verbetering van onderwijs. Een docent belt op naar het Student Analytics team met de vraag hoeveel studenten er met een allochtone achtergrond zijn en wat hun studiesucces is. Op basis hiervan wil zij haar onderwijs aanpassen zodat allochtone studenten betere studierendementen halen. Dit wil ze in haar voorstel voor OCW opnemen. • Wat vind je vanuit de wet op de privacy van deze praktijk? • Wat vind je vanuit ethische uitgangspunten van deze praktijk? • Wat vind je vanuit validiteit van conclusies van deze praktijk? 23 2
  23. 23. CASE – ONDERWIJSVERNIEUWING Privacy • Informatie over etniciteit valt onder bijzondere persoonsgegevens. Deze mogen niet gebruikt worden voor de ontwikkeling van onderwijsbeleid, zonder toestemming van de student. Ethische uitgangspunten • De VU wil een inclusieve universiteit zijn. Daarom ondersteunt zij wetenschappelijk onderzoek naar het studiesucces van studenten door wetenschappelijk personeel. Validiteit • De hoogleraar diversiteit, Maurice Crul, heeft een onderzoek uitgevoerd naar het studiesucces van allochtone studenten in samenwerking met de EUR en LEI. 24 Beleid • De docent kan verwijzen naar het algemene onderzoeksrapport over studiesucces van de hoogleraar diversiteit. Data over uitval in relatie tot etniciteit wordt niet ter beschikking gesteld. 2
  24. 24. CASE – LANGSTUDEERDERS Uit Student Analytics blijkt dat bij een opleiding langstudeerders die twee jaar langer studeren een achterstand hebben in jaar 1 van 12 studiepunten. Studieadviseurs willen op basis hiervan alle studenten met 12 punten achterstand specifiek oproepen en maken een gerichte mailing voor deze groep om alvast op gesprek te komen. • Wat vind je vanuit de wet op de privacy van deze praktijk? • Wat vind je vanuit ethische uitgangspunten van deze praktijk? • Wat vind je vanuit validiteit van conclusies van deze praktijk? 25 3
  25. 25. CASE – LANGSTUDEERDERS Privacy • Door alleen studenten met 12 punten achterstand op te roepen in jaar 2 wordt profiling toegepast. Dit is niet toegestaan zonder toestemming van de student. Ethische uitgangspunten • De VU wil dat Student Analytics ingezet wordt voor het studiesucces van alle studenten. Daarom wil de VU deze informatie wel gebruiken voor verbetering van algemene voorlichting en begeleiding. Validiteit • Welke studenten hebben naar verhouding vaker deze achterstand in jaar 1? Is er een verband met de vooropleiding/profielkeuze en het curriculum? • Wanneer komen de studenten die het betreft erachter dat ze langer zullen gaan studeren? Wanneer komen zij bij de studieadviseur? • Is het voor de student gewenst of ongewenst lang studeren? 26 Beleid • Het eerste jaar wordt geanalyseerd op struikelvakken in relatie tot de vooropleiding; hiermee kan aanvullende voorlichting ontworpen worden of aanvullende training op deficiënties, bijv. wiskunde of juist het lezen van academische teksten. • Alle studenten in het tweede jaar krijgen algemene informatie over studievoortgang en achterstand in het tweede jaar en de mogelijkheid van een studievoortgangsgesprek; struikelvakken in jaar 2 worden niet parallel gepland aan die van jaar 1. 3
  26. 26. ETHIEK & PRIVACY – DE UITKOMSTEN ZIJN VERWERKT IN DE CODE OF PRACTICE 27 De ethische uitgangspunten die daaruit voortkwamen zijn gekoppeld aan de kernwaarden van de VU VERANTWOORDELIJK PERSOONLIJK OPEN Het belang van de student • Verantwoord en wezenlijk onderdeel van de onderwijspraktijk • Onpartijdige en inclusieve deelname aan onderwijs • Naleving van privacy en zorgvuldige afweging van voor- en nadelen Studiesucces • Verbetering van evidence based begeleiding, beleid, aansluiting en facilitering van wetenschappelijk onderzoek Transparantie • Gebruik van data in uitvoering en besluitvorming • Instructies aan gebruikers • Individuele toepassing van prognosemodellen alleen met toestemming van de student Ontleend aan CSU Learning Analytics Code of Practice 2016
  27. 27. ETHIEK & PRIVACY – DISCUSSIE OVER INSTEMMING & ETHIEK 28 1. Inspraak van studenten op analytics Hoe kunnen het beste studenten inspraak hebben op de data die verzameld wordt en hoe die gebruikt worden voor analytics? 2. Nadelige invloed van opt out door een individu Als een student de gelegenheid heeft om geen toestemming te geven om data te gebruiken, kan dit dan een negatieve impact hebben op zijn/haar academische voortgang? 3. Nadelige invloed van opt out op een groep Als individuele studenten geen toestemming zouden geven, wordt de dataset dan incompleet, waardoor de accuraatheid en effectiviteit van analytics voor de gehele groep mogelijk afneemt? 4. Gebrek aan een vrije keuze om wel of niet in te stemmen Hebben studenten echte keuzevrijheid als er vanuit een onderwijsinstelling druk wordt uitgeoefend of omdat zij denken dat hun academisch succes beïnvloed kan worden als zij niet instemmen? A. Inspraak & instemming
  28. 28. DISCUSSIE PRIVACY & ETHIEK 29 B. Positieve interventies mogelijk maken 1. Plicht van de onderwijsinstelling om te handelen Welke plicht heeft een onderwijsinstelling om te handelen, als er bewijs is dat studenten baat kunnen hebben met extra ondersteuning? 2. Plicht van studenten om te handelen Welke plicht hebben studenten als analytics aanbevelingen zou doen om hun studievoortgang te verbeteren? 3. Conflict met studiedoelen Wat zou een student moeten doen als deze aanbevelingen in conflict zijn met zijn/haar studiedoelen? 4. Plicht om directieve adviezen te geven Welke plicht heeft een onderwijsinstelling naar de student als analytics zou aanbevelen om een studiepad niet verder te volgen? 5. Soort interventies Hoe kunnen we het beste bepalen welke interventies geschikt zijn? 6. Noodzakelijkheid voor menselijke tussenkomst Is het beter om analytics te presenteren via een intermediair (bijv. een begeleider of tutor) of zou dit via een systeem kunnen gebeuren?
  29. 29. DISCUSSIE PRIVACY & ETHIEK 30 C. Negatieve effecten zo klein mogelijk maken 1. Bevoordelen van sommige groepen Hoe wordt voorkomen dat interventie strategieën sommige groepen bevoordelen? 2. Invloed van bevooroordeling Hoe voorkomt een onderwijsinstelling dat labelling of profiling leidt tot bevooroordeling van medewerkers en hun houding naar studenten? 3. Oversimplificatie Hoe kan een onderwijsinstelling voorkomen dat besluiten genomen worden op te simpele variabelen die persoonlijke omstandigheden niet meenemen? 4. Nadelige invloed op studiegedrag Als studenten inzicht krijgen in data over hun prestaties, hoe wordt voorkomen dat dit een nadelige invloed heeft op hun studiegedrag en de kans op uitval verhoogt?
  30. 30. ETHIEK & PRIVACY – DE UITKOMSTEN ZIJN VERWERKT IN DE CODE OF PRACTICE 31 Per toepassingsgebied zijn de uitgangspunten, doelen en privacy richtlijnen gedetailleerd uitgewerkt 1. Visie 2. Ethische uitgangspunten a. Het belang van de student b. Studiesucces c. Transparantie 3. Domeinen & doeleinden a. Beleidsvorming b. Studentbegeleiding c. Wetenschappelijk onderzoek d. Aansluiting VO/HBO > WO 4. Privacy I. Beleidsvorming II. Studentbegeleiding III. Wetenschappelijk onderzoek IV.Aansluiting VO/HBO > WO I. Beleidsvorming II. Student- begeleiding III. Wetenschappelijk onderzoek IV.Aansluiting VO en HBO Onderdelen 1. Welke gegevens, bijzondere persoonsgegevens, doel 2. Wettelijke grondslag 3. Bijzondere voorwaarden 4. Informatie aan studenten 5. Eindverantwoordelijke 6. Toegang 7. Deling met derden 8. Beveiliging 9. Bewaartermijn 10. Rechten van studenten 1 2 3
  31. 31. CONTACT 32 Theo Bakker Senior Beleidsadviseur Studiesucces & Onderwijslogistiek Student- en Onderwijszaken, Vrije Universiteit t.c.bakker@vu.nl | 06-25637172 Jelger van Zaane Data Engineer & Beleidsadviseur Student Analytics Student- en Onderwijszaken, Vrije Universiteit j.d.van.zaane@vu.nl | 020-5982330
  32. 32. VOORWAARDEN VOOR GEBRUIK VAN DEZE PUBLICATIE (1/2) Deze uitgave deelt de VU met externen onder de Creative Commons licentie: Naamsvermelding-NietCommercieel-GelijkDelen. 33 Dit is de vereenvoudigde (human-readable) versie van de volledige licentie en geen vervanging van de volledige licentie. Vrijwaring. Je bent vrij om: • het werk te delen — te kopiëren, te verspreiden en door te geven via elk medium of bestandsformaat • het werk te bewerken — te remixen, te veranderen en afgeleide werken te maken • De licentiegever kan deze toestemming niet intrekken zolang aan de licentievoorwaarden voldaan wordt. Onder de volgende voorwaarden: • Naamsvermelding — De gebruiker dient de maker van het werk te vermelden, een link naar de licentie te plaatsen en aan te geven of het werk veranderd is. Je mag dat op redelijke wijze doen, maar niet zodanig dat de indruk gewekt wordt dat de licentiegever instemt met je werk of je gebruik van het werk. • NietCommercieel — Je mag het werk niet gebruiken voor commerciële doeleinden. • GelijkDelen — Als je het werk hebt geremixt, veranderd, of op het werk hebt voortgebouwd, moet je het veranderde materiaal verspreiden onder dezelfde licentie als het originele werk. • Geen aanvullende restricties — Je mag geen juridische voorwaarden of technologische voorzieningen toepassen die anderen er juridisch in beperken om iets te doen wat de licentie toestaat.
  33. 33. VOORWAARDEN VOOR GEBRUIK VAN DEZE PUBLICATIE (2/2) (Vervolg) 34 De volledige versie van de licentie op deze publicatie is van toepassing. Zie https://creativecommons.org/licenses/by-nc-sa/4.0/legalcode.nl Let op: Voor elementen van het materiaal die zich in het publieke domein bevinden, en voor vormen van gebruik die worden toegestaan via een uitzondering of beperking in de Auteurswet, hoef je je niet aan de voorwaarden van de licentie te houden. Er worden geen garanties afgegeven. Het is mogelijk dat de licentie je niet alle gebruiksvrijheden geeft die nodig zijn voor het beoogde gebruik. Bijvoorbeeld, andere rechten zoals publiciteits-, privacy- en morele rechten kunnen het gebruik van een werk beperken.

×