SlideShare a Scribd company logo
Hulp bij het opzetten van een evaluatiedesign voor effectmeting IIO Presentatie voor InnovatieImpuls Onderwijs Utrecht, 13 januari 2010 Arjan Heyma www.seo.nl - secretariaat@seo.nl - +31 20 525 1630
Onderwerpen ,[object Object],[object Object],[object Object],[object Object],[object Object]
Waarom een effectevaluatie? ,[object Object],[object Object],[object Object],[object Object],[object Object]
Doel van de effectevaluatie IIO ,[object Object],[object Object]
Opdracht aan onderzoekers ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Effectmeting: voor en na
Effectmeting: de counterfactual
Effectmeting: identificatie door vergelijking
Effectmeting: experimenteel design ,[object Object],[object Object],[object Object],[object Object]
Hoe gaat die loting in zijn werk? ,[object Object],[object Object],[object Object],[object Object]
Worden controlescholen beperkt? ,[object Object],[object Object],[object Object],[object Object]
Welke indicatoren worden gemeten? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Wanneer vinden de metingen plaats? ,[object Object],[object Object],[object Object]
Wat gaan de onderzoekers doen? ,[object Object],[object Object],[object Object],[object Object],[object Object]
Wat gebeurt er vandaag? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]
Rooster voor consults met onderzoekers ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

More Related Content

Similar to Presentatie Evaluatiedesign - Arjan Heyma (SEO)

F.A.Q. bij de workshop "STEM-activiteiten ontwikkelen"; Pieter van der Hijden
F.A.Q. bij de workshop "STEM-activiteiten ontwikkelen"; Pieter van der Hijden F.A.Q. bij de workshop "STEM-activiteiten ontwikkelen"; Pieter van der Hijden
F.A.Q. bij de workshop "STEM-activiteiten ontwikkelen"; Pieter van der Hijden
Pieter van der Hijden
 
OWD11 implementatie digitaal toetsen
OWD11 implementatie digitaal toetsenOWD11 implementatie digitaal toetsen
OWD11 implementatie digitaal toetsenmetahofzicht
 
De Academische School, 12 Juni 2006
De Academische School, 12 Juni 2006De Academische School, 12 Juni 2006
De Academische School, 12 Juni 2006
iahpostmes
 
COO Implementatie en Evaluatie
COO Implementatie en EvaluatieCOO Implementatie en Evaluatie
COO Implementatie en Evaluatie
Elly Langewis
 
Blended learning en (e)-assessment
Blended learning en (e)-assessmentBlended learning en (e)-assessment
Blended learning en (e)-assessment
Luc Vandeput
 
Hoe organiseer je innovatie in de digitale leeromgeving?
Hoe organiseer je innovatie in de digitale leeromgeving?Hoe organiseer je innovatie in de digitale leeromgeving?
Hoe organiseer je innovatie in de digitale leeromgeving?
SURF Events
 
Gepersonaliseerd Onderwijs, wat gebeurt er in Nederland? (2014)
Gepersonaliseerd Onderwijs, wat gebeurt er in Nederland? (2014)Gepersonaliseerd Onderwijs, wat gebeurt er in Nederland? (2014)
Gepersonaliseerd Onderwijs, wat gebeurt er in Nederland? (2014)
Kennisnet
 
Publicatie samen examens maken (november 2016)
Publicatie samen examens maken (november 2016)Publicatie samen examens maken (november 2016)
Publicatie samen examens maken (november 2016)
servicepuntihks
 
Workshop 14oktober2010
Workshop 14oktober2010Workshop 14oktober2010
Workshop 14oktober2010
Ilya Zitter
 
En wat nou als we de student eigenaar zouden maken van het toetsen?
En wat nou als we de student eigenaar zouden maken van het toetsen? En wat nou als we de student eigenaar zouden maken van het toetsen?
En wat nou als we de student eigenaar zouden maken van het toetsen?
robert bouwhuis
 
Personaliseren netwerk personaliserenl
Personaliseren netwerk personaliserenlPersonaliseren netwerk personaliserenl
Personaliseren netwerk personaliserenl
Kennisnet
 
Mgo Paper Ord2011 Versie 05062011
Mgo Paper Ord2011 Versie 05062011Mgo Paper Ord2011 Versie 05062011
Mgo Paper Ord2011 Versie 05062011
Heks1956
 
Digitaal toetsen in de versnelling
Digitaal toetsen in de versnellingDigitaal toetsen in de versnelling
Digitaal toetsen in de versnelling
SURF Events
 
Startup in Residence EdTech - Lot Westerveld, Caro Jongert (Versnellingsplan,...
Startup in Residence EdTech - Lot Westerveld, Caro Jongert (Versnellingsplan,...Startup in Residence EdTech - Lot Westerveld, Caro Jongert (Versnellingsplan,...
Startup in Residence EdTech - Lot Westerveld, Caro Jongert (Versnellingsplan,...
SURF Events
 
Hogeschoolbrede onderwijsprincipes voor actief studeren
Hogeschoolbrede onderwijsprincipes voor actief studerenHogeschoolbrede onderwijsprincipes voor actief studeren
Hogeschoolbrede onderwijsprincipes voor actief studeren
holink2018
 
Workshop Integratie van ICT in natuur- en techniekonderwijs
Workshop Integratie van ICT in natuur- en techniekonderwijsWorkshop Integratie van ICT in natuur- en techniekonderwijs
Workshop Integratie van ICT in natuur- en techniekonderwijs
Petra Fisser
 
091028 Ocw (Inl.+Vragen)
091028 Ocw (Inl.+Vragen)091028 Ocw (Inl.+Vragen)
091028 Ocw (Inl.+Vragen)NielW
 
Verleiden met lef en vertrouwen: digitaal toetsen bij Avans Hogeschool
Verleiden met lef en vertrouwen: digitaal toetsen bij Avans HogeschoolVerleiden met lef en vertrouwen: digitaal toetsen bij Avans Hogeschool
Verleiden met lef en vertrouwen: digitaal toetsen bij Avans Hogeschool
LICAvansHogeschool
 

Similar to Presentatie Evaluatiedesign - Arjan Heyma (SEO) (20)

F.A.Q. bij de workshop "STEM-activiteiten ontwikkelen"; Pieter van der Hijden
F.A.Q. bij de workshop "STEM-activiteiten ontwikkelen"; Pieter van der Hijden F.A.Q. bij de workshop "STEM-activiteiten ontwikkelen"; Pieter van der Hijden
F.A.Q. bij de workshop "STEM-activiteiten ontwikkelen"; Pieter van der Hijden
 
OWD11 implementatie digitaal toetsen
OWD11 implementatie digitaal toetsenOWD11 implementatie digitaal toetsen
OWD11 implementatie digitaal toetsen
 
De Academische School, 12 Juni 2006
De Academische School, 12 Juni 2006De Academische School, 12 Juni 2006
De Academische School, 12 Juni 2006
 
COO Implementatie en Evaluatie
COO Implementatie en EvaluatieCOO Implementatie en Evaluatie
COO Implementatie en Evaluatie
 
Presentatie Fietje Vaas
Presentatie Fietje VaasPresentatie Fietje Vaas
Presentatie Fietje Vaas
 
Presentatie Fietje Vaas
Presentatie Fietje VaasPresentatie Fietje Vaas
Presentatie Fietje Vaas
 
Blended learning en (e)-assessment
Blended learning en (e)-assessmentBlended learning en (e)-assessment
Blended learning en (e)-assessment
 
Hoe organiseer je innovatie in de digitale leeromgeving?
Hoe organiseer je innovatie in de digitale leeromgeving?Hoe organiseer je innovatie in de digitale leeromgeving?
Hoe organiseer je innovatie in de digitale leeromgeving?
 
Gepersonaliseerd Onderwijs, wat gebeurt er in Nederland? (2014)
Gepersonaliseerd Onderwijs, wat gebeurt er in Nederland? (2014)Gepersonaliseerd Onderwijs, wat gebeurt er in Nederland? (2014)
Gepersonaliseerd Onderwijs, wat gebeurt er in Nederland? (2014)
 
Publicatie samen examens maken (november 2016)
Publicatie samen examens maken (november 2016)Publicatie samen examens maken (november 2016)
Publicatie samen examens maken (november 2016)
 
Workshop 14oktober2010
Workshop 14oktober2010Workshop 14oktober2010
Workshop 14oktober2010
 
En wat nou als we de student eigenaar zouden maken van het toetsen?
En wat nou als we de student eigenaar zouden maken van het toetsen? En wat nou als we de student eigenaar zouden maken van het toetsen?
En wat nou als we de student eigenaar zouden maken van het toetsen?
 
Personaliseren netwerk personaliserenl
Personaliseren netwerk personaliserenlPersonaliseren netwerk personaliserenl
Personaliseren netwerk personaliserenl
 
Mgo Paper Ord2011 Versie 05062011
Mgo Paper Ord2011 Versie 05062011Mgo Paper Ord2011 Versie 05062011
Mgo Paper Ord2011 Versie 05062011
 
Digitaal toetsen in de versnelling
Digitaal toetsen in de versnellingDigitaal toetsen in de versnelling
Digitaal toetsen in de versnelling
 
Startup in Residence EdTech - Lot Westerveld, Caro Jongert (Versnellingsplan,...
Startup in Residence EdTech - Lot Westerveld, Caro Jongert (Versnellingsplan,...Startup in Residence EdTech - Lot Westerveld, Caro Jongert (Versnellingsplan,...
Startup in Residence EdTech - Lot Westerveld, Caro Jongert (Versnellingsplan,...
 
Hogeschoolbrede onderwijsprincipes voor actief studeren
Hogeschoolbrede onderwijsprincipes voor actief studerenHogeschoolbrede onderwijsprincipes voor actief studeren
Hogeschoolbrede onderwijsprincipes voor actief studeren
 
Workshop Integratie van ICT in natuur- en techniekonderwijs
Workshop Integratie van ICT in natuur- en techniekonderwijsWorkshop Integratie van ICT in natuur- en techniekonderwijs
Workshop Integratie van ICT in natuur- en techniekonderwijs
 
091028 Ocw (Inl.+Vragen)
091028 Ocw (Inl.+Vragen)091028 Ocw (Inl.+Vragen)
091028 Ocw (Inl.+Vragen)
 
Verleiden met lef en vertrouwen: digitaal toetsen bij Avans Hogeschool
Verleiden met lef en vertrouwen: digitaal toetsen bij Avans HogeschoolVerleiden met lef en vertrouwen: digitaal toetsen bij Avans Hogeschool
Verleiden met lef en vertrouwen: digitaal toetsen bij Avans Hogeschool
 

Presentatie Evaluatiedesign - Arjan Heyma (SEO)

Editor's Notes

  1. Goedgekeurde aanpak voor onderzoeksdesign is voor de jury een belangrijk beoordelingspunt.
  2. Onderzoekers bieden dus ondersteuning, trekkerscholen blijven zelf verantwoordelijk voor ingediende voorstellen. Aan onderzoekers is gevraagd om een effectmeting mogelijk te maken; dat betekent dus ook letten op de meerwaarde van innovatieconcepten, op de overdraagbaarheid naar andere scholen en de belangstelling van andere scholen.
  3. Stel we meten de arbeidsproductiviteit (bijvoorbeeld het aantal leerlingen per leerkracht). Na de innovatie blijkt de arbeidsproductiviteit lager te zijn geworden. Dit blijkt uit het verschil tussen de voormeting en de nameting. Maar hoe zou dat zijn geweest zonder die innovatie?
  4. Stel er wordt in de tussentijd bij de CAO onderhandelingen besloten de maximum lestaak te verlagen, waardoor het aantal benodigde leraren per leerling stijgt en de arbeidsproductiviteit meer daalt dan we bij de experimentschool zien. In dat geval blijkt de innovatie toch een positief effect te hebben op de arbeidsproductiviteit. Maar daar komen we nooit achter, want we meten niet wat ‘er zou zijn gebeurt zonder innovatie’: de “counterfactual”
  5. Als we een school vinden die in alle opzichten op de experimentschool lijkt, dan kunnen we de arbeidsproductiviteit misschien goed vergelijken. Maar hoe weten we zo zeker dat de ‘vergelijkbare’ school dezelfde ontwikkeling in arbeidsproductiviteit heeft doorgemaakt? Dat kunnen we aannemelijk maken met argumenten of het bij voorbaat zeker stellen door een experimenteel design.
  6. Er is in de ingeleverde concepten al flink meegedacht over relevante indicatoren!
  7. Aantal en tijdstip van metingen hangen af van innovatieconcepten en van vergelijkbaarheid daartussen.
  8. Daarna gaan de onderzoekers experimentscholen ondersteunen bij het verder ontwikkelen van een indvidueel evaluatiedesign wat onderdeel vormt van het projectplan dat moet worden ingediend voor het verkrijgen van de IIO subsidie.
  9. Let op combinatie van naam concept en naam onderzoeker