Presentatie Evaluatiedesign - Arjan Heyma (SEO)

619 views

Published on

Published in: Travel, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
619
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Goedgekeurde aanpak voor onderzoeksdesign is voor de jury een belangrijk beoordelingspunt.
  • Onderzoekers bieden dus ondersteuning, trekkerscholen blijven zelf verantwoordelijk voor ingediende voorstellen. Aan onderzoekers is gevraagd om een effectmeting mogelijk te maken; dat betekent dus ook letten op de meerwaarde van innovatieconcepten, op de overdraagbaarheid naar andere scholen en de belangstelling van andere scholen.
  • Stel we meten de arbeidsproductiviteit (bijvoorbeeld het aantal leerlingen per leerkracht). Na de innovatie blijkt de arbeidsproductiviteit lager te zijn geworden. Dit blijkt uit het verschil tussen de voormeting en de nameting. Maar hoe zou dat zijn geweest zonder die innovatie?
  • Stel er wordt in de tussentijd bij de CAO onderhandelingen besloten de maximum lestaak te verlagen, waardoor het aantal benodigde leraren per leerling stijgt en de arbeidsproductiviteit meer daalt dan we bij de experimentschool zien. In dat geval blijkt de innovatie toch een positief effect te hebben op de arbeidsproductiviteit. Maar daar komen we nooit achter, want we meten niet wat ‘er zou zijn gebeurt zonder innovatie’: de “counterfactual”
  • Als we een school vinden die in alle opzichten op de experimentschool lijkt, dan kunnen we de arbeidsproductiviteit misschien goed vergelijken. Maar hoe weten we zo zeker dat de ‘vergelijkbare’ school dezelfde ontwikkeling in arbeidsproductiviteit heeft doorgemaakt? Dat kunnen we aannemelijk maken met argumenten of het bij voorbaat zeker stellen door een experimenteel design.
  • Er is in de ingeleverde concepten al flink meegedacht over relevante indicatoren!
  • Aantal en tijdstip van metingen hangen af van innovatieconcepten en van vergelijkbaarheid daartussen.
  • Daarna gaan de onderzoekers experimentscholen ondersteunen bij het verder ontwikkelen van een indvidueel evaluatiedesign wat onderdeel vormt van het projectplan dat moet worden ingediend voor het verkrijgen van de IIO subsidie.
  • Let op combinatie van naam concept en naam onderzoeker
  • Presentatie Evaluatiedesign - Arjan Heyma (SEO)

    1. 1. Hulp bij het opzetten van een evaluatiedesign voor effectmeting IIO Presentatie voor InnovatieImpuls Onderwijs Utrecht, 13 januari 2010 Arjan Heyma www.seo.nl - secretariaat@seo.nl - +31 20 525 1630
    2. 2. Onderwerpen <ul><li>Waarom een effectevaluatie? </li></ul><ul><li>Welke opdracht hebben de onderzoekers meegekregen? </li></ul><ul><li>Hoe ziet het globale evaluatiedesign eruit? </li></ul><ul><li>Wat kan er van de onderzoekers worden verwacht? </li></ul><ul><li>Wat gebeurt er vandaag? </li></ul>
    3. 3. Waarom een effectevaluatie? <ul><li>Eis bij FES-claim: </li></ul><ul><ul><li>Onderzoeksdesign moet voldoen aan door FES-beheerders goedgekeurde aanpak </li></ul></ul><ul><ul><li>Kennisoverdracht </li></ul></ul><ul><li>Toets of specifieke innovaties meerwaarde hebben en onder welke voorwaarden </li></ul><ul><li>Inzicht in welke innovaties het beste werken en waarom </li></ul>
    4. 4. Doel van de effectevaluatie IIO <ul><li>Vaststellen van netto effecten op de arbeidsproductiviteit, kwaliteit van het onderwijs en werkdruk van leraren van door besturen/scholen geïmplementeerde innovaties </li></ul><ul><li>Welke innovatieve, arbeidsbesparende maatregelen leiden tot een effectievere inzet van leraren, met behoud van de onderwijskwaliteit en zonder verhoging van de werkdruk? </li></ul>
    5. 5. Opdracht aan onderzoekers <ul><li>Ondersteunen van scholen bij het ontwerpen en uitwerken van een evaluatiedesign voor elk innovatieconcept </li></ul><ul><ul><li>Meetbaar maken van effectiviteit </li></ul></ul><ul><ul><li>Afstemming tussen innovatieconcepten </li></ul></ul><ul><li>Verzamelen en verspreiden van kennis over IIO innovaties en beantwoorden onderzoeksvragen: </li></ul><ul><ul><li>Wat zijn de netto effecten? </li></ul></ul><ul><ul><li>Wat zijn redenen voor verschillende uitkomsten? </li></ul></ul><ul><ul><li>Wat zijn succesfactoren en valkuilen? </li></ul></ul>
    6. 6. Effectmeting: voor en na
    7. 7. Effectmeting: de counterfactual
    8. 8. Effectmeting: identificatie door vergelijking
    9. 9. Effectmeting: experimenteel design <ul><li>Binnen een groep scholen dient willekeurig te worden bepaald wie de innovatie doorvoert en wie niet </li></ul><ul><li>Dan is er geen enkele aanleiding te veronderstellen dat de gemiddelde ontwikkeling van de arbeidsproductiviteit tussen experimentgroep en controlegroep verschilt, m.u.v. effect innovatie </li></ul><ul><li>Verschil-in-verschilmeting levert dan zuiver effect op </li></ul><ul><li>Met gelimiteerde subsidiegelden is loting handig selectie-mechanisme dat een zuivere effectmeting mogelijk maakt </li></ul>
    10. 10. Hoe gaat die loting in zijn werk? <ul><li>Trekkerscholen met een winnend concept worden (met een goed projectplan) sowieso toegelaten tot de experimentgroep </li></ul><ul><li>Onder de andere scholen die zich op een winnend concept inschrijven vindt loting plaats, waarbij nog aanvullende criteria kunnen worden gehanteerd </li></ul><ul><li>Scholen die worden uitgeloot worden gevraagd deel te nemen aan het onderzoek naar effecten van de IIO in ruil voor informatie over ontwikkelingen binnen de IIO en een financiële vergoeding </li></ul><ul><li>Bij onvoldoende belangstelling kan de effectmeting niet goed plaatsvinden en wordt subsidie uit FES-gelden twijfelachtig </li></ul>
    11. 11. Worden controlescholen beperkt? <ul><li>Controlescholen ontvangen geen subsidie voor de gewenste innovatie </li></ul><ul><li>Gelijktijdig invoeren van deze innovatie ongewenst </li></ul><ul><li>Later invoeren van gewenste innovatie geen probleem: leren van ervaringen met implementatie en effecten op experimentscholen </li></ul><ul><li>Andersoortige innovaties invoeren geen probleem (‘care-as-usual’) </li></ul>
    12. 12. Welke indicatoren worden gemeten? <ul><li>Arbeidsproductiviteit, bijvoorbeeld: </li></ul><ul><ul><li>Aantal leerlingen per FTE leerkrachten </li></ul></ul><ul><ul><li>Aantal leerlingen / onderwijstijd van leerkrachten </li></ul></ul><ul><li>Kwaliteit van het onderwijs, bijvoorbeeld: </li></ul><ul><ul><li>Cijfers </li></ul></ul><ul><ul><li>Toetsen </li></ul></ul><ul><ul><li>Aantal zittenblijvers </li></ul></ul><ul><ul><li>Tevredenheid leerlingen / ouders </li></ul></ul><ul><ul><li>Schoolklimaat (o.a. sfeer, veiligheid) </li></ul></ul><ul><li>Werkdruk bij leraren d.m.v. standaard vragenlijst </li></ul>
    13. 13. Wanneer vinden de metingen plaats? <ul><li>Voormeting, vanaf eind 2010 </li></ul><ul><li>Tussenmetingen </li></ul><ul><li>Nameting, uiterlijk september/oktober 2014 </li></ul>
    14. 14. Wat gaan de onderzoekers doen? <ul><li>Basisevaluatiedesign dat voldoet aan eisen FES-beheerders </li></ul><ul><li>Vandaag: eerste gesprekken met trekkerscholen </li></ul><ul><li>Komende weken: verdere specificatie van evaluatiedesign per innovatieconcept </li></ul><ul><li>Begin februari 2010: samenkomst onderzoekers en trekkerscholen voor laatste afstemming evaluatiedesign </li></ul><ul><li>15 februari: inleveren innovatieconcept inclusief uitgewerkt evaluatiedesign door trekkerscholen bij SenterNovem </li></ul>
    15. 15. Wat gebeurt er vandaag? <ul><li>Consults trekkerscholen bij onderzoekers met als doel: </li></ul><ul><ul><li>Kennismaking trekkerscholen met onderzoekers </li></ul></ul><ul><ul><li>Verhelderen van evaluatiedesign aan trekkerscholen </li></ul></ul><ul><ul><li>Verhelderen van innovatieconcept aan onderzoekers </li></ul></ul><ul><ul><li>Scherp krijgen van arbeidsproductiviteitverhogende werking van innovatie </li></ul></ul><ul><ul><li>Verkenning mogelijke indicatoren en beschikbare informatie hiervoor bij scholen </li></ul></ul><ul><ul><li>Uitwisselen gegevens voor vervolgafspraak </li></ul></ul>
    16. 16. Rooster voor consults met onderzoekers <ul><li>Blok 1: 12:30 – 12:55 uur </li></ul><ul><li>Blok 2: 13:00 – 13:25 uur </li></ul><ul><li>Blok 3: 13:30 – 13:55 uur </li></ul><ul><li>Pauze </li></ul><ul><li>Blok 4: 14:30 – 14:55 uur </li></ul><ul><li>Blok 5: 15:00 – 15:25 uur </li></ul><ul><li>Blok 6: 15:30 – 15:55 uur </li></ul>

    ×