Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"

1,639
-1

Published on

Afstudeer onderzoek t.b.v. Magistrum Master in Leadership and Education.
Waarin het door Astrid Ottenheym ontwikkelde zelfevaluatie-instrument MKVS geëvalueerd is.
Dit onderzoek is bekroond met de Magistrum Prijs uitgereikt door professor Eric Verbiest.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,639
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
11
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Master Onderzoek "Het zelfevaluatie-instrument MKVS de maat genomen"

  1. 1. ASTRID OTTENHEYMVLIEGEN ‘Het zelfevaluatie- instrument MKVS de maat genomen’ Een formatieve evaluatie van het zelfevaluatie-instrument MKVS, ontwikkeld ten behoeve van de kwaliteitszorg op montessorischolen die werken met het Montessori KindVolgSysteem. Windesheim-Nes-Magistrum Studentnummer: 1034216 Afstudeerbegeleider: drs. W. Folker
  2. 2. Inhoud Voorwoord ............................................................................................................ 5 1. Aanleiding .................................................................................................. 6 2. Het onderzoeksobject: het zelfevaluatie-instrument MKVS................................ 7 2.1 Het MKVS................................................................................................ 7 2.2 Het zelfevaluatie-instrument MKVS............................................................. 9 2.3 De opbouw en ontwikkeling van het instrument ..........................................10 2.3.1 Welke onderdelen bevat het zelfevaluatie-instrument MKVS? ....................10 2.3.2 Hoe is het zelfevaluatie-instrument ontwikkeld?.......................................11 2.4 3. De standaarden en indicatoren van het instrument......................................12 Doelstelling en onderzoeksvraag ..................................................................16 3.1 Probleemstelling .....................................................................................16 3.2 Gewenste situatie....................................................................................16 3.3 Probleemverheldering ..............................................................................16 3.4 Doel van het onderzoek ...........................................................................19 3.5 Onderzoeksvraag ....................................................................................19 4. Onderzoeksopzet ........................................................................................20 4.1 Onderzoeksopzet van onderzoeksvragen 1 en 2 ..........................................20 4.2 Onderzoeksopzet van onderzoeksvraag 2a .................................................20 4.2.1 Uitgangspunten van de testconstructie ...................................................20 4.2.2 Kwaliteit van het testmateriaal en de handleiding ....................................21 4.2.3 Normen ..............................................................................................22 4.2.4 Betrouwbaarheid .................................................................................22 4.2.5 Validiteit .............................................................................................23 4.3 Onderzoeksopzet van onderzoeksvraag 2b .................................................24 4.4 Onderzoekspopulatie ...............................................................................26 5. Kwaliteitscriteria voor evaluatie....................................................................27 5.1 6. Conclusie ...............................................................................................31 Langs de COTAN meetlat .............................................................................32 6.1 Bevindingen ...........................................................................................32 6.2 Conclusie ...............................................................................................42 7. De ervaringen van de 4 testscholen ..............................................................44 7.1 Methode.................................................................................................44 7.1.1 De testscholen.....................................................................................44 7.1.2 De gevolgde procedure .........................................................................45 Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 3
  3. 3. 7.2 Bevindingen ...........................................................................................47 7.3 Conclusies ..............................................................................................55 8. Conclusies en discussie ...............................................................................61 8.1 De kwaliteit van de uitgangspunten van de testconstructie ...........................62 8.2 De kwaliteit van het testmateriaal en de handleiding ...................................63 8.3 Normen .................................................................................................63 8.4 Betrouwbaarheid.....................................................................................64 8.5 Validiteit ................................................................................................65 8.6 De kwaliteit van het instrument ................................................................66 9. Aanbevelingen ...........................................................................................68 9.1 Ontwikkelkeuzes .....................................................................................68 9.2 Overige aanbevelingen ............................................................................70 Nawoord..............................................................................................................71 Samenvatting ......................................................................................................74 Referenties ..........................................................................................................78 Bijlagen: .............................................................................................................82 Bijlage 1, Het beslissingsmodel ..............................................................................82 Bijlage 2, Het lusmodel .........................................................................................83 Bijlage 3, Taxonomie van Bloom (1956) ..................................................................84 Bijlage 4, evaluatieformulier MKVS per leraar (1ste pagina) .......................................85 Bijlage 5, verzamelstaat resultaten zelfevaluatie MKVS Montessorischool…………………………………………… (1ste pagina) .......................................87 Bijlage 6, Verzamelstaat evaluaties testscholen ........................................................89 Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 4
  4. 4. Voorwoord Voor u ligt mijn onderzoeksverslag; een formatieve evaluatie van het zelfevaluatieinstrument Montessori KindVolgSysteem (MKVS). Dit onderzoek is uitgevoerd voor het afronden van mijn masteropleiding Leadership in Education. Het is al weer drie jaar geleden dat ik de eerste schreden heb gezet in het ontwikkelen van het zelfevaluatie-instrument MKVS. Tegen de tijd dat ik voor mijn studie een praktijkonderzoek moest uitvoeren, was het zelfevaluatie-instrument MKVS klaar voor de finale test in de praktijk. Dit was de ideale gelegenheid voor mij om beide zaken te combineren. In dit onderzoeksverslag leest u de aanleiding van het onderzoek in hoofdstuk 1 en de uitleg over het te onderzoeken object in hoofdstuk 2. Het evaluatie-instrument MKVS wordt besproken, omdat het een nieuw instrument is. Op deze manier krijgt u een goed beeld wat het zelfevaluatie-instrument MKVS inhoudt, welk doel het dient en hoe het wordt ingezet. De probleemstelling en het onderzoeksdesign worden in de hoofdstukken 3 en 4 beschreven. De resultaten op de onderzoeksvragen komen in de hoofdstukken 5, 6 en 7 aanbod. De conclusies en discussies op de hoofdvraag leest u in hoofdstuk 8 waarna de aanbevelingen worden besproken in hoofdstuk 9. Dit onderzoeksverslag wordt afgesloten met een nawoord en samenvatting. Een samenvatting voor wie eerst nieuwsgierig is naar het slot of om te kiezen of het de moeite waard is om het hele onderzoeksverslag te lezen. Met dit onderzoeksverslag heb ik geprobeerd een helder en transparant beeld te schetsen van de ondernomen onderzoeksstappen, overwegingen en de kwaliteit van het zelfevaluatie-instrument MKVS. In de hoop dat u als lezer evenveel leesplezier beleeft als ik onderzoeksplezier heb beleefd. Astrid Ottenheym-Vliegen Augustus 2010 Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 5
  5. 5. 1. Aanleiding Sinds 2000 is het Montessori KindVolgSysteem (MKVS) ontwikkeld door Els Westra. Vanaf 2008 is de digitale versie van het KindVolgSysteem voor het montessorionderwijs beschikbaar. Dit is tot stand gekomen in samenwerking met de auteur Els Westra, Unilogic te Sittard en de landelijke begeleidersgroep MKVS. Tot aan 2000 ontbrak het in het montessoribasisonderwijs aan een specifiek middel om ontwikkelingsmomenten van kinderen in beeld te brengen, terwijl dat juist zo past bij de specifieke doelstellingen van dit type onderwijs. Met de introductie van het MKVS heeft het montessorionderwijs een instrument in huis waarmee voldaan kan worden aan de wettelijke verplichting om een volgsysteem te hebben. Sinds de invoering van het digitale MKVS is, door zijn grote gebruiksvriendelijkheid, het aantal montessorischolen dat overgaat op het MKVS, sterk toegenomen. Op dit moment zijn er 45 gebruikers van het digitale MKVS. Er zijn 245 montessorischolen in Nederland. Het gebruik van het MKVS in het montessoribasisonderwijs blijkt niet alleen tegemoet te komen aan de wens van transparantie en het bewust en planmatig werken, het is ook een professionaliseringsinstrument. Een professionaliseringsinstrument, waardoor leraren inzicht krijgen in eigen en elkaars mentale modellen en de daaruit voortvloeiende gedragingen. Het vormt een basis voor reflectie en intervisie. Naarmate er meer scholen overgingen tot gebruik van het MKVS ontstond er meer en meer de schoolbehoefte om gefundeerde uitspraken te kunnen doen over de kwaliteit van handelen door de leraren m.b.t. het gebruik van het MKVS. Met gefundeerde uitspraken over de kwaliteit is de school instaat om te bepalen hoe te handelen met de verkregen kennis en informatie. Daarmee kan een school het handelen t.a.v. het MKVS verantwoorden, de kwaliteit borgen en vervolgstappen ondernemen ten behoeve van de schoolontwikkeling en de professionele ontwikkeling van leraren. Deze behoefte is passend bij het kwaliteitsdenken en de schoolontwikkeling. Schooljaar 2007-2008 heb ik, destijds werkzaam als leraar en bouwcoördinator op de Montessorischool te Bergen op Zoom, een zelfevaluatie-instrument MKVS ontwikkeld. Het instrument bood de school informatie over de toepassing van het MKVS op de Montessorischool te Bergen op Zoom. Door gerichte observaties, interviews en documentenanalyse verkregen informatie was de school in staat om een voor de school passende ontwikkelagenda op te stellen. Zowel leraren als het management van school waren positief over de informatie die het zelfevaluatie-instrument genereerde. (Ottenheym, 2008) Deze positieve bevindingen waren aanleiding om een zelfevaluatie-instrument te ontwikkelen, dat toepasbaar is voor alle montessoribasisscholen die het MKVS gebruiken of voornemens zijn om dit te doen. Wil het zelfevaluatie-instrument MKVS bruikbaar zijn voor bovengenoemde doelgroep dan dient het aan een aantal eisen te voldoen, namelijk: Validiteit Betrouwbaarheid Gebruikerskwaliteit Dekking kwaliteitsdimensies Suggesties voor schoolontwikkeling (Q-primair werkmap Kwaliteitszorg, deel 3) Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 6
  6. 6. 2. Het onderzoeksobject: het zelfevaluatieinstrument MKVS Het zelfevaluatie-instrument MKVS heeft als object van beoordeling het MKVS. In dit hoofdstuk wordt nader ingegaan op het MKVS en op het zelfevaluatie-instrument MKVS. Besproken worden de opbouw en ontwikkeling van het instrument en de concepten die aan de basis liggen van het instrument. 2.1 Het MKVS Scholen zijn verplicht volgens de Wet Primair Onderwijs (www.stab.nl/wetten/0725_Wet_op_het_primair_onderwijs_WPO.htm) om de ontwikkelingen van kinderen te volgen en dat schriftelijk vast te leggen. Bij het montessorionderwijs past een procesgerichte en formatieve wijze van evalueren en registreren. Evaluatie met een formatief karakter houdt het opsporen in van vooral de sterke en zwakke punten in het leerproces van de leerling. De evaluatie moet worden gebruikt om het leerproces van de leerling te begeleiden en om beslissingen over de planning en uitvoering van de instructie te ondersteunen. Hierbij is een duidelijke gerichtheid op het verbeteren van het leren. (Hopkins, 2008) De volgende functies worden onderscheiden: 1. De sturing van het onderwijsleerproces of het aanbrengen van wijzigingen in het didactisch handelen (bijvoorbeeld het lestempo verhogen, de leerstof aanpassen, een andere werkvorm gebruiken). 2. Het signaleren en diagnosticeren van tekorten of individuele leerproblemen bij leerlingen met de bedoeling te remediëren (bijvoorbeeld het opsporen van misvattingen over bepaalde begrippen, het organiseren van aangepaste oefeningen). Op die manier wordt de evaluatie meer geïntegreerd in het onderwijsleerproces en wordt het formatieve karakter van de evaluatie benadrukt.(www.kuleuven.be; didactische evaluaties, functies van evaluatie). Het MKVS is een hulpmiddel om er voor te zorgen dat alle informatie leidt tot een goede, zorgvuldige en gestructureerde begeleiding van kinderen naar eigen aanleg en tempo passend binnen de visie van Montessori. Door het MKVS worden de ontwikkelingsmomenten van een kind gevolgd (Westra, 2007). Het MKVS richt zich op het in bepaalde ontwikkelingsgebieden beslissingen die de leraar neemt Het omvat minimaal 10 jaar van beeld brengen van gedrag en/of vaardigheden binnen van individuele kinderen, en biedt een overzicht van de ten aanzien van de begeleiding. de ontwikkeling. De ontwikkelingsgebieden zijn: Waarneming Motoriek Taal Rekenen / Wiskunde Geometrie Kennisgebieden / perspectieven Perioden van groei. De inhoud van het MKVS is gerelateerd aan de filosofie, de pedagogiek, de antropologie en de didactiek van Maria Montessori. Het gaat hierbij om de grondbeginselen van haar Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 7
  7. 7. kosmische theorie tot en met de inzichten die ze later beschreven heeft in de trilogie; psychoarithmetica, psychogeometria en psychogrammatica. De montessoritheorie is en wordt steeds aangevuld en uitgebreid met recente theoretische inzichten op gebied van de ontwikkelingspsychologie, de neuropsychologie, de pedagogiek, de onderwijskunde en de didactiek. De didactiek is uitgewerkt in het ‘Lusmodel’ (bijlage 2) en beschrijft de basis waarop het werken met het MKVS stoelt. Het MKVS is acht jaar lang als papieren versie uitgegeven in een map met daarin de inleiding, de toelichting en de beschrijvingen bij de registratieformulieren en een volledig kinddossier (inmiddels de 5e druk). Voor ieder kind wordt éénmaal gedurende de basisschooltijd een kinddossier met daarin o.a. de registratieformulieren aangeschaft. Vanaf september 2008 kan men met een digitale versie werken. Deze versie is op vele gebieden weer geactualiseerd en het werken ermee vergemakkelijkt het overzicht van de ontwikkelingsmomenten in velerlei opzichten. In aansluiting op het MKVS, dat een dossier is dat wordt ingevuld door de leraar, wordt er momenteel ook een werkdossier voor het kind ontwikkeld. In het werkdossier kunnen kinderen werk opslaan dat van belang is en dat door hen wordt geëvalueerd. Het belangrijkste onderdeel van het werkdossier is de reflectie van het kind op eigen handelen en op keuzes die bij het werk zijn gemaakt. Het is de bedoeling dat het kinddossier en het werkdossier samen de informatie leveren die van belang is voor de ouders en voor de meest optimale schoolloopbaan van het kind. Door toepassing van het MKVS worden de volgende doelen nagestreefd: Overzicht van ontwikkelingsmomenten van een kind. Dit is een intrapersoonlijke vergelijking in tijd uitgezet. Inzicht in de leeractiviteiten van een kind. Het gaat hierbij om het proces van verwerving, verwerking, betekenisverlening en integratie, zoals beschreven in het lusmodel (Westra, 2008-2009). Goede afstemming van leraargedrag op de ontwikkeling en leeractiviteiten van het kind. (zie lusmodel Westra, 2008-2009). Ondersteuning van het bewust, doelmatig en procesmatig handelen van een leraar gericht op de leerweg van het kind door het vastleggen van beslissingmomenten. Deze worden beschreven naar aanleiding van signaleringen en gerichte observaties (zie lusmodel, Westra, 2008-2009). Uitgangspunten van het MKVS zijn: Het theoretisch raamwerk zoals vastgelegd door Els Westra in het KindVolgSysteem voor het Montessorionderwijs en uitgegeven door de Nederlandse Montessori Vereniging (NMV). Is gestoeld op de visie van Maria Montessori. Het kinddossier t.b.v. het MKVS. Signaleringen, die leiden tot een beslissing. Beslissingen kunnen zijn (af)wachten (W), Begeleiden/ Lesje (L), Diagnosticeren (D), Observeren (O), Evalueren / vragenstellen (E), Registreren (R). Beslissingen zijn een bewuste keuze. Het beslissingsmodel (zie bijlage 1) Het lusmodel (zie bijlage 2) Taxonomie van Bloom (bijlage 3) Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 8
  8. 8. 2.2 Het zelfevaluatie-instrument MKVS Doordat er in het montessorionderwijs vrijheid van werkkeuze, duur, tempo en werkcyclus, bestaat is het naast het volgen van ontwikkelingsmomenten van kinderen, van groot belang zicht te krijgen op het proces van begeleiding van de leraar bij de individuele leerweg van het kind. Met het zelfevaluatie-instrument MKVS kan de school zich een oordeel vormen over de kwaliteit van het proces van begeleiding van de leraar bij de individuele leerweg van het kind in het algemeen en van het gebruik en toepassing van het MKVS in de dagelijkse onderwijspraktijk op de montessorischool in het bijzonder Het schooloordeel verkregen met het zelfevaluatie-instrument heeft als doel de kwaliteit van uitvoering te verbeteren; het gaat hier om een interne (door de school zelf) formatieve (gericht op verbeteren) beoordeling (Hopkins, 2008). Het uitgangspunt van de zelfevaluatie is kwaliteitsverbetering. Met het zelfevaluatie-instrument krijgt de school informatie over hoe leraren op de school het MKVS gebruiken en een beeld hoe leraren kinderen volgen en begeleiden met behulp van het MKVS. Concreet houdt dit in dat na de evaluatie de school weet wat van het MKVS gebruikt wordt en hoe dat gedaan wordt door de leraren op de school. Met het instrument wordt overzichtelijk in beeld gebracht wat goed gaat en wat beter kan ten aanzien van de toepassing van het MKVS. Het instrument ondersteunt hiermee het proces van kwaliteitsverbetering. Het evaluatie-instrument kan, na introductie / training, door leraren, intern begeleider en of directeur afgenomen worden. Hierdoor kan het instrument op eenvoudige wijze herhaald en in een verbetercyclus toegepast worden. Omdat voor een school de nuances in de hantering van het MKVS interessant zijn, is niet gekozen voor een meetinstrument dat alleen ruimte biedt voor een cijfermatige score. In het meetinstrument wordt ruimte geboden voor aanvullingen van geïnterviewden. Deze nuanceringen zijn mogelijk van belang bij eventuele beleidskeuzes die de school op basis van de resultaten maakt. Het zelfevaluatie-instrument wordt ingezet op een door de school gekozen moment. De school is verantwoordelijk voor het informeren vooraf en achteraf over doel, werkwijze en resultaten, zorgvuldige afname, interpretatie van de gegevens en de keuze voor de ontwikkelagenda. De beoordeling aan de hand van de standaarden en indicatoren wordt uitgevoerd door personeelsleden die vooraf door het management gekozen zijn. De auditoren worden vooraf geïnstrueerd en hebben zich ingelezen in de handleiding en de scoringslijsten. De handleiding wordt als leidraad genomen bij het uitvoeren van de evaluatie. De groep leraren waarbij de evaluatie wordt uitgevoerd zal over het algemeen homogeen zijn. Homogeen wat betreft opleiding en ervaring met het MKVS. Er zal wel verschil zijn wat betreft het niveau van functioneren, variërend van startbekwaam tot excellent functioneren. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 9
  9. 9. 2.3 De opbouw en ontwikkeling van het instrument 2.3.1 Welke onderdelen bevat het zelfevaluatie-instrument MKVS? Het instrument bestaat uit: Standaarden Een standaard is een algemene uitspraak over een aanvaardbaar niveau met betrekking tot het gebruik en toepassing van het Montessori KindVolgSysteem in de dagelijkse onderwijspraktijk. Het zegt iets over de gewenste kwaliteit en kan opgevat worden als een gewenst streefniveau. Een standaard kan gezien worden als een maatstaf, een norm, een kwaliteitseis. De standaarden zijn de uitgangspunten van het zelfevaluatie-instrument. Door toepassing van het zelfevaluatie-instrument wordt er een uitspraak geformuleerd over de mate waarin de school voldoet aan de standaard. Het levert informatie op voor verbetering en handhaving. De standaarden zijn gebaseerd op de handleiding van het KindVolgSysteem voor het montessorionderwijs (Els Westra) en de gebruikershandleiding van het digitale MKVS (Unilogic en MKVS). De standaarden zijn vastgesteld aan de hand van de grondslagen en conceptomschrijvingen van het MKVS. Het zelfevaluatie-instrument bevat negen standaarden die de ‘best practice’ ten aanzien van het gebruik van het MKVS vertegenwoordigen. Indicatoren Vanuit een standaard zijn indicatoren geformuleerd. Door de indicatoren is het mogelijk om een standaard te toetsen. De indicatoren zijn de meetbare elementen van een standaard. Daarmee kan de vraag worden beantwoord of we de handelingen die we doen ook goed doen. Er zijn drie soorten indicatoren: 1. Structuurindicator; heeft betrekking op de organisatie van de werkomgeving en geeft aan wat er nodig is. Welke middelen moeten er beschikbaar zijn? 2. Procesindicator: deze richt zich op afspraken met betrekking tot de uitvoering en geeft antwoord op de vraag hoe de handeling uitgevoerd moet worden. 3. Productindicator: deze heeft betrekking op de uitkomsten en geeft aan wat het resultaat van de handeling moet zijn. Indicatoren moeten SMART geformuleerd zijn. De letters van SMART staan voor: • • • • • Specifiek: het moet eenduidig zijn. Meetbaar: onder welke (meetbare/observeerbare) voorwaarden of vorm is het bereikt. Acceptabel: het moet relevant en geaccepteerd zijn. Realistisch: het moet haalbaar zijn. Tijdgebonden: wanneer (in tijd) moet het bereikt zijn. Het zelfevaluatie-instrument bevat in 56 indicatoren. Voor het standaard horend bij het werkdossier van het kind zijn nog geen indicatoren geformuleerd. Dit werkdossier is in ontwikkeling. Evaluatieformulieren: 1. Evaluatieformulier MKVS per leraar: waar overzichtelijk en eenvoudig de indicatoren gescoord worden, bevindingen en verbetersuggesties genoteerd kunnen worden. Het scoren wordt gedaan door de auditoren; leden van het team, zoals intern begeleider, bouwcoördinator, leraren en directie. 2. Verzamelstaat resultaten zelfevaluatie MKVS: voor weergave van de resultaten: daarin worden alle scores, bevindingen en verbetersuggesties genoteerd. De auditor(en) maakt (maken) het verslag. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 10
  10. 10. Scoring en normering Met de indicatoren kan een gefundeerde uitspraak gedaan worden over de standaard. Elke standaard wordt gemeten aan de hand van meerdere indicatoren. De indicatoren worden weer op verschillende manieren beoordeeld. De wijzen van beoordelen zijn: documentanalyse, observatie, bevragen. Elke indicator wordt gescoord met voldoet wel of voldoet niet. Een standaard geldt als voldaan wanneer 80% van de indicatoren een positieve score heeft behaald. Wanneer 90% van de onderzochte leraren een positieve score heeft op een standaard, dan is schoolbreed aan de betreffende standaard voldaan. Handleiding Het zelfevaluatie-instrument MKVS is voorzien van een handleiding waarin de gebruiker wordt geïnformeerd over het doel, de pretentie, werkwijze, gebruik en de verantwoording van het instrument. In eerste instantie zal de gebruikershandleiding voor de testfase zijn geschreven en zal nog niet aan alle voorwaarden worden voldaan waar een handleiding (COTAN 2004) aan moet voldoen. Het zelfevaluatie-instrument MKVS zal worden onderzocht op kwaliteit en bruikbaarheid, waarna het instrument wordt aangepast en verbeterd. 2.3.2 Hoe is het zelfevaluatie-instrument ontwikkeld? Het instrument is ontwikkeld door mijzelf met behulp van een critical friend en een resonans groep. Bij de ontwikkeling van het instrument is tevens de auteur van het MKVS nauw betrokken geweest, i.v.m. de representativiteit van de standaarden en indicatoren. Daarnaast hebben een viertal deskundigen de standaarden en indicatoren onafhankelijk van elkaar beoordeeld. De beoordelaars zijn allen goed ingewerkt in het MKVS en werken er mee op verschillende niveaus. De beoordelaars hebben gekeken naar de representativiteit van de standaarden en indicatoren voor de grondbeginselen van het MKVS. Dit i.v.m. de dekkingsgraad van de kwaliteitsdimensies van het MKVS. Verder hebben ze de standaarden en indicatoren beoordeeld op hun eenduidigheid, formulering en toetsbaarheid. Een eerste versie van het instrument is ontwikkeld voor en toegepast op de montessorischool te Bergen op Zoom. De hieruit verkregen feedback uit evaluaties is meegenomen bij de ontwikkeling van het huidige evaluatie-instrument. Daarnaast is het in ontwikkeling zijnde instrument verschillende malen gepresenteerd aan de landelijke kerngroep MKVS en aan directeuren, leraren en opleiders binnen het montessorionderwijs. Feedback uit deze presentaties t.a.v. het instrument zijn meegenomen in de ontwikkeling ervan. Verder zijn alle stappen in het ontwikkelproces en correcties besproken met een coach en critical friend. De betrokken partijen: • Astrid Ottenheym-Vliegen, de auteur van het zelfevaluatie-instrument MKVS: Het zelfevaluatie-instrument voor montessorischolen en MKVS gebruikers is het intellectuele eigendom van de auteur. De auteur is de leider en ontwerper van dit project en heeft de uiteindelijke verantwoordelijkheid. • Els Westra, auteur van het MKVS: Voor goede interpretatie en weergave van de standaarden en indicatoren heeft Els Westra de geformuleerde grondslagen, standaarden en indicatoren beoordeeld. Els Westra is om advies gevraagd telkens voordat de standaarden en indicatoren ter beoordeling aan de resonansgroep werden voorgelegd. • Resonansgroep: De resonansgroep bestaat uit vier expertleden, zij hebben allen zitting in de kerngroep MKVS en zijn nauw betrokken bij uitwerking en invoering van het MKVS in de diverse montessorischolen. Zij zijn allen goed ingevoerd in het denken vanuit de montessorivisie en al haar kenmerken en het MKVS. De leden van de Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 11
  11. 11. resonansgroep hebben de standaarden en indicatoren beoordeeld op hun formulering en op hun geldigheid en toepassing binnen het MKVS. De leden van de resonansgroep zijn: Pieter Paans (onderwijsadviseur EDUX) , Nel de Groot (lerarenbegeleider/coach Monton scholen), Janneke Geluk (onderwijsadviseur CED-groep), Els Wasman (opleider Hogeschool Arnhem). De leden van de resonansgroep hebben na iedere ontwikkelstap de resultaten ter beoordeling voorgelegd gekregen. Zij gaven ieder op persoonlijke titel feedback en advies aan de auteur over de inhoud, eenduidigheid, formulering, en andere zaken die de kwaliteit van het product ten goede komen. • Coach Drs. Pieter Paans is naast lid van de resonansgroep ook coach, critical friend, voor de auteur gedurende het project. Pieter is betrokken geweest bij het ontwikkelen van de KIK-kaarten en het begeleiden van invoeringstrajecten MKVS. Pieter Paans werkt al vele jaren als onderwijsadviseur bij EDUX . Hier heeft hij onder andere een uitgebreide ervaring als coach en onder meer al vele jaren montessorischolen begeleid. 2.4 De standaarden en indicatoren van het instrument De standaarden van het MKVS zelfevaluatie-instrument 1. De leraar kan de lusmomenten die zich voordoen tijdens de werkactiviteiten van een kind herkennen, verwoorden en gebruiken om het eigen handelen op af te stemmen. 2. De leraar handelt bewust, doelmatig en procesmatig. 3. De leraar werkt systematisch aan het kinddossier 4. In het werkdossier MKVS is zichtbaar dat het kind hier minimaal één keer per week in werkt. 5. De leraar heeft signaleringen ten aanzien van de ontwikkelingsgebieden: waarneming, motoriek, taal, rekenen / wiskunde, geometrie, kennisgebieden en perioden van groei. 6. De leraar heeft de registraties ingevoerd. 7. De leraar heeft inzicht in het verloop van de ontwikkelingsmomenten van een kind, neemt overwogen beslissingen ten aanzien van ontwikkelingsmomenten. 8. De leraar brengt de leeropbrengsten die zich tussen het ene en het andere leermoment voordoen in beeld met behulp van het MKVS. 9. De leraar heeft de algemene gegevens van het kind in het MKVS ingevoerd. De indicatoren van het MKVS zelfevaluatie-instrument 1. De leraar kan de lusmomenten die zich voordoen tijdens de werkactiviteiten van een kind herkennen, verwoorden en gebruiken om het eigen handelen op af te stemmen. 1.1 De leraar kan uitleggen aan de hand van het lusmodel met welke leeractiviteit een kind bezig is. (verwerving, verwerking, betekenisverlening en integratie). 1.2 De leraar heeft aan de beslissingen, daar waar van toepassing, een tijdpad verbonden. 1.3 De leraar kan onderbouwd uitleggen/verantwoorden hoe hij/zij zijn/haar gedrag afstemt op de ontwikkeling en leeractiviteiten van een kind. 1.4 De lusmomenten waarin het kind en de leraar zitten, kan de leraar aan de hand van het lusmodel duidelijk maken. (Bevragen: aan de hand van 2 random gekozen kinderen n.a.v. 2 signaleringen.) Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 12
  12. 12. 2. De leraar handelt bewust, doelmatig en procesmatig. 2.1 De leraar gebruikt de signaleringen bij het plannen van lesjes, observaties, diagnoses, registraties en evaluaties. 2.2 De leraar werkt vanuit vooraf bepaalde keuzes en beoogde resultaten. 2.3 De leraar verbindt een waardeoordeel aan de prestaties van kinderen. 2.4 De leraar kan aantonen dat zij reflecteert op eigen gedrag. (observatie en bevragen) 3. De leraar werkt systematisch aan het kinddossier. 3.1 De leraar heeft voor elk kind een digitaal MKVS kinddossier beschikbaar in de klas. (documentanalyse) 3.2 De leraar heeft minimaal 4 à 5 signaleringen per dag per klas. (documentanalyse) 3.3 De leraar heeft achter elke signalering een beslissing staan: A (afwachten), L (lesje), O (observatie),D (diagnose), E (evaluatie) of R (registratie). (documentanalyse) 3.4 De leraar maakt gedurende de dag tijd voor het noteren van signaleringen. (observatie en bevragen) 3.5 In het statusoverzicht zijn niet meer dan 3 verlopen beslissingen per klas. (documentanalyse) 3.6 De leraar maakt gebruik van gerichte observatie wanneer zij meer duidelijkheid wil over het gesignaleerde. De observatie gebeurt m.b.v. het driekolommen observatiemodel. 3.6.1 De uitgevoerde observaties staan vermeld in het Observatie-overzichtsblad: ja/nee 3.6.2 Observatiedatum is vermeld: ja/nee; 3.6.3 Observatiedoel is vermeld: ja/nee; 3.6.4 Drie kolommenmodel is gebruikt: ja/nee; 3.6.5 De drie kolommen zijn op de juiste manier ingevuld: Ik neem waar.. ja/nee, Ik voel hierbij…ja/nee, Ik begrijp dat…ja/nee. 3.6.6 Het vak geregistreerd gedrag/ vaardigheden is correct ingevuld: ja/nee 3.6.7 Conclusie /consequentie van observatie is vermeld: Ja/nee (documentanalyse en bevragen) 3.7 3.8 3.9 De leraar slaat de toegevoegde gegevens betreffende de historie en ontwikkeling van het kind, zoals handelingsplannen, medische gegevens, externe begeleiding, interne begeleiding, consultatie en dergelijke op in het daarvoor bestemde journaal (indien van toepassing). (documentanalyse en bevragen) Na het voeren van een oudergesprek legt de leraar de belangrijkste bevindingen vast in het journaal oudergesprek. (Indien van toepassing) (documentanalyse en bevragen) De leraar gebruikt het MKVS bij de bespreking van het kind bij: Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 13
  13. 13. Overdracht naar collega Leerling-bespreking. Doel, datum en resultaat staan genoteerd in het MKVS-dossier. (documentanalyse en bevragen) 4. In het werkdossier MKVS is zichtbaar dat het kind hier minimaal één keer per week in werkt. Pm: het werkdossier is in ontwikkeling en deze standaard is nog niet uitgewerkt in indicatoren. Naar verwachting is het werkdossier in 2011 operationeel, dan zal deze standaard verder worden uitgewerkt. 5. De leraar heeft signaleringen ten aanzien van de ontwikkelingsgebieden: waarneming, motoriek, taal, rekenen / wiskunde, geometrie, kennisgebieden en perioden van groei. 5.1 Waarneming: ja / nee 5.2 Motoriek: ja / nee 5.3 Taal: ja / nee 5.4 rekenen / wiskunde: ja / nee 5.5 geometrie: ja / nee 5.6 kennisgebieden: ja / nee 5.7 perioden van groei: ja / nee (documentanalyse) 6. De leraar heeft de registraties ingevoerd. 6.1 Waarneming: ja / nee 6.2 Motoriek: ja / nee 6.3 Taal: ja / nee 6.4 rekenen / wiskunde: ja / nee 6.5 geometrie: ja / nee 6.6 kennisgebieden: ja / nee 6.7 perioden van groei: ja / nee (documentanalyse) 7. De leraar heeft inzicht in het verloop van de ontwikkelingsmomenten van een kind en neemt naar aanleiding daarvan overwogen beslissingen. 7.1 De leraar kan verantwoorden waarom zij gekozen heeft voor afwachten n.a.v. een signalering. 7.2 De leraar kan verantwoorden waarom zij gekozen heeft voor een lesje n.a.v. een signalering. 7.3 De leraar kan uitleggen wat de essentie was van het lesje: begeleiden, inwijden of ingrijpen. 7.4 De leraar kan uitleggen wat zij met het lesje wil bereiken. 7.5 De leraar kan aangeven in hoeverre het doel van het lesje bereikt is. 7.6 De leraar kan verantwoorden waarom zij gekozen heeft voor een gerichte observatie n.a.v. een signalering. 7.7 De leraar kan verantwoorden waarom zij gekozen heeft voor diagnose n.a.v. een signalering. 7.8 De leraar kan verantwoorden waarom zij gekozen heeft voor evaluatie (feedback geven/ vragen stellen). 7.9 De leraar kan de gedane registraties verantwoorden. De leraar kan t.a.v. ontwikkelingsdomeinen de zone van de naaste ontwikkeling uitleggen. 7.10 De leraar kan het niveau van begrijpen aan de hand van de taxonomie cognitieve domein van Bloom toepassen. (kennis, begrip, toepassing, analyse, synthese en evaluatie) 7.11 De leraar kan uitleggen welke vragen zij stelt aan het kind en waarom zij daarvoor kiest (zie 7.10). Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 14
  14. 14. (Bevragen: aan de hand van 2 random gekozen kinderen en de bij de kinderen horende signaleringen) 8. De leraar brengt de leeropbrengsten die zich tussen het ene en het andere leermoment voordoen in beeld met behulp van het MKVS. Alle registraties per ontwikkeldomein zijn door de leraar gebaseerd op een signalering. Waarneming: ja / nee Motoriek: ja / nee Taal: ja / nee Rekenen /wiskunde: ja / nee Geometrie: ja / nee Kennisgebieden: ja / nee Periode van groei: ja / nee (document analyse) 9. De leraar heeft de algemene gegevens van het kind in het MKVS ingevoerd. 9.1 De gegevens in het leerling-venster zijn ingevuld. 9.2 De gegevens administratie – leerling, basis zijn ingevuld. 9.3 De gegevens administratie – leerling, gezin zijn ingevuld. 9.4 De gegevens administratie – leerling, medisch zijn ingevuld. 9.5 De gegevens administratie – leerling, bijzonderheden zijn ingevuld indien nodig. 9.6 De vrije velden worden overeenkomstig schoolafspraak gebruikt. 9.7 De journaalregels worden overeenkomstig schoolafspraak gebruikt. (documentanalyse + bevragen) Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 15
  15. 15. 3. Doelstelling en onderzoeksvraag In dit hoofdstuk wordt de probleemstelling uitgewerkt en vanuit de literatuur nader bekeken. De probleemanalyse is vertaald naar het doel van dit onderzoek en een concrete onderzoeksvraag. De formulering van de onderzoeksvraag is wezenlijk voor het vervolgtraject en het behalen van het onderzoeksdoel. 3.1 Probleemstelling Zelfevaluatie-instrumenten moeten aan verschillende eisen voldoen willen ze hun waarde hebben voor de gebruiker met een evaluatievraag. In welke mate voldoet het zelfevaluatie-instrument MKVS aan: Eisen aan validiteit? Mate van betrouwbaarheid? Gebruikerskwaliteit? Dekking kwaliteitsdimensies? Suggesties voor schoolontwikkeling? 3.2 Gewenste situatie Het zelfevaluatie-instrument MKVS voldoet, voor zover voor een interne formatieve evaluatie noodzakelijk is, aan de eisen van validiteit en betrouwbaarheid. Het zelfevaluatie-instrument is gebruiksvriendelijk; de montessorischolen die het gebruik van het MKVS willen evalueren kunnen het instrument zelfstandig, hoogstens na introductie van een deskundige in het evalueren van het MKVS, in hun kwaliteitszorg toepassen. De grondslagen van het MKVS (kwaliteitsdimensies van het MKVS) zijn zichtbaar in het zelfevaluatie-instrument. Het levert scholen daadwerkelijk die informatie waarmee ze de kwaliteit van het gebruik van het MKVS kunnen vergroten. Door toepassing van het zelfevaluatie-instrument MKVS verkrijgt de school suggesties voor schoolontwikkeling. Het instrument biedt de school focus op hetgeen belangrijk is voor de kwaliteit van het gebruik van het MKVS in de onderwijspraktijk. 3.3 Probleemverheldering Het zelfevaluatie-instrument MKVS is vanuit een behoefte van montessorischolen ontwikkeld om de kwaliteit van het gebruik van het MKVS te evalueren en te beoordelen. Het gaat hier dus om een nieuw ontwikkeld instrument. Het zelfevaluatie-instrument MKVS wil een antwoord leveren op de vragen: Doen we de dingen goed en hoe weten we dat? (Q-primair, werkmap kwaliteitszorg) Newton (2007) ondersteunt dit. Evalueren betekent zo veel als mogelijk relevant bewijs en argumenten verzamelen om te kunnen beoordelen of het systeem werkt zoals het zou moeten werken en of het in het belang is van de participanten, stakeholders en de maatschappij. Kwaliteitszorg betekent dat scholen systematisch de ‘goede dingen nog beter proberen te doen’. Het regelmatig onderzoeken of dat werkelijk zo is, checken scholen met behulp van adequate instrumenten. Scholen kunnen er voor kiezen om deze check zelf uit te voeren of door derden. Met behulp van een heldere beleidscyclus (planning- en controlecyclus) zorgen scholen dat de kwaliteit wordt geborgd en daar waar mogelijk verbeterd. De systematische aanpak bestaat uit het systematisch evalueren en verbeteren van de kwaliteit. (Haaijer, van der Linde, 2003) Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 16
  16. 16. Met behulp van instrumenten voor evaluatie van kwaliteit en kwaliteitszorg kunnen analyses gemaakt worden. Daarmee wordt informatie vergekregen over welke onderdelen gaan goed en welke behoeven extra aandacht. Hiermee kunnen actiepunten voor de komende jaren bepaald worden. De systematische aanpak wordt bepaald door het herhaald uitvoeren van de cyclus van plannen, uitvoeren, evalueren en aanpassen Zoals zichtbaar gemaakt in de verbetercyclus van Deming1. Plan: een plan van aanpak opstellen voor verbetering. Do: Uitvoering van het plan, de processen in de organisatie. Check: Toets en evaluatie, van het proces (van de uitvoering, verloopt het volgens plan?) en van de (tussentijdse) resultaten. Act: Bijstellen van het plan of van de doelen of van de uitvoering. Een goede ‘act’ kan leiden tot nieuwe verbeterplannen én tot borging. (Q-primair, werkmap kwaliteitszorg) Het zelfevaluatie-instrument MKVS geeft invulling voor de check. Het gaat hier om het leren en verbeteren. Daarnaast geeft het informatie ten behoeve van act; het opstellen van een verbeterplan en het borgen (behouden en vieren van wat goed gaat). In deze zin kan het zelfevaluatie-instrument MKVS werken als een hefboom om de kwaliteit te verbeteren. Het zelfevaluatie-instrument is een meetinstrument dat een gestructureerde vorm van dataverzameling inhoudt. De data worden op een directe manier verkregen middels een interview, documentanalyse en observatie. Bij het gestructureerd verzamelen is van te voren bekend wat voor informatie nodig is Hierbij worden gerichte vragen of observaties uitgevoerd, waarbij het gedragsalternatief kan worden aangekruist. (Baarda, De Goede, 2006) Daarnaast vindt er een waardebepaling plaats. (Lowyck, Verloop, 2003) De gewenste kennis en informatie worden rechtstreeks verkregen van de betrokkenen; in dit geval de leraren van de montessorischool die werkt met het MKVS. Het voordeel van directe informatieverzameling is dat je direct vaststelt wat je wilt meten. Dit komt ten goede aan de validiteit. (Baarda, De Goede, 2006) Een interview wordt toegepast om data te verzamelen over attitudes, opinies, gedragingen uit het verleden of kennis. (Baarda, De Goede, 2006) We interviewen mensen om dingen te weten te komen die we niet rechtstreeks kunnen observeren. Wanneer we het hebben over de schoolontwikkeling, hetgeen met het toepassen van het zelfevaluatie-instrument MKVS is bedoeld, hebben we het over het ontwikkelen van capaciteiten (Verbiest, 2004). Verbiest maakt onderscheid in drie niveaus van capaciteiten, namelijk: organisatorische, persoonlijke en inter-persoonlijke. Deze capaciteiten zijn, zoals Verbiest stelt, wederzijds van elkaar afhankelijk. Dus wil men een beeld krijgen van de organisatorische capaciteit dan moet men een beeld hebben van de persoonlijke capaciteit; wil men de organisatorische capaciteit ontwikkelen dan moet men de persoonlijke capaciteit ontwikkelen en vice versa. Voor het kennen van de 1 De kwaliteitscirkel van Deming is een hulpmiddel voor kwaliteitsmanagement en probleem oplossen ontwikkeld door William Edwards Deming Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 17
  17. 17. persoonlijke capaciteit is het belangrijk de gehanteerde handelingstheorie van de leraren te kennen en te analyseren. Handelingstheorie is de kennis of informatie die mensen hebben verworven op basis van ervaring. De persoonlijke handelingstheorie beïnvloedt het gedrag en het gedrag bepaalt de gevolgen (resultaten). (Verbiest, 2004) De persoonlijke handelingstheorieën bevatten inhoudelijke kennis (weten dat), procedurele kennis (weten hoe) en normatieve kennis (waarden en doelen). (Verbiest, 2004) Met behulp van deze theorieën reduceren we grote hoeveelheid incomplete, vage, onduidelijke informatie waarmee leraren te maken hebben en het vormt de basis voor beslissingen hoe te handelen. Dit betekent dat het zelfevaluatie-instrument informatie over de handelingstheorieën van leraren t.a.v. het MKVS dient te generen wil de school inzicht krijgen in de organisatorische capaciteit t.a.v. het gebruik van het MKVS. Daartoe moet dat het instrument attitudes, opinies, kennis en gedragingen t.a.v. het MKVS van leraren binnen de school zichtbaar maken. Roelofs & Sanders (2003) schetsen eenzelfde beeld in hun procesmodel voor competent handelen. De professionele basis voor beroepstaken in kritische situaties bestaat uit: kennis, vaardigheden, opvattingen en persoonlijke eigenschappen. Deze professionele basis bepaalt achtereenvolgens, zoals beschreven in het model, het inschatten, afwegen en beslissen in kritische situaties en vervolgens het handelen. Dit alles heeft invloed op de gevolgen. In hun beoordelingsassessment voor competent handelen worden genoemde vier onderdelen beoordeeld. Het zelfevaluatie-instrument is een meetinstrument met evaluatiedoeleinden. Er worden verschillende soorten meetinstrumenten onderscheiden. Er bestaan indelingen op basis van meetpretentie, testinhoud, wijze van afname, enzovoort. Al deze meetinstrumenten moeten aan dezelfde kwaliteitseisen voldoen.(Evers e.a. 1988). Evers e.a. (1988) stellen dat de strengheid van de eisen afhankelijk is van de functie die de auteur en/of gebruiker claim(t)(en). De mate waarin richtlijnen toegepast dienen te worden is afhankelijk van de betekenis van het instrument. De betekenis is afhankelijk van de gebruikerssituatie. ‘Betekenis’ wordt in dit kader opgevat als functie voor mogelijke gevolgen die een testprocedure kan hebben voor personen, instellingen en de samenleving als geheel.(Evers e.a. 1988) Allereerst moeten dus het doel en de betekenis worden vastgesteld voordat het instrument kan worden geëvalueerd. Het zelfevaluatie-instrument MKVS wordt ingezet ten behoeve van schoolontwikkeling en is dus een instrument waarmee de school informatie verkrijgt om het handelen te verbeteren. Het is in die zin bedoeld om van te leren. Het zelfevaluatie-instrument heeft dus een formatieve betekenis (Newton, 2007)(Hopkins, 2008). Summatieve en formatieve evaluatie verschillen intrinsiek weinig van elkaar. Het onderscheid tussen beide is bedoeld om het verschil in functie te duiden. Formatieve evaluatie is ondersteunend bij de verbetering van ontwikkelde artefacten. Ze levert daarvoor de input en wordt uitgevoerd door, of in opdracht van iemand die het artefact in kwestie kan verbeteren. De kernfunctie van formatieve evaluatie is: het vergaren en beoordelen van informatie over de kwaliteit van een ontwerp, in dienst van het maximaliseren van de potentiële effectiviteit van het ontwerp. (Maslowski, Visscher, 1997) Bij summatieve evaluatie houdt een beoordeling in. Het is bewijzen dat iets is gedaan of bereikt. (Hopkins, 2008) De evaluatie heeft in die zin alleen impact en betekenis voor de gebruiker zelf. De gebruiker van het zelfevaluatie-instrument genereert zelf informatie met behulp van het instrument en bepaalt zelf welke consequenties het heeft voor de schoolontwikkeling en de ontwikkeling van de leraren werkend op de betreffende school. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 18
  18. 18. 3.4 Doel van het onderzoek Het doel van het onderzoek is om het zelfevaluatie-instrument MKVS te verbeteren. Om dit doel te bereiken wordt het zelfevaluatie-instrument MKVS geëvalueerd aan de hand van een aantal kwaliteitseisen. Het onderzoek zal naar verwachting suggesties ter verbetering van de kwaliteit van het zelfevaluatie-instrument generen. In bredere zin zal het een bijdrage leveren aan de kwaliteit van het montessorionderwijs. 3.5 Onderzoeksvraag Het object van het onderzoek is het door mij ontwikkelde zelfevaluatie-instrument MKVS. De centrale vraag is: “Wat is de kwaliteit van het zelfevaluatie-instrument MKVS?” De kwaliteit wordt geoperationaliseerd in de variabelen: uitgangspunten van de testconstructie, kwaliteit van het testmateriaal en de handleiding, normen, betrouwbaarheid, validiteit en gebruiksvriendelijkheid. Om na te gaan hoe het is gesteld met de kwaliteit van het zelfevaluatie-instrument MKVS kunnen de volgende twee deelvragen worden gedestilleerd: 1. Welke kwaliteitseisen gelden er voor een zelfevaluatie-instrument? 2 Hoe voldoet het zelfevaluatie-instrument MKVS aan deze kwaliteitseisen? a. Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen? b. Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument MKVS? Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 19
  19. 19. 4. Onderzoeksopzet Per onderzoeksvraag besproken. wordt in dit hoofdstuk de onderzoeksopzet uitgewerkt en 4.1 Onderzoeksopzet van onderzoeksvragen 1 en 2 Vraag 1: Welke kwaliteitseisen gelden er voor een zelfevaluatie-instrument? Literatuuronderzoek: verkenning van literatuur om een beeld te krijgen van in de theorie gestelde kwaliteitseisen aan een zelfevaluatie-instrument. Vraag 2: Hoe voldoet het zelfevaluatie-instrument MKVS aan deze kwaliteitseisen? Kwalitatief formatief evaluatief onderzoek van het zelfevaluatie-instrument MKVS. De kernfunctie van formatieve evaluatie binnen ontwerpprocessen is het vergaren van informatie over de kwaliteit van een ontwerp, in dienst van het maximaliseren van de potentiële effectiviteit van het ontwerp. (Maslowski, Visscher, 1997) Het gaat hier om een analytische dimensionele evaluatie; het betreft de beoordeling van een evaluand op meerdere deelaspecten (dimensies), waarna de deeloordelen tot een overall-oordeel gecombineerd worden. (Maslowski, Visscher, 1997) Zoals in hoofdstuk 3 is beschreven, is vraag 2 opgesplitst in 2 deelvragen. De wijze van beantwoording van deze deelvragen worden in onderstaande paragrafen besproken. 4.2 Onderzoeksopzet van onderzoeksvraag 2a Vraag 2a: Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen? Het zelfevaluatie-instrument MKVS wordt door de ontwikkelaar van het instrument beoordeeld met behulp van het COTAN-beoordelingssysteem (2004). Op basis van literatuuronderzoek wordt er een theoretische vergelijking gemaakt. Het resultaat zal ter beoordeling worden voorgelegd aan een critical friend (drs. P. Paans) waarna de bevindingen gecomplementeerd en zo nodig worden aangepast. Voor verdere operationalisering van de variabelen wordt het beoordelingssysteem voor de kwaliteit van tests ontwikkeld door COTAN (2004) gebruikt. De structuur van het beoordelingsinstrument dat voor dit onderzoek wordt gebruikt, is hetzelfde als het COTAN beoordelingssysteem. Alleen zullen de criteria inhoudelijk verschillen omdat een aantal criteria verder gaat dan voor formatieve evaluatie noodzakelijk is. Het COTAN beoordelingssysteem is bedoeld voor normatieve evaluatie. Bij deze vorm van evaluatie zijn de gevolgen voor de evaluand verstrekkender dan bij formatieve evaluatie, dat is bedoeld voor kwaliteitsverbetering, schoolontwikkeling. De vragenlijst bevat schaalpunten; - (1), -/+ (2) en +(3). Bij elke vraag is een handleiding en aanwijzingen per vraag beschikbaar. Het COTAN beoordelingssysteem is een vanaf 1998 doorontwikkeld systeem. 4.2.1 Uitgangspunten van de testconstructie COTAN(2004) onderscheidt een drietal basisvragen. Hier wordt beoordeeld of op grond van de informatie de toekomstige gebruiker kan beoordelen of de test past bij het doel waarvoor hij/zij een test zoekt. Heldere omschrijving van de meetpretentie, de keuze van de testinhoud en de wijze waarop het (de) begrip(pen) word(t)(en) gemeten moeten omstandig verantwoord worden. De drie COTAN basisvragen die worden meegenomen in de vragenlijst zijn: de vragenlijst worden meegenomen in: Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 20
  20. 20. 1.1. 1.2. 1.3. Is aangegeven wat het gebruiksdoel is van de test? Is de herkomst van het constructie-idee beschreven en/of word(t)(en) het(de) te meten construct(en) gedefinieerd? Wordt de relevantie van de testinhoud voor het(de) te meten construct(en) aannemelijk gemaakt? 4.2.2 Kwaliteit van het testmateriaal en de handleiding COTAN 2004 onderscheidt hier een tweetal onderdelen, namelijk het testmateriaal en de handleiding. COTAN wil dat hiermee wordt beoordeeld of de scores op een test geïnterpreteerd kunnen worden als een betrouwbare maat. Daarbij gaat het om de standaardisatie van de afname en instructie. Gevraagd wordt naar: ontwerp, inhoud en vorm van het testmateriaal. De kwaliteit van het testmateriaal is in verregaande mate bepalend voor de validiteit en betrouwbaarheid van de test. (Keuning, 2004) Voor het detecteren van mogelijke tekortkomingen in de leesbaarheid en begrijpelijkheid van teksten is de mate van overeenstemming tussen de leesbaarheidsscores en de begrijpelijkheid van teksten belangrijk. (Maslowski, Visscher 1997) De testhandleiding is een belangrijke bron van informatie voor de (toekomstige) testgebruiker. In de testhandleiding dient tenminste informatie opgenomen te worden over het gebruik en de interpretatie van de test. (Keuning 2004) Van het onderdeel testmateriaal worden vragen betrokken bij het onderzoek, namelijk: Basisvraag: 2.1. Zijn de testopgaven gestandaardiseerd? Basisvraag: 2.2.b. Indien de scoring door beoordelaars of observatoren gebeurt, is dan het beoordelings- of observatiesysteem volledig en duidelijk? Basisvraag: 2.3. Zijn de items vrij van racistische of voor bepaalde bevolkingsgroepen kwetsende inhoud? (Bij negatieve beoordeling van één van de basisvragen (2.1, 2.2 en 2.3) kan men direct doorgaan naar criterium 2B) 2.4.a. Zijn items, testboekje, antwoordschalen en/of antwoordformulier zodanig ontworpen dat fouten bij de invulling kunnen worden vermeden? 2.4.b. Hoe is de kwaliteit van het testmateriaal? 2.5. Is het scoringssysteem zodanig ontworpen en beschreven dat fouten bij de scoring kunnen worden vermeden? 2.6. Is de instructie voor de geteste volledig en duidelijk? Basisvraag: 2.7. Is een handleiding beschikbaar? (Bij negatieve beoordeling van vraag 2.7 kan men direct doorgaan naar criterium 3). 2.8. Zijn de aanwijzingen voor de testleider volledig en duidelijk? 2.9. Wordt informatie gegeven over de gebruiksmogelijkheden en beperkingen van de test? Van het onderdeel handleiding wordt vraag 2.10 niet betrokken bij het onderzoek. Hier wordt gevraagd naar een samenvatting van de onderzoeksresultaten in de handleiding. Dit is niet van toepassing bij het zelfevaluatie-instrument MKVS. De volgende vragen worden betrokken bij het onderzoek: 2.11. Wordt met behulp van voorbeelden aangegeven hoe testscores kunnen worden geïnterpreteerd? 2.12. Wordt gewezen op soorten informatie die bij de interpretatie van belang kunnen zijn? Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 21
  21. 21. 2.13. Wordt de mate van deskundigheid die vereist is voor afname en interpretatie van de test vermeld? 4.2.3 Normen Hierbij gaat het om de waardebepaling. Wat is het vastgestelde niveau precies waard? Wanneer ter beoordeling gebruik wordt gemaakt van absolute normen (leerdoelen, als standaarden of criteria) dan is er sprake van criteriumgerichte toetsing. (Verloop & Lowyck 2003) Er worden ook andere normeringen onderscheiden, namelijk de relatieve of groepsgerichte norm en de zelfgerichte norm. Het scoren van een test levert een zogenaamde ruwe score op. In het algemeen krijgt de ruwe score pas betekenis door deze te vergelijken met een norm. De norm kan direct zijn afgeleid van een omschrijving van het domein van vaardigheden of leerstof dat men dient te beheersen (domein gerichte interpretatie) of kan zijn gebaseerd op de scoreverdeling van een vergelijkingsgroep (normgerichte interpretatie). (COTAN 2004) Keuning (2004) maakt onderscheid tussen relatieve normeringprocedure en standaardbepalingsprocedure. Ten aanzien van dit onderdeel worden twee basisvragen van COTAN betrokken bij het onderzoek, namelijk: Basisvraag: 3.1. Worden normen (waaronder verwachtingstabellen of grensscores) verstrekt? Basisvraag: 3.2. Wat is de kwaliteit van de verstrekte normgroep(en)? De overige vragen zijn niet van toepassing voor het zelfevaluatie-instrument MKVS. De vragen gaan over normgroepen, meetfouten, standaardafwijkingen, mogelijke verschillen tussen subgroepen en norm groepen. 4.2.4 Betrouwbaarheid Hoe minder een meting afhankelijk is van het toeval, des te betrouwbaarder is de meting. (Baarda, De Goede 2006) De mate van betrouwbaarheid zegt iets over de reproduceerbaarheid van de meting. Voor een hoge mate aan betrouwbaarheid dient het instrument vrij te zijn van toevallige fouten (random error). Toevallige fouten zijn verschijnselen waarvan de waarden op een onvoorspelbare manier variëren rondom de gemiddelde waarde of werkelijke waarde. Ook de richting is onvoorspelbaar. Het is belangrijk de betrouwbaarheid van verkregen gegevens zo goed mogelijk te controleren, want deze bepaalt de waarde van de gegevens. (Baarda, De Goede 2006) Een methode om de betrouwbaarheid vast te stellen is de test-hertestmethode. Hierbij wordt de lijst na verloop van tijd nogmaals doorgenomen, dit om de stabiliteit vast te stellen. (Baarda, De Goede 2006) Voor de homogeniteit van de vragenlijst is het belangrijk dat een variabele in verschillende vragen is geoperationaliseerd. (Baarda, De Goede 2006) Vertaald naar het zelfevaluatie-instrument gaat het hierover de operationalisatie van de standaarden in indicatoren. Voor de homogeniteit moet er naar worden gestreefd dat de indicatoren aansluiten bij de standaarden. Een ander belangrijk aspect van betrouwbaarheid is de interrator-betrouwbaarheid. Deze verwijst naar de interbeoordelaars-overeenstemming. Belangrijk is dat de meting en interpretaties van de beoordelaars zoveel mogelijk overeenstemmen met de meting van hetzelfde object. Foutieve interpretaties geven een slechte reproduceerbaarheid. Voor een hoge beoordelaarsbetrouwbaarheid is het belangrijk dat de observatielijst duidelijk is en goede instructies bevat. (Baarda, De Goede 2006) Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 22
  22. 22. Bij de basisvraag (COTAN 2004) wordt gevraagd naar het wel of niet verstrekken van gegevens over betrouwbaarheid. COTAN stelt dat de indices voor betrouwbaarheid met vermelding van de foutenbron het mogelijk maken over een voor een bepaald doel betrouwbare test te spreken. Met behulp van de traditionele betrouwbaarheidsmaten wordt in feite de generaliseerbaarheid van scores over versies, items, tijdstippen en beoordelaars vastgesteld. COTAN (2004) en Keuning (2004) geven een aantal betrouwbaarheidstesten weer die in de beoordeling worden meegenomen. Daarbij wordt gekeken of de resultaten van deze tests voldoende zijn, gelet op het beoogde type beslissing dat met behulp van de test moet worden genomen. Het gaat hier om de paralleltestbetrouwbaarheid, interne-consistentiebetrouwbaarheid, test-hertestbetrouwbaarheid en de interbeoordelaarsbetrouwbaarheid. De COTAN vraag 4.3 wordt niet betrokken bij het onderzoek, omdat deze niet van toepassing is op het zelfevaluatie-instrument MKVS. 4.3. Beoordeel hieronder de kwaliteit van het onderzoek: a. Zijn de procedures op grond waarvan de betrouwbaarheidsgegevens zijn berekend correct? b. Zijn de steekproeven op grond waarvan de betrouwbaarheidsgegevens zijn berekend in overeenstemming met het beoogde testgebruik? c. Maken de gegevens die worden verstrekt een gefundeerd oordeel over de betrouwbaarheid mogelijk? De volgende COTAN vragen worden meegenomen: Basisvraag 4.1 wordt meegenomen in de vragenlijst voor de scholen waar het zelfevaluatie-instrument getest wordt: 4.1. Worden gegevens over de betrouwbaarheid verstrekt (Bij negatieve beoordeling van vraag 4.1 kan men direct doorgaan naar criterium 5A). Basisvraag 4.2 wordt door de onderzoeker met behulp van literatuur beantwoord. 4.2. Zijn de resultaten voldoende gelet op het beoogde type beslissingen dat met behulp van de test moet worden genomen? a. paralleltestbetrouwbaarheid b. interne-consistentiebetrouwbaarheid c. test-hertestbetrouwbaarheid d. interbeoordelaarsbetrouwbaarheid 4.2.5 Validiteit Validiteit is een belangrijke eis waar het meetinstrument in methodologisch opzicht aan moet voldoen. De validiteitvraag is: “Meet het instrument wat het beoogt te meten”. Bij validiteit gaat het om het wel of niet optreden van systematische fouten. COTAN (2004) en Keuning (2004) beoordelen beiden begripsvaliditeit en criteriumvaliditeit. Bij begripsvaliditeit gaat het erom te onderzoeken wat de test nu eigenlijk meet. (COTAN 2004) Begripsvaliditeit kan beoordeeld worden door de resultaten van het zelfevaluatieinstrument MKVS te vergelijken met andere instrumenten die beogen hetzelfde te meten. (Baarda, De Goede 2006). In dat geval moet een ander instrument beschikbaar zijn als valideringscriterium. In een instrument kan een intern criterium ingebouwd worden, bijvoorbeeld door naast indirecte vragen ook directe vragen te stellen. (Baarda, De Goede 2006) Bij criteriumvaliditeit onderzoekt men in hoeverre de testscore een goede voorspeller is van niet-testgedrag. (COTAN 2004) Deze is te vergelijken met de predictieve validiteit. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 23
  23. 23. Begripsvaliditeit De COTAN vraag 5.3 wordt niet betrokken bij het onderzoek, omdat deze niet van toepassing is op het zelfevaluatie-instrument MKVS. Deze vraag gaat over de procedures die zijn toegepast bij de begripsvaliditeitsonderzoek. De Vragen 5.1 en 5.2 worden door de onderzoeker zelf met behulp van literatuur beantwoord. Basisvraag: 5.1. Worden gegevens over de begripsvaliditeit verstrekt? (Bij negatieve beoordeling van vraag 5.1 kan men direct doorgaan naar criterium 5B) 5.2. Maken de resultaten voldoende aannemelijk dat het begrip zoals bedoeld, wordt gemeten (of: maken de resultaten voldoende duidelijk wat wordt gemeten)? Criteriumvaliditeit De COTAN vragen 5.4 en 5.5 worden bij het onderzoek betrokken: 5.4. Worden er gegevens verstrekt over het verband test-criterium? (Bij negatieve beoordeling van vraag 5.4 kan men de rest van de vragen overslaan). 5.5. Zijn de resultaten voldoende gelet op het beoogde type beslissingen dat met de test moet worden genomen? De COTAN vraag 5.6 wordt niet bij het onderzoek betrokken, omdat deze niet van toepassing is op het zelfevaluatie-instrument MKVS. Het gaat hierbij om de gevolgde procedures bij het criteriumvaliditeitsonderzoek. 4.3 Onderzoeksopzet van onderzoeksvraag 2b Vraag 2b: Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument MKVS? Bij deze vraag gaat het vooral om de gebruikerskwaliteit. Deze evaluatie vindt plaats in een ‘echte’ omgeving. Volgens Maslowki en Visscher (1997) verdient het evalueren van een gebruikgerichte evaluatie de voorkeur. De ‘echte’ omgeving in dit onderzoek bestaat uit vier montessorischolen, tevens gebruikers van het MKVS. Om deze vraag te kunnen beantwoorden worden de auditoren van de vier testscholen actief betrokken bij het onderzoek. De auditoren zijn de experts van de gebruikerskwaliteit van het zelfevaluatie-instrument MKVS. Zij zijn de gebruikers en voor hen moet het zelfevaluatie-instrument MKVS goed toepasbaar zijn en de gewenste informatie opleveren. Om tot een beoordeling te komen die leidt tot kwaliteitsverbetering van het zelfevaluatie-instrument MKVS zijn de meningen en ervaringen van de auditoren van belang. Het gaat hierbij om de zogenaamde ‘claims’, ‘concerns’ en ‘issues’ (CCI’s) van de belanghebbenden (de auditoren). De term 'claims' verwijst naar verwachtingen ten aanzien van het instrument, 'concerns' naar de zorgen, en 'issues' naar de discussiepunten. Deze CCI's zijn niet vooraf kenbaar, en moeten gaandeweg het onderzoek worden verkend. Naast het identificeren en beschrijven van de CCI's moet de evaluator achterliggende motiveringen en waardesystemen verhelderen. (Abma, 2000) Deze manier van evalueren hoort tot de vierde-generatie-evaluatie van Guba en Lincoln (1989). Hier wordt het evalueren gezien als een interactief proces van oordeelsvorming tussen groepen wier belangen worden geraakt door de evaluatie. (Abma 2000) De vraag ‘Wat vinden de beoogde gebruikers van het zelfevaluatie-instrument?’ wordt beantwoord via een gezamenlijke dialoog over de gebruikerskwaliteit van het zelfevaluatie-instrument MKVS. In een gesprek wordt kennisgenomen van elkaars ervaringen en standpunten om zodoende te komen tot een oordeel over de gebruikerskwaliteit. De evaluatie kan gezien worden als een leerproces ter verbetering van het gebruiksgemak van het zelfevaluatie-instrument MKVS. Dus de onderzoeker gaat samen met de auditoren op zoek naar betekenisvolle inzichten ter verbetering van de gebruikerskwaliteit. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 24
  24. 24. Het zelfevaluatie-instrument MKVS zal op vier scholen worden getest. Het proces van lerend evalueren zal al vanaf de introductie van het instrument op de school plaatsvinden. Daarnaast zal na de toepassing van het zelfevaluatie-instrument op de school een dialoog plaatsvinden over de zogenaamde CCI’s. Het testen van het instrument op de vier scholen zal niet tegelijkertijd starten, omdat de de introductie vooraf en evaluatie achteraf door één persoon (mijzelf) wordt verzorgd. Hierdoor vindt evaluatie – bijstelling – evaluatie plaats. Een lerende evaluatie vereist van onderzoekers dat zij verschillende rollen kunnen uitoefenen; ze moeten beschikken over verschillende vaardigheden en competenties. Daarnaast worden onderzoekers aangesproken op hun 'schakelend vermogen': het tijdig en vloeiend kunnen overstappen naar verschillende rollen. (Edelenbos, Buuren 2005) Aan dit onderzoek kunnen de volgende rollen onderscheiden worden: • Ontwikkelaar van het instrument, • Onderzoeker naar de kwaliteit van het instrument, • Instructeur, coach van de auditoren, • Evaluator. De onderzoeker zal zich bewust moeten zijn van deze verschillende rollen. Voor de rol van evaluator is een openstaande houding voor feedback noodzakelijk en mag het eigen perspectief niet de boventoon voeren. De evaluator is dan niet de expert maar een samenspeler. Om dit goed te kunnen waarborgen zullen de evaluaties plaatsvinden na de instructie en coaching en aan het eind van het traject. Verder zullen de bevindingen worden genotuleerd en voor verificatie worden voorgelegd aan de auditoren. De evaluatiedialoog als afsluiting van de test wordt tevens opgenomen. De opnames zijn alleen bedoelt voor dit onderzoek en de onderzoeker. Dit bevordert de transparante van de evaluaties. Daarnaast zal in het kader van evaluatie – bijstelling – evaluatie een logboek worden bijgehouden. De evaluaties vinden plaats per school met ongeveer twee auditoren. De agenda van de evaluatie ziet er als volgt uit: Na de instructie: 1. Is de te volgen afnameprocedure duidelijk? 2. Zijn de aanwijzingen voor de auditoren duidelijk? 3. Zijn voorafgaand aan de evaluatie de beoordelingscriteria voldoende helder? 4. Wat verwachten de auditoren dat de evaluatie gaat opbrengen? 5. Zijn er nog suggesties ter verbetering van de instructie? Na de 1. 2. 3. 4. 5. 6. 7. 8. test: Is de afnameprocedure van de evaluaties duidelijk? Zijn de indicatoren duidelijk en helder? Is het scoren van de indicatoren duidelijk? Heeft de school bruikbare informatie verkregen voor het gebruik van het MKVS in de school? Is de verkregen informatie herkenbaar? Heeft de verkregen informatie ook geleid tot nieuwe inzichten? Heeft de school input gekregen voor kwaliteitsverbetering van het MKVS in de school? Zijn er nog andere suggesties om het gebruiksgemak te vergroten? Voor het evaluatiegesprek na de instructie zal ongeveer 15 minuten worden gepland. Voor het evaluatiegesprek na de test zal ongeveer één uur worden ingepland. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 25
  25. 25. De kwalitatieve bevindingen zullen worden geclusterd per vraag. De verschillende bevindingen zullen worden bekeken op overlappingen en overeenkomsten. Daarnaast zullen ze worden ondergebracht in de drie categorieën ‘claims’, ‘concerns’ en ‘issues’. Met deze onderzoeksopzet wordt betekenisvolle en waardevolle informatie verkregen over de bevindingen ten aanzien van de gebruikerskwaliteit zoals ervaren door de auditoren. 4.4 Onderzoekspopulatie Het zelfevaluatie-instrument MKVS wordt ten behoeve van dit onderzoek op vier montessorischolen ingevoerd. De scholen kiezen zelf hun auditoren. De auditoren krijgen de handleiding en de scoringslijsten horend bij het zelfevaluatie-instrument MKVS uitgereikt. Tevens krijgen de auditoren ten behoeve van een juiste toepassing, zoals bedoeld in het kader van het instrument, een korte introductie en training. Hierna voeren de auditoren de zelfevaluatie zelfstandig uit met behulp van de scoringslijsten. Eisen die aan de testscholen worden gesteld: • Allen gebruiken het digitaal MKVS als leerlingvolgsysteem. • 50% van de leraren die worden geaudit, worden verdeeld over de verschillende bouwen met een evenwichtige verdeling wat betreft ervaring. Gekozen is voor een evenwichtige verdeling wat betreft bouw en ervaring, opdat deze variabelen de evaluatieresultaten niet zullen verstoren. • Per school worden twee auditoren aangewezen, deze worden door de schoolleiding van te voren aan gewezen. De auditoren maken deel uit van het schoolteam. • De school is zelf verantwoordelijk voor de wijze waarop ze gebruikt maakt van de door de zelfevaluatie gegenereerde informatie. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 26
  26. 26. 5. Kwaliteitscriteria voor evaluatie In de literatuur wordt een antwoord gezocht op de vraag “Welke kwaliteitseisen gelden er aan een zelfevaluatie-instrument?”. Het literatuuronderzoek is bedoeld om een theoretische inbedding te verkrijgen voor de operationalisatie van het begrip kwaliteit van zelfevaluatie-instrumenten. Zelfevaluatie-instrumenten passen binnen de integrale kwaliteitszorg. In dit kader heeft men het dan ook wel over interne audit. De integrale kwaliteitszorg behoort tot de derde kwaliteitsgolf, die zijn intrede deed na 1960. (Bakker, Steenbergen-Meerstens, 2006) De ontwikkeling van kwaliteitseisen hebben dan ook pas in de tweede helft van de vorige eeuw zijn intrede gedaan. Psychologische tests spelen een belangrijke rol in onze maatschappij. Even googlen op psychologische tests levert ongeveer 1.180.000 resultaten op. Assessment tests levert ongeveer 48.400.000 hits op. Voor degene die de test ondergaat heeft de uitslag soms vergaande consequenties. Denk maar onder andere aan het IQ- etiket, een diagnose als autisme of aanverwante stoornis, competentie beoordelingen, 360° feedback, leerlingvolgsysteemtests, sollicitatietests, ISO 2009, toetsingskader van de Inspectie van Onderwijs. Belangrijk is dat de tests van goede kwaliteit zijn en dat ze op de juiste manier gebruikt worden waar ze voor zijn bedoeld. (Evers e.a., 1988) Sinds 1967 worden richtlijnen voor ontwikkeling en gebruik van onderwijskundige en psychologische tests ontwikkeld en beschreven. (Evers, e.a., 2002). De eerste richtlijnen waren vertalingen en bewerkingen van Amerikaanse standaarden. Zo is het meest bekende en tevens het belangrijkste toetsorgaan COTAN ontstaan. Ook de inspectie verwacht van scholen dat zij voor de verantwoording van hun resultaten gebruik maken van betrouwbare, valide en genormeerde schoolvorderingstoetsen. (Inspectie van het onderwijs, 2009) In dit kader heeft de inspectie het over het voldoen aan de COTAN criteria. In Nederland worden psychologische en onderwijskundige tests beoordeeld op hun kwaliteit door de COTAN (Commissie Testaangelegenheden Nederland). (www.cotandocumentatie.nl) Cotan maakt ten behoeve van deze kwaliteitsbeoordeling gebruik van hun eigen beoordelingssysteem (2004). In het beoordelingssysteem van COTAN worden voor de beoordeling vijf hoofdcategorieën onderscheiden. Per categorie worden enkele basisvragen gesteld, en aan de hand van deze vragen wordt bepaald of aan een bepaald minimum is voldaan. Vervolgens wordt aan de hand van een per categorie variërend aantal criteria vastgesteld of aan het hoofdonderdeel een ‘onvoldoende’, ‘voldoende’ of ‘goed’ wordt toegekend. Een test wordt door de COTAN voorgelegd ter beoordeling aan twee onafhankelijke boordelaars. De kwaliteitsbeoordeling van een test leidt tot een waardering op de volgende hoofdonderdelen: 1. Uitgangspunten van de testconstructie. Een gebruiker moet kunnen beoordelen of de test past bij het doel waarvoor een test wordt gezocht. Het is daarom van belang een heldere omschrijving van de meetpretentie van de test te geven. Daarnaast moeten de keuze van testinhoud en de wijze waarop begrippen worden gemeten worden verduidelijkt. 2. Kwaliteit van het testmateriaal en de handleiding. De afname en instructie van een test moeten gestandaardiseerd zijn zodat de variatie door instructieverschillen of toetsleider is geminimaliseerd. Daarnaast moet er een duidelijke handleiding beschikbaar zijn. 3. Normen. Een ruwe score krijgt pas betekenis wanneer er een vergelijking mogelijk is met een norm. Hierbij kan er sprake zijn van domeingerichte interpretatie of normgerichte interpretatie. 4. Betrouwbaarheid. Er worden verschillende vormen van betrouwbaarheid onderscheiden: Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 27
  27. 27. paralleltestbetrouwbaarheid, interne-consistentiebetrouwbaarheid, testhertestbetrouwbaarheid en interbeoordelaarsbetrouwbaarheid. Verder dient de generaliseerbaarheid vastgesteld te worden. 5. Validiteit. Het betreft hier de mate waarin een test aan zijn doel beantwoordt, oftewel kan men uit de testscores de conclusies trekken die bedoeld zijn. Er wordt hierbij aangesloten op de klassieke driedeling in validiteit: begripsvaliditeit, criteriumvaliditeit en inhoudsvaliditeit. Wools (2007) heeft voor de bepaling van de kwaliteit van competentie-assessments het Cotan-beoordelingssysteem bewerkt. De structuur van het door haar gehanteerde beoordelingsinstrument is hetzelfde als het COTAN-beoordelingssysteem, maar de criteria verschillen inhoudelijk. Keuning (2004) heeft vanwege zijn bewezen diensten het COTAN-beoordelingssysteem ook als uitgangspunt genomen voor de kwaliteitsbeoordeling van computer based tests. De door hem gehanteerde beoordeling is alleen afwijkend wat betreft vormgeving en manier van beoordelen. Door de toegenomen autonomie van scholen moeten scholen ook hun kwaliteit zichtbaar maken en hebben ze een bewijsplicht. In de Wet Primair Onderwijs (WPO, www.stab.nl/wetten/0725_Wet_op_het_primair_onderwijs_WPO.htm) wordt in artikel 12 over het schoolplan geschreven. Het dient een beschrijving te bevatten over het kwaliteitsbeleid en specifiek de bewaking en verbetering van de kwaliteit van het onderwijs. Dus langzamerhand begint de kwaliteitszorg gemeengoed te worden in scholen. Deze trend van deregulering en autonomievergroting is ingezet vanuit het paradigma dat het de kwaliteit van het onderwijs ten goede komt als scholen zelf zoveel mogelijk invloed hebben op de vormgeving van het beoordelen en bijsturen. (Haaijer, Linde, 2004) Naar aanleiding hiervan heeft de projectgroep Q-Primair de werkmap kwaliteitszorg ontwikkeld. In deel 3 van Q-Primair worden verschillende zelfevaluatieinstrumenten aan de hand van de volgende eisen beoordeeld. Eisen aan validiteit Mate van betrouwbaarheid Gebruikerskwaliteit Dekkingskwaliteitsdimensies Suggesties voor schoolontwikkeling De eisen vormen de basis van een wetenschappelijk onderbouwd beoordelingskader. Uit het onderzoek blijkt dat de onderzochte instrumenten voldoende materiaal bieden voor goede kwaliteitszorg, maar dat geen enkel instrument perfect is. (Majoor, 2004) In het COTAN-beoordelingssyteem worden de zogenaamde traditionele kwaliteitscriteria volgens de psychometrische benadering gehanteerd. Kenmerken van de psychometrische benadering zijn: het object heeft vaste kenmerken, het is gerelateerd aan een norm, betrouwbaarheid door objectiviteit, de meting is gestandaardiseerd, summatieve functie, betrouwbaarheid is een noodzakelijke voorwaarde voor de validiteit. (Baartman, 2008) In de literatuur doen nieuwe kwaliteitscriteria hun intrede vanuit de edumetrische benadering. Uit het paper ‘Competentiegericht beoordelen op de Hogeschool Arnhem en Nijmegen (HAN)’ (Pietersen, 2007) valt te lezen dat ook de HAN in de toepassing van de kwaliteitseisen meer aandacht wil voor de edumetrie. In rapportage werkgroep assessment ter ontwikkeling van een assessment verpleegkundig specialist en assessment Master advanced nursing practitioner onder leiding van Dr. Wouter Schoonman in opdracht van consortium HBO instellingen staat bij de randvoorwaarden het voldoen aan de edumetrische eisen genoemd. Ook heeft de Open Universiteit in een evaluatieonderzoek de edumetrische kwaliteitseisen meegenomen. (Joosten e.a., 2006) De edumetrische benadering kenmerkt zich door: competentie ontwikkeling, referentie door criteria en zelfreferentie, betrouwbaarheid door menselijke observatie, beoordeling Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 28
  28. 28. door meerdere metingen en generaliseerbaarheid, formatieve functie, aanvullende kwaliteitscriteria. (Baartman, 2008) Aan het begin van een veranderende benadering van validiteit heeft Professor Samual Messinck (1931-1998) gestaan. Hij was een vooraanstaande Amerikaanse psycholoog die voor de Educational Testing Service te Princeton onderzoek heeft gedaan naar validiteit. Hij heeft validiteit onderzocht volgens de psychmetrische benadering. Later heeft hij in zijn zienswijze een revolutionaire verandering doorgemaakt door een uitgebreidere kijk te hebben op validiteitsonderzoek. (Gersten, Baker, 2002) Validiteit houdt volgens Messick een onderzoek in naar hoe testen werkelijk worden gebruikt. (Gersten, Baker, 2002) Hij heeft de interpretatie en het gebruik van de test aan elkaar gekoppeld. Validiteit heeft betekenis voor de testresultaten en is geen eigenschap van de test of van het assessment. (Messick, 1995) Hij heeft een raamwerk voor construct validiteit opgesteld door de traditionele validiteitaspecten, content, construct en criterium samen te voegen. Construct validiteit is een integratie van alle bewijzen die betrekking hebben op de interpretatie en betekenis van de testresultaten. Het raamwerk omvat zes aspecten van validiteit. Dit zijn content, substance, structure, consequences en externality. (Baartman, 2008) Van der Vleuten en Schuwirth (2005) kaarten en ander probleem aan in het werken met het traditionele concept van betrouwbaarheid. Betrouwbaarheid wordt volgens hen vaak verward met objectiviteit en standaardisatie. Volgens de zienswijze van beiden kan betrouwbaarheid ook worden bereikt bij minder gestandaardiseerde testen en meer subjectieve beoordeling door bijvoorbeeld menselijke observatoren, als de steekprof passend is. Betrouwbaarheid is belangrijk voor competentie assessment programma’s maar moet anders worden beschreven dan voor traditionele tests. (Baartman, 2005) Door het proces van verandering in het onderwijs van een toetscultuur naar een systeem gebaseerd op competenties is de behoefte toegenomen naar meer valide en betrouwbare methoden voor assessment. (Baartman e.a., 2004) Deze nieuwe vorm van op competentie-assessment gebaseerd leren maakt dat de kwaliteit van het assessment de kwaliteit van het onderwijs in zijn geheel beïnvloedt. Deze nieuwe vorm heeft nieuwe en andere criteria nodig om ze te evalueren. (Baartman e.a. 2007) Baartman heeft in haar onderzoek het raamwerk van Messick (1994, 1995) vergeleken met de tien kwaliteitscriteria van het Competentie Assessment Programma (CAP). Baartman (2008) heeft daartoe een 12 criteria raamwerk ontwikkeld. Het 12 criteria kwaliteitsraamwerk is ontwikkeld ter beoordeling van competentie-assessments programma’s. Baartman (2008) benoemt de volgende 12 criteria: 1. Passend bij het doel (fitness for purpose): de assessmentdoelen en methoden moeten compatible zijn bij de onderwijsdoelen. Parallel met het zelfevaluatieinstrument: De evaluatiedoelen en methoden moeten passen bij het MKVS. 2. Vergelijkbaarheid is gerelateerd aan het externe kwaliteitsaspect. Het assessment moet consistent zijn in werkwijze, taken, criteria en beoordeling. 3. Reproduceerbaarheid van beslissingen is gerelateerd aan de generaliseerbaarheid. De beslissing mag niet afhankelijk zijn van één assessor of één assessmentsituatie. Meerdere situaties, assessoren en opdrachten zijn nodig. 4. Transparantie is gerelateerd aan het structuur aspect van de construct validiteit. Duidelijkheid en helderheid van de wijze van beoordeling en de normering bevorderen het leerproces. De studenten en de assessoren moeten het waarom van het assessment en de criteria kennen. 5. Acceptatie: alle stakeholders moeten de criteria en de werkwijze goedkeuren. Zij moeten vertrouwen hebben in de kwaliteit van het assessment. 6. Eerlijke kans bieden voor het tonen van competenties. Hiervoor moeten verschillende assessmenttaken opgenomen zijn in het programma die het gehele domein van competenties of content moeten dekken. Dit criterium heeft betrekking op de content en op het structurele aspect van de construct validiteit. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 29
  29. 29. 7. Authenticiteit: de te beoordelen taak moet passend zijn voor de professie, realistisch en realiseerbaar zijn. Alle voor de professie benodigde kennis, vaardigheden en gedrag moeten in het assessment aanwezig zijn. Dit criterium hoort bij het content aspect van de construct validiteit. 8. Cognitieve complexiteit: betekent dat de vertegenwoordiging van het benodigde denkproces voor het oplossen van assessmentprobleem vergelijkbaar moet zijn met dat wat nodig is bij de professie. Ook dit hoort bij de construct validiteit en wel het substantieve aspect. 9. Betekenisvol: de opdrachten moeten herkenbaar en waardevol gevonden worden door de studenten. Dit is in het belang voor betekenishebbende feedback die het leerproces begeleiden. Dit hoort bij de consequentie en content aspect van de construct validiteit. 10. fitness for selfassessment: het gaat het om het vermogen van competentieassessment programma’s om het leren te sturen. 11. Onderwijsconsequentie, dit heeft te maken met het consequentie aspect van de construct validiteit. 12. Kosten en efficiëntie: dit is een vreemde eend in de bijt, maar het kan verbonden worden met de externe validiteit. Verder in haar onderzoek heeft zij deze criteria herschikt en gevat in een “Wheel of competence”. Fitness for purpose staat in het middelpunt, omdat dit de basis is voor de ontwikkeling van alle competentie-assessment programma’s. Met dit model heeft Baartman de oude en nieuwe criteria voor assessment beoordeling geïntegreerd. Kwantitatief onderzoek is nodig voor verdere validering. (Baartman, 2008) Een competentie is een integratie van kennis, vaardigheden en gedrag. Een assessment beoordeelt de competenties. (Baartman e.a. 2004). Zoals reeds in hoofdstuk 3 is beschreven, meet het zelfevaluatie-instrument attitudes, opinies, kennis en gedragingen t.a.v. het MKVS van leraren. Dit betekent dat de kwaliteitscriteria zoals Baartman (2008) heeft geformuleerd ook in grote mate toepasbaar zijn op het zelfevaluatie-instrument MKVS. De functie van beide is formatief. De kanttekening die hierbij gemaakt moet worden, is dat de consequentielast bij een competentie-assessment groter is dan het geval is bij het zelfevaluatie-instrument MKVS. Bij het assessment heeft het al dan niet voldoen aan de competenties gevolgen voor de individuele student, dus het heeft ook, hoewel niet primair, een summatieve functie. (Baartman, 2008) Terwijl het bij het instrument gaat om genereren van informatie ten behoeve van schoolontwikkeling. Het criterium ‘fitness for selfassessment’ is in de betekenis van het zelfevaluatieinstrument MKVS niet van toepassing, omdat hier geen sprake is van een assessment en de geschiktheid voor het doel komt al aan bod bij ‘fitness for purpose’. Het criterium ‘directheid’, zoals opgenomen in een raamwerk voor de kwaliteit van competentie-assessment programma’s die Baartman (2008) als basis heeft gebruikt voor de ontwikkeling van haar raamwerk, lijkt geschikter voor de kwaliteit van het instrument. Bij de ‘directheid’ gaat het om de directe wijze van meten. Deze heeft een belangrijke invloed op het leerproces. Het biedt focus. Het is niet alleen belangrijk voor de student, maar ook voor de beoordelaar, omdat de resultaten direct worden beoordeeld vergemakkelijkt dit de beoordeling. Het heeft te maken met construct validiteitaspect consequentie. (Baartman, 2008) In het zelfevalutie-instrument MKVS wordt ook een directe wijze van meten toegepast. De vraag is hier in welke mate heeft de directheid invloed op de kwaliteit van het instrument. In het kader van dit onderzoek wordt het criterium ‘fitness for selfassessment’ (Baartman, 2008) om bovengenoemde reden vervangen door het criterium ‘directheid’. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 30
  30. 30. Bij het beoordelen van de ontwerpkwaliteit moet een kanttekening worden geplaatst. Het formatief evalueren van een ontwerp is geen garantie voor een effectief ontwerp. Daarvoor kunnen de volgende redenen worden genoemd: • De kwaliteit van de ontwerper en de beschikbare ontwerpmiddelen zijn sterk van invloed op de kwaliteit van het ontwerpproduct. • De aard en kwaliteit van evaluaties beïnvloeden de evaluatieopbrengst en daarmee de mate waarin tekorten worden opgespoord. • Evaluatie-uitkomsten zijn niet altijd eenduidig (bijvoorbeeld zowel positieve als negatieve evaluaties van hetzelfde ontwerpaspect, -onderdeel); • Een ontwerpproduct is doorgaans niet in alle opzichten en op alle onderdelen te testen. • In veel gevallen zijn de oorzaak en geschikte aanpak van geconstateerde tekorten onbekend. • De kennis, ervaring, intuïtie en het geluk van de revisor zijn van invloed op de kwaliteit van diagnose- en verbeteringsacties. • Praktische randvoorwaarden (middelen, deadlines, de politieke context) kunnen ontwerpaanpassing bemoeilijken. • Remedies voor problemen kunnen negatieve neveneffecten hebben. • De effectiviteit van een ontwerp is mede afhankelijk van de mate waarin en wijze waarop het ontwerp wordt geïmplementeerd. (Maslowski, Visscher 1997) Dit betekent dat bij geconstateerde tekorten zorgvuldig overwogen moet worden of de baten van eventuele revisie opwegen tegen de daarvoor benodigde activiteiten en middelen en eventuele effecten daarvan. (Maslowski, Visscher, 1997) Zoals eerder besproken is de meetpretentie van belang voor de mate waarin het ontwerp aan de kwaliteitseisen moet voldoen. Hogere eisen zullen aan een meting moeten worden gesteld wanneer de consequentie voor de onderzochte groter is, zoals selectie of certificering. (Roelofs, Sanders 2002) De potentie van formatieve evaluatie is dermate groot dat men als ontwerper het uiterste behoort te doen om te profiteren van de voordelen die formatieve evaluatie kan bieden bij realisatie van kwaliteitsontwerpen. (Maslowski, Visscher, 1997) 5.1 Conclusie De kwaliteitseisen van COTAN (2004) zijn het meest bekend en algemeen erkend. Er zijn evenwel soms interessante discussies op het internet te vinden over de haalbaarheid en geldigheid van de beoordeling, zeker wanneer het gaat over de eisen van betrouwbaarheid en validiteit. In het COTAN-beoordelingssyteem worden de zogenaamde traditionele kwaliteitscriteria volgens de psychometrische benadering gehanteerd. De COTAN kwaliteitseisen (2004) worden in dit onderzoek als meetlat voor het zelfevaluatie-instrument MKVS meegenomen. Daarnaast wordt er blijkend uit de literatuur meer en meer de edumetrische benadering toegepast. Een combinatie van de traditionele kwaliteitseisen aangevuld met nieuwe eisen zoals de 12 criteria van Baartman (2008). Hoewel deze zijn bedoeld voor de beoordeling van de kwaliteit van competentie-assessement programma’s kunnen ze betekenis hebben voor de kwaliteit van zelfevaluatie-instrumenten. Het gaat immers in beide gevallen om formatieve evaluatie van competenties voor de uitvoering van een professie. In de analyse over de kwaliteit van het zelfevaluatie-instrument MKVS worden deze criteria dan ook besproken. Op de vraag welke kwaliteitseisen gelden voor een zelfevaluatie-instrument kan er een combinatie gemaakt worden van de COTAN eisen (2004) en de 12 criteria van Baartman (2008). Behoudens het criterium ‘fitness for selfassessment’ (Baartman, 2008). In het kader van het zelfevaluatie-instrument MKVS lijkt het criterium ‘directheid’ geschikter. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 31
  31. 31. 6. Langs de COTAN meetlat In dit hoofdstuk staat de onderzoeksvraag ‘Hoe voldoet het zelfevaluatie-instrument MKVS aan de COTAN eisen?’ centraal. Voor de beantwoording van deze vraag is gebruik gemaakt van het ‘Beoordelingssysteem voor de kwaliteit van Tests’ versie augustus 2004 van COTAN. Allereerst is de kwaliteit van het zelfevaluatie-instrument MKVS aan de hand van de COTAN-criteria door mijzelf beoordeeld. Daarna heeft drs. P. Paans als tweede beoordelaar het instrument en de analyse kritisch beschouwd aan de hand van hetzelfde beoordelingssysteem van COTAN. De bespreking van de beoordelingsresultaten volgt de indeling van COTAN: 1. Uitgangspunten van de testconstructie. 2. kwaliteit van het testmateriaal en handleiding. 3. Normen. 4. Betrouwbaarheid. 5. Validiteit. Achter elke vraag zoals overgenomen uit het COTAN beoordelingssysteem staat de score vermeld, volgens de waardebepaling en normering van datzelfde beoordelingssysteem. Daaronder worden de verantwoording en analyse besproken. 6.1 Bevindingen 1. Uitgangspunten van de testconstructie 1.1 Is aangegeven wat het gebruikersdoel is van de test?: score + Bezinning op gebruikersdoel. Het doel, de meetpretentie van het zelfevaluatie-instrument, wordt in hoofdstuk 2 van de handleiding uitgelegd. De doelgroep is montessorischolen die het MKVS gebruiken. Het gaat om een interne formatieve beoordeling (Hopkins 2008). Het uitgangspunt is kwaliteitsverbetering. Het instrument wordt ingezet voor evaluatiedoeleinden. Het evalueert het gebruik van het MKVS op de school. Het zelfevaluatie-instrument MKVS heeft alleen waarde voor de school en wordt ingezet voor het generen van informatie ten behoeve van schoolontwikkeling. Het biedt handvatten voor leren en ontwikkelen. Het gaat om een domeingerichte interpretatie. Het resultaat wordt niet vergeleken met andere scholen. 1.2. Is de herkomst van het constructie-idee beschreven en/of word(t)(en) het(de) te meten construct(en) gedefinieerd?: Score + Dit wordt besproken in hoofdstuk 4 van de handleiding (Het MKVS als basis voor het zelfevaluatie-instrument). Het te meten construct is het gebruik van het MKVS. De herkomst en het theoretisch kader worden besproken. 1.3. Wordt de relevantie van de testinhoud voor het(de) te meten construct(en) aannemelijk gemaakt?: score + In hoofdstuk 3 (De opbouw en ontwikkeling van het instrument) van de handleiding wordt uitgelegd dat het instrument bestaat uit standaarden en indicatoren. De standaarden zijn gebaseerd op de handleiding MKVS en het digitale MKVS en zijn vastgesteld aan de hand van de grondslagen en conceptomschrijvingen van het MKVS. De indicatoren zijn operationalisaties in meetbare eenheden van de standaarden. Ter beoordeling van de standaarden en indicatoren zijn de auteur van het MKVS en experts nauw betrokken geweest, waarmee de relevantie aannemelijk wordt gemaakt. De opbouw en ontwikkeling van het instrument wordt in hoofdstuk 3 van de handleiding besproken. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 32
  32. 32. Eindoordeel is goed volgens de COTAN normering. Basisvraag is positief beoordeeld en beide andere vragen worden minstens +/- beoordeeld. 2. Kwaliteit van het testmateriaal en de handleiding 2A. Testmateriaal Basisvraag: 2.1. Zijn de testopgaven gestandaardiseerd? Score: + De testopgaven, de indicatoren per standaard, zijn voor wat betreft inhoud, vorm en volgorde voor iedereen hetzelfde. Ze zijn opgenomen in een gestandaardiseerd evaluatieformulier MKVS per leraar (bijlage 4 en 5) . Dit betekent dat er sprake is van standaardisatie. De school kan er wel voor kiezen om naar aanleiding van hun invoeringstraject of eerder uitgevoerde evaluaties bepaalde indicatoren niet mee te nemen. Basisvraag: 2.2.b. Indien de scoring door beoordelaars of observatoren gebeurt, is dan het beoordelings- of observatiesysteem volledig en duidelijk? Score: + Bij deze vraag gaat het erom of de procedures beschreven zijn waardoor de objectiviteit zo goed mogelijk wordt gewaarborgd. Dit betekent dat er richtlijnen voor de beoordeling/scoring e.d. moeten worden gegeven. Hieruit moet duidelijk worden wat er per se in een antwoord moet staan of welk gedrag moet zijn vertoond om duidelijke scores te kunnen toekennen. De indicatoren geven aan welk gedrag of welke activiteit gewenst is. Gescoord wordt met voldoet wel of niet. In hoofdstuk 6 (De stappen in het proces van zelfevaluatie MKVS) staat de te volgen procedure beschreven. Tevens wordt er aandacht besteed aan de houding van de auditoren (beoordelaars) t.a.v. o.a. objectiviteit en inter-beoordelaars overeenstemming. Hier is bekeken wat er over dit onderwerp in de handleiding staat. Uit de evaluaties met de testscholen zal moeten blijken wat de ervaringen van de gebruikers zijn. Basisvraag: 2.3. Zijn de items vrij van racistische of voor bepaalde bevolkingsgroepen kwetsende inhoud? Score:+ Er is geen racistische inhoud aangetroffen, niet wat betreft autochtoon, allochtoon, man / vrouw verhouding, ervaring of iets dergelijks. 2.4.a. Zijn items, testboekje, antwoordschalen en/of antwoordformulier zodanig ontworpen dat fouten bij de invulling kunnen worden vermeden? Score: + In principe zijn het scoringsformulier (evaluatieformulier MKVS per leraar) en de verzamelstaat resultaten zelfevaluatie MKVS montessorischool (bijlage 6) zo ontworpen dat fouten vermeden kunnen worden. Uit eindevaluatie van de vier testscholen zal dit nog moeten blijken. 2.4.b. Hoe is de kwaliteit van het testmateriaal? Score: komt terug in hoofdstuk 7. Deze vraag wordt meegenomen in de eindevaluatie van de vier testscholen. 2.5. Is het scoringssysteem zodanig ontworpen en beschreven dat fouten bij de scoring kunnen worden vermeden? Score: +/Er is opgenomen hoe verschillen tussen beoordelaars/ auditoren vermeden kunnen worden. Er is in de handleiding aandacht voor het eventueel niet meenemen van indicatoren, maar er wordt niet vermeld hoeveel indicatoren overgeslagen kunnen worden zonder dat de test zijn waarde verliest. Wanneer er indicatoren worden overgeslagen is niet vermeld welke score deze indicatoren krijgen. Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 33
  33. 33. 2.6. Is de instructie voor de geteste volledig en duidelijk? Score: +/Tijdens een mondelinge instructie zijn alle standaarden en indicatoren besproken en uitgelegd. De standaarden en indicatoren worden niet nader toegelicht in de handleiding. Zij behoren tot de basiskennis van het MKVS. Informatie over de wijze van notatie is opgenomen op het evaluatieformulier en verzamelstaat. De benodigde tijd is niet opgenomen in de handleiding. Dit is wel besproken tijdens de instructie. Dit zal opgenomen worden na de eindevaluaties met de testscholen. Eindoordeel is goed volgens de COTAN normering. De drie basisvragen zijn positief beoordeeld en de somscore van 2.4 t/m 2.6 > 1. Van het onderdeel handleiding wordt vraag 2.10 niet betrokken bij het onderzoek. Hier wordt gevraagd naar een samenvatting van de onderzoeksresultaten in de handleiding. Dit is op dit moment niet van toepassing bij het zelfevaluatie-instrument MKVS. Na dit onderzoek zal een samenvatting van dit onderzoek worden opgenomen in de handleiding. 2.B. Handleiding Basisvraag: 2.7. Is een handleiding beschikbaar? Score:+ Het zelfevaluatie-instrument MKVS heeft een handleiding. 2.8. Zijn de aanwijzingen voor de testleider volledig en duidelijk? Score:+/De aanwijzingen zijn belangrijk voor een gestandaardiseerde afname van de test. Standaardisatie heeft betrekking op ontwerp, inhoud, vorm en instructie. Het ontwerp, de inhoud, en de vorm zijn gestandaardiseerd door de standaarden en indicatoren, de evaluatieformulieren, wijze van evaluatie en beoordeling zoals beschreven in de handleiding en het instrument zelf. De aanwijzingen (instructie) voor de auditoren zijn beschreven in hoofdstuk 6 van de handleiding. Het doel van de evaluatie is beschreven. Zo ook wat het oplevert. Daarbij is de meetpretentie meegenomen. Er wordt niet zoveel mogelijk letterlijk voorgeschreven wat de testleider wel en niet mag zeggen. De evaluatieonderwerpen zijn de standaarden en de daarbij behorende indicatoren. De wijze waarop de indicatoren geëvalueerd worden, staan vermeld bij de desbetreffende indicatoren. Veel informatie wordt door bevragen in een interview verkregen. Voor het rendement en de geldigheid van de evaluatie voor de school moet de informatie eerlijk, nuttig en betrouwbaar zijn. De houding van de auditoren spelen voor het verkrijgen van dergelijke informatie een belangrijke rol. De houding moet belangstellend, nieuwsgierig, open, onbevangen en onpartijdig zijn. Verder zal de auditor, in het belang van informatiegaring, in moeten spelen op hetgeen de geïnterviewde vertelt. Hiervoor is geen vast recept te geven. Dus is ook niet voorgeschreven hoe op vragen moet worden ingegaan. Er is sprake van een semi-gestructureerd interview. De indicatoren die bevraagd worden zijn een vast gegeven. Maar op basis van de antwoorden die gegeven worden zal de auditor door moeten vragen om volledige en juiste informatie te verkrijgen. Welke vragen er worden gesteld door de auditor is afhankelijk van de situatie, de geïnterviewde en de kwaliteit van de antwoorden. Voorwaarden voor het slagen van een dergelijk interview: 1. Verwachtingen duidelijk en snel uitspreken en waarmaken. 2. Geïnterviewde het gevoel geven in alle vrijheid en openheid te kunnen spreken. 3. Letten op vormaspecten als non-verbale communicatie, zoals je eigen houding, hoe je ten opzichte van elkaar zit. Het doel hiervan is een gevoel geven van openheid en vrijheid van spreken en oprechte interesse. Daarvoor moet de interviewer kwaliteiten bezitten zoals nieuwsgierigheid in andere mensen. Empathie en flexibiliteit. (Luyten, Lowyck, 2003-2004) Master in Leadership in Education Windesheim –Nes- Magistrum afstudeerbegeleider:drs. W. Folker onderzoeksverslag Astrid Ottenheym-Vliegen© augustus 2010 34

×