Vaststellen van                                                                 Inleiding     didactische bekwaamheid     ...
woordelijkheid krijgt voor het onderwijs aan een             Tot in de jaren tachtig van de vorige eeuw was hetgroep, in s...
dures hinder ondervinden van deze bedreigingen en         taakdomein. Het oordeel over competentie of                     ...
mentscores daartegen moeten worden afgezet. Uiter-           blijkt ongeveer driekwart van de stagebegeleidersaard moet de...
(schriftelijk) verslag van de student zelf, de mentor     het leraarschap en wat daarbij van een LIO wordt                ...
bekwaamheid aan te tonen in lessituaties in ver-             bewijsstukken tot verschillende totaalscores komen schillende...
muleerd, zegt het merendeel van de LIOs niet           samenstelling van zijn beoordelingsportfolio kan bij               ...
Een onderzoek naar validiteit van bekwaamheidsbeoorde-   ling bij studenten in de LIO-stage van de lerarenopleiding   basi...
Upcoming SlideShare
Loading in …5
×

Vaststellen van didactische bekwaamheid tijdens de LIO-stage

1,664 views

Published on

In dit artikel wordt voor een cruciale te verwerven competentie
in de lerarenopleiding, de didactische bekwaamheid, nagegaan in
hoeverre het aannemelijk is dat tegen het einde van de LIO-stage
een valide beslissing genomen kan worden over de verwerving van
deze competentie.

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,664
On SlideShare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
14
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Vaststellen van didactische bekwaamheid tijdens de LIO-stage

  1. 1. Vaststellen van Inleiding didactische bekwaamheid Veel lerarenopleidingen hebben de laatste jaren hun curricula ingericht volgens de principes van competen- tijdens de LIO-stage tiegericht opleiden. Kenmerkend verschil met de meer traditioneel georiënteerde opleidingen is dat authentieke beroepstaken de bouw- Toetsen moeten valide scores opleveren. Elke docent kent deze stenen van het curriculum vormen belangrijkste te stellen kwaliteitseis aan onderwijskundige metingen. in plaats van vakdisciplines en Maar er iets mee doen in de eigen beoordelingspraktijk is een heel schoolvakken. De recent onderschei- ander, lastiger verhaal. Dat geldt zeker als de te meten eigenschap den startbekwaamheden zoals verder reikt dan het memoriseren of begrijpen van kennis, zoals beschreven in de wet BIO gelden bijvoorbeeld het geval is bij de sinds enkele jaren populaire compe- daarbij steeds vaker als richtsnoer tenties. voor zowel de opbouw van het cur- In dit artikel wordt voor een cruciale te verwerven competentie riculum als de beoordeling van de in de lerarenopleiding, de didactische bekwaamheid, nagegaan in studenten (SBL, 2003). hoeverre het aannemelijk is dat tegen het einde van de LIO-stage een valide beslissing genomen kan worden over de verwerving van deze competentie. Onderzocht is in hoeverre de beoordelingspraktijk Met de komst van competentiege- tijdens de LIO-stage tegemoetkomt aan de kwaliteitseisen volgens richt opleiden is de behoefte aan Kanes valideringsprocedure. Daartoe hebben 387 LIOs en 105 stage- andersoortige vormen van toetsing begeleiders afkomstig van 18 pabos en 59 mentoren van betrokken en beoordeling toegenomen (Dierick & Dochy, 2001; Straetmans & San- basisscholen gerespondeerd op schriftelijke vragenlijsten. De resulta- ders, 2001). Ten opzichte van traditi- ten lijken aan te geven dat de beoordelingspraktijk tijdens de LIO- onele opleidingen verschuift de stage op diverse punten zwakheden vertoont die het nemen van valide nadruk van de voorwaarden voor beslissingen over didactische bekwaamheid in de weg staan. competent handelen (vakdidacti- sche kennis en vaardigheden) naar het handelen in authentieke beroep- staken zelf (Uhlenbeck, Verloop, & Beijaard, 2002) en naar de gevolgen van dat handelen, zoals bijvoorbeeld zichtbaar gemaakt in de al dan niet schrif- telijke prestaties van onderwijsdeelnemers. Hoewel het nodige geschreven is over de wenselijkheid van competentie- gericht beoordelen, is relatief weinig bekend over de mate waarin deze nieuwe beoordelingsvorm inmiddels is ingevoerd bij lerarenopleidingen en nog minder over de kwaliteit daarvan. Het meest recente onderzoek op dit terrein dateert nog uit het pre-SBL tijdperk. Geconcludeerd werd dat "…gezien het feit dat toetsing binnen het competentiegerichte curriculum zich nog in een experimenteel stadium bevindt en er momenteel nog weinig gegevens beschikbaar zijn over de betrouwbaarheid en validiteit van deze nieuwe toetsvor- men, het eindniveau van de studenten onvoldoende gewaarborgd kan worden.” (Onderwijsinspectie, 2003, p. 12). Vijf jaar later is de problematiek nog even actueel gelet op de conclusie van de staatssecretaris in de Monitor Beleidsagenda Lerarenopleiding 2005-2008, die luidt dat door het achter- blijven van de kwaliteit van toetsing en examinering het hbo-niveau onvoldoende kan worden geborgd (Ministerie van OCW, 2008). Ook de AUTEUR(S) Gerard J.J.M. Straetmans Onderwijsraad concludeert dat integrale examinering van vaardigheden Saxion, Cito Arnhem en/of competenties versterking behoeft met het oog op de borging van het eindniveau van aanstaande leraren (Onderwijsraad, 2009, p.23). Voor Erik Roelofs, opleidingen moet dit, zeker nu de NVAO van plan is de accreditatie-eisen Cito Arnhem op het gebied van toetsing en examinering aan te scherpen, het signaal zijn om de kwaliteit van competentiegerichte beoordelingen nadrukkelijker te Marit Peters, Universiteit Twente gaan bewaken. Enschede Om meer zicht te krijgen op de huidige beoordelingspraktijk van compe- tentiegerichte lerarenopleidingen heeft Cito in samenwerking met vier lectoraten1 in het studiejaar 2008-2009 een survey uitgevoerd bij lerarenop- leidingen voor het basisonderwijs. Daarbij werd uitsluitend gekeken naar4 de LIO-stage, tijdens welke de aspirant-leraar basisonderwijs de verant-
  2. 2. woordelijkheid krijgt voor het onderwijs aan een Tot in de jaren tachtig van de vorige eeuw was hetgroep, in samenwerking met de vaste groepsleer- ideale model voor de validering van performancekracht(en). De aspirant-leraar toont daarmee aan in assessments gebaseerd op empirisch onderzoek dathoeverre hij, in de ogen van de opleiding, startbe- het verband tussen toetsscores en scores op een ofkwaam is. ander extern criterium uitdrukte in een correlatie coëfficiënt (Ebel, 1983). Het lijkt heel plausibel om de validiteit van bijvoorbeeld een examen af te meten aan de successen van de gediplomeerde in een ofVerantwoord vaststellen van didactische andere relevante vervolgsituatie, bijvoorbeeld debekwaamheid beroepspraktijk. Maar wat moet verstaan wordenDidactische bekwaamheid kan niet worden afgeleid onder successen (er blijkt vaker niet dan wel eenuit beheersing van de vereiste voorwaardelijke kennis absoluut beheersingsniveau of gouden standaard(op het gebied van ondersteunende vakdisciplines en bepaald te zijn) en hoe meten we die op een zodanigebasisschoolvakken) en evenmin uit reflectieverslagen wijze dat ze in ieder geval betrouwbaarder en meervan de student over de uitvoering van beroepstaken. valide zijn dan het te evalueren examen zelf? Immers,Didactische bekwaamheid moet blijken; blijken uit niemand is gebaat bij validering aan een wrak crite-het feit dat de aspirant docent adequaat handelt in rium. Naast praktische zijn er ook methodologischetaaksituaties die representatief zijn voor de taakver- problemen, namelijk dat meestal alleen de geslaagdenvulling in het beroep. De LIO-stage is bij uitstek in een dergelijke valideringsstudie kunnen participe-geschikt om daarvoor het bewijsmateriaal te leveren. ren aangezien de gezakten dikwijls geen toegang totDe LIO-stage kan opgevat worden als een soort de vervolgsituatie hebben. Fundamenteler nog is deproeve van bekwaamheid, een ultieme hands-on kritiek van Borsboom, c.s. (2004), welke inhoudt dattoets (Straetmans, 2006, p.41) voor het vaststellen met correlatiestudies weliswaar verbanden zijn opvan bekwaamheden. Ultiem omdat toetssituatie en te sporen tussen variabelen maar geen oorzakelijkecriteriumsituatie (dat waarvoor de kandidaat wordt verbanden. En dat laatste is een belangrijke zwakheidopgeleid en waar het diploma toegang tot verleent) omdat volgens deze auteurs een meetinstrumentnauwelijks van elkaar te onderscheiden zijn. Door de slechts valide metingen kan opleveren als variaties insterke gelijkenis met de criteriumsituatie wordt vaak de meetresultaten veroorzaakt worden door variatiesgedacht dat een proeve van bekwaamheid als vanzelf in de te meten eigenschap.leidt tot uitkomsten die valide te interpreteren zijn.Helaas blijkt de toegeschreven hoge validiteit van de Kane (1999) bewandelt een volledig ander pad metproeve van bekwaamheid soms niet meer dan schijn- zijn argument-based benadering van het validerings-validiteit te zijn (Straetmans, 2006, p.21). Om die reden, vraagstuk van performance assessments. Volgensmaar ook vanwege de toenemende druk vanuit de hem gaat het er bij validiteit om dat op grond vansamenleving en de politiek om het eindniveau van een assessmentprestatie op overtuigende wijze bear-de lerarenopleidingen te borgen, lijkt het niet verstan- gumenteerd kan worden dat een bepaalde beslissingdig om beslissingen te nemen over de didactische over de kandidaat gerechtvaardigd is. Om de presta-bekwaamheid van kandidaten zonder dat de kwali- tie van een individu op een assessmenttaak of -pro-teit van de daarvoor gebruikte assessmentprocedure gramma te kunnen interpreteren in termen van diensgeborgd is. beroepsmatige competentie zijn volgens Kane op zijn TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011 minst de volgende vier inferenties noodzakelijk: 1 De geobserveerde assessmentprestatie wordt beoordeeld en uitgedrukt in een score op een Didactische bekwaamheid moet blij- bepaalde beoordelingsschaal; ken uit het feit dat de aspirant docent 2 Vanuit deze geobserveerde score wordt gegenera- adequaat handelt in taaksituaties liseerd naar een verwachte score over het assess- die representatief zijn voor de taak- mentdomein (dat is de denkbeeldige verzameling vervulling in het beroep. van alle relevante assessmenttaken die voorgelegd zouden kunnen worden aan de kandidaat); 3 Vanuit de verwachte score over het assessment-Onderwijskundige metingen, ongeacht of ze bedoeld domein wordt geëxtrapoleerd naar een verwachtezijn om kennis, vaardigheden of bekwaamheden te score over het praktijkdomein (dat is de denkbeel-meten, moeten zuiver en relevant zijn of, in psycho- dige verzameling van alle relevante taaksituatiesmetrisch jargon, betrouwbaar en valide. Een meting waarmee de startende professional geconfronteerdis betrouwbaar als bij herhaalde uitvoering van de kan worden);meetprocedure steeds min of meer hetzelfde meet- 4 Op basis van de verwachte score over het praktijk-resultaat wordt verkregen. Valide is een meting als domein wordt een conclusie getrokken over dehij de gebruiker de juiste informatie verstrekt voor beroepsmatige competentie of bekwaamheid.het nemen van een of andere beslissing. Validiteitwordt doorgaans als de meer belangrijke eigenschap Performance assessments kunnen in hun ontwerp enbeschouwd van meetresultaten. Toch is het vaak dit uitvoering zwakke plekken hebben die een serieuzekwaliteitskenmerk dat bij evaluaties van onderwijs- bedreiging vormen voor genoemde inferentieproce-kundige meetinstrumenten met een onvoldoende dure. Met een schriftelijke bevraging van de belang-beoordeeld wordt of in het geheel niet beoordeeld rijkste betrokkenen hebben we geprobeerd zicht tekan worden omdat de ontwikkelaars van het instru- krijgen op de beoordelingspraktijk in de LIO-fase en 5ment er geen onderzoek naar gedaan hebben. vooral op de vraag in hoeverre de beoordelingsproce-
  3. 3. dures hinder ondervinden van deze bedreigingen en taakdomein. Het oordeel over competentie of daarmee een belemmering vormen voor een succes- bekwaamheid zou niet afhankelijk mogen zijn van de volle inferentieprocedure. specifieke set van uitgevoerde assessmenttaken. Vol- gens onderzoek echter speelt in alle domeinen het probleem van de taakspecifieke prestatie (Linn & Bur- ton, 1994). Het zou een gevolg zijn van het feit dat Onderzoek naar de beoordelingspraktijk kennis en vaardigheden niet zonder meer overdraag- gedurende de LIO-stage baar zijn van de ene toepassingscontext naar de Doel van de LIO-stage is het verwerven van start- andere. Het is dus maar de vraag of een conclusie bekwaamheid; dat is een brede bekwaamheid die over didactische bekwaamheid die vooral gebaseerd niet alleen betrekking heeft op de onderwijstaken is op bewijsmateriaal afkomstig uit gegeven taalles- binnen de klas, maar op alle bij het beroep van leer- sen, ook geldig is voor de andere schoolvakken. Maar kracht behorende werkzaamheden zoals: het deel- ook binnen een bepaald schoolvak is een dergelijke nemen aan vergaderingen, het houden van beoorde- vraag gerechtvaardigd: een prima verzorgde instruc- lingsgesprekken, het omgaan met ouders, enz. tie over het optellen en aftrekken met ongelijknamige De hoofdtaak is echter het zelfstandig begeleiden breuken biedt geen garantie voor de kwaliteit van een van een groep leerlingen. Daarvoor heeft een LIO instructie over meten met inhoudsmaten. Voorkomen voldoende didactische bekwaamheid nodig. moet worden dat de conclusie over de didactische be- kwaamheid van een LIO heel anders uitvalt bij een andere selectie van assessmenttaken. Dat kan door Vraagstelling een zorgvuldige afbakening en beschrijving van het Tijdens de LIO-stage worden taken uitgevoerd aan taakdomein en de relevante condities waaronder de hand waarvan beoordeeld wordt of de LIO in vol- gepresteerd moet worden en door een selectie van doende mate didactisch bekwaam is. Onderhavige assessmenttaken die deze verscheidenheid vertegen- studie werd opgezet om antwoord te krijgen op de woordigt. Dan nog kan een uitkomst echter zijn dat vraag of de beoordelingspraktijk tijdens de LIO-stage prestaties op assessmenttaken sterk variëren, hetgeen gerechtvaardigde beslissingen over de verwerving dan de vraag oproept of er wellicht niet meer dan één van didactische bekwaamheid toelaat. De aandacht competentie of bekwaamheid in het geding is. Bij- is daarbij vooral uitgegaan naar de vraag in hoeverre voorbeeld, doordat didactische bekwaamheid op het het ontwerp en de uitvoering van de assessments tij- gebied van aanvankelijk lezen iets anders behelst dan dens de LIO-stage tegemoetkomen aan de voorwaar- didactische bekwaamheid op het gebied van rekenen. den voor een succesvolle inferentieprocedure. Bij het De LIO zou de ene verworven kunnen hebben en de ontwerp van de vragenlijsten is dan ook nauw aange- andere (nog) niet. In de survey hebben we de respon- sloten bij de verschillende stappen in de inferentie- denten bevraagd op diverse aspecten die verband procedure. Dat lichten we hieronder eerst toe. houden met de kwaliteit van de steekproef van assessmenttaken. Voorwaarden voor een accurate beoordeling De eerste inferentie heeft te maken met de observatie Voorwaarden voor extrapolatie van assessmentprestaties en waardering van een assessmentprestatie en de Met de derde inferentie wordt de interpretatie van de kwantificering daarvan in een score. Om te kunnen assessmentscore uitgebreid (geëxtrapoleerd) naar het dienen als een basis voor verdere inferenties moet doel- of praktijkdomein. Het praktijkdomein wordt de geobserveerde score accuraat zijn, ofwel zoveel gevormd door de volledige verzameling taaksituaties mogelijk vrij zijn van meetfouten. Meetfouten wor- waarin iemand geacht wordt adequaat te kunnen den veroorzaakt door imperfecties in de meetproce- handelen als de te toetsen competentie of bekwaam- dures. Die kunnen van allerlei aard zijn. Zoals bij- heid verworven is. De vraag die hier in het geding is,Vaststellen van didactische bekwaamheid tijdens de LIO-stage voorbeeld onduidelijkheid bij betrokkenen over luidt: In hoeverre is het mogelijk om op grond van de aard en uitvoering van de beoordelingsprocedure. de assessmentprestatie een conclusie te trekken over Of een onvoldoende uitgewerkte operationalisatie de verwachte prestatie in de vervolgsituatie waarover van de te beoordelen bekwaamheid, zoals kan blijken het assessment een uitspraak wil doen? Meer concreet uit het ontbreken van een heldere en volledige be- gesteld: Geven de resultaten op de tijdens de LIO- schrijving van het taakdomein en/of uit het ontbreken stage uitgevoerde assessmenttaken voldoende hou- van helder geformuleerde prestatiecriteria. Of onvol- vast om uitspraken te doen over het didactisch han- doende controle op de beoordelingskwaliteit van de delen in de reële beroepspraktijk? Om hier zicht op te assessoren. Maar ook de onzekerheid over de her- krijgen zijn de respondenten bevraagd op de authen- komst van bewijsstukken en dergelijke. Op deze en ticiteit van de assessmenttaken tijdens de LIO-stage. nog andere aspecten zijn de respondenten bevraagd. Voorwaarden voor een accurate beslissing Voorwaarden voor generalisatie van assessmentprestaties De laatste inferentie behelst het trekken van een con- De tweede inferentie gaat over de toelaatbaarheid clusie over de in het geding zijnde competentie of van een generaliserende uitspraak over al die andere bekwaamheid op grond van de geobserveerde assess- assessmenttaken die aangeboden hadden kunnen mentscores. Dit houdt in dat deze scores geëvalueerd worden. Het doel van een assessment is niet zozeer worden door ze te vergelijken met een vastgestelde om te weten te komen wat een kandidaat presteert op standaard om op grond daarvan te beslissen of de de concrete assessmenttaken, maar om een conclusie LIO didactisch bekwaam is of niet. Om willekeur te 6 te trekken over het al dan niet verworven zijn van voorkomen is het gewenst dat de standaard helder competentie of bekwaamheid op een beschreven omschreven is en dat aangegeven is hoe de assess-
  4. 4. mentscores daartegen moeten worden afgezet. Uiter- blijkt ongeveer driekwart van de stagebegeleidersaard moet de standaard zelf valide zijn, maar de te kunnen beschikken over door de opleiding ver-vaststelling daarvan is bijzonder lastig en is zeker niet strekte scorevoorschriften, beoordelingsschalen ofuitvoerbaar aan de hand van een schriftelijke vragen- andere hulpmiddelen om prestaties te beoordelen.lijst. Vandaar dat de respondenten in dit kader alleen Voor mentoren is dit 60 procent.bevraagd zijn op de aanwezigheid van procedures • De inzet van een portfolio waarin de LIO bewijs-die voorschrijven hoe men op grond van beoordeelde stukken voor zijn didactische bekwaamheid ver-assessmentscores kan komen tot een beslissing over gaart doet veronderstellen dat er in de LIO-stagedidactische bekwaamheid. voornamelijk analytisch beoordeeld wordt. Maar de reacties op de vraag aan assessoren of zij bewijs- stukken van LIOs elk afzonderlijk van een oordeelOnderzoeksopzet voorzien, laten twijfel ontstaan over die constate-Instrumenten ring. Meer dan 40 procent van de stagebegeleidersOm informatie te verkrijgen over de realisatie van en 16 procent van de mentoren geeft aan bewijs-de voorwaarden voor solide (betrouwbare en valide) stukken niet afzonderlijk te beoordelen. Wanneerbeoordelingen tijdens de LIO-stage zijn per inferentie dit wel gebeurt geeft 35 procent van de stagebege-vragen opgesteld en ondergebracht in vijf rubrieken. leiders en 50 procent van de mentoren aan dit teVoor verdere details wordt verwezen naar Peters (2009). doen in termen van onvoldoende, voldoende ofDe vragen zijn opgenomen in drie evaluatieve vra- goed.genlijsten voor de groepen direct betrokkenen bij de • Ondanks het massale gebruik van door de oplei-beoordeling van de LIO-stage: studenten, mentoren ding verstrekte prestatiecriteria is het niet voor elkevanuit de basisschool, en stagebegeleiders vanuit de LIO duidelijk waarop hij tijdens de LIO-stageopleiding. De vragenlijsten zijn web-based afgeno- beoordeeld wordt. Slechts 42 procent reageert metmen (toegankelijk via een URL) in de periode van helemaal duidelijk. Voor 8, 11 en 39 procent van dejanuari tot half april 2009. ondervraagde LIOs is dit respectievelijk volstrekt onduidelijk, redelijk onduidelijk en enigszins dui-Respondenten delijk.In totaal hebben 387 LIOs, 59 mentoren vanuit basis-scholen en 105 stagebegeleiders vanuit PABOs aan Voldoende bewijslasthet onderzoek deelgenomen. De stagebegeleiders en Bij deze voorwaarde gaat het niet alleen om de hoe-LIOs zijn afkomstig van 14 PABOs, gespreid over het veelheid bewijs maar ook om de kwaliteit daarvan.land. Van de 37 PABOs die Nederland telt heeft dus Niet elke prestatie kan gelden als een bewijsstuk enruim eenderde deel deelgenomen aan het onderzoek. niet elke verzameling bewijsstukken is zonder meer een goede afspiegeling van het assessmentdomein. Bevraging van relevante betrokkenen leidde op ditResultaten punt tot de volgende constateringen: • In de vragenlijst is aan stagebegeleiders en men-De resultaten van de schriftelijke bevraging van de toren gevraagd op hoeveel bewijsstukken ze hetdrie betrokken partijen worden hier beschreven in oordeel over didactische bekwaamheid van LIOshet licht van de voorwaarden waaraan voldaan moet doorgaans baseren. Van de stagebegeleiders geeft TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011zijn voor de vier door Kane geformuleerde inferenties. 55 procent aan daarvoor maximaal vijf bewijsstuk- ken te beoordelen en 31 procent meer dan zes bewijsstukken. Bij de mentoren liggen die percenta-Voorwaarden voor accurate beoordelingen ges op 44 respectievelijk 42 procent.Gestandaardiseerde beoordeling • Daarnaar gevraagd geeft 89 procent van de stage-Als er assessoren moeten worden ingezet om gedrag begeleiders en 85 procent van de mentoren aan datof producten te beoordelen, is standaardisatie van de ze vanuit de PABO richtlijnen hebben ontvangenbeoordelingsprocedure een beproefde methode om over welke prestaties van LIOs in aanmerkingde subjectiviteit van het assessor-oordeel te beperken. komen als (deel van het) bewijs voor didactischeStandaardisatie van de beoordelingsprocedure houdt bekwaamheid. Ondanks de beschikbaarheid vanin dat er voorschriften zijn voor wat en hoe er beoor- deze richtlijnen zegt eenderde van zowel de stage-deeld moet worden. Ten aanzien hiervan leidde de begeleiders als de mentoren dat de aangereiktesurvey tot de volgende constateringen: bewijzen door LIOs de ene keer voldoende en de • In de vragenlijst is aan stagebegeleiders van andere keer onvoldoende informatie geven over de PABO en aan mentoren van de stagescholen hun didactische bekwaamheid. Kennelijk laten de gevraagd of ze bij het beoordelen van de didacti- richtlijnen zoveel ruimte voor interpretatie dat sche bekwaamheid gebruik maken van prestatie- LIOs van tijd tot tijd hun didactische bekwaamheid criteria. Nagenoeg alle stagebegeleiders (98,5%) en proberen te bewijzen met prestaties die daarvoor mentoren (96%) geven aan dit te doen. De vraag onvoldoende geschikt zijn. blijft in hoeverre de gebruikte prestatiecriteria vol- • De kwaliteit van het bewijs is ook afhankelijk van doende ondersteuning kunnen bieden voor een de vraag of er sprake is van een directe registratie beoordeling. Goed geformuleerde prestatiecriteria van het didactisch handelen van een LIO en van geven niet alleen aan waarop de beoordeling zich de daaruit voortvloeiende resultaten. In dat geval moet richten, maar ook welke prestatieniveaus spreken we van direct bewijs. Indirect bewijs onderscheiden kunnen worden en wanneer van wordt verkregen als de beoordeling van het didac- 7 welk prestatieniveau sprake is. Daarnaar gevraagd tisch handelen en de resultaten berust op een
  5. 5. (schriftelijk) verslag van de student zelf, de mentor het leraarschap en wat daarbij van een LIO wordt of andere assessor, zonder dat het mogelijk is om verwacht. Dat houdt in ieder geval in dat een asses- het originele bronmateriaal te beschouwen. Bevra- sor de bekwaamheidseisen kent zoals die geformu- ging van de stagebegeleiders en mentoren liet zien leerd zijn in de wet BIO. Iets meer dan de helft van dat het aantal indirecte bewijzen behoorlijk groot is: de stagebegeleiders en eenvijfde van de mentoren Ongeveer 45 procent van de stagebegeleiders en geeft aan dat de PABO bovendien eist dat de asses- 35 procent van de mentoren geeft aan dat minstens sor zelf achter deze eisen kan staan. Tweederde van de helft van het bewijs van het indirecte soort is. de stagebegeleiders en iets minder dan de helft van • Op de vraag welk type bewijsmateriaal wordt de mentoren meldt dat de PABO ook eisen stelt aan opgevoerd, reageert meer dan 80 procent van de de deskundigheid op het gebied van beoordelen. stagebegeleiders met lesbezoeken, stage- of reflec- •Om de vereiste deskundigheid te verwerven heeft tieverslagen en gesprekken tussen LIO, mentor tweederde van de stagebegeleiders en ruim een- en stagebegeleider. Ongeveer 65 procent zegt dat derde van de mentoren een assessorentraining er lesopzetten als bewijsmateriaal worden aange- gevolgd. Gevraagd naar de inhoud van die training boden en minder dan 20 procent noemt videover- blijkt dat de meeste assessoren getraind zijn in het slagen van gegeven lessen en leerprestaties of erva- geven van feedback en het adequaat hanteren van ringen van leerlingen als gevolg van door de LIO prestatiecriteria. Onderwerpen als het bepalen van gegeven les(sen). Bevraging van de LIOs leverde overeenstemming tussen assessoren en het vor- een ander beeld op. Driekwart van hen zegt men van een consensusoordeel blijken veel minder gesprekken tussen LIO, stagebegeleider en mentor vaak expliciet aan de orde te komen. En juist die en stage- of reflectieverslagen op te voeren als onderwerpen zijn van belang om beoordelaars in bewijs en 63 procent gebruikt verslagen van les- staat te stellen om zelfstandig de vinger aan de pols bezoeken. De helft gebruikt lesopzetten als bewijs- te houden voor wat betreft de kwaliteit van de materiaal en 35 procent geeft te kennen de leerpres- beoordelingen. taties van de leerlingen daarvoor te gebruiken. •Aan mentoren en stagebegeleiders is de vraag •Als we kijken naar de intensiteit waarin stagebege- gesteld hoe vaak zij in de typische beoordelingsval- leiders bewijzen raadplegen alvorens tot een oor- kuilen lopen. Naar eigen zeggen lopen beide res- deel te komen over didactische bekwaamheid, dan pondentgroepen niet of nauwelijks in de volgende valt op dat reflectieverslagen veruit het vaakst inge- valkuilen: de neiging om geen extreem hoge of lage zien worden (84% bekijkt deze vaker dan twee scores te geven, te snel veralgemeniseren, te streng keer). De twee directe bewijsbronnen, ingeleverde of juist te mild beoordelen, persoonlijke criteria lesopzetten (60%) en video-opnames van lessen hanteren, omwille van de relatie niet te streng (14%), worden veel minder vaak herhaald bekeken. beoordelen, eerder gegeven oordelen tijdens de •Aan de LIOs is gevraagd of zij of medestudenten LIO-stage een rol laten spelen bij nieuwe beoorde- wel eens bewijzen voor bekwaamheid opvoeren die lingen. Daarentegen rapporteren stagebegeleiders niet voortkomen uit zelf geleverde prestaties. wel dat ze af en toe hun algemene indruk over de Ongeveer 54 procent van de ondervraagde LIOs LIO laten doorwerken in alle beoordelingen. meent zeker te weten of vermoedt dat anderen zich daar schuldig aan maken. En vijf procent geeft toe dat ze zelf één of meerdere bewijsstukken hebben Voorwaarden voor de generalisatie van aangeleverd die het werk zijn van anderen. Het assessmentprestaties blijkt daarbij te gaan om van het Internet gehaalde Dekking van het assessmentdomein bewijzen, om geleende bewijzen van medestuden- Bij een assessment gaat de belangstelling niet zozeer ten of oud-studenten of om verzonnen bewijzen. uit naar de prestatie op de aangeboden taak of taken, maar naar de prestatie die naar verwachting geleverdVaststellen van didactische bekwaamheid tijdens de LIO-stage Kwaliteit van assessoren zou worden als de kandidaat alle andere mogelijke Omdat prestatiecriteria niet zodanig te objectiveren taken (het assessmentdomein genoemd) zou uitvoe- zijn dat een willekeurige assessor ze zou kunnen toe- ren. Om daarover een betrouwbare uitspraak te kun- passen, is interpretatie ervan onontkoombaar. Daar nen doen is het noodzakelijk dat de uitgevoerde komt bij dat assessoren vaak beschouwd worden als assessmenttaken een goede afspiegeling zijn van de zwakste schakel in het beoordelingsproces het assessmentdomein en de daarin vermelde taak- (Schoonman, 2005). Het is daarom verstandig te condities. Bevraging van de betrokkenen hierop investeren in assessoren die deskundig zijn op het leidde tot de volgende constateringen: betreffende terrein, die kritisch zijn op hun werk, • Diverse vragen in de vragenlijsten voor stagebe- met name op hun beoordelingsactiviteiten, die inzicht geleiders, mentoren en LIOs hadden tot doel om na hebben in het beoordelingsconcept, de kwalificatie- te gaan in hoeverre de PABOs maatregelen hebben eisen van de opleiding en de daarvan afgeleide pres- getroffen om de generaliseerbaarheid van de tatiecriteria en die hebben deelgenomen aan een assessmentprestaties te borgen. Een daarvan is het assessorentraining. Ten aan zien van dit onderwerp gericht laten uitvoeren van specifieke taken tijdens heeft bevraging van de respondenten tot de volgende de LIO-stage. Ongeveer 60 procent van de stagebe- constateringen geleid: geleiders geeft aan dat de LIOs speciale taken krij- • De surveyresultaten laten zien dat bijna alle gen waarvan de uitvoering zicht zou moeten geven PABOs eisen stellen aan hun assessoren. Bijna 95 op de didactische bekwaamheid. Van de LIOs geeft procent van de stagebegeleiders en tweederde van een kleine 70 procent aan dat dit het geval is. 8 de mentoren geven aan dat de PABO eist dat een • Een andere belangrijke vraag in dit verband is of assessor goed op de hoogte is van alle aspecten van LIOs expliciet opdracht krijgen om hun didactische
  6. 6. bekwaamheid aan te tonen in lessituaties in ver- bewijsstukken tot verschillende totaalscores komen schillende vakgebieden (zoals taal, rekenen, zaak- en zelfs tot andere beslissingen (bijvoorbeeld in vakken en creatieve vakken). Iets meer dan de helft termen van geslaagd of gezakt) over didactische van de stagebegeleiders zegt dergelijke opdrachten bekwaamheid. In dit verband heeft bevraging van de niet te geven en tweederde van de LIOs zegt derge- respondenten tot de volgende constateringen geleid: lijke opdrachten niet te krijgen. • Op de vraag of de opleiding een procedure voor- • Op de vraag of de uitgevoerde assessmenttaken schrijft volgens welke het eindoordeel over de LIO- inhoudelijk en situationeel gezien voldoende ge- stage berekend (in het geval van kwantitatieve oor- varieerd zijn om als representatief beschouwd te delen) dan wel afgeleid moet worden uit de scores kunnen worden voor het gehele spectrum van of beoordelingen die zijn toegekend aan afzonder- mogelijke taaksituaties, antwoordt 76 procent en lijke prestaties, geeft 81 procent van de stagebege- 82 procent van respectievelijk de stagebegeleiders leiders een positief antwoord. Ondanks het bestaan en mentoren bevestigend. van dergelijke procedures geeft, zoals al eerder in dit artikel werd gerapporteerd, 41 procent van de stagebegeleiders aan prestaties helemaal niet afzon-Voorwaarden voor de extrapolatie van derlijk te beoordelen. Dat laatste gegeven corres-assessmentprestaties pondeert weer met de bevinding dat meer danRepresentativiteit van de assessmenttaken 40 procent van de LIOs niet op de hoogte wasDe context waarin de LIO zijn werk verricht is vaak van een procedure voor zak-/slaagbeslissingen.niet te onderscheiden van die waarin de bevoegde • Van de bevraagde stagebegeleiders en mentorenleraar zijn taak uitvoert. Voor assessment doeleinden zegt respectievelijk 71 en 82 procent dat in goedis dat in principe een prettige situatie. Wat echter pro- overleg een consensusbesluit genomen wordt overblemen kan geven, is dat de LIO vaak speciale taken de didactische bekwaamheid van de LIO.krijgt opgedragen waarvan de resultaten als bewijs- • Driekwart van de stagebegeleiders baseert hetstuk in het beoordelingsportfolio worden opgeslagen. eindoordeel op wat de LIO feitelijk gepresteerdAls die taken onvoldoende representatief zijn voor heeft in zijn stage, maar een kwart doet dit primairde werkzaamheden in de reële beroepspraktijk dan op basis van een inschatting of de LIO in de toe-wordt het, ondanks het feit dat de context waarin komst zal uitgroeien tot een startbekwamegewerkt wordt een perfecte afspiegeling is van de leerkracht.reële beroepspraktijk, toch moeilijk om op basis vande resultaten een uitspraak te doen over de didacti-sche bekwaamheid van de LIO. Bevraging van de Ondanks het feit dat de meesterespondenten leidde tot de volgende constateringen: opleidingen prestatiecriteria hebben • Nagenoeg alle ondervraagde stagebegeleiders en geformuleerd, zegt het merendeel mentoren vinden dat de bewijsstukken die de LIO van de LIOs niet precies te weten opvoert voor zijn eindbeoordeling een voldoende waarop ze tijdens de LIO-stage of goede afspiegeling vormen van de taken die de beoordeeld worden. startbekwame leerkracht in de beroepspraktijk moet kunnen uitvoeren. • Het beeld verandert echter bij het stellen van de TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011 volgende, meer specifieke vraag over de kwaliteit van de bewijsstukken: Lesgeven in de praktijk is com- Conclusie en discussie plex, door de gelijktijdigheid van gebeurtenissen in de Samenvattend zijn de belangrijkste constateringen klas. De leerkracht moet gelijktijdig en direct adequate naar aanleiding van deze survey: beslissingen nemen. Hij/zij dient de didactische aanpak 1. Er is reden voor twijfel aan de accuraatheid van aan te passen aan de kenmerken van de leerlingen. In hoe- beoordelingen die door stagebegeleiders en mentoren verre vindt u dat de bewijsstukken waarmee de LIO de worden toegekend aan prestaties op al dan niet ex- eigen bekwaamheid moet aantonen, deze complexiteit pliciet verstrekte assessmentopdrachten. Die twijfel weerspiegelen? Het percentage stagebegeleiders en wordt ingegeven door: mentoren dat positief reageert op deze vraag is nu • Niet optimaal uitgewerkte prestatiecriteria. De meeste een stuk lager: 39 respectievelijk 52 procent vindt opleidingen hebben wel prestatiecriteria geformu- dat de bewijsstukken een goede weerspiegeling leerd, maar in een kwart van de gevallen worden vormen van de complexe beroepspraktijk. Ruim 40 die niet ondersteund met hulpmiddelen, zoals procent van de stagebegeleiders en mentoren vindt scorevoorschriften en beoordelingsschalen, die de bewijsstukken in dit opzicht wisselend van kwa- de assessor ondersteunen bij de toepassing van liteit en een kleine 20 procent van de stagebegelei- de prestatiecriteria. Van dergelijke lijstjes met aan- ders (en 6 procent van de mentoren) is van mening dachtspunten voor de beoordeling mag niet ver- dat de bewijsstukken in dit opzicht tekortschieten. wacht worden dat ze de assessor kunnen helpen om prestaties accuraat te beoordelen. • Onvoldoende consequente toepassing van prestatiecri-Voorwaarden voor accurate beslissingen teria. De prestatiecriteria worden te vaak alleenover bekwaamheid gebruikt voor het geven van een eindoordeel overProcedures voor het bepalen van het eindoordeel de LIO-stage en niet om elke assessmentprestatie dieAls er geen procedure is voorgeschreven om tot een tijdens de stage geleverd wordt mee te beoordelen.eindoordeel te komen, is de kans groot dat verschil- • Onvoldoende transparantie. Ondanks het feit dat de 9lende assessoren op basis van een reeks gescoorde meeste opleidingen prestatiecriteria hebben gefor-
  7. 7. muleerd, zegt het merendeel van de LIOs niet samenstelling van zijn beoordelingsportfolio kan bij precies te weten waarop ze tijdens de LIO-stage de opleidingen gemakkelijk leiden tot de gedachte beoordeeld worden. Dit zou een gevolg kunnen dat er geen regels nodig zijn voor de samenstelling zijn van de onvoldoende uitwerking die aan de van het bewijs voor de te beoordelen bekwaamheid. prestatiecriteria gegeven is. Dat is riskant. Als een LIO bijvoorbeeld problemen • Onvoldoende bewijs. Dit als gevolg van ongeschikte ervaart met onderwijs geven in taal of rekenen zal die bewijsstukken en/of bewijsstukken van onbekende zich bij het aantonen van didactische bekwaamheid herkomst. Eindoordelen over de didactische liever richten op andere vakgebieden. Zonder vol- bekwaamheid zijn daardoor in bijna de helft van de doende sturing vanuit de opleiding zullen daarom gevallen gebaseerd op zwak bewijs (gesprekken en maar weinig beoordelingportfolios een verzameling verslagen blijken populairder dan de methodes die bewijsstukken bevatten die voldoende representatief op directe wijze zicht geven op de bekwaamheid is om op basis daarvan generaliserende uitspraken te om adequaat te handelen in onderwijsleersituaties). doen over de beheersing van het assessmentdomein (de verzameling assessmenttaken die de operationali- 2. Er is reden om eraan te twijfelen of de bewijsstuk- satie vormt van de te meten bekwaamheid). Het feite- ken die de LIOs overleggen een voldoende dekking lijk gehanteerde bewijsmateriaal zal daardoor vaak garanderen van het assessmentdomein. Het meren- niet de basis vormen om met voldoende zekerheid deel van de stagebegeleiders en mentoren is daar beslissingen te kunnen nemen over de didactische optimistisch over, maar gelet op het geringe aantal bekwaamheid. Hier liggen kansen voor verbetering, bewijsstukken en het ontbreken van sturing vanuit want juist de LIO-stage biedt in beginsel volop gele- de opleiding met het oog op de verkrijging van een genheid om zowel in kwantitatief als kwalitatief goede dekking, lijkt dat optimisme niet gerechtvaar- opzicht voldoende informatie te verzamelen over digd. de vast te stellen bekwaamheid. 3. De mate waarin de bewijsstukken een natuurge- trouwe afspiegeling zijn van de taken waarmee de beginnende leraar geconfronteerd wordt, is in begin- NOOT sel adequaat. Wel vindt een aanzienlijk deel van de 1 Graag willen wij de lectoren bedanken die hebben bijgedra- bevraagde stagebegeleiders en mentoren dat het door gen aan de totstandkoming van dit onderzoek: Dr. Ellen van de LIO aangedragen bewijsmateriaal geen goede den Berg (Hogeschool Edith Stein), Dr. Niels Brouwer (Ise- representatie is van de complexe beroepspraktijk linge Hogeschool) en Dr. Dominique Sluijsmans (Hogeschool Arnhem en Nijmegen). Ook dank aan de vele coördinatoren (bijvoorbeeld het omgaan met individuele verschillen en opleiders van de lerarenopleidingen, de stagementoren tussen leerlingen). van de basisscholen en de LIO-studenten voor hun onmis- bare medewerking aan het onderzoek. 4. Ten slotte twijfelen we ook of voldaan wordt aan de voorwaarden om te komen tot accurate beslissingen over didactische bekwaamheid. Weliswaar geeft het merendeel van de stagebegeleiders aan dat de oplei- LITERATUUR ding een procedure voorschrijft om tot een eindoor- Borsboom, D., Mellenbergh, G.J., & Heerden, J. van. (2004). deel te komen, maar op grond van andere responsen The concept of validity. Psychological Review, 111, 4, die in dit verband verkregen werden, valt af te leiden 1061–1071. dat deze waarschijnlijk geen regels bevatten om de Dierick, S., & Dochy, F. (2001). New Lines in Edumetrics: toegekende scores aan assessmentprestaties samen te New Forms of Assessment Lead to New Assessment vatten in een eindoordeel. Zonder dergelijke regels Criteria. Studies in Educational Evaluation, 27(4), 307- zijn beslissingen over didactische bekwaamheid 329.Vaststellen van didactische bekwaamheid tijdens de LIO-stage subjectief, niet transparant en slecht verdedigbaar Ebel, R.L. (1983). The practical validation of tests of ability. naar de betrokkenen. Educational Measurement: Issues and Practice, 2, 2, 7-10. Inspectie van het onderwijs (2003). Bekwaam afgerond? Eva- luatie startbekwaamheden in opleidingen Leraar Basison- Eindoordelen over de didactische derwijs. Inspectierapport, nr. 2003-12. Utrecht: Inspectie bekwaamheid zijn in bijna de helft van het Onderwijs. van de gevallen gebaseerd op zwak Kane, M., Crooks, T., & Cohen, A. (1999). Validating Measu- bewijs. res of Performance. Educational Measurement: Issues and Practice, 18, 2, 5-17 Linn, R.L., & Burton, E. (1994). Performance-based assess- De constateringen overziend denken wij dat de ment: Implications of task specificity. Educational beoordelingspraktijk tijdens de LIO-stage op dit Measurement: Issues and Practice, 13, 1, 5-15. moment vaak niet zal voldoen aan de voorwaarden Ministerie van Onderwijs, Cultuur en Wetenschap (2008). voor een succesvolle inferentieprocedure volgens Monitor Beleidsagenda Lerarenopleidingen 2005-2008. Kane. De oorzaak daarvan zoeken wij primair in het www.minocw.nl/documenten/4347.pdf ontbreken van voldoende regie bij de inrichting en uitvoering van procedures voor het vaststellen van Onderwijsraad (2009). Kwaliteitsborging van het eindniveau didactische bekwaamheid. De grote verantwoorde- van aanstaande leraren. Den Haag: Onderwijsraad. 10 lijkheid die de student met de invoering van het Peters, M. (2009). De praktijk van de beoordeling van competentiegericht opleiden heeft gekregen voor de LIO-stages binnen lerarenopleidingen basisonderwijs.
  8. 8. Een onderzoek naar validiteit van bekwaamheidsbeoorde- ling bij studenten in de LIO-stage van de lerarenopleiding basisonderwijs (Master’s thesis). Nijmegen: Radboud Universiteit.Schoonman, W. (2005). De zwakste schakels. Over assessment door assessoren. Onderzoek van Onderwijs, 34, 10-14.Stichting Beroepskwaliteit leraren en ander personeel. (2003). Bekwaamheidseisen leraren. Den Haag: SBL.Straetmans, G.J.J.M., & Sanders, P (2001). Beoordelen van .F. competenties van docenten. EPS-reeks 05. Educatief Part- nerschap.Straetmans, G.J.J.M. (2006). Bekwaam beoordelen en beslis- sen. Beoordelen in competentiegerichte beroepsopleidin- gen. Lectorale Rede. Enschede: Saxion Hogescholen. TIJDSCHRIFT VOOR LERARENOPLEIDERS (VELON / VELOV) - 32(1) 2011 11

×