Bewust en bekwaam toetsen - Desirée Joosten-ten Brinken - OWD13
•Download as PPT, PDF•
1 like•1,102 views
Sessieronde 1 Zaal: Rotterdam Hall Titel: Bewust en bekwaam toetsen: een instrument voor zelfbeoordeling en zelfstudie. Sprekers: Desirée Joosten-ten Brinke (Fontys lerarenopleiding en Open Universiteit), Anneriet Florack (Zuyd Hogeschool), Sabine van Eldik (Hogeschool Arnhem en Nijmegen)
Recommended
Recommended
More Related Content
What's hot
What's hot (13)
Similar to Bewust en bekwaam toetsen - Desirée Joosten-ten Brinken - OWD13
Similar to Bewust en bekwaam toetsen - Desirée Joosten-ten Brinken - OWD13 (20)
More from SURF Events
More from SURF Events (20)
Bewust en bekwaam toetsen - Desirée Joosten-ten Brinken - OWD13
- 1. Bewust en bekwaam toetsen en beoordelen Desirée Joosten-ten Brinke Fontys hogescholen en Open universiteit Anneriet Florack Zuyd Hogeschool Sabine van Eldik Hogeschool Arnhem en Nijmegen De onderwijsdagen, 12 november 2013 Programma Toetsing en Toetsgestuurd Leren SURF (www.surf.nl/toetsen)
- 2. Context • Uitgangspunt: toetsbekwaamheid van docenten is bepalende factor voor kwaliteit van toetsing • Onderzoeksproject • Wat is het effect van ontwikkelingsgerichte zelfbeoordeling door lerarenopleiders op hun toetspercepties, -kennis en -kunde?
- 3. Wat levert het project op? • Een digitaal zelfbeoordelingsinstrument om vraaggestuurd en flexibel eigen kennis en kunde en verdere professionaliseringsbehoefte in kaart te brengen. • www.bewustenbekwaamtoetsen.nl
- 4. Kwaliteitspiramide (Joosten-ten Brinke & Sluijsmans, 2011)
- 5. Kennis en kunde van lerarenopleiders • American Federation of Teachers, National Council on Measurement in Education, & National Education Association (1990); Schafer (1991); Stiggins (1999); NSW-Institue of Teachers (2005); Absolum en anderen (2009); Popham (2009); Stiggins (2009); Brookhart (2011)
- 6. Op itemniveau • De lerarenopleider – kent verschillende typen toetsvragen. – weet op welke beheersingsniveaus een toetsvraag zich richt. – kan toetsvragen op de kwaliteitscriteria relevantie, objectiviteit, efficiëntie en juiste moeilijkheidsniveau beoordelen. – kan toetsvragen na afname analyseren op psychometrische kwaliteit. –…
- 7. Op toetsbeleidniveau (LLL) • De lerarenopleider – weet wat externe validering inhoudt. – weet hoe hij studenten kan betrekken bij het nadenken over toetsvisie. – kent het onderscheid tussen formeel, non-formeel en informeel beoordelen. – kent het onderscheid tussen normgericht, criteriumgericht en ipsatief beoordelen. – weet hoe onethische, illegale en oneerlijke toetspraktijken voorkomen moeten worden. –…
- 8. Het instrument (1) • Het zelfsturend leren wordt vormgegeven door kleine toetsen gekoppeld aan: – Leerdoelen – Concepten – Verdeeld over de lagen van de piramide
- 9. Leerdoelen Sluijsmans, D. M. A., van Eldik, S., Joosten-ten Brinke, D., & Jakobs, L. (2013). Bewust en bekwaam toetsen: Wat zouden lerarenopleiders moeten weten over toetsing? Tijdschrift voor Lerarenopleiders, 34(3), 27-42.
- 10. Conceptmap
- 11. Conceptmap
- 12. Het instrument (2) • 250 items • 60 subtoetsen • 1 kennistoets
- 13. Items
- 14. Feedback
- 15. Onderzoek naar werking instrument 100 lerarenopleiders, 4 instituten: •Maak een kennistoets over toetsing (18 items) •Los een casus op met behulp van het instrument •Geef een oordeel over het instrument
- 16. De casustoets • Een casusbeschrijving van een probleem op een van de vier piramidelagen. • Vijf open vragen
- 17. Resultaten onderzoek • De scores op de kennistoets variëren tussen de 28% en 100% (M = 61,7; sd = 13,8) • Kennis op onderste laag (item) is significant hoger dan kennis op bovenliggende lagen (toets, toetsprogramma en toetsbeleid)
- 18. Waardering instrument Gem. 2,91; sd. .38 (4-punts schaal)
- 19. Waardering instrument is afhankelijk van de score casus • Significante verschillen bij de hele evaluatie (F (19,48)=1.88, p<.05) • Deelnemers met een hogere score op de casustoets zijn positiever over het nut van het instrument, de authenticiteit en de betekenis.
- 20. Aanvullende interviews • Instrument versterkt bewustzijn over het domein van toetsen en beoordelen. • Gebruik na langere tijd neemt zonder scholingscontext af. • Behoefte aan interactie en werken met collega’s.
- 21. Conclusies (1) • Instrument draagt bij aan bewustzijn over het domein van toetsen en beoordelen. • Een grote spreiding in de kennis van docenten over toetsen en beoordelen. • Het instrument is ontwikkeld voor onderzoek en geen volledig gevuld product.
- 22. Conclusies (2) • Voor continuering is stimulering van gebruik nodig. • Conceptmap en casustoets zijn interessante instrumenten. • Interesse in het instrument (door niet direct betrokkenen) is groot.
- 23. Meer informatie www.bewustenbekwaamtoetsen.nl •d.tenbrinke@fontys.nl •dominique.sluijsmans@zuyd.nl •Programma Toetsing en Toetsgestuurd Leren SURF ( www.surf.nl/toetsen) Sluijsmans, D. M. A., van Eldik, S., Joosten-ten Brinke, D., & Jakobs, L. (2013). Bewust en bekwaam toetsen: Wat zouden lerarenopleiders moeten weten over toetsing? Tijdschrift voor Lerarenopleiders, 34(3), 27-42.
Editor's Notes
- Welkom bij deze presentatie over het project Bewust en bekwaam toetsen en beoordelen. Mijn naam is Desirée Joosten-ten Brinke van de Fontys lerarenopleiding en ben projectleider bij dit project. Dominique Sluijsmans van Zuyd Hogescholen is plaatsvervangend projectleider. Andere partners in dit project zijn Hogeschool Arnhem en Nijmegen en de Vrije Universiteit.
- Uitgangspunt voor dit project is dat toetsbekwaamheid van docenten dé bepalende factor is voor kwaliteit van toetsing is. In het onderzoeksproject dat uitgevoerd is in het programma toetsing en toetsgestuurd leren wordt antwoord gezocht op de vraag naar het effect van een ontwikkelingsgerichte zelfbeoordeling op de eigen toetskennis.
- Het project levert een digitaal zelfbeoordelingsinstrument op dat vraaggestuurd en flexibel de kennis en professionaliseringsbehoefte van lerarenopleiders in kaart brengt. Het instrument en meer informatie over het project is na te lezen op bewustenbekwaamtoetsen.nl.
- Achtergrond van de kennisbasis over toetsing die docenten zouden moeten beheersen is de kwaliteitspiramide voor eigentijds toetsen en beoordelen. Toetsbekwame docenten beschikken over kennis over kwaliteit van items en toetstaken, kwaliteit van toetsinstrumenten, kwaliteit van toetsprogramma’s en kwaliteit van toetsbeleid in de context van leven lang leren.
- In het instrument wordt zelfsturend leren vorm gegeven door kleine zelftoetsen. Deze toetsen zijn gekoppeld aan leerdoelen, aan concepten en al deze toetsen zijn verdeeld over de vier lagen van de piramide. De leerdoelen zijn tot stand gekomen door interviews met internationale assessmentdeskundigen en op basis van literatuuronderzoek.
- Op dit scherm ziet u de leerdoelen op het niveau van toetsvragen. Op dezelfde manier zijn leerdoelen geformuleerd op de andere lagen van de piramide. Wilt u alle leerdoelen nalezen dan verwijs ik u naar een artikel dat onlangs is verschenen in het Velon tijdschrift.
- De conceptmap bestaat uit de belangrijkste concepten die in de leerdoelen zijn genoemd. Door te klikken op een concept opent de conceptmap zich verder.
- Zo valt onder de hoofdcategorie toetsitems, het concept kwaliteitscriteria en daaronder de verschillende kwaliteitsconcepten. Wilt u weten wat uw kennis is over een van de concepten dan kunt u klikken op een vetgemarkeerd concept.
- Het instrument bestaat in totaal uit ongeveer 250 items. Deze 250 items zijn verdeeld over 60 subtoetsen van 4 à 5 items. De subtoetsen zijn verdeeld over de leerdoelen en de concepten. Daarnaast is er een kennistoets opgenomen die betrekking heeft op alle lagen van de piramide. Deze bestaat uit 18 vragen.
- De items zijn juist/onjuistvragen of meerkeuzevragen met 3 of vier alternatieven. Essentieel in het instrument is de feedback die na het beantwoorden gegeven wordt. Op basis daarvan kan de gebruiker vaststellen of verdere professionalisering nodig is.
- De feedback bestaat uit het aangeven of het antwoord juist, dan wel onjuist is. Er wordt een toelichting op het juist dan wel onjuiste antwoord gegeven en er wordt aangegeven waar de gebruiker meer informatie over dit onderwerp kan terugvinden. Dit kan een verwijzing naar een boek of naar een website zijn.
- Om te onderzoeken of het instrument nuttig is voor lerarenopleiders, is het instrument door 100 lerarenopleiders van de vier betrokken instellingen getest. Hiervoor maakte ze een kennistoets en een casustoets.
- De casustoets was een beschrijving van een toetsprobleem op een van de vier piramidelagen. De lerarenopleiders moesten met behulp van het instrument nagaan of ze antwoorden konden geven op vijf vragen over het toetsprobleem.
- Het onderzoek toont aan dat de kennis over toetsing enorm varieert, tussen de 28% en 100% van de maximaal te behalen score. De gemiddelde kennis (zonder correctie van raadkans) is 61,7% van de maximaal te behalen score. De kennis op de onderste laag van de piramide (over kwaliteit van items) is significant hoger dan de kennis op de bovenliggende lagen.
- Gemiddeld genomen is de waardering voor het instrument positief (2,91 op een 4-puntsschaal). De zwarte lijn geeft het onderscheid tussen de negatieve reacties en de positieve reacties op evaluatievragenlijst van het instrument.
- De waardering voor het instrument is afhankelijk van de casusscore van de deelnemers. Hoe hoger de score op de casustoets hoe positiever de deelnemers zijn over het instrument. Ze zijn positiever over het nut van het instrument, de authenticiteit en de betekenis.
- Aanvullend hebben we interviews afgenomen. Docenten geven aan dat het instrument hun bewustzijn over het domein van toetsen en beoordelen versterkt, maar dat het gebruik na langere tijd afneemt als er geen scholingscontext is. Docenten geven aan dat ze behoefte hebben aan interactie en samenwerking met collega’s.
- Concluderend kunnen we stellen dat de kennis over toetsing erg varieert en dat het instrument bijdraagt aan de bewustwording over toetsing. Belangrijk is de constatering dat het instrument ontwikkeld is als onderzoeksinstrument. Het is daarom geen volledig doorontwikkeld product wat de resultaten kan hebben beïnvloed.
- Voor continuering van gebruik is stimulering nodig. Docenten zullen niet meer uit zichzelf het instrument gaan gebruiken. De conceptmap en de casustoets worden daarentegen nog wel afzonderlijk gebruikt. Ook van buiten het onderzoeksproject is veel interesse getoond voor het instrument.
- Wilt u meer informatie over het project, ga dan naar www.bewustenbekwaamtoetsen.nl of mail naar een van de projectleiders. Wilt u meer informatie over het programma ga dan naar surf.nl/toetsen. Ik dank u voor uw aandacht.