Kwaliteit van toetsing_steeds_meer_in_het_spotlicht

1,268 views
1,095 views

Published on

Liesbeth Baartman heeft veel expertise op het gebied van assessment van competenties, kwaliteit van assessment, assessmentprogramma's, beroepsonderwijs, natuurwetenschappen en techniek in beroep en onderwijs. Deze presentatie gaat o.a. over de inzet van een toetsscan.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,268
On SlideShare
0
From Embeds
0
Number of Embeds
202
Actions
Shares
0
Downloads
18
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Kwaliteit van toetsing_steeds_meer_in_het_spotlicht

  1. 1. Kwaliteit van toetsing steeds meer in het Spotlicht Avans Hogeschool – Spotlicht bijeenkomst 3 maart 2011 Dr. Liesbeth Baartman Eindhoven School of Education – Technische Universiteit Eindhoven
  2. 2. Zin en onzin van toetsing
  3. 3. Toetsing is driedubbel belangrijk! <ul><li>Stuurt het leren van de student </li></ul><ul><li>Met een gerust hart afgeven van een diploma </li></ul><ul><li>Als effectmaat in onderzoek </li></ul>
  4. 4. Accreditatie <ul><li>Toetsing is hoofdonderdeel </li></ul><ul><li>Algemene omschrijving </li></ul><ul><li>Hoe toon je aan dat de toetsing kwalitatief hoogwaardig is? </li></ul>
  5. 5. Programma <ul><li>Competentie Assessment Programma’s </li></ul><ul><li>Wat is een “goed” CAP? </li></ul><ul><ul><li>Validiteit en betrouwbaarheid </li></ul></ul><ul><ul><li>12 kwaliteitscriteria voor CAPs </li></ul></ul><ul><li>Zelfevaluatie van de kwaliteit van CAPs </li></ul><ul><li>Verzameling van bewijzen </li></ul>
  6. 6. <ul><li>Welke van de volgende type vaardigheden is in de afgelopen 40 jaar het minst belangrijk geworden op de werkplek? </li></ul><ul><ul><li>Routinematige handmatige vaardigheden </li></ul></ul><ul><ul><li>Niet-routinematige handmatige vaardigheden </li></ul></ul><ul><ul><li>Routinematige cognitieve vaardigheden </li></ul></ul><ul><ul><li>Complexe communicatievaardigheden </li></ul></ul><ul><ul><li>Expertdenken/probleemoplossende vaardigheden </li></ul></ul>
  7. 7. (Levy & Murnane, 2003)
  8. 9. CAP: Competentie Assessment Programma <ul><li>triangulatie / complementair </li></ul><ul><li>“ traditioneel” en “nieuw” gecombineerd </li></ul><ul><li>afhankelijk van context </li></ul><ul><li>formatief en/of summatief? </li></ul>CAP Proeve van bekwaamheid Open vragen Theorie-vragen Portfolio Stage Meerkeuze toets Opdrachten / projecten
  9. 10. Piramide van Miller Miller, 1990
  10. 11. Wat is een ‘goed’ assessmentprogramma? Onze proeve wordt onder strikt gecontroleerde condities uitgevoerd
  11. 12. 12 kwaliteitscriteria voor CAPs <ul><li>Problemen met oude kwaliteitscriteria: </li></ul><ul><ul><li>Wat is validiteit precies? </li></ul></ul><ul><ul><li>Betrouwbaarheid als objectiviteit? </li></ul></ul><ul><ul><li>Generaliseerbaarheidstheorie </li></ul></ul><ul><li>Nieuwe kwaliteitscriteria als aanvulling </li></ul>12 kwaliteitscriteria voor Competentie Assessment Programma’s
  12. 13. Doel Herhaalbaarheid Transparantie Cognitieve complexiteit Authenticiteit Eerlijkheid Zelfsturing Betekenis Onderwijsgevolgen Tijd & Kosten Acceptatie Vergelijkbaarheid
  13. 14. DOEL: Alle competenties en passende assessmentvormen
  14. 15. HERHAALBAARHEID: Combineren van verschillende situaties en beoordelaars
  15. 16. TRANSPARANTIE: Duidelijkheid en begrijpelijkheid voor betrokkenen
  16. 17. VERGELIJKBAARHEID: Consistente opzet en uitvoering
  17. 18. ACCEPTATIE: Kunnen de betrokkenen zich vinden in de opzet en uitvoer?
  18. 19. RECHTVAARDIGHEID: Geen bevoor- of benadeling
  19. 20. ZELFSTURING: Stimuleren van reflectie en formuleren leerdoelen
  20. 21. BETEKENISVOLHEID: Meer dan meetmoment - feedback
  21. 22. COGNITIEVE COMPLEXITEIT: Hogere cognitieve vaardigheden en denkprocessen
  22. 23. AUTHENTICITEIT: Overeenkomst met de beroepspraktijk
  23. 24. ONDERWIJSGEVOLGEN: Effect op leren en onderwijs
  24. 25. TIJD EN KOSTEN: Haalbaarheid van de ontwikkeling en uitvoering
  25. 26. Procedure zelfevaluatie <ul><li>Uitgangspunten : </li></ul><ul><li>Evaluatie van programma </li></ul><ul><li>Meerdere evaluatoren </li></ul><ul><li>Verschillende functies </li></ul><ul><li>Formatief </li></ul><ul><li>Fase 1 : instructiebijeenkomst </li></ul><ul><li>vaststellen CAP </li></ul><ul><li>Fase 2 : individueel invullen </li></ul><ul><li>Fase 3 : groepsinterview </li></ul>
  26. 27. indicatoren score dmv schuifje voldoende ja / nee voorbeeld / bewijs
  27. 28. Kwaliteit bewijzen <ul><li>Scores / beoordelingen kunnen zijn gebaseerd op verschillende redeneringen! </li></ul><ul><li>Relevant / representatief? </li></ul><ul><li>Eén mening of gedeeld? </li></ul><ul><li>Zowel positief als negatief? </li></ul><ul><li>Soorten bewijs: </li></ul><ul><ul><li>“ dat is vanzelfsprekend” </li></ul></ul><ul><ul><li>“ dit zie ik terug bij mijn leerlingen” </li></ul></ul><ul><ul><li>“ hier hebben we de leerlingen naar gevraagd” </li></ul></ul>
  28. 30. Wat resultaten …
  29. 31. Onderzoek naar portfolio’s <ul><li>(1) Gaat het over de student? </li></ul><ul><li>(2) Relevant voor de competenties? </li></ul><ul><li>Relevant bewijs : </li></ul><ul><li>(3) Persoonlijke mening </li></ul><ul><li>(4) Mening van iemand anders </li></ul><ul><li>(5) Gedeelde mening </li></ul><ul><li>(6) Voorbeeldsituatie </li></ul><ul><li>(7) Bewijs uit het portfolio </li></ul>(Van der Schaaf, Baartman, & Prins, submitted)
  30. 32. <ul><li>Kwaliteitschecks: </li></ul><ul><li>Alle bewijzen meegenomen in oordeel? </li></ul><ul><li>Positief en negatieve bewijzen? </li></ul><ul><li>Gezocht naar tegenbewijzen? </li></ul><ul><li>Verschillende soorten bewijzen (sterk / zwak)? </li></ul><ul><li>Aantal bewijzen? </li></ul><ul><li>Zijn de assessoren het eens? </li></ul>Beoordelingsproces portfolio’s
  31. 33. “ Ik denk dat alles wel duidelijk is, want ik krijg nooit vragen” “ Voor we met de opdracht starten, bespreken we de criteria met de studenten”
  32. 34. “ Dat weten we eigenlijk niet” “ Ik krijg positieve reacties van stagebeleiders” “ Maar … het beoordelingsformulier vinden ze maar niks”
  33. 35. Afsluitend <ul><li>Zonder passende toetsing vernietigen we competentiegericht onderwijs </li></ul><ul><li>Kwaliteit van toetsing wordt grotendeels bepaald door de gebruikers ervan </li></ul>
  34. 36. Hartelijk dank voor de aandacht [email_address]

×