Voor betrouwbaar beoordelen van eindwerkstukken in het hbo is het noodzakelijk dat verschillende examinatoren op één lijn zitten. Kalibratie is een hulpmiddel om tot overeenstemming te komen.

1. Beoordelen beoordeeld
Kennisplatform Examinering HO 30 oktober 2014
Tecla Lampe

2. Opzet workshop
Beoordelen beoordeeld
•
Procedure en resultaten
•
Opdracht beoordeling handtekenen
•
Voorbeeld resultaten scriptie
•
Vervolg procedure

3. Procedure
•
Onafhankelijk beoordelen van hetzelfde werkstuk
•
Vergelijking oordelen en toelichtingen
•
Inventarisatie verbeterpunten
•
Afspraken en aanpassingen

4. Resultaten
Betrouwbare beoordeling door:
•
Afspraken over beoordeling
•
Duidelijker documenten
•
Gemeenschappelijk referentiekader
•
Afspraken over begeleiding

5. Beoordelingsprocedure
•Onafhankelijk van elkaar beoordelen
•Oordelen vergelijken
•Beslissen tot eindoordeel

6. Beoordelingsopdracht
•
Industrieel Product Ontwerpen
•
Vijf tekeningen met de hand
Beoordeel de vijf tekeningen van de student
•
onafhankelijk van elkaar
•
op grond van het beoordelingsformulier.

7. Verbeterpunten
Formuleer drie verbeterpunten, bijvoorbeeld over:
•
de omschrijving van de criteria
•
de opmaak en inhoud van het beoordelingsformulier
•
de beoordelingsprocedure
•
beoordelingsinstructies
•
de totstandkoming van het eindoordeel.

8. Oordelen set 2
Tekentechniek
Perspectief
4
6
7
7
5
7
7
7
7
3D suggesties
5
7
8
7
4
6
7
7
6
Vormconstr.
4
7
7
8
6
5
6
7
6
Vormvariatie
4
6
7
8
5
7
7
7
6
Lijnvoering
5
6
8
7
4
7
7
8
7
Effecten
6
6
7
6
4
5
7
7
4
Beroepshouding
Exper. Lust
6
6
7
6
4
8
7
6
6
Omgang og
6
6
7
6
4,5
8
6
7
6
Inzet/leercurve
6
5
7
4
4,5
8
6
7
6
eindcijfer
5
6
7
7
5
7
7
7
6

9. Conclusies
•
Lijnvoering minste overeenstemming (bij alle 5 sets tekeningen)
•
Criteria over beroepshouding aanpassen

10. Verbeteringen

11. Uiteindelijk …
De student kan …
Score
Rechte lijnen trekken
0 – 1
Met lijndiktes spelen
0 – 1
Perspectief opzetten
0 – 1
Kubussen en balken construeren
0 – 1
Ellipsen construeren
0 – 1
Cilinders en conussen construeren
0 – 1
Aanzichten in Amerikaanse projectie tekenen
0 – 1
Verhoudingen tekenen
0 – 1
….
0 – 1
Totaal

12. Beoordelen beoordeeld
Voorbeeld resultaten scriptie
•
Onafhankelijk beoordelen van hetzelfde werkstuk
•
Vergelijking oordelen en toelichtingen
•
Inventarisatie verbeterpunten
•
Afspraken en aanpassingen

13. Oordelen over scriptie
Vakkundigheid
A
B
C
D
E
Kwaliteit van ...
probleemanalyse, onderzoeksvraag en deelvragen
g
t
t
v
o
theoretisch kader
t
o
t
t
t
onderzoek/ data-analyse
v
t
t
o
o
beroepsproduct
v
t
t
o
o/t
conclusie en aanbevelingen
v
t
t
o
t
Schriftelijke communicatie
Kwaliteit rapportage
g
t
t/v
t
o
Eindoordeel
60
5
40
4,5

14. Toelichtingen bij scriptie
onderzoeksmethoden en instrumenten
•
Blijft op globaal niveau: interviews, desk research. Type interview of research wordt niet concreet gemaakt, noch verantwoord: wie is/zijn geïnterviewd, hoeveel mensen, met welke vraagstellingen, hoe zijn de resultaten verzameld?
•
Bij inventarisatie van de huidige situatie (deelvraag 1) wordt de werkwijze niet vermeld;
•
Naar sommige bijlagen wordt helemaal niet gerefereerd;
•
In H6 wordt niet naar de interviews verwezen, die de basis vormen van de vastgestelde requirements;
•
Onderzoeksmethoden niet in hoofdverslag beschreven, instrumenten ook niet.

15. Kwaliteit van onderzoek …
•
De student beschrijft welke onderzoeksmethoden en instrumenten gebruikt worden
•
De gemaakte keuzes m.b.t. de uitvoering van het onderzoek zijn verantwoord en onderbouwd
•
De gehanteerde methoden en technieken zijn juist gekozen en adequaat toegepast
Toelichting in beoordelingsformulier: Per deelvraag beschrijft de student de selectie van de correcte methode(n) en instrument(en), inclusief een verantwoording/onderbouwing

16. Beoordelen beoordeeld
Vervolg procedure

Onafhankelijk beoordelen van hetzelfde werkstuk

Vergelijking oordelen en toelichtingen

Inventarisatie verbeterpunten

Afspraken en aanpassingen
•
En dan….?

17. Beoordelen beoordeeld
•
Nogmaals onafhankelijk beoordelen van ander werkstuk
•
‘Democratische’ beoordelingsstandaard = gemeenschappelijke oordelen/toelichtingen
•
Vergelijking toelichtingen met standaard
0
10
20
30
40
50
60
70
80
90
100
A
B
C
D
E
F

18. Beoordelen beoordeeld
Procedure

Onafhankelijk beoordelen van hetzelfde werkstuk

Vergelijking oordelen en toelichtingen

Inventarisatie verbeterpunten

Afspraken en aanpassingen

Beoordeling van oordelen en toelichtingen

19. Dank voor uw aandacht
Tecla.Lampe@cito.nl