Een presentatie van Daan Andriessen (voorzitter expertgroep protocol) over examinering in het hbo en de rol van eindwerkstukken.

1. Examinering in het hbo en de rol van eindwerkstukken
Kennisplatform CITO
Breda
30 oktober 2014
Dr. Daan Andriessen Lector Methodologie van Praktijkgericht Onderzoek Hogeschool Utrecht

2. 1. Aanleiding Expertgroep Protocol
Naar een alternatief voor landelijke examens

3. Motie Beertema (27/3/2012)
De Kamer, verzoekt de regering, per opleiding of cluster van opleidingen samen met het bedrijfsleven of betrokken werkveld kernvakken te laten vaststellen, landelijke eindtermen te bepalen voor de kenniscomponent van deze kernvakken en die te examineren via landelijke toetsing die onafhankelijk wordt geborgd,
 en gaat over tot de orde van de dag.

4. Vreemde Ogen Dwingen (mei 2012)
Voordelen landelijk examen wegen niet op tegen nadelen
Overgenomen aanbevelingen:
1.Externe validering van toetsen via pilots met gemeenschappelijk toetsen
2.Externe validering via certificering van examinatoren en opleiding van docenten door ontwikkeling van een Basis- resp. Seniorkwalificatie examinering (BKE/SKE).
3.Duurzame kennisuitwisseling
4.Externe validering van eindwerkstukken door een gezamenlijk bottom-up opgesteld protocol bij individuele eindscripties en bij qua niveau en importantie vergelijkbare eindwerkstukken.

5. Opdracht Expertgroep Protocol
“Onderzoek de wenselijkheid en mogelijkheid van een gezamenlijk, bottom-up opgesteld protocol of protocollen voor het beoordelen van (kern)werkstukken en adviseer over de wijze waarop deze tot stand dienen te komen en aan welke kwaliteitseisen deze dienen te voldoen”

6. Samenstelling Expertgroep Protocol
•Daan Andriessen (voorzitter)
Hogeschool Utrecht
•Petra Manders (secretaris)
Saxion
•Dan Greve
Hogeschool Utrecht
•Peter Hermans
Cito / Artez
•Linda Jakobs
Hogeschool Arnhem Nijmegen
•Lucie te Lintelo
Hogeschool van Amsterdam
•Karin Neijenhuis
Hogeschool Rotterdam
•Gerard Straetmans
Cito / Saxion

7. 2. Model voor examinering in het hbo
Afstuderen in het hbo is veel meer dan het schrijven van een werkstuk

8. Afstudeerprogramma
Prestatie(s)
moet blijken uit
Beroepsbekwaamheid
Eindkwalificaties
verwoord in
Principes van afstuderen

9. Prestaties in het hbo zijn beroepsproducten
1. Advies
2. Ontwerp
3. Eindproduct
4. Handeling
5. Onderzoek
Mogelijke oplossing of een plan
Verbeelding van een eindproduct
Fysiek of digitale uitwerking van een ontwerp
Professioneel gedrag naar cliënt of publiek
Antwoorden en conclusies
•Organisatie- advies
•Pedagogisch advies
•Financieel advies
•Bouwontwerp
•Bestemmingsplan
•Ondernemingsplan
•Schilderij
•ICT applicatie
•Apparaat
•Film
•Journalistiek tekst
•Les geven
•Voorstelling geven
•Hulp verlenen
•Verplegen
•Therapie geven
•Leiding geven
•Ondernemen
•Archeologisch rapport
•Laboratorium rapport
•Forensisch rapport
(Naar Losse, 2012)

10. Afstudeerprogramma
Beroeps- opdracht (en)
leiden tot
Prestatie(s)
moet blijken uit
Beroepsbekwaamheid
Eindkwalificaties
verwoord in
Principes van afstuderen

11. Beroepsopdrachten in het hbo zijn zoveel mogelijk:
Authentiek:
Authentieke taak
Authentieke omstandigheden
Representatief:
Complexiteit (cognitief en context)
Zelfstandigheid

12. Afstudeerprogramma
Beroeps- opdracht (en)
leiden tot
Prestatie(s)
moet blijken uit
Examinatoren
beoordeeld door
Beroepsbekwaamheid
Eindkwalificaties
verwoord in
Principes van afstuderen

13. Examinator is deskundig
Examinator is deskundig op:
De te beoordelen bekwaamheid
Het beoordelingsproces
Beoordelen is mensenwerk!

14. Afstudeerprogramma
Beroeps- opdracht (en)
leiden tot
Prestatie(s)
moet blijken uit
Examinatoren
beoordeeld
door
Beroepsbekwaamheid
Eindkwalificaties
verwoord in
Beoordelingsmodel(len)
Prestatiecriteria en beoordelings- schalen
geoperationaliseerd in
helpen de
Principes van afstuderen

15. Beoordelingsmodel ondersteunt de examinator
Beoordelingsmodel helpt bij beoordelen van:
Kwaliteit beroepsproduct
Kwaliteit verantwoordingsverslag
Kwaliteit van het proces
Beoordelingsmodel bevat:
Prestatiecriteria
Beoordelingsschalen
Beslisregels
Beoordelingsmodel is:
Valide
Inzichtelijk
En draagt bij aan betrouwbaarheid beoordeling

16. Afstudeerprogramma
Beroeps- opdracht (en)
leiden tot
Prestatie(s)
moet blijken uit
leidt tot conclusie over
Examinatoren
beoordeeld door
Beroepsbekwaamheid
Eindkwalificaties
verwoord in
Beoordelingsmodel(len)
Prestatiecriteria en beoordelings- schalen
geoperationaliseerd in
helpen de
Principes van afstuderen
Beslissings- procedure(s)
bepalen scores

17. 3. Mogelijkheden tot protocoleren
Niet alles kan landelijk worden afgesproken

18. Vier niveaus in hbo
Niveau 1: Alle opleidingen van alle instellingen;
Niveau 2: Alle opleidingen met hetzelfde opleidingprofiel / CROHO-nummer van alle instellingen;
Niveau 3: Beperkt aantal opleidingen met hetzelfde opleidingprofiel / CROHO-nummer die onderwijsinhoudelijk overeenkomen;
Niveau 4: Binnen één instelling.

19. Mogelijk en wenselijk Niveau 1: landelijk
Wel
Gestandaardiseerde wijze van verslaglegging over het afstudeer- programma als geheel
Betekenis en minimumeisen Onderzoekend Vermogen
Niet
Eén beoordelingsmodel voor afstudeerprestaties

20. Mogelijk en wenselijk Niveau 2: per CROHO
Wel
Body of knowledge & skills Onderzoekend Vermogen
Gezamenlijk reviewen van de afstudeer- programma’s
Niet
Eén beoordelingsmodel voor afstudeerprestaties (tenzij de opleidingen dezelfde eindkwalificaties én afstudeerprogramma hebben)

21. Mogelijk en wenselijk Niveau 3: groep verwante opleidingen
Wel
Gezamenlijke invulling van (delen van) het afstuderen
Gezamenlijk beoordelingsmodel per afstudeerprestatie
Inzetten van waarnemers en examinatoren
Gezamenlijk reviewen van afstudeer- programma’s
Niet

22. Mogelijk en wenselijk Niveau 4: binnen één hogeschool
Wel
Reviewen van afstudeerprogramma’s door collega’s of het werkveld
Niet
Gezamenlijk beoordelingsmodel per afstudeerprestatie

23. 4. Protocol Verbeteren en Verantwoorden van afstuderen in het HBO
Protocol als middel voor systematische kwaliteitszorg en externe validering van afstuderen

24. Doel van het protocol
Opleidingen in het hbo helpen samen werken aan het valide, betrouwbaar en voor studenten inzichtelijk toetsen van de beoogde eindkwalificaties, zoals beoogd in standaard 3/16 van de NVAO en het rapport ‘Vreemde ogen dwingen’ van de commissie Bruijn.
1.Duidelijkheid scheppen over terminologie en inrichting van het afstuderen.
2.Een kader scheppen voor gezamenlijk leren en verbeteren.
3.Een kader scheppen voor borging en verantwoording.

25. Opzet van het protocol
Een opsomming van 12 vragen over het afstudeer- programma waar een opleiding een goed antwoord op moet hebben om een goede beoordelings- en beslissingskwaliteit in het afstuderen te garanderen.
In een verantwoording van het afstudeerprogramma beschrijft en verantwoordt de opleiding de antwoorden.
Vragen zijn afgeleid van
Standaard 1 en standaard 3/16 van de NVAO en de relatie tussen beide
Theorie over toetsen
Eis van onderzoekend vermogen

26. Inhoud van het protocol (1)
Eindkwalificaties
1.Weerspiegelen de eindkwalificaties van de opleiding zowel de eisen vanuit het werkveld als de eisen aan het hbo-niveau?
2.Heeft de opleiding het vereiste niveau voor onderzoekend vermogen beschreven in de eindkwalificaties?
3.Toetst de opleiding alle eindkwalificaties in het afstudeerprogramma en, indien het meerdere afstudeeronderdelen betreft, is het duidelijk waar wat getoetst wordt?

27. Inhoud van het protocol (2)
Beroepsopdrachten
4.Zijn de beroepsopdrachten die studenten uitvoeren in het afstudeerprogramma geschikt voor het aantonen van de te verwerven eindkwalificaties?
5.Bewaakt de opleiding dat de complexiteit van de beroepsopdrachten voor alle studenten dezelfde is en dat er een vergelijkbare mate van zelfstandigheid van hen verwacht wordt bij de uitvoering hiervan?

28. Inhoud van het protocol (3)
Beoordeling
6.Waarborgt de opleiding dat elke examinator bekwaam is om een onderbouwd oordeel van de prestaties van studenten tot stand te brengen?
7.Bieden de gehanteerde beoordelingsmodellen voldoende garantie op een valide, betrouwbare en transparante beoordeling en zijn ze tegelijkertijd werkbaar voor examinatoren?
8.Borgt de opleiding een gemeenschappelijke interpretatie van de beoordelingsmodellen door de examinatoren?
9.Is de beoordelingsprocedure voor alle betrokkenen transparant en werkbaar en bevordert deze een zo betrouwbaar mogelijke beoordeling?

29. Inhoud van het protocol (4)
Randvoorwaarden
10.Zorgt de opleiding ervoor dat het afstudeerprogramma door alle betrokkenen binnen de beschikbare tijd en mogelijkheden uitgevoerd kan worden?
Verantwoording en ontwikkeling kwaliteit
11.Geeft de opleiding invulling aan het ‘vreemde ogen’-principe om de kwaliteit van het afstudeerprogramma aantoonbaar te bevorderen?
12.Overlegt de opleiding bij een visitatie bewijzen die samen een transparant en representatief beeld geven van het afstudeerprogramma en het gerealiseerde eindniveau van studenten?

30. Pilots Protocol Afstuderen

31. Vereniging Hogescholen wil implementatie stimuleren
9 mei 2014: Algemene Vergadering Vereniging Hogescholen “biedt rapport ‘Beoordelen is Mensenwerk’ ter inspiratie aan hogescholen aan.”
En spreekt af dat er zoveel mogelijk pilots worden gehouden.
Januari 2015 tot december 2016 mogelijkheid aan ongeveer 7 opleidingen als pilotopleiding te fungeren:
Beantwoorden 12 vragen
Ontwerpen verbeteringen
Implementeren verbeteringen
Evalueren ervaringen en effecten

32. Pilotopleidingen investeren en ontvangen
Opzetten eigen projectgroep met projectleider, leden en onderzoeker
Aanleveren onderzoeksdata en – verslagen t.b.v. evaluatieonderzoek door lectoraat Professioneel Beoordelen (HS Zuyd) en Methodologie van Praktijkgericht Onderzoek (HU)
Bijwonen 6 landelijke bijeenkomsten met andere pilotopleidingen t.b.v. kennisuitwisseling en ondersteuning.
Gebruik maken van methoden & modellen
Gebruik maken van vraagbaakfunctie lectoraten
Naast deze kopgroep kunnen andere opleidingen ook meeliften met de tussentijdse bevindingen

33. Aanmelden voor pilotproject
3 inspiratiebijeenkomsten:
24 november (Stenden Leeuwarden)
25 november (Fontys Eindhoven)
3 december (HvA Amsterdam)
Opgeven via http://www.vereniginghogescholen.nl/onderwijs/1516- inspiratiebijeenkomsten-beoordelen-is-mensenwerk

34. Dank voor uw aandacht
Daan.andriessen@hu.nl
www.methodologie.hu.nl
@onderzoekcoach.nl
Bezoek de stand van het Lectoraat Methodologie van Praktijkgericht Onderzoek
Doe de paradigmatest
Neem een exemplaar mee van mijn openbare les