Voorstel voor een waarderingsladder voor erkennen, waarderen en certificeren van informeel- , non formeel en formeel leren. Surf bijeenkomst gebruikersgroep Edubadges 4 maart 2021
Veranderende visie op toetsing - Tamara van Schilt-Mol (HAN) - OWD21SURF Events
Similar to voorstel voor het erkennen, waarderen en certificeren van leren met behulp van de metadata van de Edubadgesrkennen_en_waarderen_van_leren (20)
Veranderende visie op toetsing - Tamara van Schilt-Mol (HAN) - OWD21
voorstel voor het erkennen, waarderen en certificeren van leren met behulp van de metadata van de Edubadgesrkennen_en_waarderen_van_leren
1. Voorstel voor het erkennen, waarderen en certificeren van
leren met behulp van de metadata van de Edubadges
Edubadge gebruikersbijeenkomst
4 maart 2021
Robert Bouwhuis
2. Onze opgave: het organiseren van erkennen en waarderen van leren op een
zodanige wijze dat een leven lang ontwikkelen mogelijk wordt
• The challenges humanity faces, those resulting from the climate crisis and from technological and
demographic change, not to mention those posed by the COVID-19 pandemic and the inequalities it has
exacerbated, call for societies that understand themselves as learning societies and people who identify
themselves as learners throughout their lives.
• Realizing this vision requires a learner-centric, demand-led approach to education that enables learners of
all ages and backgrounds to codesign actively and use any learning process and its outcomes to achieve
their full potential.
• Accordingly, learning to learn and managing one’s own learning journey must become basic competences.
Uit: Embracing a culture of lifelong learning – Contribution to the Futures of Education initiative – Unesco Institute for Lifelong Learning,
Hamburg. 2020
3. Voorstel voor een begrippenkader het classificeren van leren
• Informeel leren: het leren vindt zonder intentie en niet gepland plaats
o Bijvoorbeeld bij werkplekleren, het verrichten van zorgtaken en het tijd besteden aan vrijwilligerswerk.
• Non formeel leren: het leren vindt bewust plaats, maar buiten het kader van formeel leren
o De lerende neemt doelbewust deel aan een ‘geplande en geïnstitutionaliseerde leeractiviteit bij een niet erkende
opleiding’ (niet formeel onderwijs). De opleiding leidt niet op tot een door de overheid erkend diploma. Denk aan een
cursus, bedrijfsopleiding, training, workshop.
o De lerende neemt als student aan een erkende opleiding bij een erkende onderwijsinstelling doelbewust deel aan een
activiteit buiten de erkende opleiding met het oogmerk om daar iets van te leren (bijvoorbeeld het uitbreiden van
ervaring of de behoefte om “iets extra’s naast de studie te doen”). Denk aan werkzaamheden als bestuurder of als
student-assistent of het volgen van een extra onderwijsprogramma.
• Formeel leren: leren dat plaatsvindt binnen een opleiding die gericht is op het behalen van een door de overheid erkend
diploma
o Oriëntatie: in de Onderwijs- en Examenregeling (OER) wordt op moduleniveau een rechtstreekse koppeling gemaakt
met de (delen van) beoogde leerresultaten zoals die in het landelijk opleidingsprofiel of in het kwalificatiedossier
worden beschreven. Hierdoor zijn, via een indirecte route, de leerresultaten wel direct gevalideerd door het (landelijk)
beroepenveld.
o Niveau: in de OER wordt vastgelegd op welke NLQF/EQF-standaard de module wordt getoetst. Qua niveau zijn de
rubrics die gebruikt worden voor de beoordeling gekoppeld aan NLQF niveau 5-8 (Dublin descriptoren) als onderdeel
van het NVAO/ESG-accreditatiekader.
4. Het formaliseren van non formeel en informeel leren in een Europese onderwijscontext
“Higher education institutions should be competent to award credits for learning outcomes acquired outside
the formal learning context through work experience, voluntary work, student participation, independent
study, provided that these learning outcomes satisfy the requirements of their qualifications or components.
The recognition of the learning outcomes gained through non-formal and informal learning should be
automatically followed by the award of the same number of ECTS credits attached to the corresponding part of
the formal programme.
As with formal education, the award of credits is preceded by an assessment to verify the achievement of
learning outcomes. The assessment methods and criteria should be constructed to measure the achievement
of the required learning outcomes at the appropriate level, without reference to specific learning activities or
workload.”
Source: European Commission. ECTS Users’ Guide2015, p.46. Luxembourg: Publications Office of the European Union, 2015
5. Het erkennen van non formeel leren in een Nederlandse context: de behoefte om vanuit het
onderwijs ook extra-curriculaire activiteiten te erkennen.
• Bevorderen van eigenwaarde stimuleert verder ontwikkeling:
o Het erkennen van een prestatie motiveert en stimuleert. De gever van een certificaat creëert een succeservaring
voor de ontvanger en geeft erkenning waarmee de kans op toekomstig succes toe kan nemen.
o De erkenning geeft de ontvanger een gevoel van competentie en stimuleert de ontvanger ook om op zoek te gaan
naar volgende ervaringen (positieve bekrachtiging) waardoor de ontvanger zich ontwikkelt.
o Door het erkennen van prestaties zoals extra-curriculaire activiteiten wordt het deelnemen aan deze activiteiten
aantrekkelijker.
• Motie van de leden Wiersma en Van der Molen over het intensiveren van initiatieven als Studie Actief
Certificaten, Kamerstukken VIII, 35570, nr. 45. (2020, 15 oktober)
• Motie van de leden Rog en Kerstens over een landelijk certificaat voor de maatschappelijke diensttijd,
Kamerstuk 35 034, nr. 1 (2019, 18 december)
6. Discussie: issues en keuzes
• Als een onderwijsactiviteit, relevant is moet die dan niet gewoon in de OER worden vastgelegd? Denk hierbij
bijvoorbeeld aan:
• (verplichte) stage-activiteiten
• honours-certificaten of een judicium Cum laude.
• certificaten voor veel voorkomende bestuursfuncties bij studieverenigingen en studentenverenigingen en student-
assistentschappen.
• Als een activiteit echt ‘iets extra’s’ is, is dan een certificaat in de vorm van een badge een zinvolle en
aantrekkelijke erkenning?
• Gaan de ontvangers mogelijk nu of in de toekomst iets doen met het certificaat (delen met de sociale omgeving,
gebruiken bij sollicitaties als iets extra’s, nodig voor toegang tot labs etc.)?
• Alternatief belonen: een kop koffie aanbieden omdat iemand al de hele week op tijd komt en dat daarvoor niet deed.
• Overige discussiepunten
• Verloopdatum badge: Als het certificaat tijdelijk is, is het dan zinvol om het in de vorm van een badge te doen? Je kunt
iemand ook een lab-pasje geven of een key card om een machine te bedienen.
• Granulariteit: ‘nano-credentials’, SNIPPRS (Saxion) als onderdeel van een groter ecosysteem van micro-credentials? Of
toch liever ‘robuuste delen van opleidingen met arbeidsmarktrelevantie en civiel effect.’ (SER, 2017)
• Aparte certificering voor kwalificatie (= er is een koppeling met een kwalificatiedossier of erkende opleiding te maken)
of ‘referentie’ (= bewijs van getoond karakter, zoals doorzettingsvermogen of getoonde moed)?
7. Erkennen en valideren van leren in vijf stappen
1. Identificeren van een leerresultaat: het beschrijven van ‘wat er geleerd is’. Dit kan vooraf (bij
onderwijsactiviteiten die als doel hebben om ‘beoogde leerresultaten’ te behalen) en achteraf (waarin een
ervaring beschreven wordt als een leerresultaat).
2. Documenteren van een leerresultaat: vastleggen van ‘bewijsmateriaal’ (referenties, verklaringen, beschrijven van
verrichte activiteiten (beroepshandelingen) en ‘resultaten van deze activiteiten’ (gemaakte beroepsproducten).
3. Beoordelen van een leerresultaat: het vergelijken van het leerresultaat met ‘referentiekaders en standaarden’ om
vast te stellen in welke mate aan deze standaarden is voldaan, waardoor het leerresultaat wordt gebracht in een
breder maatschappelijk discours.
4. Certificeren van een leerresultaat: het formeel bevestigen van het behaalde leerresultaat ten opzichte van
gespecificeerde referentiekaders en standaarden.
5. Registreren van een leerresultaat: het leerresultaat kan worden opgenomen in een door derden raadpleegbaar
register indien de eigenaar van het leerresultaat daar toestemming voor geeft.
8. 1. Identificeren van een leerresultaat: het beschrijven van leren
• Gebruik zo veel mogelijk dezelfde descriptoren om leren te beschrijven. Eenduidigheid leidt tot transparantie
en onderlinge vergelijkbaarheid.
• Maak gebruik van bestaande standaarden en werkwijzen die na lang overleg tot stand zijn gekomen en die
(inter)nationaal zijn geaccepteerd. Voorbeelden (zie ook de bijlagen):
• de Tuning-methodiek voor het beschrijven van ‘programme learning outcomes’, ook te gebruiken voor het
beschrijven van ‘module learning outcomes’
• De ISCED-standaarden voor het beschrijven van het niveau en van het inhoudelijke domein.
• Referentiekaders (nationaal of internationaal) voor specifieke branches, beroepen of vaardigheden
• Mocht dit niet werken dan kunnen we altijd nog aanvullingen afspreken.
9. 2. Documenteren van een leerresultaat: vastleggen van een portfolio met bewijsmateriaal
(Action speaks louder than words)
• Gemaakte beroepsproducten die ‘vastgelegd zijn in materie’, zoals een ontwerp, onderzoek, analyse,
adviesrapport, presentatie, compositie, software programma, etc.
• verrichte activiteiten (zoals vastgelegd in processen of functieomschrijvingen van organisaties), gecombineerd
met een verklaring van de organisatie waar de activiteiten zijn verricht dat deze persoon daadwerkelijk deze
activiteiten heeft verricht gedurende een bepaalde periode. (referentie)
• Ondersteunend bewijs kan geleverd worden in de vorm van voortgangsgesprekken, bewijs van ‘in
diensttreding’, mailwisselingen, foto’s, filmpjes, lijsten met namen van collega’s, etc.
10. 3. Beoordelen van een leerresultaat
• Een beoordeeld resultaat van verrichte activiteiten, zoals het maken van een beroepsproduct of het
verrichten van een beroepshandeling, waarbij een erkend deskundige examinator gebruik heeft gemaakt van
erkende referentiekaders die op opleidingsniveau of brancheniveau zijn afgesproken.
• Een gevalideerd resultaat van verrichte activiteiten, zoals een verklaring van een stage-organisatie over
verrichte activiteiten of een verklaring van een erkende studievereniging dat iemand gedurende een
bepaalde periode voor een bepaald aantal uren een bestuursfunctie heeft vervuld of een door een
beoordelaar gevalideerde foto van een gemetselde muur (gemetseld door Anita) of van een geknipt hoofd
(gekapt door Zack)
• Een ‘getuigschrift’ of referentie: een verklaring van ‘iemand die een prestatie heeft waargenomen’, waarbij
de prestatie zo duidelijk mogelijk wordt omschreven in termen van het ‘gedemonstreerde leren’ van de
ontvanger van het certificaat (bijvoorbeeld een mooi concert gegeven) of van de ‘impact’ die het handelen
van de ontvanger heeft gehad op anderen (bijvoorbeeld een mens of dier gered van verdrinking).
11. 4. Certificeren van een leerresultaat: voorstel voor een waarderingsladder
open badge open badge edubadge microcredential * referentie
onderwijskundig raamwerk sector onderwijswetgeving
opleidingscode nationaal register
studielast studielast studielast EU (ECTS)
NLFQ-niveau NLFQ-niveau NLFQ-niveau EU (EQF)
taal taal taal taal
standaard verloop standaard verloop standaard verloop standaard verloop
onderwijswetgeving: sectorale
wetgeving formeel onderwijs
issuer issuer issuer issuer nationaal referentiekader (publiek)
verdiencriteria verdiencriteria verdiencriteria verdiencriteria europees referentiekader (publiek)
beschrijving beschrijving beschrijving beschrijving internationaal referentiekader (privaat)
naam naam naam naam wenselijk
informeel leren
non formeel leren niet
erkend onderwijs
non formeel leren
erkend onderwijs
formeel leren erkend
onderwijs
open badge metadata v.2.0
kleurencode
* een microcredential zou de vorm kunnen hebben van een Edubadge met volledig ingevulde metadata
12. 5. Registreren van een leerresultaat
• In de ideale wereld zouden er twee (nationale) registers zijn,
mogelijk met een onderlinge koppeling: één register voor
formeel leren (beheerd door DUO, als onderdeel van het
diplomaregister) en één register voor non-formeel en
informeel leren, beheerd door een onafhankelijke partij.
• Wanneer er op termijn, in het kader van SDG 4, de behoefte
zou ontstaan om de maatschappelijke waarde van
certificaten meer gelijkwaardig te maken dan zouden
mogelijk aanvullende afspraken gemaakt kunnen worden
over het op een certificaat vermelden van de gronden
waarop is vastgesteld door een ‘landelijke
waarderingsautoriteit’ dat de issuer over deskundigheid
beschikt om een prestatie te erkennen.
Voorbeeld: National Council for Standardisation and
Certification of Labour Competences (CONOCER) in Mexico
13. Wanneer wordt een certificaat aantrekkelijk?
• Voor de ontvanger: vergroten zelfbewustzijn, versterken sociale credits en erkenning, als bewijs voor het
bereiken van een ‘next level’ (bij ‘gamification’ van leren), verbeteren (arbeidsmarkt)positie
• Voor een gebruiker:
• Voor vervolgopleidingen (instroom coördinatoren, Examencommissies): inzicht in wat er reeds geleerd is en in welke
mate dit leerresultaat aansluit bij in de OER van de vervolgopleiding beschreven leerresultaten.
• Voor een organisatie:
• Vanuit de maatschappelijke verantwoordelijkheid van talentontwikkeling medewerkers: het bewust beschrijven
en erkennen werkzaamheden die worden gedaan door mensen
• Vanuit de behoefte aan werving & selectie: inzicht in de capaciteiten van mensen, de mogelijkheid om
‘onontdekt talent’ te ontdekken (middels zoeken op specifieke metadata) en zo schaarse arbeidscapaciteit te
kunnen bemensen.
• Noodzakelijke randvoorwaarden:
• de herkenbaarheid van een leerresultaat voor de arbeidsmarkt of voor een vervolgopleiding
• de gepercipieerde betrouwbaarheid van de beoordeling
14. Contactgegevens Robert Bouwhuis: robertbouwhuis@platformopenonderwijs.nl
LinkedIn: https://www.linkedin.com/in/robertbouwhuis/?originalSubdomain=nl
16. Leeruitkomsten: een ‘nieuwe’ manier van beschrijven van ‘beroepsbekwaamheid’
In het Tuning project worden leeruitkomsten als volgt omschreven:
"a measurable result of a learning experience which allows us to ascertain to which extent /level/standard a
competence has been formed or enhanced. Learning outcomes are not properties unique to each student,
but statements which allow higher education institutions to measure whether students have developed their
competence to the required level" (Lokhoff et al., 2010, p. 21).
In het protocol beoordeling bestaande experimenten leeruitkomsten (NVAO, 2017) staat het zo: Leeruitkomsten
beschrijven wat een student geacht wordt te weten, te begrijpen en te kunnen toepassen na afronding van een
leerperiode.
Leeruitkomsten moeten voldoen aan de volgende kwaliteitseisen:
Leerwegonafhankelijk: ze stellen studenten in staat een eigen leerweg te bepalen.
Representatief voor de eindkwalificaties van de opleiding.
Herkenbaar voor het werkveld.
Specifiek en meetbaar: ze bieden een eenduidig beoordelingskader bij leerwegonafhankelijke toetsing.
Transparant: de relatie tussen eindkwalificaties, eenheden van leeruitkomsten, leeractiviteiten en toetsing is duidelijk.
Samenhangend: ze vormen een samenhangende eenheid en zijn te onderscheiden van andere eenheden van
leeruitkomsten.
Duurzaam: ze zijn op zo’n manier geformuleerd dat ze een aantal jaren gehanteerd kunnen worden
In de ECTS User’s guide (2015) staat: the principles for formulating learning outcomes for
educational components are the same as for programme learning outcomes. (p. 24)
17. Verschil tussen leerdoel en leeruitkomst
Leerdoelen
• Detailniveau: beschrijft één specifiek aspect (‘heeft
kennis van, heeft inzicht in, kan theorie X of model Y of
methode Z toepassen’)
• Kennisgestuurd: welke onderdelen van de Body of
Knowledge en Skills worden hier getoetst?
• Specifiek: zo geformuleerd dat het object van de
tentamenvraag (‘model, theorie’) of de beroepshandeling
gelijk helder is
• Gericht op reproduceren: van ‘standaarden’ (modellen,
standaardprocedures, regelmatig voorkomende
handelingen). “Wat moet ik doen?”
Leeruitkomsten
• Macroniveau: beschrijft ‘de bedoeling’ (het praktijkdoel:
wat moet je in de praktijk kunnen)
• Praktijkgestuurd: aan het oplossen van welke
praktijkproblemen wil deze module bijdragen?
• Holistisch: generieke beschrijving van een
beroepsprobleem. Nadere duiding van
beroepsbekwaamheid in de vorm van gedragsindicatoren
is nodig.
• Gericht op produceren: toepassen van kennis en
vaardigheden, gericht op het oplossen van minder goed
gestructureerde problemen in complexe
beroepscontexten. “Wat ga je doen? En waarom?”
18. Het formuleren van een leeruitkomst met behulp van de Tuning methodiek
• De Tuning methodiek levert een gemeenschappelijke taal voor het beschrijven van een ervaring (die ook als 'leerervaring'
kan worden geframed) (zie p.47 en verder in deze gids http://tuningacademy.org/wp-content/uploads/2014/02/A-Guide-
to-Formulating-DPP_EN.pdf). Deze methodiek kan vooraf worden gebruikt om een ‘bedoeld leerresultaat’ te beschrijven
maar zou voor een deel ook achteraf gebruikt kunnen worden om informeel leren te beschrijven, waarmee het leren
binnen een onderwijscontext wordt gebracht.
• In de Handleiding Formuleren leeruitkomsten NCP NLQF 2020 (zie
https://www.nlqf.nl/images/downloads/Verzoek_tot_inschaling/Handleiding_Formuleren_leeruitkomsten_2020_NCP_NL
QF_28122020.pdf) wordt de onderstaande vertaling gegeven van de Tuning methodiek:
• De opbouw van een leeruitkomst: Actief werkwoord + Type + Onderwerp + Standaard + Context
1. Allereerst moet een actief werkwoord worden gekozen, wat aangeeft wat de lerende dient te weten. Hierbij kan een
taxonomie gebruikt worden. (Solo, Bloom, etc.)
2. Vervolgens specificeer je aan welk type of welke soort eindkwalificatie de leeruitkomst een bijdrage levert. Daarna omschrijf
je over welke vaardigheden en competenties uit de Body of Knowledge and Skills het gaat.
3. Daarnaast stel je het onderwerp van de leeruitkomst vast. Dit gaat over het deskundigheidsgebied waarop de leeruitkomst
wordt toegepast.
4. Vervolgens omschrijf je welke standaard je toepast: Welke richtlijnen, standaarden, methodiek, benaderingen moet of mag
iemand hanteren?
5. En tot slot omschrijf je de context: In welke context laat iemand iets zien?
19. ISCED standaarden voor niveau en oriëntatie van opleidingen
• De International Standard Classification of Education (ISCED) is de internationale onderwijsindeling van de
UNESCO naar niveau en richting van de opleidingen. Er zijn van de ISCED verschillende versies beschikbaar.
• Zie https://www.cbs.nl/nl-nl/onze-diensten/methoden/classificaties/onderwijs-en-beroepen/isced en op de
Unesco-pagina http://uis.unesco.org/en/topic/international-standard-classification-education-isced.
20. Bestaande kwalificaties op landelijk niveau
• Voor het Hoger onderwijs worden de opleidingsprofielen beschreven door landelijke
opleidingsoverleggen. Deze opleidingsprofielen moeten voldoen aan minimum eisen en worden
goedgekeurd door een Sectoraal Advies College. De opleidingsprofielen zijn te raadplegen op:
https://www.vereniginghogescholen.nl/profielenbank
• Voor het middelbaar beroepsonderwijs zijn kwalificatiedossiers en keuzedelen vastgesteld door de
stichting beroepsonderwijs en bedrijfsleven (SBB). Deze zijn te raadplegen op: https://www.s-
bb.nl/onderwijs/kwalificeren-en-examineren/kwalificatiedossiers
21. Classificeren en beschrijven van kwalificaties en functies (taxonomie, ontologie)
• ESCO is de meertalige Europese classificatie van vaardigheden, competenties, kwalificaties en beroepen. Zie
https://ec.europa.eu/esco/portal/home
• De o*net taxonomie (https://www.onetcenter.org/taxonomy.html) en de bijbehorende database met
functieprofielen https://www.onetcenter.org/database.html
• In ontwikkeling (verwacht in 2021): skills ontologie CompetentNl. Zie
https://www.samenvoordeklant.nl/praktijk/een-verbindende-taal-voor-arbeidsbemiddeling-competentnl
• Al wat ouder, maar nog wel interessant: OECD: Assessment of Higher Education Learning Outcomes, zie
http://www.oecd.org/education/skills-beyond-
school/testingstudentanduniversityperformancegloballyoecdsahelo.htm en voor concrete voorbeelden voor
economie (https://www.oecd-ilibrary.org/education/tuning-ahelo-conceptual-framework-of-expected-and-
desired-learning-outcomes-in-economics_5kghtchwb3nn-en) en engineering (https://www.oecd-
ilibrary.org/education/a-tuning-ahelo-conceptual-framework-of-expected-desired-learning-outcomes-in-
engineering_5kghtchn8mbn-en)
22. Voorbeelden algemene vaardigheden (beschrijvingen en/of rubrics)
• AACU Value rubrics https://www.aacu.org/value-rubrics
• graduate profile 2020 met acht essential employability qualities: https://theqacommons.org/wp-
content/uploads/2020/03/Graduate-Profile-2020.pdf.
• Algemene hbo-vaardigheden: https://aansluiting-voho010.nl/thema-s/hbo-vaardigheden
• https://www.etf.europa.eu/en/publications-and-resources/publications/changing-skills-changing-world-
understanding-skills-demand (2021)
• ABD-profiel voor hogere ambtenaren: https://www.algemenebestuursdienst.nl/vacatures-en-loopbaan/abd-
profiel
23. Voorbeelden van referentiekaders voor specifieke vaardigheden
• Taalvaardigheid: gemeenschappelijk Europees referentiekader:
https://www.slo.nl/thema/vakspecifieke-thema/mvt/erk/ en
http://taalunieversum.org/onderwijs/gemeenschappelijk_europees_referentiekader/1/1/
• Kwaliteitsmodel onderwijsmateriaal informatievaardigheden (inclusief verwijzingen naar reference
frameworks): https://www.shb-online.nl/wp-content/uploads/2020/12/Kwaliteitsmodel-IV-3.0.pdf
• Ict-vaardigheden: het e-competence framework van de EU: https://www.ecompetences.eu/
24. Voorbeelden van referentiekaders voor specifieke sectoren of beroepen
• Tip: kijk of er (inter)nationale organisaties actief zijn binnen een beroep of vakgebied en zoek vervolgens op
‘qualification frameworks’ of ‘professional profiles’ of - standards in combinatie met de naam van de sector
of het beroep.
• Enkele voorbeelden voor (opleiders van) ICT-professionals:
• E-competence framework: http://www.ecompetences.eu/wp-
content/uploads/2018/05/CWA_Part_1_EU_ICT_PROFESSIONAL_ROLE_PROFILES.pdf
• https://sfia-online.org/en/tools-and-resources/standard-industry-skills-profiles
• Edison data science framework: https://edison-project.eu/edison/edison-data-science-framework-edsf/
• https://www.acm.org/media-center/2018/january/it-2017-curriculum-report
• https://itprofessionalism.org/app/uploads/2021/02/The-European-Foundational_ICT-Body-of-Knowledge-
2015-11.pdf
• https://itprofessionalism.org/resource-library/reports-publications/