ROBERT SCHUWER – MASTERCLASS OER4OER – 24-9-2013
Kwaliteit van OER
Agenda
1.Onderzoek
2.Wat is kwaliteit?
3.Kwaliteit van leermateriaal
4.Model voor kwaliteit
5.Onderzoek: kwaliteit van OER in Nederland
ONDERZOEK
CC-BY Hester Jelgerhuis
Onderzoeksvragen
1. Wat is kwaliteit en wat zijn relevante kwaliteitscriteria?
2. Hoe kan de kwaliteit van open leermaterialen zichtbaar
worden gemaakt?
3. Hoe kun je goed gewaardeerd leermateriaal zichtbaar
maken?
4. Hoe kunnen communities van gebruikers hier een rol in
spelen?
5. Is er behoefte aan (al dan niet bestaande)
kwaliteitskeurmerken?
Aanpak
WAT IS KWALITEIT?
CC-BY Hester Jelgerhuis
Wat is kwaliteit?
• Geschiktheid voor gebruik (Juran)
vs
• Voldoen aan de eisen (Crosby)
Wat is kwaliteit?
Voldoet aan eisen:
feedback
Eisen voor gebruik
Voldoet aan eisen
Kwaliteit van OER: overzicht
Leermateriaal
Digitaal leermateriaal
OER
Creatie Gebruik
E-learning
Kwaliteitszorg
Kwaliteit van e-learning
•Strategisch management
•Curriculum ontwerp
•Cursusontwerp (met o.a. kwaliteitscriteria voor
leermateriaal)
•Uitleveren van een cursus
•Ondersteuning van de staf
•Ondersteuning van de lerende
Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.
Kwaliteit OER
•Formaat
•Localisatie
•Vindbaarheid: metadata, tagging
•Technologische barrières
•Interoperabiliteit
•Toegankelijkheid
•Digitale duurzaamheid
Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.
Kwaliteit: criteria
•Expliciet
•Impliciet
•Karakteristiek
Sanz-Rodriguez, J. Dodero, J.M., Sanchez-Alonso, S. (2010). Ranking Learning Objects through Integration of Different Quality Indicators.
IEEE Transactions on Learning Technologies, Vol. 3 (4). 358-363
Vraagstukken
Vinden
Bepalen kwaliteit
Metadata
Expliciet
Impliciet
Karakteristiek
Context
Impliciet en karakteristiek
•Gebruikerswaardering
•Keurmerken
•Reviews
•Aantal downloads
•Context van gebruik
Vertrouwen
Community
Herbruikbaarheid in andere contexten
•Mate van context-specificiteit (bijvoorbeeld in de
gebruikte voorbeelden)
•Gebruikte didactiek
•Optisch en cognitief ontwerp
•Historische en politieke perspectieven en religie
Richter, T. & McPherson M. (2012). Open Educational Resources: Education for the World? Distance Education, 33(2), pp. 201-219.
Kwaliteitsmodel
•Middel voor vaststellen kwaliteit leermateriaal
•Elementen:
-Criteria
-Normering
Criteria voor deze studie
•Genoemd in meerderheid van de bekeken literatuur
•Survey Herkenbaar en zo eenvoudig mogelijk zijn.
•In minimum kwaliteitsmodel van Wikiwijs
Intermezzo: minimum kwaliteitsmodel
•Doel: snelle beoordeling mogelijk
•Twee categorieën: Must-have en Nice-to-have
•Operationalisatie
•Criteria niet contextgebonden
•Criteria waar meeste problemen over gemeld
worden
Minimum kwaliteitsmodel: Must-have
Minimum kwaliteitsmodel: Nice-to-have
Kwaliteitsmodel voor deze studie
•Vakinhoudelijke kwaliteit
•Didactische kwaliteit
•De inhoud is niet gedateerd
•Aanwezigheid van bronvermeldingen
in het leermateriaal
•De voertaal van het leermateriaal
•Het materiaal bevat geen taalfouten
•Mate waarin het leermateriaal geschikt
is voor gebruikers met een handicap
Leermateriaal
•Look & feel (inclusief navigatie)
•Interactiviteit
•Eenvoudige vindbaarheid van het
leermateriaal
•De technologische eisen, die voor
gebruik van het leermateriaal nodig
zijn, zijn duidelijk
•Het leermateriaal kan in meerdere
omgevingen en op meerdere dragers
worden gebruikt
•Waarschijnlijkheid dat toegang tot het
leermateriaal voor langere tijd
behouden blijft
•Het materiaal bevat geen dode links
Digitaal leermateriaal
•Kwaliteit van de beschrijvende gegevens
•Gepubliceerd onder een open licentie die aanpasbaarheid toestaat
•Materiaal is voorzien van gebruikersbeoordelingen
OER
SURVEY EN RESULTATEN
CC-BY Hester Jelgerhuis
Survey
•Voorjaar 2013
•Doel: inzicht krijgen in stand van zaken kwaliteit
OER in hoger onderwijs in Nederland
•Online afgenomen
•Werving via SURFspace, SIG OER, sociale media
Response
•70 responses
Docentervaring (jaar)
Instelling Geen
< 5
jaar
5 - < 10
jaar
10 - < 15
jaar
15 - < 20
jaar
>= 20
jaar
Niet
aang.
HBO 6 4 5 1 7 4 1
Universiteit 1 2 1 7
Anders 1
Niet
aangegeven 30
Frequentie van zoeken
27%
33%
33%
0%
7%
Wekelijks
Maandelijks
Eén of enkele malen per jaar
Gemiddeld minder dan 1x per
jaar
Nooit
Wijze van zoeken
N=58
0
10
20
30
40
50
60
Belang van metadata
N=55
4.22 4.20
3.85 3.76
3.64 3.56
2.96
2.78
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
4.50
Omschrijving Sleutelwoorden Vakgebied Titel Soort
leermateriaal
(video, audio,...)
Open j/n Vereiste
voorkennis
Uitgever
Vertrouwen: 3 meest waardevolle
N=55
0
5
10
15
20
25
30
35
40
Type leermateriaal
N=54
0
5
10
15
20
25
30
35
40
45
Belang kwaliteitscriteria
N=47
4.52
3.94 3.88 3.87 3.87 3.79 3.79 3.74 3.73
3.57 3.54 3.54
3.40 3.28 3.15 3.02
2.67
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
4.50
5.00
Ervaren problemen
N=37
2.27 2.42
2.63 2.68 2.74 2.74
2.89 2.89 2.95 2.95 2.97 3.05 3.11 3.13 3.21 3.26
3.76
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
Belang vs problemen
!
!
!!
!!
!
!
!
!
!
!
Conclusies
• Kwaliteitscriteria in 3 categorieën
• Zichtbaarheid kwaliteit open leermateriaal
- Adequate beschrijving
- Beschrijving van de context van gebruik  Communities
• Waardering
- Communities
- Indirect: naam en faam van instelling
-  Instellingen van naam en faam waarderen materiaal (keurmerk)
- Groot ervaren probleem: afwezigheid van gebruikersoordelen
• Belangrijkste problemen: Open licentie en aanwezigheid bronvermelding
• Inhoudelijke kwaliteit: belangrijkste en weinig problemen
Dank u voor uw aandacht
W
Robert Schuwer
robert.schuwer@ou.nl
https://twitter.com/fagottissimo
Bassoonvenlo
http://nl.linkedin.com/in/robertschuwer/
robertschuwer.nl
Robert Schuwer
06 1446 9300
beschikbaar onder de licentie Creative Commons Naamsvermelding
3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl

Kwaliteit van OER