Presentatie voor de SURF OER Masterclass op 24/9/2013 Utrecht.

1. ROBERT SCHUWER – MASTERCLASS OER4OER – 24-9-2013
Kwaliteit van OER

2. Agenda
1.Onderzoek
2.Wat is kwaliteit?
3.Kwaliteit van leermateriaal
4.Model voor kwaliteit
5.Onderzoek: kwaliteit van OER in Nederland

3. ONDERZOEK
CC-BY Hester Jelgerhuis

4. Onderzoeksvragen
1. Wat is kwaliteit en wat zijn relevante kwaliteitscriteria?
2. Hoe kan de kwaliteit van open leermaterialen zichtbaar
worden gemaakt?
3. Hoe kun je goed gewaardeerd leermateriaal zichtbaar
maken?
4. Hoe kunnen communities van gebruikers hier een rol in
spelen?
5. Is er behoefte aan (al dan niet bestaande)
kwaliteitskeurmerken?

5. Aanpak

6. WAT IS KWALITEIT?
CC-BY Hester Jelgerhuis

7. Wat is kwaliteit?
• Geschiktheid voor gebruik (Juran)
vs
• Voldoen aan de eisen (Crosby)

8. Wat is kwaliteit?
Voldoet aan eisen:
feedback
Eisen voor gebruik
Voldoet aan eisen

9. Kwaliteit van OER: overzicht
Leermateriaal
Digitaal leermateriaal
OER
Creatie Gebruik
E-learning
Kwaliteitszorg

10. Kwaliteit van e-learning
•Strategisch management
•Curriculum ontwerp
•Cursusontwerp (met o.a. kwaliteitscriteria voor
leermateriaal)
•Uitleveren van een cursus
•Ondersteuning van de staf
•Ondersteuning van de lerende
Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.

11. Kwaliteit OER
•Formaat
•Localisatie
•Vindbaarheid: metadata, tagging
•Technologische barrières
•Interoperabiliteit
•Toegankelijkheid
•Digitale duurzaamheid
Ubachs, G., Williams, K., Kear, K., Rosewell, J. (2012). Quality Assessment for E-learning: a Benchmarking Approach. EADTU, Heerlen.

12. Kwaliteit: criteria
•Expliciet
•Impliciet
•Karakteristiek
Sanz-Rodriguez, J. Dodero, J.M., Sanchez-Alonso, S. (2010). Ranking Learning Objects through Integration of Different Quality Indicators.
IEEE Transactions on Learning Technologies, Vol. 3 (4). 358-363

13. Vraagstukken
Vinden
Bepalen kwaliteit
Metadata
Expliciet
Impliciet
Karakteristiek
Context

14. Impliciet en karakteristiek
•Gebruikerswaardering
•Keurmerken
•Reviews
•Aantal downloads
•Context van gebruik
Vertrouwen
Community

15. Herbruikbaarheid in andere contexten
•Mate van context-specificiteit (bijvoorbeeld in de
gebruikte voorbeelden)
•Gebruikte didactiek
•Optisch en cognitief ontwerp
•Historische en politieke perspectieven en religie
Richter, T. & McPherson M. (2012). Open Educational Resources: Education for the World? Distance Education, 33(2), pp. 201-219.

16. Kwaliteitsmodel
•Middel voor vaststellen kwaliteit leermateriaal
•Elementen:
-Criteria
-Normering

17. Criteria voor deze studie
•Genoemd in meerderheid van de bekeken literatuur
•Survey Herkenbaar en zo eenvoudig mogelijk zijn.
•In minimum kwaliteitsmodel van Wikiwijs

18. Intermezzo: minimum kwaliteitsmodel
•Doel: snelle beoordeling mogelijk
•Twee categorieën: Must-have en Nice-to-have
•Operationalisatie
•Criteria niet contextgebonden
•Criteria waar meeste problemen over gemeld
worden

19. Minimum kwaliteitsmodel: Must-have

20. Minimum kwaliteitsmodel: Nice-to-have

21. Kwaliteitsmodel voor deze studie
•Vakinhoudelijke kwaliteit
•Didactische kwaliteit
•De inhoud is niet gedateerd
•Aanwezigheid van bronvermeldingen
in het leermateriaal
•De voertaal van het leermateriaal
•Het materiaal bevat geen taalfouten
•Mate waarin het leermateriaal geschikt
is voor gebruikers met een handicap
Leermateriaal
•Look & feel (inclusief navigatie)
•Interactiviteit
•Eenvoudige vindbaarheid van het
leermateriaal
•De technologische eisen, die voor
gebruik van het leermateriaal nodig
zijn, zijn duidelijk
•Het leermateriaal kan in meerdere
omgevingen en op meerdere dragers
worden gebruikt
•Waarschijnlijkheid dat toegang tot het
leermateriaal voor langere tijd
behouden blijft
•Het materiaal bevat geen dode links
Digitaal leermateriaal
•Kwaliteit van de beschrijvende gegevens
•Gepubliceerd onder een open licentie die aanpasbaarheid toestaat
•Materiaal is voorzien van gebruikersbeoordelingen
OER

22. SURVEY EN RESULTATEN
CC-BY Hester Jelgerhuis

23. Survey
•Voorjaar 2013
•Doel: inzicht krijgen in stand van zaken kwaliteit
OER in hoger onderwijs in Nederland
•Online afgenomen
•Werving via SURFspace, SIG OER, sociale media

24. Response
•70 responses
Docentervaring (jaar)
Instelling Geen
< 5
jaar
5 - < 10
jaar
10 - < 15
jaar
15 - < 20
jaar
>= 20
jaar
Niet
aang.
HBO 6 4 5 1 7 4 1
Universiteit 1 2 1 7
Anders 1
Niet
aangegeven 30

25. Frequentie van zoeken
27%
33%
33%
0%
7%
Wekelijks
Maandelijks
Eén of enkele malen per jaar
Gemiddeld minder dan 1x per
jaar
Nooit

26. Wijze van zoeken
N=58
0
10
20
30
40
50
60

27. Belang van metadata
N=55
4.22 4.20
3.85 3.76
3.64 3.56
2.96
2.78
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
4.50
Omschrijving Sleutelwoorden Vakgebied Titel Soort
leermateriaal
(video, audio,...)
Open j/n Vereiste
voorkennis
Uitgever

28. Vertrouwen: 3 meest waardevolle
N=55
0
5
10
15
20
25
30
35
40

29. Type leermateriaal
N=54
0
5
10
15
20
25
30
35
40
45

30. Belang kwaliteitscriteria
N=47
4.52
3.94 3.88 3.87 3.87 3.79 3.79 3.74 3.73
3.57 3.54 3.54
3.40 3.28 3.15 3.02
2.67
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00
4.50
5.00

31. Ervaren problemen
N=37
2.27 2.42
2.63 2.68 2.74 2.74
2.89 2.89 2.95 2.95 2.97 3.05 3.11 3.13 3.21 3.26
3.76
0.00
0.50
1.00
1.50
2.00
2.50
3.00
3.50
4.00

32. Belang vs problemen
!
!
!!
!!
!
!
!
!
!
!

33. Conclusies
• Kwaliteitscriteria in 3 categorieën
• Zichtbaarheid kwaliteit open leermateriaal
- Adequate beschrijving
- Beschrijving van de context van gebruik  Communities
• Waardering
- Communities
- Indirect: naam en faam van instelling
-  Instellingen van naam en faam waarderen materiaal (keurmerk)
- Groot ervaren probleem: afwezigheid van gebruikersoordelen
• Belangrijkste problemen: Open licentie en aanwezigheid bronvermelding
• Inhoudelijke kwaliteit: belangrijkste en weinig problemen

34. Dank u voor uw aandacht

35. W
Robert Schuwer
robert.schuwer@ou.nl
https://twitter.com/fagottissimo
Bassoonvenlo
http://nl.linkedin.com/in/robertschuwer/
robertschuwer.nl
Robert Schuwer
06 1446 9300
beschikbaar onder de licentie Creative Commons Naamsvermelding
3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl