Dinsdag 11 november 2014 Sessieronde 4 Titel: Formatief en digitaal informatievaardigheden meten Sprekers: Caroline Timmers (Saxion), Amber Walraven (Radboud Universiteit Nijmegen) Zaal: Penn ll

1. Kom verder. Saxion.
Formatief en Digitaal Informatievaardigheden Meten (DIM)
Caroline Timmers & Amber Walraven
11 november 2014

2. Kom verder. Saxion.
Inhoud
•Over DIM*
•Effectstudie DIM*
•DIM* bij Saxion
*DIM = Digitaal Informatievaardigheden Meten

3. Kom verder. Saxion.
Informatievaardigheden = 21st century skill
3
27-09-2013
Walraven, A. (2009). De googlificatie van het onderwijs: een positief geluid. Vives, (93), 12-13.

4. Kom verder. Saxion.
4
Digitaal Informatievaardigheid Meten (DIM)
Project Kennisnet
Oorspronkelijke doelgroep: scholieren VO
Nadruk op meten van gedrag ipv kennis

5. Kom verder. Saxion.
5
Opdrachten in de DIM
•Jongeren smsen en msnen veel. Heeft dit invloed op hun Nederlands?
–Licht je antwoord toe in eigen woorden in ongeveer 15 regels
•Genetisch gemodificeerd eten heeft een slecht imago, is dit terecht?

6. Kom verder. Saxion.
Het doel van een formatieve toets is het ondersteunen van leerprocessen en groei.
Bij de DIM via geautomatiseerde feedback.
DIM als formatieve toets

7. Kom verder. Saxion.
Feedback in de DIM
•Voorbeelduitwerking
•Vragen over het zoekproces
–Heb je meerdere zoektermen gebruikt?
–Wat zou je de volgende keer hetzelfde doen?
–Wat zou je anders doen?
•Vraag naar eigen oordeel over
–Het resultaat en
–Het zoekproces
https://www.kaltura.com/index.php/extwidget/openGraph/wid/1_xha3j841

8. Kom verder. Saxion.
Feedback in de DIM = geautomatiseerd
•Niveau van feedback DIM (Hattie & Timperley, 2007):
Zelf: Goed gedaan.
Taak: Het antwoord is correct.
Proces: De gehanteerde strategie is juist.
Regulatie: Wat vind je zelf van het resultaat?

9. Kom verder. Saxion.
DIM en Learning Analytics
• Learning Analytics is het meten,
verzamelen, analyseren en
rapporteren van en over data van
studenten en hun context,
• met als doel het begrijpen en
optimaliseren van het leren en de
omgeving waarin dit plaatsvindt.

10. Kom verder. Saxion.
DIM data
•Achtergrond informatie (m/v)
•Resultaat
•Eigen oordeel over het resultaat
•Antwoorden op vragen over het zoekproces, incl. eigen oordeel over zoekproces
•Zoekgedrag
–Aantal zoekacties
–Geraadpleegde websites

11. Kom verder. Saxion.
Effectstudie DIM

12. Kom verder. Saxion.
Effectstudie DIM
•50 scholieren (13 jaar)
•Maakten 2 opdrachten uit de DIM
•Random geselecteerd
•Twee weken tussen opdracht 1 en 2
•DIM data + oordeel expert
•De Interventie: Geautomatiseerde feedback na opdracht 1

13. Kom verder. Saxion.
Vergelijking data DIM
Opdracht 1
Opdracht 2
Oordeel leerling
Oordeel leerling
Oordeel Expert
Oordeel expert
Aantal websites
Aantal websites
Aantal zoekacties
Aantal zoekacties

14. Kom verder. Saxion.
Resultaten: oordelen leerling en expert
* Op een schaal van 1-10
* Verschil in kwaliteitstandaard tussen student en expert
Oordeel
Opdracht 1
Opdracht 2
Leerling
6.5 (1.3)
7.3 (0.9)
Expert
4.2 (1.6)
5.0 (1.7)

15. Kom verder. Saxion.
Resultaten: jongens versus meisjes
* Op een schaal van 1 tot 10
Expert oordeel
Opdracht 1
Opdracht 2
Jongens (24)
4.3 (1.6)
4.5 (1.4)
Meisjes (26)
4.2 (1.6)
5.5 (1.9)

16. Kom verder. Saxion.
Resultaten: zoekgedrag
* Op een schaal van 1-10
Zoekgedrag
Opdracht 1
Opdracht 2
Aantal websites
4.1 (2.0)
5.1 (3.2)
Aantal zoekacties
4.1 (2.8)
4.7 (3.9)

17. Kom verder. Saxion.
Conclusie
•Resultaten tonen positief effect van DIM op kwaliteit van opdracht 2
•Verschil in kwaliteitstandaarden tussen leerlingen en experts
–Oplossing: toevoegen beoordelingscriteria?
Timmers, C.F., Walraven, A., & Veldkamp, B.P. (submitted). The effect of regulation feedback in a computer-based formative assessment on information problem solving. Computers & Education.

18. Kom verder. Saxion.
DIM bij Saxion
18

19. Kom verder. Saxion.
DIM bij Saxion
19
Onderzoek in onderwijs
Leerlijn onderzoek
Aandacht voor Informatievaardigheden
1e jaars: onvoldoende vaardig + neiging tot zelfoverschatting

20. Kom verder. Saxion.
20
Digitaal Informatievaardigheid Meten (DIM)
Stelling
Zeer eens
eens
oneens
Zeer oneens
Voor de toets
Ik vind onderwijs in informatievaardigheden zinvol
15 68
7
1
Ik ben informatievaardig
5 70
16
Ik vind het belangrijk om de test goed te maken
19 55
15
1
Na de toets
Ik heb mijn best gedaan om deze test goed te maken
6 64
17
3
Ik vond de zoekopdracht lastig
4
19 59
9
Ik vond het leuk om de zoekopdracht uit te voeren
1
22 54
12
Ik vond deze test waardevol
3
31 50
6
Ik vond de voorbeeld uitwerkingen leerzaam
5 56
24
5
Ik vond de vragen over het zoekproces leerzaam
3 57
25
6
Ik heb een beter beeld gekregen van wat het inhoudt om informatievaardig te zijn
7 57
23
2

21. Kom verder. Saxion.
21
Reactie docent
Voordelen:
-De studenten denken bewust na over het zoekproces.
-De studenten zelf vonden dit ook verhelderend
-Vragen over het eigen zoekproces leuk en leerzaam
-Het instructiefilmpje maakte opdracht goed duidelijk
-‘Kladblok' werd gezien als een groot voordeel. Nadelen:
-De onderwerpen sloten niet aan bij de studie
-De tijd van 30 minuten (te) kort voor beantwoorden van de vraag

22. Kom verder. Saxion.
22
Conclusies en vervolg
-De DIM is van toegevoegde waarde voor Saxion
-Bruikbaarheid DIM vergroten via opleiding specifieke opdrachten
-2 opleiding specifieke opdrachten bij MIM
-Onderzoek naar effect van DIM bij MIM in 2015

23. Kom verder. Saxion.
Hartelijk dank voor jullie aandacht
Voor feedback en vragen:
c.f.timmers@saxion.nl
a.walraven@its.ru.nl

24. Kom verder. Saxion.
Wat doet de SIG Digitaal Toetsen?
Kennis bundelen: nieuwe ontwikkelingen in Nederland en daarbuiten volgen en signaleren.
Kennis delen: bij elkaar brengen van experts, docenten en projectmedewerkers maar ook uitwisseling van toetsmateriaal en het gebruik van standaarden die dit mogelijk maken stimuleren.
Kennis verspreiden: de collectieve expertise over didactiek, technologie en organisatie beschikbaar stellen voor belangstellenden.
Waar vindt u de SIG Digitaal Toetsen?
SURFspace: www.surfspace.nl/toetsen geeft een overzicht van kennisbronnen en links over digitaal toetsen. Veel bijdragen op deze site zijn afkomstig van leden van de SIG. Op het forum worden discussies over digitaal toetsen gevoerd.
Bijeenkomsten: de SIG Digitaal Toetsen organiseert regelmatig bijeenkomsten waar experts van de onderwijsinstellingen elkaar ontmoeten en actuele ontwikkelingen met elkaar delen.
SIG Digitaal Toetsen