1. Van intuïtie naar geïnformeerd
beslissingen nemen
Factoren die het functioneren van
een datateam® in het hbo
bevorderen en hinderen
Erik Bolhuis, Windesheim University of Applied Sciences, The Netherlands Email: e.d.bolhuis@utwente.nl.
Kim Schildkamp,, University of Twente, The Netherlands. Email: k.schildkamp@utwente.nl
Joke Voogt, University of Amsterdam & Windesheim University of Applied Sciecnes, The Netherlands. Email: j.m.voogt@uva.nl
Contact details: drs. E.D. Bolhuis, postbus 217, 7500 AE Enschede, The Netherlands. email: e.d.bolhuis@utwente.nl.
3. Geïnformeerd beslissingen nemen
• Gebruik van data om het onderwijs te verbeteren
• Gezamenlijk systematisch werken (protocol-based
conversations: Earl & Katz, 2004; Schildkamp,
Poortman & Handelzalts, 2014)
• Analyseren en interpreteren
• Komen tot informatie voor het nemen van een
beslissing
• Onderwijsverbetering (Bernhardt, 2004; 2005;
Carlson, Borman & Robinson, 2011)
5. Waarom?
• Bereiken we onze doelen?
• In plaats van intuïtie en ‘gut feelings’ naar op
basis van informatie een besluit nemen
• Kan leiden tot schoolverbetering
• Veel data aanwezig, maar weinig gebruikt
6. Opbrengstgericht werken via de Datateam methode
• Teams van 6-8 personen
• Acht stappenplan volgens
DATATEAM® methode
• Van probleemdefinitie (bv.
doorstroom, examencijfers
Engels) naar mogelijke
oorzaken, data-analyse en
het nemen én evalueren
van maatregelen
• Doel: professionalisering
en schoolverbetering
7. Datateams
• 6 personen en de manager van het
propedeuseteam
• Een probleem in het onderwijs wat opgelost
moet worden: omlaag brengen van uitval
eerste jaar
• Gebruik van de 8-stappen procedure
8. Onderzoeksvragen
• Welke factoren bevorderen en hinderen het
functioneren van een datateam in het hoger
onderwijs?
– Welke factoren m.b.t. data en data-informatiesystemen
beïnvloeden functioneren datateam?
– Welke factoren m.b.t. de gebruiker beïnvloeden
functioneren datateam?
– Welke factoren m.b.t. de organisatie beïnvloeden
functioneren datateam?
9. Theoretisch kader
Hoofdfactoren Subfactoren
Data en data-
informatiesystemen
Opslag in één of meerdere systemen
•Toegankelijkheid
•Gebruikersvriendelijkheid
•Analysemogelijkheden
Kwaliteit van de data
Tijdige data
Accurate data
Betrouwbare en valide data
Tegemoet komend aan behoeften
10. Theoretisch kader
Hoofdfactoren Subfactoren
Gebruiker Individueel niveau
•Data- literacy
•Attitude m.b.t. data
•Locus of control
•Eigenaarschap
Teamniveau:
•Samenwerking
•Samenstelling
•Omgaan met conflicten
•Structuur in gesprekken
•Onderhouden contacten
Organisatie Leiderschap
Visie, normen en doelen
Tijd om aan data te werken
Ondersteuning en support
11. Casus
• Uitval propedeuse HBO, waarbij de studie-eisen die gesteld
worden steeds hoger worden
• Is dit gerelateerd aan vooropleiding? Geslacht? (sfeer in de)
klas?
• Uiteindelijk: curriculum met veel hindernissen en onvoldoende
match tussen noodzakelijke studievaardigheden en de getoonde
studievaardigheden
• Maatregelen: Studeerbaarheid curriculum verbeteren,
studenten studievaardigheden aanleren
12. Methode
•Een single-case study: micro-process studie
•De data team procedure: 19 bijeenkomsten over 2 jaar
•Respondenten: Het data team, het management
•Instrumenten: observaties van de bijeenkomsten (op audio
vastgelegd, verbatim transcript), verschillende vragenlijsten,
interviews, artefacts en reflectie notities van de onderzoeker
•Analyse: codering volgens codeboek, analyse in TamsAnalyzer,
analyse door pattern matching strategy (Yin, 1984)
•Validity and reliability
13. Diepgang (Henry, 2012)
Mate van diepgang Beschrijving van de code
Geen diepgang Organisatie van de bijeenkomst. Eén lid is aan het woord; Geen
gezamenlijke expliciete kennis op.
Enig diepgang Meerdere betrokken, Accent op uitwisseling van informatie,
ervaringen en bronnen, leidt niet tot ontstaan van gezamenlijke kennis
en/of aannames.
Gedeeltelijke
diepgang
Iedereen betrokken, actief nieuwe kennis, niet op basis van
data/onderzoek.
Veel diepgang Uitwisseling leidt tot gezamenlijke kennis die geëxpliciteerd wordt.
Kenmerkend is dat in het gespreksgedeelte gebaseerd wordt op
concreet onderzoek en/of data.
15. Factoren m.b.t. data en data-informatie systemen
• Data-informatie systemen:
- Opslag van data in één of meerdere plaatsen
- De toegang tot de data
- De gebruikersvriendelijkheid
- De analyse mogelijkheden
• Kwaliteit van de data:
- Tijdige data
- Accurate data
- Betrouwbare en valide data
- Data die tegemoet komen aan de behoeften van de
gebruiker
-
-
-
-
-
-
+
-
Schildkamp & Kuiper, 2010; Lai & Schildkamp, 2013)
16. Factoren op individueel en teamniveau
• Factoren op individueel niveau:
- Data literacy
- Attitude
- Locus of control
- Eigenaarschap
• Factoren op teamniveau:
- Samenwerking
- Samenstelling
- Omgaan met conflicten*
- Structuur*
- Onderhouden van contacten
+/-
+
+/-
+
+/-
+/-
-/+
+/-
+/-
* Relateren aan diepgang
17. * Relateren aan diepgang
Factoren in de organisatie
• Leiderschap:
- Distributed leadership
- Model staan
• Druk en betrokkenheid
• Visie, normen en doelen
• Besluitvorming*
• Tijd om aan data te werken
- Gefaciliteerde tijd om te werken aan data
- Tijd om samen te werken aan data*
• Ondersteuning om met data te werken*
- Toegang tot data
- Bevorderen van data literacy
- Structuur
-
-
+
-
-
+
-
+/-
+/-
+
18. Conclusies
• Data: Een pre-conditie. Er is genoeg, maar kun
je er bij en zijn de data accuraat en tijdig?
• Gebruiker: data-literacy en locus of control.
Op teamniveau omgaan met conflicten en
structuur
• Organisatie: leiderschap en visie, normen en
doelen. Ondersteuning en tijd om samen te
werken
19. Discussie
• Data en data-informatiesystemen een pre-
conditie, maar ook visie, normen en doelen
een pre-conditie?
• Aandacht in team voor omgaan met conflicten
• Coaching niet alleen t.b.v. voortgang
datateam, maar ook voor het toepassen in
eigen instructiepraktijk?
20. Literatuur
Bernhardt, V.L. (2004). Continuous improvement: It takes more than test scores. Leadership Magazine,
34(2), 16-19.
Bernhardt, V.L. (2005). Data tools for school improvement. Educational Leadership, 62(5), 66-69.
Carlson, D., Borman, G. D., & Robinson, M. (2011). A multistate district-level cluster randomized trial of
the impact of data-driven reform on reading and mathematics achievement. Educational Evaluation and
Policy Analysis, 33(3), 378-398.
Earl, L., & Katz, S. (2006). Leading schools in a data-rich world: harnassing data for schoolimprovement.
Thousands Oaks, CA: Corwin Press.
Henry, S. F. (2012). Instructional Conversations : A Qualitative Exploration of Differences in Elementary
Teachers’ Team Discussions. Dissertation at Harvard University.
Lai, M.K., & Schildkamp, K. (2012). Data-based decision making: An overview. In: Schildkamp, K., Lai, M.K.,
& Earl, L. (Eds.), Data-based decision making in education: Challenges and opportunities. London: Springer.
Schildkamp, K., & Kuiper, W. (2010). Data-informed curriculum reform: Which data, what purposes, and
promoting and hindering factors. Teaching and Teacher Education, 26(3), 482–496.