Vijf zaken die je over onderwijsonderzoek moet wetenChristian Bokhove
Veel discussies over onderwijsonderzoek gaan over de kwaliteit van dergelijk onderzoek. Dit gebeurt niet altijd in de meest milde termen. Wat vaak vergeten wordt is dat veel opmerkingen nauw samenhangen met hoe je wetenschap ziet: wetenschapsfilosofie. In deze sessie behandel ik vijf kenmerken van onderwijsonderzoek die van belang zijn:
1. Onderwijsonderzoek is moeilijk want staat midden in de complexe realiteit.2. De relatie tussen oorzaak en gevolg.3. Wetenschap is incrementeel: we bouwen samen aan inzicht.4. Een unieke context moet niet genegeerd worden.5. Er is geen ‘goede’ of ‘slechte’ manier van meten, maar hoe je meet, is van belang.
We moeten loskomen van makkelijke generalisaties over, en kritiek op onderwijsonderzoek. Beter werken academici en docenten samen aan stap-voor-stap meer inzicht in onderwijsprocessen.
Kunt u kosten besparen op de ontwikkeling van medewerkers en tegelijkertijd de kwaliteit van veranderprocessen verhogen?
In de meeste organisaties is het noodzakelijk om voortdurend te veranderen. Managers en hun medewerkers zullen steeds meer gezamenlijk moeten optrekken om het hoofd te kunnen bieden aan de steeds zwaardere eisen die worden gesteld. De vraag is nu hoe ze dat moeten doen. Met behulp van de werkvormen in dit boek kunt u deze leerprocessen zelf organiseren.
Dit is de presentatie die ik in Mechelen gaf op 17 november 2015 voor de Studiedag: 'Het secundair onderwijs in Vlaanderen: het systeem, de leerkrachten en de leerlingen'
Vijf zaken die je over onderwijsonderzoek moet wetenChristian Bokhove
Veel discussies over onderwijsonderzoek gaan over de kwaliteit van dergelijk onderzoek. Dit gebeurt niet altijd in de meest milde termen. Wat vaak vergeten wordt is dat veel opmerkingen nauw samenhangen met hoe je wetenschap ziet: wetenschapsfilosofie. In deze sessie behandel ik vijf kenmerken van onderwijsonderzoek die van belang zijn:
1. Onderwijsonderzoek is moeilijk want staat midden in de complexe realiteit.2. De relatie tussen oorzaak en gevolg.3. Wetenschap is incrementeel: we bouwen samen aan inzicht.4. Een unieke context moet niet genegeerd worden.5. Er is geen ‘goede’ of ‘slechte’ manier van meten, maar hoe je meet, is van belang.
We moeten loskomen van makkelijke generalisaties over, en kritiek op onderwijsonderzoek. Beter werken academici en docenten samen aan stap-voor-stap meer inzicht in onderwijsprocessen.
Kunt u kosten besparen op de ontwikkeling van medewerkers en tegelijkertijd de kwaliteit van veranderprocessen verhogen?
In de meeste organisaties is het noodzakelijk om voortdurend te veranderen. Managers en hun medewerkers zullen steeds meer gezamenlijk moeten optrekken om het hoofd te kunnen bieden aan de steeds zwaardere eisen die worden gesteld. De vraag is nu hoe ze dat moeten doen. Met behulp van de werkvormen in dit boek kunt u deze leerprocessen zelf organiseren.
Dit is de presentatie die ik in Mechelen gaf op 17 november 2015 voor de Studiedag: 'Het secundair onderwijs in Vlaanderen: het systeem, de leerkrachten en de leerlingen'
(On)waarheden en (on)bekende zaken uit onderzoek over reken-wiskundeonderwijsChristian Bokhove
(On)waarheden en (on)bekende zaken uit onderzoek over reken-wiskundeonderwijs
Als je de geluiden in de media mag geloven, dan staat het reken-wiskundeonderwijs of elk moment op instorten of gaat het prima. Vaak worden deze claims kracht bijgezet door het citeren van onderzoek. Sommige criticasters zeggen dan ook wel dat je met onderzoek alles kunt bewijzen.
In deze lezing kijk ik naar verschillende bronnen die worden aangehaald bij discussies over het reken-wiskundeonderwijs. Onderwerpen die de revue passeren zijn:
• Wat internationale en nationale peilingen over de stand van ons reken-wiskundeonderwijs zeggen.
• Het complementaire karakter van vaardigheden en inzicht.
• Onderzoeksthema’s die veelvuldig langskomen in discussies, bijvoorbeeld met de inspectie en de recente NPO menukaart. Van enkele van deze thema’s, geef ik concrete voorbeelden hoe onderzoek soms ge- en mis-bruikt wordt.
Ik zal aangeven hoe onderzoek gezamenlijk vaak een pluriform en genuanceerd beeld van het reken-wiskundeonderwijs geeft, maar dat het belangrijk is om breed te lezen, de context te bevragen, en dieper te graven dan simplistische slogans.
Geert Driessen & Ton Mooij (2007) TVO Onderpresteren begaafdheid en leerling-...Driessen Research
In dit artikel staat het onderpresteren van leerlingen
in het basisonderwijs centraal. Onderpresteren is
opgevat als de discrepantie tussen intelligentie en
schools presteren op het gebied van taal en rekenen.
Met behulp van secundaire analyse van longitudinale
gegevens uit de grootschalige PRIMA-cohortstudie
zijn drie vragen beantwoord: 1) Hoe groot is de groep
onderpresteerders? 2) Op welk moment begint (en
eventueel eindigt) het onderpresteren? 3) Met welke
leerling- en klaskenmerken hangt het onderpresteren
samen? De analyse heeft betrekking op bijna 5800
leerlingen die in de jaren 2000, 2002 en 2004 in de
groepen 4, 6 en 8 zaten. De resultaten laten zien dat
er qua taal bij circa 20% en wat betreft rekenen bij
16% van de leerlingen sprake is van onderpresteren.
Met name hoogbegaafde leerlingen gaan in de loop
van hun schoolloopbaan onderpresteren.Tevens
is er een aantal relaties tussen onderpresteren en
andere leerlingkenmerken vastgesteld. De bevindingen
maken duidelijk dat er zich nog een reservoir aan
verborgen talent bevindt in het basisonderwijs.
(On)waarheden en (on)bekende zaken uit onderzoek over reken-wiskundeonderwijsChristian Bokhove
(On)waarheden en (on)bekende zaken uit onderzoek over reken-wiskundeonderwijs
Als je de geluiden in de media mag geloven, dan staat het reken-wiskundeonderwijs of elk moment op instorten of gaat het prima. Vaak worden deze claims kracht bijgezet door het citeren van onderzoek. Sommige criticasters zeggen dan ook wel dat je met onderzoek alles kunt bewijzen.
In deze lezing kijk ik naar verschillende bronnen die worden aangehaald bij discussies over het reken-wiskundeonderwijs. Onderwerpen die de revue passeren zijn:
• Wat internationale en nationale peilingen over de stand van ons reken-wiskundeonderwijs zeggen.
• Het complementaire karakter van vaardigheden en inzicht.
• Onderzoeksthema’s die veelvuldig langskomen in discussies, bijvoorbeeld met de inspectie en de recente NPO menukaart. Van enkele van deze thema’s, geef ik concrete voorbeelden hoe onderzoek soms ge- en mis-bruikt wordt.
Ik zal aangeven hoe onderzoek gezamenlijk vaak een pluriform en genuanceerd beeld van het reken-wiskundeonderwijs geeft, maar dat het belangrijk is om breed te lezen, de context te bevragen, en dieper te graven dan simplistische slogans.
Geert Driessen & Ton Mooij (2007) TVO Onderpresteren begaafdheid en leerling-...Driessen Research
In dit artikel staat het onderpresteren van leerlingen
in het basisonderwijs centraal. Onderpresteren is
opgevat als de discrepantie tussen intelligentie en
schools presteren op het gebied van taal en rekenen.
Met behulp van secundaire analyse van longitudinale
gegevens uit de grootschalige PRIMA-cohortstudie
zijn drie vragen beantwoord: 1) Hoe groot is de groep
onderpresteerders? 2) Op welk moment begint (en
eventueel eindigt) het onderpresteren? 3) Met welke
leerling- en klaskenmerken hangt het onderpresteren
samen? De analyse heeft betrekking op bijna 5800
leerlingen die in de jaren 2000, 2002 en 2004 in de
groepen 4, 6 en 8 zaten. De resultaten laten zien dat
er qua taal bij circa 20% en wat betreft rekenen bij
16% van de leerlingen sprake is van onderpresteren.
Met name hoogbegaafde leerlingen gaan in de loop
van hun schoolloopbaan onderpresteren.Tevens
is er een aantal relaties tussen onderpresteren en
andere leerlingkenmerken vastgesteld. De bevindingen
maken duidelijk dat er zich nog een reservoir aan
verborgen talent bevindt in het basisonderwijs.
Creating interactive digital books for the transition from secondary to under...Christian Bokhove
In the United Kingdom, many students struggle in their transition from secondary school mathematics to undergraduate mathematics. It is not always possible to remediate deficiencies in mathematical knowledge within a school setting. At the same time, we know that Intelligent Tutoring Systems can aid students in acquiring, practicing, and assessing mathematical content. In this paper, we will present interactive workbooks created at our institution, that cover units of study from the secondary A-level mathematics curriculum, comprising a series of technical expositions and a modular collection of quizzes. Each quiz addresses content equivalent of at most two classroom lessons and features automated feedback bespoke to the students’ (algebraic or numeric) input. The ‘digital books’ make use of a Computer Algebra System to provide automated feedback. The development of the books is a collaborative process in a ‘Community of Interest’ with local secondary teachers, developers recruited from local departments, and the Southampton Education School. An iterative design-based research approach was adopted for the development, with multiple opportunities for feedback and improvement. After initial prototyping, a teacher focus group will attend a follow-up session where they are invited to review the materials and to make suggestions or requests before implementing them with their students later in the year. We present preliminary reflections on the results of our reflective design-based process, and discuss how this process contributes to both better digital books and research insights.
Help-seeking in an online maths environment: A sequence analysis of log filesChristian Bokhove
In online mathematics environments feedback is often provided to help students make progress. However, the extent to which students make use of such feedback, so-called ‘help-seeking’, depends on numerous instructional variables, including the design of the online platform and individual student characteristics. Furthermore, student behaviour in such platforms are not independent events: the order in which tasks are completed matters, and we therefore have to study sequences of such events. This study used student data from UK students in grades 3 to 5 with at least 100 lesson records in the academic year ’18-’19 (N=1,799), totalling 1,048,575 records between December 2010 and January 2019, from an online mathematics platform. Sequence analysis was applied to the data to uncover patterns of help-seeking. The results showed that help, task difficulty and precision interact, demonstrating the usefulness of learning analytical approaches like sequence analysis.
Learning loss and learning inequalities during the covid-19 pandemic: an anal...Christian Bokhove
The transition to distance schooling during the pandemic has exacerbated inequalities by socio-economic status (SES) due both to the gap in the volume of schoolwork completed and to the relative ability or inability of some parents to support their children’s learning. In this presentation I will report on a longitudinal analysis of Understanding Society data from the two school closures in April 2020 and January 2021, which colleagues Dr Nic Pensiero, Prof Tony Kelly and I conducted for the ESRC. The analysis included parents' occupations, computer availability and parents' work patterns. The provision of schoolwork improved in both primary and secondary schools in the second closure period compared to the first school closure period, with the increased provision explained by the more lessons, greater availability of computers and families being better prepared for the second school closure. While parental occupation alone was found to be a significant determinant of differences in the volume of schoolwork among students, its effect was amplified when combined with student access to computers, family circumstances and parental working patterns. Primary school children of single parents who worked from home were able to reduce the gap in schoolwork done compared to the most advantaged socio-economic group, but generally, inequalities between socio-economic groups in the uptake of schoolwork remained stable between the two school closure periods. I will discuss what these findings have taught us.
The challenge of proof in the transition from A-level mathematics to universityChristian Bokhove
Students’ difficulties with mathematical proof and transition from secondary to university mathematics are key topics within mathematics education research. In this talk, we report on research with the Southampton Mathematics department and A-level mathematics teachers. In the transition from A-level maths and further maths to undergraduate mathematics, the topic of proof always is a big challenge for students. In our study, we analysed answers to a ‘proof by induction’ task from first-year undergraduate mathematics students. Findings show that many students find the proof by induction process challenging. Results illustrate the difficulties students face when they are asked to engage with a proof by induction task within the Calculus context and provide insight into the transition from A-level maths to undergraduate maths. We highlight how a multidisciplinary team of mathematics specialists (mathematics education researchers, secondary maths teachers, mathematicians) created a resource to support A-level teachers, trialled in this academic year. The booklet ‘Thinking about Proof’ supports A-level teachers in teaching proof and facilitating a smoother transition to university mathematics.
Methodological innovation for mathematics education researchChristian Bokhove
In this talk I will highlight how innovative research methods can help us in answering research questions for mathematics education. Some examples will be:
The use of social network analysis for communication networks of trainee mathematics teachers, as well as interactions in the mathematics classroom.
The use of sequence analysis for analysing data from an online mathematics tool.
The usefulness of open approaches to improve research transparency.
I will draw these projects together to sketch some interesting directions for mathematics education research.
In England, an important role for the judgement of educational quality, is provided by the national school inspectorate Ofsted. Periodically they inspect schools and judge them. The result of the inspection is captured in inspection reports and associated documents. Ofsted has had several chief inspectors (HMCI) since 2000 and every HMCI tends to put his/her own mark on the inspectorate. This paper extends the analysis of the corpus in Author (2020) using the corpus of more than 17,000 Ofsted documents which were scraped from their website with text-mining techniques. Using the computational research method of structural topic modelling I re-analyse a set of documents that typically could not be analysed with manual methods. I juxtapose the findings with previous findings from sentiment analyses. The paper does not just cover the substantive topic at hand, but also provide insight in how the methods work, and how they provide insight in policy shifts during the ‘reign’ of different HMCIs. All in all, we can see how such text-mining techniques allow us to analyse existing documents at scale.
Learning loss and learning inequalities during the Covid-19 pandemic: an anal...Christian Bokhove
For the report see https://www.southampton.ac.uk/publicpolicy/covid19/learning-inequalities-covid-19.page
For a recording of the talk see: https://login.microsoftonline.com/common/oauth2/authorize?client_id=cf53fce8-def6-4aeb-8d30-b158e7b1cf83&response_mode=form_post&response_type=code+id_token&scope=openid+profile&state=OpenIdConnect.AuthenticationProperties%3dAQAAAAIAAAAJLnJlZGlyZWN0YWh0dHBzOi8vd2ViLm1pY3Jvc29mdHN0cmVhbS5jb20vdmlkZW8vZjQzMTlhOGItNjI3ZC00MjVmLTkxNzgtNjUxNmJiMjRjNjA2P3JlZmVycmVyPWh0dHBzOi8vdC5jby8Ibm9uY2VLZXmbAWI3NThsQVZjX0dBV1l3elM1M1E4aUNMeklxeEhGck0yWlpFdjFKOW9DZDBfdHZURHZUVmFkcXJmNEF1YXBFeW9vc2JaSlVfSEFZeGRvaTB4Znpha3hlLURfNmFTR3VMb2tnVm55QjRjTU40TzctbnU5WFlvYU5YaS00LThocjhubFh6LWxXejRZelFSOTZSZ2hXTzY3VjlOS2tF&nonce=637623831282885943.OTE1YmY1ZGMtMmNlZC00MTAyLWFkN2ItNDBjMDQ0N2YzNWIxYzQ2ODYxMTMtNjkyOC00MjMxLWI3M2QtOTg2MjY5NDU1NTMz&nonceKey=OpenIdConnect.nonce.7YqZnnSsGsmDUjch5zMsEl3cEhi9f8LQh3pftMQ0ZWU%3d&site_id=500453&redirect_uri=https%3a%2f%2fweb.microsoftstream.com%2f&post_logout_redirect_uri=https%3a%2f%2fproducts.office.com%2fmicrosoft-stream&msafed=0&prompt=none
USING MRQAP TO ANALYSE THE DEVELOPMENT OF MATHEMATICS PRE-SERVICE TRAINEES’ C...Christian Bokhove
This paper looks at a data analysis method for analyzing longitudinal network data called MRQAP. We describe a dataset from a study on the development of peer networks of one cohort of pre-service mathematics trainees in the south of England and apply the MRQAP method to its four timepoints. We include attributes for gender, study programme, trust and self-efficacy. The analysis shows that MRQAP is a viable data analysis method for looking at the longitudinal development of networks. We conclude with a short discussion of further methodological challenges and limitations.
2. Bijsluiter
• Medische analogie wordt vaak gemaakt
• In Engeland en andere landen is dit de aanleiding
geweest for ‘evidence-based practice’ (bv Goldacre)
• Als gevolg meer aandacht voor evaluaties en interventies,
alsmede RCTs
• Maar wat we missen is een bijsluiter
3. Bijwerkingen
• Een bijsluiter bevat
informatie over
• De werking van een
‘medicijn’
• Gebruiksaanwijzing
• De bijwerkingen
• Zhao (2017)
• Dit is niet een slinkse
manier om evidence te
ondermijnen
Zhao, Y. (2017). What works may hurt: Side effects in
education. Journal of Educational Change, 18(1), 1-19.
4. Uitgangspunt
• Doel niet om te bevestigen wat je al weet, maar jullie te
laten nadenken over wat je al weet (of denkt te weten).
• Dus dat zal soms misschien schuren.
• Misschien erger je je wel omdat we de positieve kanten
niet genoeg belichten.
• Pech!
(Geen dual coding – jullie houden de aandacht er maar bij!)
5. Vier voorbeelden waar we willen praten
over een bijsluiter
1. Instructie en Einstellung
2. Retrieval practice: wat?
3. Motivatie en prestatie
4. Retrieval practice: hoe?
6. 1. Instructie en Einstellung
• 80s werk Sweller (Cognitive Load Theory) is geweldig
• Maar naar mijn mening niet altijd goed ‘vertaald’?
• Daarom ga ik over dit interessante artikel uit 1982
vertellen. Zoals wel vaker in de 80er jaren is de sample
size klein.
• Volgens Sweller (2016) staan deze experimenten aan de
basis van de theorie.
Sweller, J. (2016). Story of a research program. Education Review, 23.
8. De history-cued groep werd aan oplossingen herinnerd.
Bijvoorbeeld na het oplossen van 6a:
De oplossing van het eerste problem was x –
De oplossing van het tweede problem was x – x –
De oplossing van het derde problem was x – x –
De oplossing van het vierde problem was x – x – x –
Daarna werd gevraagd om de laatste oplossing te
onthouden, en nog een keer in te voeren.
10. Einstellung
• “Often called a problem
solving set, Einstellung refers
to a person's predisposition
to solve a given problem in a
specific manner even though
better or more appropriate
methods of solving the
problem exist.”
• Einstellung komt vaker voor
• Algebra
• Schaak paper
• Ergo…balans nodig….laten
zien niet genoeg
https://www.sciencedirect.com/science/article/pii/S0010027708001
133
11. De conclusie van Sweller (2016)
“Perhaps we should be showing students how to solve
problems rather than having them solve the problems
themselves?”
Maar we hebben gezien dat er ook een risico van
Einstellung is!
16. Rosenshine, B.V. (2012). Principles of Instruction: Research-Based Strategies
That All Teachers Should Know. The American Educator, 36, 12.
17. Obtain a high success rate: It is
important for students to achieve
a high success rate during
classroom instruction.
The research also suggests that
the optimal success rate for
fostering student achievement
appears to be about 80 percent.
A success rate of 80 percent
shows that students are learning
the material, and it also shows
that the students are challenged.
18. Hoe kan je hier onderscheid maken tussen het beter worden
van leerlingen of de juiste vraag hebben gesteld?
20. Maakt het nog uit wat WAT je ophaalt?
Kijk uit met teveel basiskennis. Het is een begin om mee te
kunnen denken over problemen.
21. 3. Motivatie en prestatie
Social media komt het regelmatig voor dat ‘motivatie’ als onbelangrijk
wordt neergezet
De stelling is dat motivatie voorkomt uit prestatie
• Garon‐Carrier, G., Boivin, M., Guay, F., Kovas, Y., Dionne, G., Lemelin, J. P., ...
& Tremblay, R. E. (2016). Intrinsic motivation and achievement in mathematics
in elementary school: A longitudinal investigation of their association. Child
development, 87(1), 165-175.
• Ma, X., & Xu, J. (2004). The causal ordering of mathematics anxiety and
mathematics achievement: a longitudinal panel analysis. Journal of
adolescence, 27(2), 165-179.
En inderdaad, die geven de andere richting, maar dat doet niet andere
bronnen ongedaan! De vraag ‘wat klopt er niet aan die bronnen’ is
onterecht. Het zijn goede studies. Maar is het een ‘hoofdzonde’ om te
zeggen dat motivatie leidt tot betere prestaties? Nee!
Daarvoor moet je echt breder lezen.
22. • Terminologie verschilt
• Motivatie
• Self-concept
• Emotions
• Enjoyment
• Boredom
• “positive emotions
(enjoyment, pride)
positively predicted
subsequent achievement
(math end-of-the-year
grades and test scores)”
en vice versa.
Pekrun, R., Lichtenfeld, S., Marsh, H. W., Murayama, K., & Goetz, T. (2017).
Achievement emotions and academic performance: Longitudinal models of
reciprocal effects. Child development, 88(5), 1653-1670.
23. • Enjoyment en boredom
• “Mathematics
achievement positively
predicted enjoyment and
negatively predicted
boredom.”
• “Enjoyment positively,
and boredom negatively,
predicted subsequent
mathematics
achievement.”
Putwain, D. W., Becker, S., Symes, W., & Pekrun, R. (2018). Reciprocal
relations between students’ academic enjoyment, boredom, and achievement
over time. Learning and Instruction, 54, 73-81.
24. Kortom…
• En ook ‘goal setting’…..
• Je hebt dit hele plaatje nodig
• Bijsluiter bij de bijsluiter:
• Núñez-Regueiro, F., Juhel, J., Bressoux, P., & Nurra, C. (2021).
Identifying reciprocities in school motivation research: A review of
issues and solutions associated with cross-lagged effects
models. Journal of Educational Psychology. Advance online
publication. https://doi.org/10.1037/edu0000700
• De methodologische aanpak werkt misschien niet goed!
• (zie hetzelfde bij fMRI)
• Dus: altijd open blijven staan…breed lezen
28. Endres, T., Kranzdorf, L., Schneider, V. et al. It matters how to recall – task
differences in retrieval practice. Instr Sci 48, 699–728 (2020).
https://doi.org/10.1007/s11251-020-09526-1
29. Retrieval practice: maakt het nog uit wat
HOE je ophaalt?
Als je ‘targeted’ gebruikt laat dit dan hand in hand gaan met
‘holistic’ retrieval.
35. Conclusie
• Evidence kan nuttige inzichten geven.
• Uiteindelijk moeten leraren het zelf in hun onderwijs
integreren – zij zijn de experts daarin.
• Onderzoek heeft een bijsluiter nodig
• Opbrengsten
• Hoe je het kan gebruiken
• Bijwerkingen
• Schuurde dit?
GOED!
Editor's Notes
In England, an important role for the judgement of educational quality, is provided by the national school inspectorate Ofsted. Periodically they inspect schools and judge them. The result of the inspection is captured in inspection reports and associated documents. Ofsted has had several chief inspectors (HMCI) since 2000 and every HMCI tends to put his/her own mark on the inspectorate. This paper extends the analysis of the corpus in Author (2020) using the corpus of more than 17,000 Ofsted documents which were scraped from their website with text-mining techniques. Using the computational research method of structural topic modelling I re-analyse a set of documents that typically could not be analysed with manual methods. I juxtapose the findings with previous findings from sentiment analyses. The paper does not just cover the substantive topic at hand, but also provide insight in how the methods work, and how they provide insight in policy shifts during the ‘reign’ of different HMCIs. All in all, we can see how such text-mining techniques allow us to analyse existing documents at scale.