Tractament de dades qualitatives en la recerca educativa. Indicadors de qualitat per la redacció d'articles científics.

1. Com millorar l’impacte de la producció
científica en l’àmbit de les ciències de
l’educació: redacció d’articles amb dades
qualitatives
Carme Grimalt
29 octubre 2019

2. Paradigma
Disseny de la
recerca
• Instruments
Preparació/
Anàlisi dels
resultats
Elaboració de
l’informe
Millorem l’impacte en…
S2
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

3. Què recordem de la setmana passada?
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe
Holley, K. A. (2017). The role of threshold concepts in an interdisciplinary curriculum: A case study in
neuroscience. Innovative Higher Education, 43(1), 17-30.
Pulay, A., Read, M., Tural, E. & Lee, S. (2018). Examining Student Behavior under Two Correlated Color
Temperature Levels of Lighting in an Elementary School Classroom. Educational Planning, 23(3), 58-69
Chalmers, C. (2018). Robotics and Computational Thinking in Primary School. International Journal of Child-
Computer Interaction. 17, 93–100. https://doi.org/10.1016/j.ijcci.2018.06.005
shorturl.at/hiQW1

4. Anàlisi de dades qualitatives
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe
Organització de la
informació obtinguda
Generació de
representacions
intermèdies
Selecció d’unitats
d’anàlisi
+
Anàlisi
Emergència de patrons
Ús de taules
(documentar les dades
recollides)
Resum
narratiu
(descripcions
llargues)
Diagrames
Top-down
(deductive)
o
Bottom-up
(inductive)
CategoritzacióSelecció de
temes
...
Transcripcions
Top-down
(deductive)
o
Bottom-up
(inductive)

5. Visualització de les dades
Luther, A. K. (2018). Visual meta-data in qualitative analysis. Digital
Scholarship in the Humanities, 33(3), 604–611.
https://doi.org/10.1093/LLC/FQX053
Atlas.ti
http://piim.newschool.edu/entitymapper/#!/product
Entity Mapper
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

6. Validesa en el l’anàlisi de dades
• Validesa: un determinat instrument mesura en realitat allò que pretén mesurar,
o diu que mesura; que un indicador representa de forma precisa “les funcions
que es pretén descriure, explicar o teoritzar”.
• Validesa externa. la capacitat dels resultats (o més aviat la teoria que es construeix) de
ser generalitzables, comparables o transferibles a altres contextos. Possibles amenaces:
• Efectes en la selecció dels participants (només d’un grup determinat)
• Efectes del context (els resultats són molt dependents del context)
• Efectes de la història (els resultats o la situació s’han generat per unes circumstàncies
úniques històriques i no són comparables).
• Efectes del constructe (els constructes/teoria utilitzats són molt reduïts a un grup
determinat)
• ...
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

7. Validesa en el l’anàlisi de dades
• Validesa: un determinat instrument mesura en realitat allò que pretén mesurar,
o diu que mesura; que un indicador representa de forma precisa “les funcions
que es pretén descriure, explicar o teoritzar”.
• Validesa del constructe. Les categories que els investigadors estan utilitzant tenen
significat per als propis participants, és a dir, que reflecteixen la manera en què els
participants experimenten i interpreten les situacions de la investigació, que veuen la
situació a través dels ulls dels actors. Possibles amenaces:
• Inferències incorrectes
• No es tenen en compte l’efecte de determinats factors en la construcció del significat
• No es posa a prova ni tenen en compte contra-exemples
• ...
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

8. Validesa en el l’anàlisi de dades
• Validesa: un determinat instrument mesura en realitat allò que pretén mesurar,
o diu que mesura; que un indicador representa de forma precisa “les funcions
que es pretén descriure, explicar o teoritzar”.
• Validesa del contingut. Els instruments utilitzats han pogut obtenir totes les dades
necessàries per a caracteritzar com cal el fenomen d’estudi.
• Validesa convergent i discriminant: S’examina el nivell en que la interpretació (o teoria
generalitzada) cobreix la realitat. P. ex. examinant els casos negatius, que es desvien de la
norma, comparar dades entre subgrups, casos, factors... Per determinar si es troben
diferències. → es basa, en el fons, en l’ús de mètodes de triangulació (de metodologies,
instruments, mostres i/o teories).
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

9. Com podem augmentar la validesa en l’anàlisi de les
dades?
• Utilitzant la validació de les interpretacions pels propis participants.
• Evitant la interpretació (massa) subjectiva de les dades (p.ex. sent massa
generosa a l’hora de categoritzar).
• Reduint l’efecte halo (on el coneixement que tenim de la persona o la situació
ens influeix en el nostre judici de la situació).
• Identificant relacions indegudes o estranyes i els factors que poden estar
afectant a les dades.
• Evitant la categorització pobre de les dades.
• Evitant realitzar inferències i generalitzacions més enllà de la capacitat de les
dades recollides per donar suport a les afirmacions.
• Evitant l’ús selectiu de les dades o l’agregació injusta de les dades
• Evitant l’efecte telescopi a les dades recollides (massa/massa poca freqüència)
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

10. Diferents maneres d’augmentar la fiabilitat
• Parlem de fiabilitat: dependència, consistència i replicabilitat al llarg del
temps. Podem creure en els resultats?
• Es relaciona amb el fet de si un/a mateix/a investigador/a...
• Seria capaç de fer les mateixes observacions en un altre període de temps o espai.
• Si un mateix indicador o categoria és capaç de donar la mateixa resposta quan
s’utilitza/s’observa en un període de temps diferent. També si un fenomen
• Seria capaç de fer les mateixes interpretacions en un altre període de temps o espai?
• Seria capaç de fer les mateixes interpretacions si s’haguessin fet altres observacions en el
mateix període de temps.
• Les mateixes interpretacions s’hagessin pogut fer si un altra/a investigador/a des
del mateix paradigma hagués fet les observacions i interpretacions.
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

11. Presentació de resultats en l’informe
Possibles
representacions
Exemple Avantatges Inconvenients
Segons els grups de
persones
S’agrupen les
persones segons els
tipus de
comportament (p.ex.
perfils d’ús de la PDI)
Mètode útil per resumir
respostes similars
Dificulta fer-se una idea de les respostes
d’un sol individu, ja que estan barrejades
amb altres persones del mateix grup, etc.
Acostuma a utilitzar-se en relació a un únic
instrument (agrupar participants segons les
dades recollides per múltiples instruments
pot ser feixuc).
Segons les persones
participants (de manera
individual)
Es presenten un a un
els participants un a
un
Es conserva millor la
integritat de les
respostes individuals i
facilita fer-se una
imatge de cada
participant
Impedeix al/la lector/a entendre els temes,
respostes comunes, acords i desacords que
s’han trobat. Poc recomanable, a no ser que
hi hagi un interès a conèixer els individus,
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe
Cohen L, Manion L and Morrison K (2018) Research
Methods in Education. 8th ed. Routledge.

12. Presentació de resultats
Possibles
representacions
Exemple Avantatges Inconvenients
Segons els temes que
emergeixen
Per diferents opinions
sobre l’ús de les TIC a
l’aula.
Mètode útil per resumir
respostes similars
Dificulta fer-se una idea de les respostes d’un
sol individu.
Les dades poden quedar
descontextualitzades (en relació al context
des d’on s’han obtingut i la manera com
s’han interpretat).
Segons les preguntes/
objectius de recerca
Ajuda a reunir totes les
dades importants per
respondre cada
pregunta i a que el/la
lector/a connecti amb
la finalitat de la recerca
Dificulta fer-se una idea de les respostes d’un
sol individu.
No totes les recerques tenen diverses
preguntes de recerca (o poden haver
recerques molt exploratòries).
Segons els instruments
de recollida de dades (i
segons persones,
temes...)
Totes les dades de les
entrevistes de cada
persona
Ajuda a donar fidelitat,
coherència i integritat a
la metodologia.
L’instrument sovint només és un mitjà per
respondre les preguntes de recerca i caldrà
presentar una anàlisi de les respostes.
No gaire útil per presentar connexions entre
dades.
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

13. Possibles representacions Exemple Avantatges Inconvenients
Segons els casos (un sol cas, o
múltiple casos)
Els casos individuals es
presenten i després es
presenta una anàlisi
conjunta (cross-case)
Es tracta d’una forma molt
utilitzada i reconeguda de
presentar els resultats
(aprofitant algunes de les
característiques anteriors)
El concepte “cas” no queda clar (els
investigadors/es decideixen)
No hi ha una única manera de
presentar un estudi de cas, pot ser
molt confús.
Segons les narratives A partir d’una seqüència
temporal (cronologia) o
una anàlisi lògica
Permet presentar els
subjectes o el fenomen
observat amb molta
profunditat
No es veu l’ús dels mètodes d’anàlisi
tan clarament com en altres
presentacions
Segons els esdeveniments Poden tenir una
seqüència temporal o
no (esdeveniments
crítics) → reunions de
docents
Dona indicacions d’elements
significatius
Els esdeveniments importants
s'identifiquen de manera retrospectiva.
Implica la reflexió conjunta i ajuntar
diverses visions
Segons l’espai de temps o la
seqüència temporal
Per mesos o per
setmanes
Permet presentar relacions
causa-conseqüència
Com en altres aproximacions, la
contribució única de diversos actors
pot quedar amagada
Segons el marc de referència Segons la Teoria de
l’activitat i segons la
teoria de la difusió de
les innovacions
Augmenta la fiabilitat de la
interpretació
Es perd la “narrativa” i pot esdevenir
feixuc de llegir
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

14. Com podem augmentar la validesa en l’elaboració
dels resultats?
• Evitant l’ús de dades de manera selectiva i poc representativa (p.ex. Accentuant allò
que és més positiu i ignorant el que és negatiu).
• Indicant el context, els paràmetres de recerca utilitzats en la recollida de dades I el seu
tractament, el grau de confiança que poden tenir els resultats, el grau de dependència
del context de les dades recollides (és a dir, el grau en que els resultats poden ser
generalitzables).
• Presentant les dades sense distorsionar el missatge.
• Realitzant afirmacions que es puguin sostenir amb les dades.
• Evitant reportar les dades de manera poc acurada o incorrecta (tant a nivell d’errors
tècnics com ortogràfics).
• Intentant que les preguntes de recerca es responen.
• Mostrant els resultats de la recerca en el seu moment adequat, ni massa d’hora ni
massa tard.
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

15. Ús de representacions visuals
que ens poden ajudar a
transmetre els missatges
• Quines coneixeu?
https://journals.sagepub.com/doi/pdf/10.1177/160940691301200117Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

16. Ús de representacions visuals
• Representacions de processos narratius (accions i esdeveniments que
es despleguen en el temps i/o processos de canvi).
Data display in qualitative researchParadigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe
En la implementació d’una acció/ context
(p.ex. arbre de decisions, diagrames de flux)
Per resumir el marc teòric
(p.ex. diagrames de flux)
Per resumir una observació
(p.ex. Escales, taules per comparar abans i
després)
Per resumir el disseny metodològic
(p.ex. taules)
Kress, G., & van Leeuwen, T. (1996). Reading Images. The
Grammar of Visual Design. New York: Routledge.
http://stephanieevergreen.com/category/blog/

17. Ús de representacions visuals
• Representacions conceptuals: Classificatòries (expressar una
jerarquia)
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe
• Per resumir els conceptes bàsics del marc
teòric. Comparar diferents definicions de
diversos estudis
• Per presentar de manera resumida atributs
dels participants i la metodologia utilitzada
• Per presentar el conjunt de categories
utilitzat en l’anàlisi i la seva relació
• Per resumir els resultats expressant ordre,
(comparant i contrastant)
(p.ex. Gràfiques, taules, mapes conceptuals...)
Data display in qualitative research
Kress, G., & van Leeuwen, T. (1996). Reading Images. The
Grammar of Visual Design. New York: Routledge.

18. Ús de representacions visuals
• Representacions conceptuals: Analítiques (expressar una relació part-
conjunt)
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe
Per expressar relacions entre àmbits en el marc teòric
Per resumir els resultats expressant proporcions...
https://www.visme.co/venn-diagram-maker/
Kress, G., & van Leeuwen, T. (1996). Reading Images. The
Grammar of Visual Design. New York: Routledge.
https://www.canva.com
https://www.lucidchart.com
https://depictdatastudio.com/ho
w-to-visualize-qualitative-data/

19. Ús de representacions visuals
• Representacions conceptuals: Simbòliques (representar metàfores)
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe
Kress, G., & van Leeuwen, T. (1996). Reading Images. The
Grammar of Visual Design. New York: Routledge.
Data display in qualitative research
Per exemple: presa de decisions en la
metodologia, en la història d’algun dels
participants...
Per destacar/relacionar algun aspecte amb la
interpretació d’un cas...

20. I molts altres exemples!
• https://viz.wtf/
• https://twitter.com/WTFViz
• http://stephanieevergreen.com/wp-
content/uploads/2016/11/Qualitative-Chooser-
1.0.pdf
• https://flowingdata.com/
• https://blog.asug.com/hubfs/2019%20AC%20Slide%20Deck
s%20Wednesday/ASUG82597%20-
%20Effective%20Data%20Visualization%20Dos%20and%20
Don%27ts.pdf
Compte quan la
visualització no
ajuda!!
http://stephanieevergreen.com/wp-
content/uploads/2017/11/Qualitative-
Chooser-3.pdf

21. Però en realitat, què volen les revistes?
• Top 10 revistes d’articles de recerca
1. Computers & Education (5.627)
2. Internet and Higher Education (5.284)
3. Learning and instruction (3.917)
4. Modern language journal (3.762)
5. Journal of the learning sciences (3.545)
6. Educational Researcher (3.386)
7. Comunicar (3.338)
8. Academy of Management Learning & Education (3.274)
9. Journal of teacher education (3,348)
10. Studies in Science Education (3.250)
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe
Journal Data Filtered By: Selected JCR Year: 2018 Selected Editions: SSCI Selected
Categories: 'EDUCATION & EDUCATIONAL RESEARCH','EDUCATION, SPECIAL'
Selected Quartiles: 'Q1' Selected Category Scheme: WoS

22. Algunes observacions
• Què busquen les revistes?
• 1. Aproximació: l’aproximació qualitativa és la millor manera de respondre la
pregunta de recerca?
• 2.Robustesa: Es tracta d’un estudi robust (en el disseny de la recerca i en l’ètica
emprada)?
• Mixed methods en diverses parts
• Tractament “quantitatiu” en algunes parts (p. Ex. Selecció aleatòria de participants)
• S’inclouen diverses proves per justificar la validesa i la fiabilitat de l’estudi
• 3.Anàlisi: Va més enllà que una simple col·lecció d’anècdotes? S’ha fet una anàlisi
àmplia de les dades per extreure’n els missatges i la història?
• Estudis amb MOLTS participants (>30)
• Implicació d’un gran equip de recerca
• 4. Informe: Han adoptat els estàndards més actualitzats per a l’informe
d’investigacions qualitatives?
• Case study, multiple case study, cross-case study...
• Tot i que en molts casos la part interpretativa no és tan evident
• 5. Encaix: S’ajusta i compleix els criteris generals de la revista? (Scope o tema de la
revista, audiència)
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

23. Motius de rebuig de manuscrits
• mala estructura del paper
• no hi ha cap pregunta clara de recerca
• cap missatge clar
• escriptura deficient
• mètodes no explicats adequadament
• No s’ajusta al tema de la revista
https://dukekunshan.edu.cn/sites/default/files/u587/Lecutres%20Yamey%202017%20Qualitative%20Research.pdf
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

24. Presentació d’un informe de recerca qualitatiu
• Cal explicar amb molta claredat tot el que s’ha fet (Tant per a treballs
quantitatius com qualitatius)
• Punts clau:
• Per què calia fer l’estudi (quina és la seva contribució?)
• Què s’ha fet exactament i per què s’ha fet d'aquesta manera?
• Què s’ha trobat?
• Què significa el que s’ha trobat?
• La carta de presentació, el resum, el títol i l'estructura general de l’article
(amb nombrosos indicadors i separadors) marquen una gran diferència a
l’hora d’acceptar o rebutjar un article en la primera ronda
• Encara que sembli obvi... Un bon nivell d’anglès és també clau
Paradigma Disseny de la recerca
Preparació/ Anàlisi dels
resultats
Elaboració de l’informe

25. Gràcies!
Preguntes, comentaris finals, desitjos...
shorturl.at/hiQW1