Fórum jovens investigadores 2014.versão slidhare

  • 317 views
Uploaded on

 

More in: Education
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
317
On Slideshare
0
From Embeds
0
Number of Embeds
3

Actions

Shares
Downloads
15
Comments
0
Likes
4

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Questionários e Escalas: como construir e adaptar Guilhermina Lobato Miranda gmiranda@ie.ulisboa.pt Pedro Brás pb@campus.ulisboa.pt Fórum Jovens Investigadores Guilhermina L. Miranda & Pedro Brás 1
  • 2. Lema deste workshop “…se, por um lado, a construção de sistemas de observação e medida dotados de qualidades adequadas é essencial ao avanço do conhecimento, não menos indispensável é que os instrumentos sejam desenvolvidos com base numa teoria ou, pelo menos, num conjunto de princípios e objetivos claros” [Moreira, 2004, p. 20] Guilhermina L. Miranda & Pedro Brás 2
  • 3. O Problema da Medida nas Ciências Sociais • Assunto controverso. Mas… • Medir é um processo de observação e registo de informação sobre a forma de atributos que reflectem qualidades ou quantidades (Maroco, 2009) • Processo de codificação das propriedades de um objeto (Moreira, 2004) • A codificação assume muitas vezes a forma de números • Níveis de medida das variáveis: nominal, ordinal, intervalar e de razão • Nas Ciências Físicas o problema da medida também se coloca mas é mais consensual o uso de instrumentos universais. Guilhermina L. Miranda & Pedro Brás 3
  • 4. Tipos e escalas de medida das variáveis As variáveis podem ser qualitativas ou quantitativas e há escalas para cada tipo de variável: nominais, ordinais, intervalares e proporcionais ou de rácio (as duas primeiras são teoricamente qualitativas e as duas segundas quantitativas) Os principais tipos de escalas usados em Psicometria são: 1. Escalas de Likert ou do tipo Likert ou modelo aditivo (1932) (escala mais usada nas ciências sociais e humanas) Conjunto de itens bipolares, entre extremo positivo e extremo negativo, a uma afirmação, com um ponto central de resposta neutra, e.g. Geralmente com número impar (5, 7, 9) Mais raramente sem ponto neutro e com número par (4, 6, 8) Soma (média) de conjunto de itens para obter score de construto, se tal fizer sentido, i.e., se a aproximação a um nível de medida intervalar for defensável. Caso contrário considerar medida ordinal e analisar com métodos apropriados (Me, Mo, mas não Me SD) 2. Escalas de Thurstone (1928), ou modelo de intervalos, primeira técnica formal para medir atitudes 3. Escalas de Guttman (1950), escalograma, escala cumulativa ou modelo ordinal [ver Moreira, 2004] Guilhermina L. Miranda & Pedro Brás 4
  • 5. O Problema da Medida nas Ciências Sociais • Como medir atitudes, comportamentos, emoções, representações, opiniões, inteligência, motivação… e outras variáveis (mais ou menos manifestas)? • Estas variáveis latentes podem ser designadas de construtos • O que é um construto (ou variável latente) e sua relação com a variável observável, o que vou medir? É esta relação que torna a medida em Ciências Sociais única Guilhermina Miranda& Pedro Brás 5
  • 6. Operacionalizar um construto construto Indicador (conceito ou variável latente) (variável observável) Operacionalização Inteligência Testes de QI / Provas Piagetianas Atitude Escala com itens ordinais com 3 Gosto de trabalhar com (face aos computadores ) factores ou dimensões computadores (CC até DC) Guilhermina Miranda& Pedro Brás 6
  • 7. Operacionalizar um construto 1. Testes psicológicos, Escalas, Questionários Medida objectiva e estandardizada de uma amostra de comportamento; muitos são auto-aplicáveis; mas de informação “limitada” 2. Entrevista Avaliação presencial e interativa do entrevistado Informação mais “rica”; mas sujeito a enviesamento do entrevistador 3.Observação directa Recolha de amostra do comportamento observável pelo avaliador. Problemas de amostragem, de fiabilidade e de enviesamento 4.Medidas psicofisiológicas Medidas fisiológicas/bioquímicas e comportamentos associados; problemas com validade e fiabilidade Guilhermina Miranda& Pedro Brás 7
  • 8. Operacionalizar um construto por meio de uma escala /questionário • Escalas e questionários: avaliação padronizada de comportamentos, aptidões, atitudes, ou traços, por intermédio de itens intercorrelacionados cuja manipulação algébrica (soma, subtracção, média) indica uma quantificação (intervalar) dos objectos medidos; • e.g. Escala de suporte social; Escala de Stresse, Escala de Auto- eficácia… • Evitam a palavra “teste” ou respostas corretas/incorretas; [Maroco, 2009; Moreira, 2004] Guilhermina Miranda& Pedro Brás 8
  • 9. Como construir uma Escala / Questionário? 1.Que construtos se pretende medir? 2. Qual a dimensionalidade pretendida? 3. Qualidade e quantidade dos itens? 4. Instruções de preenchimento, codificação e cotação 5. Pré-teste 6. Qualidades psicométricas da escala? [in Maroco, 2009] Guilhermina Miranda& Pedro Brás 9
  • 10. Como construir uma Escala / Questionário? 1. Que construtos se pretende medir? Clarificação do conceito, construto a medir Como operacionalizar a medida?  Seleção de itens do domínio em estudo: Revisão bibliográfica sobre o construto; Que instrumentos de medida existem? Escalas, Inventários, Questionários?  Focus group (entrevistas individuais)  Validade de conteúdo 2. Qual a dimensionalidade pretendida?  O construto é unidimensional, bidimensional ou multidimensional? Guilhermina Miranda& Pedro Brás 10
  • 11. Como construir uma Escala / Questionário? 3. Qualidade e quantidade dos itens? Tipo de itens: perguntas abertas ou fechadas? Tipos de respostas fechadas Itens dicotómicos Julgamentos categoriais /listas de verificação/itens constituídos por alternativas Julgamentos quantitativos Respostas análogo-visuais Guilhermina Miranda& Pedro Brás 11
  • 12. Como construir uma Escala / Questionário? 3. Qualidade e quantidade dos itens? Segundo Maroco (2009) o número de itens por dimensão: Mínimo: 3 Aconselhável: 5-20 Máximo: Sem limite Número de pontos por item: Par ou impar? Com ponto central ou sem ponto central? 1- Discordo fortemente, 2-Discordo, 3-Nem concordo nem discordo, 4- Concordo; 5- Concordo fortemente Guilhermina Miranda& Pedro Brás 12
  • 13. Como construir uma Escala / Questionário? 4. Instruções de preenchimento, codificação e cotação 4.1. Instruções de preenchimento 4.2. Como codificar as respostas?  Códigos numéricos (facilidade de análise e criação de BD)  Análise de Conteúdo nas Respostas abertas: Quantas categorias ou classes usar? Como codificar as classes e as frequências? 4.3. Como Cotar as Respostas/Escala?  Itens com codificações numéricas  Itens revertidos  Soma ou média dos itens faz sentido para obter um score global?  Padronização dos scores (notas Z, por exemplo) [adaptado de Maroco, 2009] Guilhermina Miranda& Pedro Brás 13
  • 14. Como construir uma Escala / Questionário? 5. Pré-teste Num estudo piloto deve avaliar-se:  Clareza e compreensão dos itens  Grau de dificuldade dos itens  Distribuição das respostas  Distribuição das não-respostas  Qualidade psicómetricas provisórias: Sensibilidade, Validade de Conteúdo, Validade de construto, Fiabilidade  A análise do pré-teste pode determinar a eliminação, reformulação e/ou adição de novos itens [adaptado de Maroco, 2009] Guilhermina Miranda& Pedro Brás 14
  • 15. Como construir uma Escala / Questionário? 6. Qualidades psicométricas da escala? Sensibilidade: Os itens permitem diferenciar indivíduos estruturalmente diferentes na medida do construto? O poder discriminativo da escala / questionário ou prova. Validade: A escala mede o construto que se pretendia medir? Várias dimensões de Validade (Anastasi, 1998): • Validade relacionada como conteúdo (Validade de conteúdo; Valida de face) • Validade de construto (Validade factorial, Validade convergente, Validade discriminante) • Validade relacionada com o critério (Validade concorrente, Validade preditiva) Fiabilidade: A escala mede o construto de forma fiável? Isto é de forma consistente e reprodutível (indivíduos com a mesma característica, ou mesmo indivíduo em dois momentos equivalentes, têm o mesmo valor na medida?) Guilhermina Miranda& Pedro Brás 15
  • 16. Dois estudos de validação 1º Estudo de validação para uma amostra de estudantes portugueses: Maria Elvira Monteiro e Guilhermina Lobato Miranda URL: http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=06263102&tag=1 2º Estudo de validação para uma amostra de professores portugueses: Pedro Brás e Guilhermina Lobato Miranda URL: http://ieeexplore.ieee.org/xpl/articleDetails.jsp?tp=&arnumber=6615850&q ueryText%3DValidation,+Liaw's+Questionnaire Guilhermina Miranda& Pedro Brás 16
  • 17. Sensibilidade O que é e como determinar, interpretar [e reportar] a sensibilidade de um Questionário / Escala? Guilhermina Miranda& Pedro Brás 17
  • 18. Estatística descritiva –Medidas de tendência central –Medidas de dispersão –Medidas de distribuição (forma) Sensibilidade Guilhermina Miranda& Pedro Brás 18
  • 19. Medidas de distribuição (sensibilidade) • Os itens permitem diferenciar respostas de sujeitos que são estruturalmente diferentes? • Medidas de distribuição – Assimetria (Skewness) Sk – Achatamento (Kurtosis) Ku Guilhermina Miranda& Pedro Brás 19
  • 20. Como determinar a Sensibilidade dos itens de uma Escala / Questionário? A assimetria e o achatamento definem a sensibilidade de um item. • Um item com elevada Sensibilidade apresenta Sk(g1)≈0 e Ku (g2) ≈ 0 (A distribuição normal tem g1=0 e g2=0). • Valores de |g1| e |g2| acima de 3 e 7 respectivamente revelam problemas graves de sensibilidade (Kline, 1998) • Situação ideal (Sk~0 e Ku~0): • Por outro lado, itens semelhantes devem apresentar correlações elevadas; itens dissemelhantes devem apresentar correlações baixas (mais usado para a avaliação da fiabilidade) Guilhermina Miranda& Pedro Brás 20
  • 21. Como determinar a Sensibilidade dos itens de uma Escala / Questionário com o SPSS? 1. Analyze Descriptive Statistics (várias opções) Frequencies ou Descriptives / Explore /Tables 2. Analyze / Descriptive Statistics / Frequencies Seleccionar os itens 1 a 15 e passa-los para a caixa “Variable(s):” Clicar no botão “Statistics” e seleccionar as opções: Quartils, Median, Mode, Minimum, Maximum, Skewness, Kurtosis 3. Clicar em “Charts” e seleccionar a opção: “Histograms with normal curve” 4. Clicar “Continue” e “Ok”. Guilhermina Miranda& Pedro Brás 21
  • 22. O que fazer? • Devemos manter os itens que apresentam um moderado desvio à normalidade: – Assimetria (|Sk|<3, ou seja, entre -3 e 3) – Curtose ou Achatamento (|Ku|<7, ou seja, entre -7 e 7), embora alguns autores refiram |Ku|<10 • Devemos ponderar a eliminação dos itens da escala que apresentam um acentuado desvio à normalidade Guilhermina Miranda& Pedro Brás 22
  • 23. Validade factorial O que é e como determinar, interpretar e [reportar] a validade fatorial de um Questionário / Escala? Guilhermina Miranda& Pedro Brás 23
  • 24. Como determinar a validade de uma Escala / Questionário? Segundo Maroco (2009), Moreira (2004), entre outros: • O conceito de ‘Validade’ é um elemento chave da teoria psicométrica, um vez que endereça a questão se o investigador/instrumento está a medir o que realmente era suposto medir. • Um instrumento ou teste diz-se ‘válido’ se mede o que é suposto medir e se não existirem erros na interpretação dos resultados e/ou de lógica na elaboração das conclusões • Não existe consenso sobre quantos tipos de “validade” um instrumento pode apresentar em função dos “perigos” e enviesamentos que um instrumento não-válido pode causar no processo de investigação. • 1. Validade relacionada com o Conteúdo • 2. Validade relacionada com o Constructo • 3. Validade relacionada com um Critério Guilhermina Miranda& Pedro Brás 24
  • 25. Como determinar a validade de conteúdo de uma Escala / Questionário? Validade relacionada com o Conteúdo: A validade de conteúdo avalia se os itens da escala são uma amostra representativa do domínio que a escala procura avaliar. Como avaliar? • A validade de Conteúdo pode ser avaliada numa escala de 0 a 1 por um painel de especialistas da área em estudo. Ou pelo método dos juízes. • As classificações do painel de especialistas pode ser descrita por um índice de validade de conteúdo/grau de concordância. • Não vamos explicar como se faz pois é um trabalho moroso. Por isso é sempre melhor usar um Questionário/Escala já elaborado por outros investigadores Guilhermina Miranda& Pedro Brás 25
  • 26. Como determinar a validade de constructo de uma Escala / Questionário? Se uma escala tem validade de constructo, então mede o que se propõe medir e a operacionalização dos itens no constructo permite inferir com confiança para os constructos teóricos que estão na base da construção da escala. • O estabelecimento da validade do constructo é um processo longo e complexo. Em primeiro lugar exige uma sólida base teórica, que depois deve ser operacionalizada claramente nos itens ou indicadores que medem esse constructo. Um constructo com reduzida validade pode resultar de uma fraca operacionalização da teoria, ou da utilização de itens que medem coisas diferentes para sujeitos diferentes. • Vamos apenas falar e aprender a Validade Factorial e usando apenas um método (AFE) Guilhermina Miranda& Pedro Brás 26
  • 27. Validade (relacionada com o constructo) – Validade Fatorial – os itens medem o fator latente que se pretende medir. – Validade Convergente – O constructo relaciona-se positiva e significativamente com os outros constructos e os itens que o constituem apresentam correlações positivas e elevadas. – Validade Discriminante – O constructo não se encontra correlacionado com constructos que operacionalizam fatores diferentes Guilhermina Miranda& Pedro Brás 27
  • 28. Como determinar a validade de construto de uma Escala / Questionário? Como avaliar? • De uma forma geral, a validade de constructo avalia-se com a Análise Factorial Exploratória ou AF Confirmatória, especialmente quando a construção dos constructos e dos itens que os definem assenta numa base teórica sólida. A partir dos resultados da AF podem calcular-se (Anastasi, 1990): Validade Factorial: • KMO (avalia a fatorabilidade do instrumento, i.e. se as correlações entre os itens permitem definir constructos ou factores) • Correlação entre itens • Comunalidades Guilhermina Miranda& Pedro Brás 28
  • 29. O que é e como fazer AFE com o SPSS? As correlações observadas entre itens ou variáveis manifestas são devidas a uma causa ou factor comum latente (não diretamente mensurável), o que designamos de constructo. Este pode ser unifatorial, bifatorail ou multifatorial A AF pressupõe a existência de fatores comuns responsáveis pelas correlações inter- itens. Se as correlações inter-itens forem fracas não é possível extrair “fatores” comuns. Por isso tem certos pressupostos estatísticos: 1. Teste de Esfericidade de Bartlett (rejeita-se a Ho quando p-value (sig.) 2. Medida de Kaiser-Meyer-Olkin (KMO): mais usado e fiável. Aceita-se, quer dizer, podemos partir para a AFE se valor de KMO≥0.7 (abaixo de 0.5 é inaceitável fazer AFE) Guilhermina Miranda& Pedro Brás 29
  • 30. O que é e como fazer AFE com o SPSS? Segundo Maroco (2009): 1. Reter os fatores com valores próprios (eigenvalue) acima de 1! Se a estimação dos fatores for feita com as variáveis estandardizadas, a variância de cada uma delas é 1, assim, um fator para ter algum interesse (poder explicativo) deve reter mais variância do que a variância de uma variável original, isto é, deve ter eigenvalue superior a 1. 2. Reter os fatores onde SCREEPLOT estabiliza. Um fator pode ter eigenvalue superior a 1,mas a retenção desse fator, pode não contribuir significativamente para explicar a variância (informação) presente nos dados. 3. Aqueles necessários para explicar 50% da Variância total, ou os factores que expliquem pelo menos 5-10% da variância total. AFE com rotação varimax: cada variável (item) procura saturar num único factor Guilhermina Miranda& Pedro Brás 30
  • 31. Como fazer AFE com o SPSS? No SPSS: 1. Analyze Data Reduction Factor 2. Seleccionar os itens e passá-los para a caixa “Variables” clicando no botão 3. Clicar em “Descriptives” e seleccionar “KMO and Bartlett’s test of sphericity” 4. Clicar em “Extraction” e seleccionar “Screeplot” para além das opções por default 5. Clicar em “Rotation”, seleccionar “Varimax” e “Loadingplots” 6. Clicar em “Scores”, seleccionar “Anderson-Rubin” e “Display factor score coef. Matriz” 7. Clicar em “Options”, seleccionar “Supress absolute values less than e digite “0.4” 8. Clicar “Continue” e “Ok” para obter os outputs Guilhermina Miranda& Pedro Brás 31
  • 32. Validade Fatorial • Todos os fatores têm que ter um peso fatorial estandardizado maior ou igual a 0,5 • Considerar a eliminação dos fatores cujo peso fatorial é menor que 0,5 Guilhermina Miranda& Pedro Brás 32
  • 33. Fiabilidade O que é e como determinar, interpretar [e reportar] a fiabilidade de um Questionário / Escala? Guilhermina Miranda& Pedro Brás 33
  • 34. Fiabilidade Apesar de parecerem conceitos independentes, a Validade e a Fiabilidade são duas faces da mesma moeda (constructo): São indicadores da Qualidade Psicométrica de um instrumento de medida Mas… “Um instrumento fiável pode não ser válido! Contudo, a fiabilidade é condição necessária (mas não suficiente) para a validade de um instrumento, i.e. um instrumento para ser válido tem que ser também fiável” (Maroco, 2009) A Fiabilidade de um instrumento, teste ou escala é uma estimativa da capacidade do instrumento para medir de forma repetida e consistente.
  • 35. Como determinar a precisão de uma escala / questionário? A fiabilidade é “estimada”, e não “medida” uma vez que uma qualquer classificação x obtida por uma escala ou teste tem sempre duas componentes (Teoria do erro de mensuração): X = T + ex (X= score observado; T= Capacidade real latente; x= erro associado à medição) e.g. F = 0.80 80% da variância observada nos scores do teste corresponde à variância real (latente) e 20% corresponde ao erro de medida. A fiabilidade pode assim ser estimada pelo coeficiente de correlação de duas medições convergentes. Existem 4 medidas comuns de fiabilidade: 1. Consistência interna (a medida mais comum e fiável é o α de Cronbach); 2.Fiabilidade de formas paralelas ou split-half; 3.Fiabilidade interavaliador; 4.Fiabilidade teste-reteste Guilhermina L. Miranda 35
  • 36. Fiabilidade • O α deve variar entre 0 e 1. Pontuações negativas levantam problemas de codificação dos itens.
  • 37. O que significa o valor de Alpha? • Mas… Retirado de Maroco e Garcia-Marques (2006, p.73)
  • 38. Como determinar a precisão de uma escala / questionário? No SPSS: 1. Analyze Scale Reliability analysis 2. Passar os itens 1 a 5 (Subescala Exaustão); proceder de modo semelhante para as outras subescalas) 3. Seleccionar Model: “Alfa” Clicar no botão “Statistics” e seleccionar as opções: “Item”; “Scale”; “Scale if item deleted” e “Correlations” 4. Clicar em “Continue” e “Ok”. Guilhermina L. Miranda 38
  • 39. Exemplo de Cálculo da fiabilidade Alpha de Cronbach: um exemplo Dimensão Itens α Fiab. Atitude WWW 201 a 216 0,881 Boa Atitude Comp. 217 a 232 0,917 Elevada Uso das TIC 401 a 425 0,922 Elevada
  • 40. Algumas referências • Almeida, L. & Freire, T. (2000). Metodologia de investigação em psicologia e educação (2ª Ed.). Braga: Psiquilíbrios • Anastasi, A. & Urbina, S. (1997). Psychological testing. NJ: Prentice-Hall • Ghiglione, R. & Matalon, B. (2001). O Inquérito: teoria e prática. Oeiras: Celta • Hill, M. & Hill, A. (2000). Investigação por questionário. Lisboa: Sílabo • Maroco, J. (2007). Análise estatística com a utilização do SPSS (3ª Ed.). Lisboa: Edições Sílabo • Moreira. J. M. (2004). Questionários: Teoria e prática. Coimbra. Almedina • Thorndike, R. L. (Ed.). Educational measurement (2nd). Washington, DC: American Council on Education. • Tuckman, B. W. (2000). Manual de investigação em educação. Lisboa: Fundação Calouste Gulbenkian. Guilhermina Miranda& Pedro Brás 40