Fórum jovens investigadores 2014.versão slidhare

Questionários e Escalas: como
construir e adaptar
Guilhermina Lobato Miranda
gmiranda@ie.ulisboa.pt
Pedro Brás
pb@campus.ulisboa.pt
Fórum Jovens Investigadores
Guilhermina L. Miranda & Pedro Brás 1

Lema deste workshop
“…se, por um lado, a construção de sistemas de
observação e medida dotados de qualidades
adequadas é essencial ao avanço do conhecimento,
não menos indispensável é que os instrumentos sejam
desenvolvidos com base numa teoria ou, pelo menos,
num conjunto de princípios e objetivos claros”
[Moreira, 2004, p. 20]

O Problema da Medida nas Ciências Sociais
• Assunto controverso. Mas…
• Medir é um processo de observação e registo de informação sobre a
forma de atributos que reflectem qualidades ou quantidades (Maroco,
2009)
• Processo de codificação das propriedades de um objeto (Moreira, 2004)
• A codificação assume muitas vezes a forma de números
• Níveis de medida das variáveis: nominal, ordinal, intervalar e de
razão
• Nas Ciências Físicas o problema da medida também se coloca mas é mais
consensual o uso de instrumentos universais.

Tipos e escalas de medida das variáveis
As variáveis podem ser qualitativas ou quantitativas e há escalas para cada tipo de variável:
nominais, ordinais, intervalares e proporcionais ou de rácio (as duas primeiras são teoricamente
qualitativas e as duas segundas quantitativas)
Os principais tipos de escalas usados em Psicometria são:
1. Escalas de Likert ou do tipo Likert ou modelo aditivo (1932) (escala mais usada nas
ciências sociais e humanas)
Conjunto de itens bipolares, entre extremo positivo e extremo negativo, a uma afirmação,
com um ponto central de resposta neutra, e.g.
Geralmente com número impar (5, 7, 9)
Mais raramente sem ponto neutro e com número par (4, 6, 8)
Soma (média) de conjunto de itens para obter score de construto, se tal fizer sentido, i.e.,
se a aproximação a um nível de medida intervalar for defensável. Caso contrário considerar
medida ordinal e analisar com métodos apropriados (Me, Mo, mas não Me SD)
2. Escalas de Thurstone (1928), ou modelo de intervalos, primeira técnica formal para
medir atitudes
3. Escalas de Guttman (1950), escalograma, escala cumulativa ou modelo ordinal
[ver Moreira, 2004]

O Problema da Medida nas Ciências Sociais
• Como medir atitudes, comportamentos, emoções,
representações, opiniões, inteligência, motivação… e
outras variáveis (mais ou menos manifestas)?
• Estas variáveis latentes podem ser designadas de
construtos
• O que é um construto (ou variável latente) e sua
relação com a variável observável, o que vou medir?
É esta relação que torna a medida em Ciências
Sociais única
Guilhermina Miranda& Pedro Brás 5

Operacionalizar um construto
construto Indicador
(conceito ou variável latente) (variável observável)
Operacionalização
Inteligência Testes de QI / Provas Piagetianas
Atitude Escala com itens ordinais com 3 Gosto de trabalhar com
(face aos computadores ) factores ou dimensões computadores (CC até DC)

Operacionalizar um construto
1. Testes psicológicos, Escalas, Questionários
Medida objectiva e estandardizada de uma amostra de comportamento;
muitos são auto-aplicáveis; mas de informação “limitada”
2. Entrevista
Avaliação presencial e interativa do entrevistado
Informação mais “rica”; mas sujeito a enviesamento do entrevistador
3.Observação directa
Recolha de amostra do comportamento observável pelo avaliador.
Problemas de amostragem, de fiabilidade e de enviesamento
4.Medidas psicofisiológicas
Medidas fisiológicas/bioquímicas e comportamentos associados; problemas
com validade e fiabilidade

Operacionalizar um construto por meio de uma escala
/questionário
• Escalas e questionários: avaliação padronizada de
comportamentos, aptidões, atitudes, ou traços, por intermédio
de itens intercorrelacionados cuja manipulação algébrica (soma,
subtracção, média) indica uma quantificação (intervalar) dos
objectos medidos;
• e.g. Escala de suporte social; Escala de Stresse, Escala de Auto-
eficácia…
• Evitam a palavra “teste” ou respostas corretas/incorretas;
[Maroco, 2009; Moreira, 2004]

Como construir uma Escala / Questionário?
1.Que construtos se pretende medir?
2. Qual a dimensionalidade pretendida?
3. Qualidade e quantidade dos itens?
4. Instruções de preenchimento, codificação e cotação
5. Pré-teste
6. Qualidades psicométricas da escala?
[in Maroco, 2009]

1. Que construtos se pretende medir?
Clarificação do conceito, construto a medir
Como operacionalizar a medida?
 Seleção de itens do domínio em estudo: Revisão bibliográfica sobre o
construto; Que instrumentos de medida existem? Escalas, Inventários,
Questionários?
 Focus group (entrevistas individuais)
 Validade de conteúdo
2. Qual a dimensionalidade pretendida?
 O construto é unidimensional, bidimensional ou multidimensional?

Tipo de itens: perguntas abertas ou fechadas?
Tipos de respostas fechadas
Itens dicotómicos
Julgamentos categoriais /listas de verificação/itens constituídos por
alternativas
Julgamentos quantitativos
Respostas análogo-visuais

Segundo Maroco (2009) o número de itens por dimensão:
Mínimo: 3
Aconselhável: 5-20
Máximo: Sem limite
Número de pontos por item:
Par ou impar? Com ponto central ou sem ponto central?
1- Discordo fortemente, 2-Discordo, 3-Nem concordo nem discordo, 4-
Concordo; 5- Concordo fortemente

4. Instruções de preenchimento, codificação e cotação
4.1. Instruções de preenchimento
4.2. Como codificar as respostas?
 Códigos numéricos (facilidade de análise e criação de BD)
 Análise de Conteúdo nas Respostas abertas: Quantas categorias ou classes
usar? Como codificar as classes e as frequências?
4.3. Como Cotar as Respostas/Escala?
 Itens com codificações numéricas
 Itens revertidos
 Soma ou média dos itens faz sentido para obter um score global?
 Padronização dos scores (notas Z, por exemplo)
[adaptado de Maroco, 2009]

5. Pré-teste
Num estudo piloto deve avaliar-se:
 Clareza e compreensão dos itens
 Grau de dificuldade dos itens
 Distribuição das respostas
 Distribuição das não-respostas
 Qualidade psicómetricas provisórias: Sensibilidade, Validade de Conteúdo, Validade de
construto, Fiabilidade
 A análise do pré-teste pode determinar a eliminação, reformulação e/ou adição de novos
itens
[adaptado de Maroco, 2009]

6. Qualidades psicométricas da escala?
Sensibilidade: Os itens permitem diferenciar indivíduos estruturalmente diferentes na medida
do construto? O poder discriminativo da escala / questionário ou prova.
Validade: A escala mede o construto que se pretendia medir? Várias dimensões de Validade
(Anastasi, 1998):
• Validade relacionada como conteúdo (Validade de conteúdo; Valida de face)
• Validade de construto (Validade factorial, Validade convergente, Validade
discriminante)
• Validade relacionada com o critério (Validade concorrente, Validade preditiva)
Fiabilidade: A escala mede o construto de forma fiável? Isto é de forma consistente e
reprodutível (indivíduos com a mesma característica, ou mesmo indivíduo em dois momentos
equivalentes, têm o mesmo valor na medida?)

Dois estudos de validação
1º Estudo de validação para uma amostra de estudantes portugueses: Maria
Elvira Monteiro e Guilhermina Lobato Miranda
URL:
http://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=06263102&tag=1
2º Estudo de validação para uma amostra de professores portugueses: Pedro
Brás e Guilhermina Lobato Miranda
URL:
http://ieeexplore.ieee.org/xpl/articleDetails.jsp?tp=&arnumber=6615850&q
ueryText%3DValidation,+Liaw's+Questionnaire

Sensibilidade
O que é e como determinar, interpretar [e reportar] a sensibilidade de um
Questionário / Escala?

Estatística descritiva
–Medidas de tendência central
–Medidas de dispersão
–Medidas de distribuição (forma)
Sensibilidade

Medidas de distribuição (sensibilidade)
• Os itens permitem diferenciar respostas de
sujeitos que são estruturalmente diferentes?
• Medidas de distribuição
– Assimetria (Skewness)
Sk
– Achatamento (Kurtosis)
Ku

Como determinar a Sensibilidade dos itens de uma Escala /
Questionário?
A assimetria e o achatamento definem a sensibilidade de um
item.
• Um item com elevada Sensibilidade apresenta Sk(g1)≈0 e Ku
(g2) ≈ 0 (A distribuição normal tem g1=0 e g2=0).
• Valores de |g1| e |g2| acima de 3 e 7 respectivamente
revelam problemas graves de sensibilidade (Kline, 1998)
• Situação ideal (Sk~0 e Ku~0):
• Por outro lado, itens semelhantes devem apresentar
correlações elevadas; itens dissemelhantes devem
apresentar correlações baixas (mais usado para a avaliação
da fiabilidade)

Como determinar a Sensibilidade dos itens de uma Escala /
Questionário com o SPSS?
1. Analyze
Descriptive Statistics
(várias opções)
Frequencies ou Descriptives / Explore /Tables
2. Analyze / Descriptive Statistics / Frequencies
Seleccionar os itens 1 a 15 e passa-los para a caixa
“Variable(s):”
Clicar no botão “Statistics” e seleccionar as opções: Quartils,
Median, Mode, Minimum, Maximum, Skewness, Kurtosis
3. Clicar em “Charts” e seleccionar a opção: “Histograms with
normal curve”
4. Clicar “Continue” e “Ok”.

O que fazer?
• Devemos manter os itens que apresentam um
moderado desvio à normalidade:
– Assimetria (|Sk|<3, ou seja, entre -3 e 3)
– Curtose ou Achatamento (|Ku|<7, ou seja, entre -7
e 7), embora alguns autores refiram |Ku|<10
• Devemos ponderar a eliminação dos itens da
escala que apresentam um acentuado desvio à
normalidade

Validade factorial
O que é e como determinar, interpretar e [reportar] a validade fatorial de um

Como determinar a validade de uma Escala / Questionário?
Segundo Maroco (2009), Moreira (2004), entre outros:
• O conceito de ‘Validade’ é um elemento chave da teoria psicométrica, um
vez que endereça a questão se o investigador/instrumento está a medir o
que realmente era suposto medir.
• Um instrumento ou teste diz-se ‘válido’ se mede o que é suposto medir e
se não existirem erros na interpretação dos resultados e/ou de lógica na
elaboração das conclusões
• Não existe consenso sobre quantos tipos de “validade” um instrumento
pode apresentar em função dos “perigos” e enviesamentos que um
instrumento não-válido pode causar no processo de investigação.
• 1. Validade relacionada com o Conteúdo
• 2. Validade relacionada com o Constructo
• 3. Validade relacionada com um Critério

Como determinar a validade de conteúdo de uma Escala /
Questionário?
Validade relacionada com o Conteúdo: A validade de conteúdo avalia
se os itens da escala são uma amostra representativa do domínio que a
escala procura avaliar.
Como avaliar?
• A validade de Conteúdo pode ser avaliada numa escala de 0 a 1 por
um painel de especialistas da área em estudo. Ou pelo método dos
juízes.
• As classificações do painel de especialistas pode ser descrita por um
índice de validade de conteúdo/grau de concordância.
• Não vamos explicar como se faz pois é um trabalho moroso. Por isso é
sempre melhor usar um Questionário/Escala já elaborado por outros
investigadores

Como determinar a validade de constructo de uma Escala /
Questionário?
Se uma escala tem validade de constructo, então mede o que se propõe
medir e a operacionalização dos itens no constructo permite inferir com
confiança para os constructos teóricos que estão na base da construção
da escala.
• O estabelecimento da validade do constructo é um processo longo e
complexo.
Em primeiro lugar exige uma sólida base teórica, que depois deve ser operacionalizada
claramente nos itens ou indicadores que medem esse constructo. Um constructo com
reduzida validade pode resultar de uma fraca operacionalização da teoria, ou da
utilização de itens que medem coisas diferentes para sujeitos diferentes.
• Vamos apenas falar e aprender a Validade Factorial e usando apenas
um método (AFE)

Validade (relacionada com o constructo)
– Validade Fatorial – os itens medem o fator latente
que se pretende medir.
– Validade Convergente – O constructo relaciona-se
positiva e significativamente com os outros
constructos e os itens que o constituem apresentam
correlações positivas e elevadas.
– Validade Discriminante – O constructo não se
encontra correlacionado com constructos que
operacionalizam fatores diferentes

Como determinar a validade de construto de uma Escala /
Questionário?
Como avaliar?
• De uma forma geral, a validade de constructo avalia-se com a
Análise Factorial Exploratória ou AF Confirmatória,
especialmente quando a construção dos constructos e dos
itens que os definem assenta numa base teórica sólida. A partir
dos resultados da AF podem calcular-se (Anastasi, 1990):
Validade Factorial:
• KMO (avalia a fatorabilidade do instrumento, i.e. se as
correlações entre os itens permitem definir constructos ou
factores)
• Correlação entre itens
• Comunalidades

O que é e como fazer AFE com o SPSS?
As correlações observadas entre itens ou variáveis manifestas são devidas a uma
causa ou factor comum latente (não diretamente mensurável), o que designamos de
constructo. Este pode ser unifatorial, bifatorail ou multifatorial
A AF pressupõe a existência de fatores comuns responsáveis pelas correlações inter-
itens. Se as correlações inter-itens forem fracas não é possível extrair “fatores”
comuns.
Por isso tem certos pressupostos estatísticos:
1. Teste de Esfericidade de Bartlett (rejeita-se a Ho quando p-value (sig.)
2. Medida de Kaiser-Meyer-Olkin (KMO): mais usado e fiável. Aceita-se, quer dizer,
podemos partir para a AFE se valor de KMO≥0.7 (abaixo de 0.5 é inaceitável fazer
AFE)

O que é e como fazer AFE com o SPSS?
Segundo Maroco (2009):
1. Reter os fatores com valores próprios (eigenvalue) acima de 1! Se a estimação
dos fatores for feita com as variáveis estandardizadas, a variância de cada uma
delas é 1, assim, um fator para ter algum interesse (poder explicativo) deve reter
mais variância do que a variância de uma variável original, isto é, deve ter
eigenvalue superior a 1.
2. Reter os fatores onde SCREEPLOT estabiliza. Um fator pode ter eigenvalue
superior a 1,mas a retenção desse fator, pode não contribuir significativamente
para explicar a variância (informação) presente nos dados.
3. Aqueles necessários para explicar 50% da Variância total, ou os factores que
expliquem pelo menos 5-10% da variância total. AFE com rotação varimax: cada
variável (item) procura saturar num único factor

Como fazer AFE com o SPSS?
No SPSS:
1. Analyze
Data Reduction
Factor
2. Seleccionar os itens e passá-los para a caixa “Variables” clicando no botão
3. Clicar em “Descriptives” e seleccionar “KMO and Bartlett’s test of sphericity”
4. Clicar em “Extraction” e seleccionar “Screeplot” para além das opções por default
5. Clicar em “Rotation”, seleccionar “Varimax” e “Loadingplots”
6. Clicar em “Scores”, seleccionar “Anderson-Rubin” e “Display factor score coef.
Matriz”
7. Clicar em “Options”, seleccionar “Supress absolute values less than e digite “0.4”
8. Clicar “Continue” e “Ok” para obter os outputs

Validade Fatorial
• Todos os fatores têm que ter um peso fatorial estandardizado
maior ou igual a 0,5
• Considerar a eliminação dos fatores cujo peso fatorial é menor
que 0,5

Fiabilidade
O que é e como determinar, interpretar [e reportar] a fiabilidade de um

Fiabilidade
Apesar de parecerem conceitos independentes, a Validade e a
Fiabilidade são duas faces da mesma moeda (constructo): São
indicadores da Qualidade Psicométrica de um instrumento de
medida
Mas…
“Um instrumento fiável pode não ser válido! Contudo, a fiabilidade
é condição necessária (mas não suficiente) para a validade de um
instrumento, i.e. um instrumento para ser válido tem que ser
também fiável” (Maroco, 2009)
A Fiabilidade de um instrumento, teste ou escala é uma estimativa
da capacidade do instrumento para medir de forma repetida e
consistente.

Como determinar a precisão de uma escala / questionário?
A fiabilidade é “estimada”, e não “medida” uma vez que uma qualquer classificação x
obtida por uma escala ou teste tem sempre duas componentes (Teoria do erro de
mensuração): X = T + ex (X= score observado; T= Capacidade real latente; x= erro
associado à medição)
e.g. F = 0.80 80% da variância observada nos scores do teste corresponde à
variância real (latente) e 20% corresponde ao erro de medida.
A fiabilidade pode assim ser estimada pelo coeficiente de correlação de duas
medições convergentes.
Existem 4 medidas comuns de fiabilidade:
1. Consistência interna (a medida mais comum e fiável é o α de
Cronbach);
2.Fiabilidade de formas paralelas ou split-half;
3.Fiabilidade interavaliador;
4.Fiabilidade teste-reteste
Guilhermina L. Miranda 35

Fiabilidade
• O α deve variar entre 0 e 1. Pontuações negativas levantam
problemas de codificação dos itens.

O que significa o valor de Alpha?
• Mas…
Retirado de Maroco e Garcia-Marques (2006, p.73)

Como determinar a precisão de uma escala / questionário?
No SPSS:
1. Analyze
Scale
Reliability analysis
2. Passar os itens 1 a 5 (Subescala Exaustão); proceder de modo
semelhante para as outras subescalas)
3. Seleccionar Model: “Alfa”
Clicar no botão “Statistics”
e seleccionar as opções: “Item”; “Scale”; “Scale if item
deleted” e “Correlations”
4. Clicar em “Continue” e “Ok”.
Guilhermina L. Miranda 38

Exemplo de Cálculo da fiabilidade
Alpha de Cronbach: um exemplo
Dimensão Itens α Fiab.
Atitude WWW 201 a 216 0,881 Boa
Atitude Comp. 217 a 232 0,917 Elevada
Uso das TIC 401 a 425 0,922 Elevada

Algumas referências
• Almeida, L. & Freire, T. (2000). Metodologia de investigação em psicologia e educação (2ª
Ed.). Braga: Psiquilíbrios
• Anastasi, A. & Urbina, S. (1997). Psychological testing. NJ: Prentice-Hall
• Ghiglione, R. & Matalon, B. (2001). O Inquérito: teoria e prática. Oeiras: Celta
• Hill, M. & Hill, A. (2000). Investigação por questionário. Lisboa: Sílabo
• Maroco, J. (2007). Análise estatística com a utilização do SPSS (3ª Ed.). Lisboa: Edições Sílabo
• Moreira. J. M. (2004). Questionários: Teoria e prática. Coimbra. Almedina
• Thorndike, R. L. (Ed.). Educational measurement (2nd). Washington, DC: American Council
on Education.
• Tuckman, B. W. (2000). Manual de investigação em educação. Lisboa: Fundação Calouste
Gulbenkian.

Fórum jovens investigadores 2014.versão slidhare

Recommended

Recommended

More Related Content

Similar to Fórum jovens investigadores 2014.versão slidhare

Similar to Fórum jovens investigadores 2014.versão slidhare (20)

Fórum jovens investigadores 2014.versão slidhare