Esta guía tiene por objetivo familiarizar a los lectores con los aspectos básicos y esenciales que deben considerarse en el momento de construcción de este tipo de cuestionarios. El proceso de construcción y validación es prácticamente una investigación completa y muchas tesis se dedican únicamente a llevar a cabo esa validación. Por este motivo, la guía se ha adaptado a las características de los TFM y, por tanto, se obviarán algunos pasos que, normalmente, si deberían llevarse a cabo, sobre todo, si los instrumentos van a publicarse y a emplearse para tomar decisiones sobre los sujetos.
GUÍA: VALIDEZ DE CONTENIDO EN UN CUESTIONARIO DE OPINIÓN (ESCALA DE ACTITUD)
1. GUÍA: VALIDEZ DE CONTENIDO
EN UN CUESTIONARIO DE
OPINIÓN (ESCALA DE ACTITUD)
Autor: Enrique Navarro Asencio
(@eduktive)
https://eduktive.wordpress.com/
Versión 2
26/01/2015
2. Enrique Navarro Asencio (@eduktive)
1. INTRODUCCIÓN
La elaboración de un cuestionario para conocer la opinión sobre aspectos relacionados
o no con el sistema educativo no es un proceso sencillo. Se trata, por tanto, de elaborar
instrumentos para medir o evaluar las actitudes respecto a algún tema concreto. Estos
cuestionarios también son conocidos como escalas de actitudes.
Esta guía tiene por objetivo familiarizar a los lectores con los aspectos básicos y
esenciales que deben considerarse en el momento de construcción de este tipo de
cuestionarios. El proceso de construcción y validación es prácticamente una
investigación completa y muchas tesis se dedican únicamente a llevar a cabo esa
validación. Por este motivo, la guía se ha adaptado a las características de los TFM y,
por tanto, se obviarán algunos pasos que, normalmente, si deberían llevarse a cabo,
sobre todo, si los instrumentos van a publicarse y a emplearse para tomar decisiones
sobre los sujetos.
El cuestionario de opinión debe ser un instrumento que sirva para recoger información
válida y fiable. Es una herramienta para conocer o, más bien, medir el grado de acuerdo
sobre un tema determinado. Si no se cumplen ciertos requisitos metodológicos en su
elaboración, dicha información puede estar sesgada y, por tanto, los resultados de la
investigación que utiliza esa herramienta también lo estarán.
De forma resumida, los requisitos indispensables para conseguir una buena
herramienta de medida son los siguientes:
A. Elaboración de una matriz de especificaciones. No es más que una
matriz de contenido que agrupan los aspectos que se desean conocer mediante
el cuestionario. Normalmente, se elabora una tabla que agrupa dimensiones e
indicadores concretos que darán lugar a los diferentes ítems del cuestionario.
B. Validación inicial de expertos. Una vez elaborado el borrador del
cuestionario debe entregarse a un grupo de expertos para que lo valorenlos
aspectos clave.
C. Aplicación y recogida de información: momento de aplicación del
cuestionario
D. Validez y fiabilidad: análisis de las respuestas de los sujetos con la finalidad
de observar y conocer las características del instrumento elaborado y evitar
sesgos.
A estas fases se debería añadir, después de la validación inicial de expertos, un pilotaje
del instrumento con una muestra de sujetos que compartan las características de los
que serán objeto de la investigación. Este es uno de los aspectos que no se incluyen en
esta guía debido a que las oportunidades para acceder a dos muestras distintas en los
TFM son muy pocas.
2. EL CUESTIONARIO
El cuestionario, como ya se ha mencionado en la introducción, es la herramienta que
nos permite recopilar la información sobre determinados aspectos. En este caso, los
cuestionarios de actitudes tratan de averiguar la posición u opinión de los sujetos
respecto a cualquier aspecto o temática.
El cuestionario consta fundamentalmente de tres partes esenciales:
3. Enrique Navarro Asencio (@eduktive)
A. Las instrucciones necesarias para responder a las cuestiones o ítems que se
plantean.
B. Cuestiones relacionadas con las características de los sujetos. Son útiles para
recopilar información personal de los encuestados que permitirá llevar a cabo
agrupaciones y, en caso de ser necesario, comparaciones entre esos grupos. Por
ejemplo: edad, género, nivel de estudios, etc.
C. Ítems. Cada una de las cuestiones, enunciados, afirmaciones, etc. que los sujetos
deben contestar o valorar en el cuestionario. El conjunto de estos ítems
componen una escala de medida o evaluación. Existen diferentes tipos de ítems
pero esta guía se centra en uno concreto, los denominados tipo Likert. Un
ejemplo de este tipo de ítem es señalar el grado de acuerdo con alguna
afirmación:
Ítem Nunca
(1)
2 3 4 5 Siempre
(6)
Realizo resúmenes de cada tema para preparar el
examen de la asignatura
El ítem esta compuesto, por tanto, por el enunciado o tronco y las alternativas que en
este tipo de ítems es una escala para valorar el grado de acuerdo con la afirmación.
2.1 ÍTEMS TIPO LIKERT
Emplear este tipo de ítems en los cuestionarios de actitudes garantiza una puntuación
global en la dimensión evaluada al sumar las respuestas de un sujeto en todos los ítems.
Por esta característica, las escalas construidas con este tipo de ítems también son
conocidas como escalas sumativas.
En el ejemplo anterior, la escala de valoración planteada varía entre nunca y siempre
con un intervalo de 6 puntos. Pueden llevarse a cabo modificaciones como, por ejemplo,
ampliar o reducir el intervalo de puntos de esa escala de valoración. Otro posible
cambio es modificar las alternativas, es decir, cambiar nunca y siempre por otras
opciones distintas, por ejemplo: Totalmente en descuerdo y Totalmente de acuerdo.
Algunas de las opciones más típicas de respuesta son las siguientes:
2
opciones
De
acuerdo
En
desacuerdo
3
opciones
De
acuerdo
Indiferente En
desacuerdo
4
opciones
De
acuerdo
Más bien de
acuerdo
Más bien en
desacuerdo
En
desacuerdo
5
opciones
Muy de
acuerdo
Más bien
de
acuerdo
Indiferente Más bien en
desacuerdo
Muy en
desacuerdo
6
opciones
Muy de
acuerdo
De
acuerdo
Más bien
de
acuerdo
Más bien en
desacuerdo
En
desacuerdo
Muy en
desacuerdo
Algunas normas para redactar los ítems que formarán pare de la prueba son las
siguientes:
4. Enrique Navarro Asencio (@eduktive)
- Formula en forma de opinión
- Contenido relevante y relacionado con el tema o aspecto a medir
- Claridad en la redacción. Debe garantizarse que todos los sujetos lo entiendan
de la misma forma
- Precaución con las negaciones en los troncos. Dependiendo de la edad de los
encuestados las negaciones pueden confundir las respuestas. Es más adecuado
formular los enunciados en forma positiva. En todo caso debe evitarse la doble
negación
Ítem En desacuerdo
(1)
2 3 4 5 De acuerdo
(6)
No me gusta estudiar
No me gustan los libros que no tienen
dibujos
- Cada ítem debe contener una única idea, ya que al incluir más se puede estar de
acuerdo con una pero no con otra.
- Conviene incluir algún ítem que repita la misma idea que otro para poder
contrastar la información.
- Conviene incluir ítems favorables y desfavorables pero evitando la negación
siempre que sea posible.
Ítem En desacuerdo (1) 2 3 4 5 De acuerdo (6)
Estudiar es divertido
Estudiar es aburrido
A. MATRIZ DE ESPECIFICACIONES
Esta matriz debe incluir todos los aspectos que van a medirse o evaluarse en la
investigación. El primer paso, por tanto, es definir la actitud o actitudes (o un rasgo
psicológico, la opinión sobre un tema, etc.) generales objeto de la investigación.
Una definición concreta ayudará en la posterior elaboración de los ítems que formarán
parte del cuestionario.
El ejemplo que se incluye a continuación trata de evaluar los aspectos relacionados con
los servicios educativos que influyen en el bienestar de la infancia.
DIMENSIONES INDICADORES ÍTEMS
Acceso a servicios educativos
Escolarización.
Ser escolarizado antes de los 3 años.
Abandonar la escuela de forma temprana.
Actividades
extraescolares.
Realizar actividades extraescolares.
Centros sociales y
culturales.
Realizar actividades en centros culturales.
Recursos educativos e
infraestructuras.
Contar con instalaciones deportivas y recreativas
en el centro (piscina, gimnasio, pistas deportivas,
etc.).
Contar con instalaciones educativas específicas
en el centro (laboratorios, sala de música, sala de
informática, etc.)
Contar con instalaciones deportivas y recreativas
5. Enrique Navarro Asencio (@eduktive)
cercanas al domicilio.
Se trata de concretar progresivamente el rasgo o dimensión a medir hasta llegar a la
formulación final del ítem.
Una vez realizada la matriz de especificaciones se elabora un documento con los ítems
que han sido construidos para que sea evaluado por un grupo de expertos.
B. VALIDACIÓN DE EXPERTOS
Los expertos adecuados para evaluar los distintos ítems deben dominar los contenidos
que el cuestionario pretende medir.
El documento que se entrega a los expertos debe incluir los siguientes apartados,
además de unas instrucciones para poder responder a las cuestiones planteadas.
A continuación se incluye un ejemplo que trata de conocer la opinión de los expertos
respecto a la claridad y redacción del ítem, si es adecuado para medir la dimensión
planteada y sí es relevante para el objetivo. También se añada una columna para que
los expertos añadan los comentarios que deseen para mejorar el ítem.
DIMENSIONES ÍTEMS CLARIDAD
IDONEIDAD
RESPECTO A
LA
DIMENSÓN
RELEVANCIA
EN
RELACIÓN AL
OBJETIVO
COMENTAR
IOS
Acceso a servicios educativos
Ser
escolarizado
antes de los 3
años.
1 2 3 4 1 2 3 4 1 2 3 4
Abandonar la
escuela de
forma
temprana.
1 2 3 4 1 2 3 4 1 2 3 4
Realizar
actividades
extraescolares.
1 2 3 4 1 2 3 4 1 2 3 4
Realizar
actividades en
centros
culturales.
1 2 3 4 1 2 3 4 1 2 3 4
Contar con
instalaciones
deportivas y
recreativas en
el centro
(piscina,
gimnsaio,
pistas
deportivas,
etc.).
1 2 3 4 1 2 3 4 1 2 3 4
Contar con
instalaciones
educativas
específicas en
el centro
(laboratorios,
sala de música,
sala de
informática,
etc.)
1 2 3 4 1 2 3 4 1 2 3 4
Contar con
instalaciones
deportivas y
recreativas
cercanas al
1 2 3 4 1 2 3 4 1 2 3 4
6. Enrique Navarro Asencio (@eduktive)
domicilio.
La información que proporcionan los expertos debe utilizarse para mejorar el
cuestionario elaborado inicialmente. También es posible incluir la introducción y las
cuestiones relacionadas con las características de los sujetos para también valoren su
adecuación y pertinencia.
C. APLICACIÓN Y RECOGIDA DE INFORMACIÓN
En esta fase se aplica el cuestionario definitivo a la muestra seleccionada para la
investigación. Una validación completa del cuestionario implica llevar a cabo,
previamente a la aplicación final, un estudio piloto con otra muestra similar a la que
será objeto de estudio como se ha mencionado en la introducción.
En los TFM es muy difícil acceder a muestras amplias ya que no son investigaciones
que cuenten con el respaldo de organismos oficiales que faciliten o garanticen ese
acceso a un gran número de sujetos. Por tanto, la fase de pilotaje se obviará en esta guía.
D. FIABILIDAD Y VALIDEZ
Una vez recogida la información se estiman indicadores o índices que muestren la
fiabilidad y validez del cuestionario. Estos indicadores son normalmente estadísticos
que se calculan con los datos recogidos. Se incluyen en esta guía los indicadores
fundamentales de fiabilidad y validez.
La fiabilidad de un cuestionario es un concepto relacionado con la estabilidad de la
medida proporcionada por la prueba, con su consistencia y con la predictibilidad de la
misma.
- Cuando a las mismas personas se les pasa la misma prueba en diferentes
momentos, si no han cambiado, deberían obtener las mismas puntuaciones (o
muy parecidas): Fiabilidad como estabilidad temporal (correlación
test-retest)
- Cuando se aplican dos pruebas diferentes que miden el mismo rasgo o
característica los sujetos deberían obtener puntuaciones similares en ambas
pruebas: Fiabilidad como equivalencia procedimiento de formas
paralelas (correlación)
- De un instrumento que evalúe, por ejemplo, la satisfacción con un docente se
espera que todos los elementos (ítems) midan lo mismo o en el mismo sentido,
y que, por tanto, sean sumables en una puntuación total única que representa
ese rasgo: Fiabilidad como consistencia interna (alpha de Cronbach)
Normalmente se estima el coeficiente alpha de Cronbach para conocer ese grado de
fiabilidad general del instrumento elaborado. No existe un criterio único para valorar
los resultados pero sí cierto acuerdo en que este coeficiente debe situarse en torno a
0,60 en instrumentos utilizados en investigación básica como los TFM. Si el
cuestionario se utiliza para la posterior toma de decisiones sobre sujetos (orientación o
diagnóstico) los valores no deben ser inferiores a 0,8. Los autores Morales, Urosa y
Blanco (2003, p. 92) elaboran una tabla de interpretación de este coeficiente:
7. Enrique Navarro Asencio (@eduktive)
Toma de decisiones
sobre sujetos
concretos
Descripción de
grupos feedback a
un grupo
Investigación
teórica;
investigación en
general
0,85 o mayor Sí Sí Sí
Entre 0,60 y 0,85 Cuestionable Sí Sí
Inferior a 0,60 No Cuestionable cuestionable
La validez es un concepto general que indica el grado en el cual el instrumento de
medida (cuestionario) evalúa el contenido que pretende y no otra cosa.
- De Contenido: comprobar si los ítems de la prueba representan el universo de
medida que pretende medir el cuestionario (tabla de especificaciones, juicio de
expertos, …)
- De Constructo: comprobar que mide el constructo teórico (rasgo) que
pretende medir. Probar con hipótesis: diferencias entre grupos en el rasgo,
análisis factorial, etc.
- Validez aparente o didáctica: cuestiones de formato, longitud,
instrucciones, etc.
La validez de constructo será difícil de comprobar en los TFM porque su estudio podría
ser objeto de una investigación con entidad propia. A no ser que el objetivo del TFM sea
validar un instrumento o cuestionario. Los requisitos respecto al tamaño muestral para
llevar a cabo un análisis factorial son muy estrictos y se necesita un gran número de
sujetos. Sin embargo, la validez de contenido y didáctica si pueden garantizarse cuando
se siguen los pasos de elaboración de instrumentos que se incluyen en esta guía.
A modo de conclusión conviene mencionar que el proceso descrito puede alcanzar un
mayor grado de complejidad, sobre todo, en las cuestiones de fiabilidad y validez.
Existen en la actualidad técnicas más potentes basadas en la Teoría Respuesta al ítem
adecuadas para evaluar este tipo de cuestionarios.
No obstante puede conseguirse un buen instrumento siguiendo los pasos que se han
mencionado en la guía: Definir el rasgo o contenido a evaluar, elaborar la matriz de
especificaciones, juicio inicial de expertos y comprobación de la fiabilidad y validez.
8. Enrique Navarro Asencio (@eduktive)
TRABAJOS CITADOS
Morales, P., Urosa, B., & Blanco, A. (2003). Construcción de escalas de actitudes tipo
Likert. Madrid: La Muralla.