Taller 4 encuestas y cuestionarios presentacion
Upcoming SlideShare
Loading in...5
×
 

Taller 4 encuestas y cuestionarios presentacion

on

  • 5,896 views

 

Statistics

Views

Total Views
5,896
Views on SlideShare
5,896
Embed Views
0

Actions

Likes
2
Downloads
133
Comments
1

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Taller 4 encuestas y cuestionarios presentacion Taller 4 encuestas y cuestionarios presentacion Presentation Transcript

  • Diseño de encuestas ycuestionarios. Aplicativos on-line.Antonio García RomeroUniversidad Carlos III de Madrid
  • Objetivos del curso1. Conocer y evitar los cuatro tipos de error asociados a una encuesta2. Saber identificar la información para la que se realiza la encuesta3. Elegir el mejor método de encuesta4. Saber cuándo y cómo seleccionar una muestra5. Escribir preguntas correctas que proporcionen información útil y precisa6. Diseñar cuestionarios fáciles de responder7. Medir la validez y fiabilidad de un cuestionario8. Plantear el trabajo de campo de modo eficaz9. Codificar y grabar datos
  • Organización del curso Primera Parte1. Aspectos clave de una encuesta2. ¿Qué información necesito y qué método de encuesta debemos utilizar?3 Diseño cuestionarios4. Muestreo Segunda parte4. Muestreo (Continuación)5. Codificación y gestión de datos6. Encuestas en Internet: Surveymonkey, Google Drive, Freeonline Surveys7. Algunas pistas para empezar a diseñar encuestas
  • Mensajes importantes• Es posible hacer una buena encuesta que dé lugar a resultados creíbles aunque se tenga escasa experiencia• Hay muchas encuestas realizadas por “profesionales” que presentan importantes deficiencias técnicas• Para hacer una encuesta es necesario tomar una serie de decisiones: • Entrevista cara a cara, telefónica o correo • Cuándo y cómo debemos seleccionar una muestra • Cómo redactar las preguntas de un cuestionario • Cómo hacer el trabajo de campo • Cómo recoger los resultados en un informe• Nos centraremos en encuestas que tengamos la posibilidad de hacer• Debemos evitar solicitar más información de la que necesitamos• Es muy importante tener claro para qué hacemos una encuestaResultados esperados• Saber hacer encuestas de calidad• Saber valorar encuestas realizadas por otros
  • 1. Aspectos Clave de una encuesta Algunas creencias ¿erróneas?• La redacción de las preguntas no es tan relevante como el número de respuestas• Sólo es posible hacer una encuesta si eres un experto en estadística• Hacer una encuesta es muy fácil• La clave de una encuesta es un buen muestreo• Las encuestas en el fondo no son tomadas en serio
  • 1. Aspectos Clave de una encuesta Cuándo NO es aconsejable hacer una encuesta• Si sólo necesitamos información que no sea sobre actitudes, opiniones o valoraciones – Edad, Gasto, salarios, horarios.• Si existen otros modos de conseguir la información que necesitamos – Bases de datos, registros, informes, etc.• Si no se conoce con precisión la población sobre la que se desea hacer el estudio – Investigadores• Si no se puede hacer un muestreo con garantías – Los encuestados serán elegidos mediante criterios no aleatorios• Si no se tiene claro el objetivo del estudio – “Haremos una encuesta para ver qué piensa la gente”• Si no hay apoyo de la organización para llevarla a cabo – Publicar resultados, tomar decisiones, etc.
  • 1. Aspectos Clave de una encuesta• PUNTO DE PARTIDA – Estamos interesados en conocer características, comportamientos, opiniones o actitudes de un grupo de individuos (POBLACIÓN “N”) – Para ello es posible que sea suficiente conocer sólo la opinión de una parte del grupo de interés (MUESTRA “n”) A B C Muestra Resultado 43 38 19 -- Sondeo 1 43 35 16 722 Sondeo 2 43 39 18 789 Sondeo 3 44 36 15 806 Sondeo 4 44 35 15 2086¿Cuál crees que es el tamaño de la población en el ejemplo anterior? _____Una encuesta puede servir para conocer opiniones de millones de personas a partir de la de unos miles con una precisión razonable (científicamente) – Permiten ahorrar costes
  • 1. Aspectos Clave de una encuesta• EL TAMAÑO SI IMPORTA – Los resultados obtenidos para la muestra incluyen un margen de error (“e”) – Dicho error depende fundamentalmente del tamaño de la muestra – A mayor n, menos error. A mayor n, más precisión A B C Muestra Resultado 43 38 19 -- Sondeo 1 43 ± 4 35 ± 4 16 ± 4 722 Sondeo 4 44 ± 2 35 ± 2 15 ± 2 2086Una muestra mayor permite obtener los resultados más precisos (menor error)Sin embargo una muestra más grande no garantiza mejor estimación (Columna C) – Valor muestral – Valor poblacional – Valor estimadoValores poblacionales – Se espera que una buena muestra debe permitir estimar valores de la poblaciónIMPORTANTE: En una encuesta los valores poblacionales raramente se conocen
  • 1. Aspectos Clave de una encuestaUna historia verdadera• En 1936, Franklin D. Roosevelt se presentaba a la reelección. La revista The Literary Digest, predijo que Alf Landon ganaría las elecciones con un 57% de votos frente a un 43% para Roosvelt.• La revista envió más de 10 millones de cuestionarios a nombres seleccionados de listas de propietarios de automóviles y teléfonos.• Respondieron 2.300.000 personas (una muestra enorme). Fue la encuesta más grande que se había hecho nunca.• Con este método, la revista había acertado las 5 elecciones anteriores.
  • 1. Aspectos Clave de una encuesta Al mismo tiempo, un joven casi desconocido llamado George Gallup hizo un sondeo a partir de una muestra de sólo 50.000 personas y predijo que Roosevelt ganaría. La predicción de Gallup fue ridiculizada y considerada ingenua. Sin embargo… Roosevelt ganó con el 62% de los votos.¿Por qué la predicción de LiteraryDigest fue tan mala en 1936 pese aque había acertado las cincoanteriores?En 1929 debido a la gran depresión,muchos americanos se arruinaron.En 1936, sólo una pequeñaproporción de los que tenían coche yteléfono antes del 29 se podíanpermitir ese lujo. La mayoría eranrepublicanos.
  • 1. Aspectos Clave de una encuestaGallup hizo una selección aleatoria de su muestraLa muestra era más representativa de la poblaciónPese a que tamaño muestral es importante, también lo es la composición de la muestraConcepto importante: SESGOTres requisitos de una buena muestra:1. El tamaño muestral es suficiente para garantizar el nivel de precisión (error) deseado2. Todos los miembros de la población tienen la misma probabilidad (o conocida) de ser incluidos en la muestra3. Los individuos que son seleccionados en la muestra pero no participan (no responden) deben tener características similares a quienes lo hacenA propósito …
  • 1. Aspectos Clave de una encuestaUniverso, Población y CensoUniverso = PoblaciónCenso es un listado exhaustivo de una población determinada.• Si la población es muy grande (ej: un país) puede usarse el censo electoral aunque no es muy realista• Cuando la población es de tamaño medio (ej: profesionales de enfermería en el SMS), se puede usar un censo para seleccionar la muestra• Cuando la población es pequeña (ej: profesionales sanitarios de un centro de salud) no tiene mucho sentido seleccionar una muestra. Entonces se habla de una encuesta censal.• En algunos casos, no es posible disponer de un censo a priori (ej. Pacientes que pasan por consulta, visitas hospitalarias)• Es deseable contar con un censo lo más actualizado y depurado posible.
  • 1. Aspectos Clave de una encuesta CUATRO FUENTES DE ERROR EN UNA ENCUESTA1. Error de cobertura2. Error de muestreo3. Error de medida4. Error de no respuesta La encuesta ideal y la encuesta real ¡¡¡MUY IMPORTANTE!!!Tenemos un listado No tenemos identificados Las CUATRO fuentes de error soncompleto y actualizado de los individuos. A veces, ni relevantes para el estudiolos miembros de la si quiera sabemos el valorpoblación de interés (prob) de N Sólo el error de muestreo se puedeLa muestra tiene un Las muestras son cuantificar matemáticamentetamaño suficiente pequeñas o la composición Esto hace que muchos estudios no le no es la adecuada (no presten atención a los otros tipos aleatoria) (especialmente el error deTodas cuestiones tienen Es difícil plantearuna respuesta fácil y clara cuestiones cuya respuesta medida) sea fácil y clara La CLAVE: Hay que saber cómo seTodos los individuos de la No responden todos y pueden minimizar los cuatro tiposmuestra responden o los generalmente siempre hay de errores (muestreo y ajenos alque no lo hacen tienen el alguna razón de interésmismo perfil que los que si para no hacerlo (sesgo) muestreo).
  • 1. Aspectos Clave de una encuesta ERROR DE COBERTURA Sucede cuando la lista de donde es seleccionada la muestra no incluye todos los elementos de la población de estudio (diana) Ejemplo: Encuesta Gallup ¿Qué podemos hacer cuando no tenemos un listado? OBSERVACIONES SOBRE LAS LISTASMás fácil conseguirlas cuando el estudio tiene un ámbito localEs útil tener el apoyo de una institución (gerencia, consejería)Involucrar investigadores de universidades y centros (credibilidad)Generalmente hay que depurar las listas (repeticiones, omisiones, ausencias, errores, etc.)A VECES ES IMPOSIBLE TENER LISTAS (*) CONSECUENCIAS DE ESTE TIPO DE ERROR• Médicos que hayan participado en • Los resultados pueden estar sesgados congresos en el último año aunque no haya sesgos causados por otras• Población asignada a un centro de fuentes de error salud / hospital • No se puede cuantificar la contribución de• Hombres mayores de 50 años con este error a la precisión de los resultados hipercolesterolemia. • En casos extremos, se llega a resultados• Visitantes de enfermos en un hospital muy alejados de la realidad.
  • Sesión 1. Aspectos Clave de una encuestaERROR DE MUESTREO• Sucede cuando son encuestados sólo un subconjunto de los miembros de la población de interés (muestra)• No hay cuando la encuesta es censal y _______• Es el único tipo de error que puede cuantificarse (fórmulas)• Este error se minimiza ampliando el tamaño muestral• Es el único que se menciona cuando se presenta una encuesta COMENTARIOS SOBRE ESTE TIPO DE ERROR • Incide directamente sobre la precisión de los resultados ± 3% ± 5% • Aumenta cuando se consideran sub- Población 50/50 80/20 50/50 80/20 poblaciones 100 92 87 80 71 • Técnicamente su valor depende de varios 500 341 289 217 165 factores: 1.000 516 406 278 198 • Del nivel de confianza 5.000 880 601 357 234 • De la homogeneidad de la población 10.000 964 639 370 240 • El parámetro que se estima (media, 100.000 1.056 678 383 245 proporción, etc.) 1.000.000 1.066 682 384 246 • -Carácter finito de la población • -Si el muestreo se hace con o sin reposición • Generalmente, se usa un estándar para la medida del error de muestreo (proporción del total, p=q=1/2, 95% significación)
  • 1. Aspectos Clave de una encuestaERROR DE MUESTREO: FICHA TÉCNICACada encuesta debe ir acompañada de una ficha técnica Ficha técnicaÁmbito: Nacional excepto Ceuta, Melilla y las Islas Canarias.Universo: Población de 15 y más años de edad.Muestra: 2.016 casos.Entrevistas: Personales en el hogar del entrevistado.Selección: Aleatoria de secciones censales para la determinación del hogar y por cuotas de sexo y edad para el entrevistado.Trabajo de campo: Del 3 al 20 de marzo de 2003.Margen de error: ± 2,2% para p=q=0,5 y un nivel de confianza del 95,5% para datos globales.Fuente: INTERGALLUP, S.A. (Gallup España)
  • 1. Aspectos Clave de una encuestaERROR DE MEDIDA• Se produce cuando la respuesta a una pregunta del cuestionario es imprecisa, falsa o no puede compararse con la de otros encuestados• Tiene lugar en el diseño del cuestionario y durante el trabajo de campo (recogida de datos) Fuentes de error de medida1.Método de encuesta2.Cuestionario3.Entrevistador4.Encuestado Ejemplo: ¿Con qué frecuencia se ducha usted? 1001: Una vez al año o menos; 2: Más de una vez 80al año pero menos de una vez al mes; 3:entre una vez al mes y una vez a la semana; 60 Hombres4: al menos una vez a la semana 40 Mujeres¿Qué tipo de error es este?¿Cuál es su fuente? 20 0 1 2 3 4
  • 1. Aspectos Clave de una encuestaERROR DE NO RESPUESTA• Se produce cuando un número significativo de individuos de la muestra no responden el cuestionario.• Este tipo de error resulta especialmente grave cuando los que no responden difieren de los que si lo hacen en cuanto a características relevantes para el estudio (sesgo)• También existe la modalidad de falta de respuesta parcial• La falta de respuesta total o parcial debe ser tenida en cuenta cuando se inicia el estudio pues es posible tomar medidas para minimizarla: • Implicación de los promotores del estudio • Identificación clara de los objetivos • Carta de presentación • Adaptarse a las limitaciones de los encuestados (tiempo, lugar, etc.) • Recordatorios (cartas, telefónico, etc.) • Participación de universidades y/o centros de investigación • Cortesía y elegancia • Redacción de las preguntas y diseño del cuestionario • Pre-test del cuestionario • Validez y fiabilidad de las preguntas del cuestionario • Entrenamiento de los encuestadores • Incentivos a la respuesta • Calidad en los materiales
  • 1. Aspectos Clave de una encuesta¿QUÉ NIVEL DE ERROR DEBEMOS ASUMIR?RESPUESTA 1: Depende de cada casoRESPUESTA 2: De modo general debemos considerar1. Un error de muestreo para el total entre el 2-5%2. Minimizar el error de cobertura: – Disponer del mejor listado posible – Considerar quiénes no están pero deberían estar y cómo afectan a los resultados3. Minimizar el error de medida: – Evitando preguntas vagas o imprecisas – Haciendo un buen pre-test del cuestionario – Diseñando adecuadamente el cuestionario4. Minimizar el error de no respuesta: RESUMENUna encuesta bien hecha requiere conocer y controlar los cuatro tipos de error al mismo tiempoNingún tipo de error es más importante que el restoDebemos ser críticos con los estudios que sólo valoran el tamaño muestral (error de muestreo)
  • Organización del curso Primera Parte1. Aspectos clave de una encuesta2. ¿Qué información necesito y qué método de encuesta debemos utilizar?3 Diseño cuestionarios4. Muestreo Segunda parte4. Muestreo (Continuación)5. Codificación y gestión de datos6. Encuestas en Internet: Surveymonkey, Google Drive, Freeonline Surveys7. Algunas pistas para empezar a diseñar encuestas
  • 2. ¿Qué información necesito y qué método de encuesta debo utilizar?Resulta esencial definir los objetivos del estudio –No es lo más habitual.¿Qué problema queremos resolver?¿Qué sabemos ya de él?¿Qué información no disponible es necesaria para resolverlo?¿Por qué es importante el problema?La encuesta debe servir para obtener información nuevaEs necesario evitar tres situaciones:1. Vaguedad –Hay que definir claramente lo que queremos saber –Ej: “El objetivo de la encuesta es mejorar la calidad”2. Sesgo. Evitar ideas preconcebidas a la hora de plantear el estudio –Si conocemos la respuesta, ¿para qué hacer la pregunta? –A menudo las encuestas se hacen para corroborar lo que se sabe (¿evidencia?)3. Falta de crítica –Es necesario identificar los aspectos realmente importantes –No podemos hacer una encuesta a partir de 50 objetivos propuestos en un brainstorming –Conviene hacer antes una selección de los más relevantes
  • 2. ¿Qué información necesito y qué método de encuesta debo utilizar? ¿CÓMO IDENTIFICAR LOS OBJETIVOS?Es muy útil pensar en los resultados que nos gustaría obtener (tablas, gráficos, etc.) – Datos por sexos, edades, centrosTambién debemos pensar en variables relevantes – Qué factores pueden estar detrás de las diferencias entre grupos de individuosEspecial atención a las variables sobre las que es posible actuar – Son aquellas que podemos configurar para elaborar programas y actuaciones – Puede ser interesante proponer hipótesisUsar entrevistas a individuos clave o grupos para responder las cuestiones más importantes – Si se trabaja con grupos (focales) conviene que en él estén los “clientes” o usuarios del estudio
  • 2. ¿Qué información necesito y qué método de encuesta debo utilizar?MÉTODOS DE ENCUESTA¿CÓMO ELEGIR EL MÉTODO DE ENCUESTA?• Disponibilidad de tiempo y recursos• Población (accesibilidad, nivel educativo, etc.)• Información que se quiere obtenerMÉTODOS DE ENCUESTA:1. Por correo postal2. Por teléfono3. Entrevista personal (cara a cara)4. Por ordenador5. Por correo electrónico6. Encuestas Web
  • 2. ¿Qué información necesito y qué método de encuesta debo utilizar?MÉTODOS DE ENCUESTA1.ENCUESTAS POR CORREOVentajas:• No son excesivamente caras• Encuestado tiene tiempo para responder• Preguntas elaboradas. Se pueden incluir imágenes, gráficos, etc.• Ausencia sesgo entrevistador• Comodidad para responderla (método menos molesto)• Anonimato de la respuesta (preguntas “delicadas”)Inconvenientes:• Baja tasa respuesta. Las mejores tasas de respuesta se obtienen cuando los encuestados tienen especial interés en la encuesta. – Cuidado: puede dar lugar a sesgos• Se desconoce quién responde realmente• Duración del trabajo de campo. Se puede alargar mucho tiempo hasta que responden un número suficiente• Disponibilidad de censos fiables y actualizados• Nivel educativo de los encuestados o conocimientos de un idioma (inmigrantes)
  • 2. ¿Qué información necesito y qué método de encuesta debo utilizar?2. ENCUESTAS TELEFÓNICASVentajas:• Agilidad para contactar a los encuestados• Posibilidad de realizarla cuando no tenemos listas (muestra aleatoria de números de teléfono)• No es muy caro• Corta duración trabajo de campo y alta tasa respuesta• Poco sesgo entrevistador• Control sobre quien responde• Interactivo: posibilidad de aclarar preguntas y recoger respuestas complejas.Inconvenientes:• Cuestionarios cortos• Preguntas generalmente son sencillas• Menos precisión que las entrevistas• Confusión con telemarketing• Accesibilidad: horarios• No se pueden mostrar imágenes
  • 2. ¿Qué información necesito y qué método de encuesta debo utilizar?3.ENTREVISTA PERSONAL “CARA A CARA”Ventajas:• Tasa respuesta muy alta• Acceso a población aislada• Permite cuestionarios más largos, complejos y elaborados• Más precisión que otros métodos• Más fácil identificar a la población dianaInconvenientes:• Tienen un coste mayor que el resto de métodos (desplazamientos, encuestadores, etc.)• Duración trabajo de campo (viajes, entrevistas, concertar cita, aplazamientos, etc.)• Falta de anonimato• Presencia de sesgos de entrevistador
  • 2. ¿Qué información necesito y qué método de encuesta debo utilizar?4. ENCUESTA ASISTIDA POR ORDENADORVentajas:• Sin coste de grabación de datos• Respuestas más fiables a preguntas sensibles – Se ha comprobado que colectivos como drogadictos o infectados de SIDA son más honestos contestando a un ordenador que mediante entrevistas o cuestionarios en papel.• No hay sesgo de entrevistador• Los saltos (SKIP patterns) se realizan correctamente.• Tasas de respuesta generalmente elevadasInconvenientes:• Los encuestados deben tener acceso a un ordenador o bien hay que proporcionárselo• Puede tener tasas de respuesta bajas en poblaciones con bajo nivel educativo o escasas habilidades informáticas5. ENCUESTA POR CORREO ELECTRÓNICOVentajas:• Rapidez (?)• Trabajo de campo prácticamente sin coste• Se pueden adjuntar ficheros de imágenes, sonido, video, etc.• Su carácter novedoso hace que haya más respuestas que por correo postalInconvenientes:• Es preciso disponer de una lista de direcciones• Algunos pueden responder varias veces o reenviar el cuestionario a otras personas• Poco control sobre quien responde• Rechazo por parte de quien no le gusta el correo no solicitado• No se pueden utilizar para generalizar resultados a la población general (sesgos)• No son interactivas por lo que no se puede automatizar la respuesta
  • 2. ¿Qué información necesito y qué método de encuesta debo utilizar?6. ENCUESTAS WEBVentajas:• Muy rápidas. Se pueden obtener miles de respuestas en varias horas• Su coste es muy bajo tanto en trabajo de campo como en grabación de datos• El tamaño muestral no influye en el coste, exceptuando la compra de los datos (si es necesaria)• Se pueden incluir imágenes, sonido, video, etc.• Se pueden utilizar diseños complejos con saltos (skipping logic), selecciones aleatorias de preguntas, etc.• Aspecto más elaborado que los cuestionarios por e-mail.• Las respuestas a preguntas delicadas son más sinceras que en el caso de entrevistas o encuesta por correo• También se observa que en este tipo de encuesta las respuestas a preguntas abiertas son más completas que en otro tipo de cuestionarios autoadministradosInconvenientes:• El uso de Internet no está tan generalizado como para considerarlo universal. Por este motivo las encuestas a través de Internet no sirven para obtener un resultado extrapolable a la población en general. Esto es cierto aunque no haya sesgo en término de edad, sexo, etc.• Los encuestados pueden abandonar la encuesta antes de terminar (cansancio, falta de interés, etc.)• Puede haber una gran falta de control sobre quien responde• También pueden existir varias respuestas de un mismo encuestadoLos métodos anteriores se pueden clasificar en dos grupos:• Cuestionarios autoadministrados• EntrevistasENCUESTAS SIN PREGUNTAS• Recogida de datos estructurada• Observación estructurada
  • 2. ¿Qué información necesito y qué método de encuesta debo utilizar? CARACTERÍSTICAS MÉTODO CORREO TELÉFONO ENTREVIS. Coste Medio Medio Alto Duración Alto Bajo Alto Control encuestado Bajo/ Alto Alto Medio Tasa respuesta Media Alta Alta Acceso población “oculta” Medio Medio Alto Extensión cuestionario Medio/ Bajo Alto Alto Complejidad preguntas Medio Bajo Alto Respuestas preguntas difíciles Medio Medio Alto Respuestas preguntas delicadas Alto Medio Medio Sesgo entrevistador Bajo Medio Medio/Alto Respuestas abiertas Medio Bajo Alto Anonimato Medio/ Medio/Alto Bajo Alto
  • Organización del curso Primera Parte1. Aspectos clave de una encuesta2. ¿Qué información necesito y qué método de encuesta debemos utilizar?3 Diseño cuestionarios4. Muestreo Segunda parte4. Muestreo (Continuación)5. Codificación y gestión de datos6. Encuestas en Internet: Surveymonkey, Google Drive, Freeonline Surveys7. Algunas pistas para empezar a diseñar encuestas
  • 3. Diseño del cuestionarioEl cuestionario debe facilitar la tarea al encuestado y/o entrevistadorEs importante saber mantener el interés y la atención del encuestado al máximo nivel (especialmente en cuestionarios auto-administrados)Algunos consejos generales:• Minimizar número ítems (preguntas) – A veces el número de cuestiones de un primer borrador resulta excesivo• Elaborar enunciados cortos y claros (20-25 palabras)• Salvo excepciones justificadas, no sobrepasar 4 páginas• No pedir información si no se sabe cómo se va a usar para cubrir objetivos o si no la necesitamos – Una encuesta no es una caza indiscriminada de datos• Repartir el cuestionario a colegas, amigos y recoger opiniones y sugerencias – Al margen del pre-test• Usar otros cuestionarios como modelo• El cuestionario debe elaborarse del modo más específico posible a la población a la que va dirigido – Nivel educativo, cultura, etc.
  • 3. Diseño del cuestionario¿Cómo empezar? ¿Por dónde empezar?1. Desarrollar una lista clara y exhaustiva de objetivos específicos del estudio2. Cada objetivo debe ser una sección o apartado en el cuestionario3. Descomponer cada objetivo en variables. Cada variables debe ser una pregunta (*)4. Identificar los indicadores de cada variable. Cada indicador será un ítem5. Es conveniente apilar los ítemsEjemplo:• Objetivo general: Satisfacción de los pacientes de un centro de salud• Objetivo específico: Satisfacción con las instalaciones del centro (será una sección del cuestionario)• Variables: limpieza, temperatura, comodidad, etc.• Indicadores: limpieza (suelo, consultas, aseos, etc.)Mejor opciones apiladas … Mal Regular BienValore la limpieza de: Suelos Consultas Aseos.. que un listado de preguntas¿Qué opinión tiene acerca de la limpieza de los suelos?Mal Regular Bien¿Qué opinión tiene acerca de la limpieza de las consultas?Mal Regular Bien¿Qué opinión tiene acerca de la limpieza de los aseos?Mal Regular Bien
  • 3. Diseño del cuestionario El cuestionario permite obtener información de tres tipos: Actitud u opinión (valoración) – Valore la utilidad que tiene para su tarea asistencial los siguientes elementos Comportamiento o hábito (frecuencia de una actividad) – Indique cuáles qué instalaciones del hospital usa al menos una vez a la semana Características encuestados (demográficas) – Sexo, edad, titulación, etc. – Sólo deben incluirse si van a se utilizadas dado que afecta a la respuesta – Pueden ser útiles para identificar subpoblaciones de interés (grupos de control) Los cuestionarios no son apropiados para obtener información objetiva – No es posible obtener la información por otro medio – La encuesta es anónima
  • 3. Diseño del cuestionario Debemos decidir también el tipo de respuesta • El tipo de respuesta elegido proporciona una información determinada y está asociado a la técnica estadística que se puede emplear • La respuesta puede ser ABIERTA o CERRADA • En el caso de respuesta CERRADA hay varios subtipos – Intervalo, ratio (edad, % de tiempo dedicado a formarse, etc.) – Escala ordinal o Likert – Escala nominal – Binaria (Si-No) – Multirrespuesta • Aunque la pregunta sea la misma, cada tipo de respuesta aporta una información diferente que influye en el análisis estadístico que podamos hacer. • Consejo: pensar en qué tipo de análisis estadístico queremos hacer antes de plantear el tipo de respuesta. O B J E T IV O P R E G U N T A D A T O S T É C N IC A E S T . A N Á L IS IS
  • 3. Diseño del cuestionario Preguntas abiertas o cerradas Pregunta abierta: deja espacio para recoger la respuesta (no estructurada) Pregunta cerrada: ofrece una lista de respuestas posibles Preguntas abiertas: puntos débiles. Difíciles de codificar y analizar Sesgan el estudio porque la propensión a contestarlas dependen del individuo. La codificación requiere un esquema teórico muy bien desarrollado. La respuesta podría haber sido ≠ si se hubieran ofrecido opciones. Preguntas abiertas: puntos fuertes. Útiles si se desconoce el número y diversidad de respuestas. También cuando hay demasiadas opciones. Cuando se quiere determinar qué ideas, pensamientos o conceptos surgen al leer la pregunta (PRE TEST). Cuando se requiere que el encuestado opine libremente sobre aspectos que no se incluyen en el cuestionario.
  • 3. Diseño del cuestionario Cuando la respuesta es cerrada se pueden elegir distintos tipos de respuesta Existen varios criterios para clasificar los tipos de respuesta Uno de estos criterios es la escala 1. Escala nominal (categórica) –Los números no tienen valor –Ejemplo: Categoría profesional, Centro de salud, servicio, etc. 2. Escala ordinal –Los números tienen valor relativo (orden) –Ejemplo: Escalas de valoración (Likert) 3. Escala intervalo (numérica) –Los números representan cantidades –Ingresos, edad, horas, frecuencias, etc. –Es recomendable solicitar la información cuantitativa mediante escalas ordinales (facilita responder el cuestionario) –Los tramos deben ser iguales 4. Escala ratio (numérica) –Los números representan cantidades –En general no son números enteros –Proporción de tiempo, número de fumadores respecto del total –No suele usarse en cuestionarios individuales sino en los destinados a organizaciones
  • 3. Diseño del cuestionario Algunas observaciones sobre diferentes tipos de respuesta: A. Escalas Likert o respuesta ordinal: • Son listas jerarquizadas de respuestas que van de un extremo a otro de una escala de valoración determinada – Ejemplo: mal, regular, bien • Número de niveles variable (5-7) – Las escalas de 5 ó más niveles son fiables (miden correctamente) – Un número elevado puede confundir al encuestado (+7) • Escala digital: 0 a10 – Permite valorar en una escala estandarizada y conocida por todos los encuestados • Orden de los niveles: – Puede ser creciente o decreciente, pero es recomendable mantener un criterio único a lo largo del cuestionario • Inclusión de alternativa central: – No se incluye si se quiere forzar al encuestado a comprometerse – Tendencia a seleccionar nivel neutro en cuestiones “delicadas” • Las opciones deben ser exhaustivas y excluyentes. – Exhaustivas: Cubren todos los posibles valores. Modalidad OTROS. – Excluyentes: No se solapan. (No es tan fácil conseguirlo)
  • 3. Diseño del cuestionario A. Escalas Likert o respuesta ordinal: Descriptiva de las variables mediante porcentajes • Ejemplo: el 65% de los encuestados está satisfecho con la limpieza del centro de salud Análisis multivariante • Tabulación cruzada: mide asociación entre dos variables (test chi-cuadrado) • Modelos logarítmico-lineales: permite explicar una variable en función de otras (modelos) • Análisis factorial de correspondencias: es una técnica multivariante exploratoria. Representa las variables en dos dimensiones. Un tema polémico … • ¿Es posible considerar las escalas Likert como variables de intervalo (cuantitativas)? – Ejemplo: Malo = 0; Regular = 1; Bueno = 2; Excelente = 4 – ¿Se puede calcular la media? ¿Por qué? – Ventajas e inconvenientes de calcular usar las escalas Likert como variables de intervalo
  • 3. Diseño del cuestionarioB. RESPUESTA BINARIA (SI/NO)Este tipo de respuesta se puede considerar como nominal, ordinal o incluso de intervalo.Nominal: ¿Tiene hijos?Ordinal: ¿Le han concedido el proyecto?Intervalo: Si = 1; No = 0nº SI / nº respuestas Є (0,1)Este tipo de preguntas es muy útil en el análisis estadístico.Descriptiva mediante porcentajes –El 35% de los encuestados fumaAnálisis multivariante:Tabulación cruzada (asociación)Análisis discriminanteRegresión Logit (Probit)
  • 3. Diseño del cuestionario C. RESPUESTA MÚLTIPLE Son aquellas en las que el encuestado 5. ¿Cómo localiza contenidos de Internet que puede seleccionar varias opciones simultáneamente le interesan profesionalmente? Ventajas: A través de buscadores • Son realistas dado que se adaptan a Accediendo a direcciones concretas cada encuestado (una o varias opciones) Ambos • Aportan información interesante para casi cualquier estudio 5. ¿Qué utilidad tienen para usted las siguientes vías para localizar Inconvenientes: información en Internet? • Dificultades para su análisis Ninguna Alguna Mucha • Dos criterios para calcular proporciones A través de buscadores Accediendo a direcciones concretas – Dividir por el número de encuestados Ambos – Dividir por el número de respuestas Pese a que su análisis resulta bastante complejo, a veces, es inevitable incluir este tipo de preguntas en un cuestionario • Obligar a elegir un número determinado de opciones sesgaría los resultados • Solución: reformular la pregunta y convertirla en batería de Likerts
  • 3. Diseño del cuestionario OTRAS OPCIONES DE RESPUESTA A veces el encuestado, no tiene opiniones formadas sobre lo que se le pregunta. También puede ocurrir que el encuestado no quiere contestar. Por eso es preciso incluir dos modalidades adicionales en dada pregunta cerrada. NO APLICABLE: Para permitir a los encuestados identificar una opción en las preguntas que no le competen. (NA) NO SABE: Mejor no incluirla porque baja la tasa de respuesta, genera valores perdidos (NS/NC). Es una opción muy cómoda. Debe incluirse en preguntas que hacen referencia al pasado o a intenciones futuras. Usualmente se considera una categoría para los que no contestan en la que se incluye el no sabe. (MAR, MCAR, SIST). Los cuestionarios pueden no incluir estas modalidades en la práctica.
  • 3. Diseño del cuestionario CONSEJOS PARA REDACTAR PREGUNTAS • Hacer preguntas – Concretas – Cortas siempre que sea posible • Estilo neutral, claro y fácil de responder – La mayoría de los cardiólogos recomienda tomar una manzana al día ¿Está usted de acuerdo? • Si hay algún concepto o término que sea poco claro, se debe incluir una definición o aclaración – ¿Qué opinión le merecen los comentarios de MAFO? • Usar palabras comunes, evitando siglas y palabras poco usadas – Siguiendo las pautas del NICE, indique el valor en número de AVACS • Evitar dobles negaciones, frases compuestas y formatos complejos – ¿Ha considerado la posibilidad de cambiar de trabajo o de pedir un ascenso en su centro actual? – ¿Qué espera usted de sus superiores compañeros? • Evitar items que no puedan preguntarse a todos los encuestados (SKIP). Si se incluyen hay que añadir instrucciones – ¿Cuántos cigarrillos fuma al día?
  • 3. Diseño del cuestionario CONSEJOS PARA REDACTAR PREGUNTAS (Cont.) • Cada pregunta debe estar referida a un solo tema – Valore su opinión acerca de la limpieza de las instalaciones comunes, las salas de espera, las consultas y los quirófanos • Evitar preguntas orientadas, sesgadas – ¿Qué opinión tiene acerca de la pésima organización del trabajo en su centro? • Evitar preguntas negativas – El consumo de cannabis no debería legalizarse ¿Qué opina? – Si no hay más remedio, se recomienda enfatizar el NO • Evitar preguntas que requieran motivos por los que se tiene una determinada opinión – ¿Está usted a favor del uso de células madre con fines terapéuticos? ¿Por qué? • Evitar preguntas que exigen al encuestado jerarquizar opciones – Es mejor usar escalas de valoración • Cuando se mide la frecuencia de un determinado comportamiento, evitar escalas verbales como: a menudo, a veces, etc.. – Es mejor emplear frecuencias numéricas
  • 3. Diseño del cuestionario PROBLEMA: RECUERDO DE HECHOS PASADOS Los cuestionarios suelen incluir preguntas sobre: Motivos que le llevaron a hacer algo Grado satisfacción con algo que ocurrió en el pasado Resultados obtenidos durante el periodo 2000-2004 Las respuestas a estas preguntas suelen presentar dos tipos de error de _____: – Olvido: depende del tiempo transcurrido y de la importancia de los hechos. – Compresión temporal (Efecto telescópico): Tendencia a recordar hechos como si hubiesen ocurrido más cercanos al momento actual. Posibles soluciones: Opciones de respuesta cerradas Usar fechas de referencia relevantes Usar unidades específicas de tiempo Los datos que hacen referencia a periodos temporales poco determinados están sujetos a ERROR adicional Deben usarse fundamentalmente técnicas para datos cualitativos
  • 3. Diseño del cuestionario CONSEJOS PARA DISEÑAR CUESTIONARIOS Cuestionario visualmente atractivo y fácil de rellenar. Hay que MOTIVAR al encuestado a que conteste adecuadamente Debemos PROPORCIONAR instrucciones claras y hacer que el cuestionario sea fácil de usar • Equilibrar el espacio en blanco y el texto. Se recomienda orden y no demasiado cargado. • Encuadernar el cuestionario y trabajar en tamaño menor al de una hoja estándar. • Tipo de letra de fácil lectura. Máximo 2 tipos de letra distinta en un cuestionario. • Dar instrucciones acerca de cuántas opciones marcar. - Respuesta simple - Respuesta múltiple • Incluir cuadros para marcar o números para rodearlos con círculos. No líneas en blanco ○ () []
  • 3. Diseño del cuestionario • Tipos de letra: – Texto pregunta: Negrita; – Opciones respuesta: Normal – Instrucciones y comentarios: Cursiva • Imprimir el cuestionario en las dos caras de la página (+ compacto). • Incorporar algún gráfico o logo en la portada • Dividir el cuestionario en secciones lógicas (temáticas) y poner título a las secciones para indicar el cambio – Añadir, si es necesario una breve explicación de cada bloque. • Incluir nº de cuestionario • No usar más de dos colores • Dos columnas por página (diseño atractivo) • No poner más de 10 ítems en la misma pregunta (fatiga) • Para evitar respuesta sistemática, poner escalas en páginas ≠ • Poner números de códigos junto a las opciones – Ventaja: Reduce error de codificación – Inconveniente: Distrae al encuestado • No utilizar dos páginas ≠ para una misma pregunta • Colocar las casillas de respuesta alineadas para dar un aspecto ordenado • Si se usan etiquetas en los Likert, que sean horizontales • Dejar suficiente espacio en las preguntas de respuesta abierta
  • 3. Diseño del cuestionario ORDEN DE LAS PREGUNTAS (no es siempre así) AL PRINCIPIO: Preguntas de interés para todos los encuestados. No empezar con preguntas abiertas ni con Likert. AL FINAL: Preguntas demográficas (ingresos, nivel profesional) PREGUNTAS “DELICADAS”. Nunca al principio Mejor en la segunda mitad del cuestionario SALTOS (SKIP PATTERNS). Evitarlos si es posible Que el salto no sea mayor a una página. Incluir instrucciones y gráficos.1. Indique su relación como docente con formación continuada (FC)a. Tengo actividad como docente en FC Responda todas las cuestiones de este apartadob. No tengo actividad docente en FC Continúe en el apartado B.3
  • 3. Diseño del cuestionario 14. Valore la influencia que tiene la formación de residentes sobre los siguientes aspectos de su actividad profesional Ninguna Poca Alguna Mucha Su práctica clínica Su carrera y desarrollo profesional La calidad de la asistencia que usted ofrece Sus habilidades y conocimientos técnicos Su actividad investigadora Su relación con los pacientes Su capacidad de gestión Su capacidad de formar a otros Su uso de las tecnologías de la información Su habilidad de comunicar Su habilidad de trabajar en equipo El nivel de comunicación en su servicio El funcionamiento de su servicio Otros: 9. A partir de su propia experiencia, valore la utilidad de las actividades de FC según... Nada Poco Algo Mucho Lugar: En su centro de trabajo Fuera del centro de trabajo Horario: Mañana y tarde Sólo mañana Sólo tarde Días: Laborables Fines de semana Enfoque: Presencial A distancia 1. ¿Conoce alguna fuente de información en relación con la evaluación de tecnologías sanitarias? SI NO Especificar:
  • 3. Diseño del cuestionario PRE – TEST O PRUEBA PRELIMINAR El cliente no suele apreciar el valor de realizarlo. Especialmente útil si no hay precedentes del estudio que se realiza. Sirve para encontrar defectos en el cuestionario. - Preguntas mal redactadas, Instrucciones incompletas, Aspectos difíciles de contestar. RECOMENDACIONES Mínimo 25 individuos pertenecientes a la población estudiada Para estudios “pioneros” hacer 2 pre – test. 1º Preguntas abiertas para identificar las posibles respuestas. 2º Preguntas cerradas para corregir defectos (error de medida). Grupo de 10–15 personas que rellenan el cuestionario y opinan. UTILIDAD DEL PRE – TEST Poco espacio para preguntas abiertas. Saltos poco claros. Preguntas muy similares (solapamientos). Preguntas sin respuesta. Muchas respuestas en categorías OTROS. Mala interpretación de las preguntas. Solapamiento de las modalidades de respuesta. Términos poco claros. Respuesta múltiple con una sola respuesta.
  • 3. Diseño del cuestionario Principios de medida: aspectos básicos Concepto (constructo): Concepto hipotético que forma parte de las teorías que intentan explicar la conducta humana: inteligencia, creatividad, satisfacción, motivación, etc. El concepto se descompone en dimensiones (variables) Las dimensiones se corresponden con ítems (o indicadores) • Cuando necesitamos incorporar una medida original en un estudio (pregunta), debemos controlar los errores de medida • El error de medida es de dos tipos: sistemático y aleatorio • Sabemos cómo reducir el error de medida (redacción de preguntas, diseño del cuestionario) • Además, existen dos propiedades, validez y fiabilidad, que garantizan que un determinado constructo (pregunta) tiene un nivel aceptable de error de medida
  • 3. Diseño del cuestionario Principios de medida: aspectos básicos 1. Fiabilidad equivale a consistencia, precisión y reproducibilidad – La fiabilidad garantiza que el nivel de error aleatorio de los datos (respuestas) es aceptable – Existen cinco (*) tipos distintos de fiabilidad 2. Validez se refiere a si los indicadores miden la variable (parcialmente) del modo adecuado – La fiabilidad es condición necesaria pero no suficiente de la validez, ya que esta incluye los errores de medida de tipo aleatorio y sistemático – Existen cuatro tipos diferentes de validez Si se opta por usar medidas fiables y validadas que hayan sido empleadas en otros estudios y encuestas – A priori no es preciso que analicemos fiabilidad ni validez – No obstante, sí es preciso tener en cuenta que ambos conceptos pueden depender de aspectos individuales (nacionalidad, edad, sexo, nivel cultural, región, etc.) – Si se sospecha que las medidas pueden no ser válidas o fiables deberían realizarse las pruebas correspondientes
  • 3. Diseño del cuestionarioPrincipios de medida: Aspectos básicos de la fiabilidadLa fiabilidad hace referencia al error de medida aleatorio de una determinada pregunta (test).Dado que hay diferentes fuentes de error aleatorio también existen distintos tipos de fiabilidad (externa e interna)1. Fiabilidad test-retest (ext)Se aplica el mismo test a una muestra en dos ocasiones diferentesMétodo:• Se aplica la misma medida dos veces al mismo grupo de individuos en dos instantes distintos.• Se calcula el coeficiente de correlación entre las puntuaciones de los individuos en las dos formas del test. – El coeficiente de correlación (Pearson) es el de fiabilidad.• Si rxy es bueno el error aleatorio debido a sucesos como la fatiga, ruido, etc. es bajo• Es apropiado para medir la fiabilidad de un test del que sólo tenemos una forma
  • 3. Diseño del cuestionarioPrincipios de medida: Aspectos básicos de la fiabilidad2. Fiabilidad de formas alternativas (ext)Se aplican diferentes formas del mismo test (pregunta) a un mismo grupo de individuos en una misma sesiónMétodo:• Se elaboran dos formas paralelas de un mismo test• Se aplica una forma del test a la muestra. Tras un periodo de tiempo no demasiado largo se aplica la otra forma del test a la misma muestra. – También debe aplicarse en las mismas condiciones (lugar, personas, momento del día, etc.)• Se calcula el coeficiente de correlación entre las puntuaciones de los individuos en las dos formas del test. – El coeficiente de correlación (Pearson) es el de fiabilidad.• Si rxy es bueno el error aleatorio debido al uso de ítems diferentes es bajo• Es apropiado para test con respuesta verdadera (aptitudes y rendimientos)
  • 3. Diseño del cuestionarioPrincipios de medida: Aspectos básicos de la fiabilidad3. Fiabilidad inter-rater (ext)• Es muy apropiada para medidas de escalas de valoración subjetivas (varios evaluadores opinan sobre un mismo aspecto)• Si rxy es bueno indica que la escala está libre de errores debidos a los evaluadores4. Fiabilidad basada en mitades (split-half reliability) y fiabilidad de consistencia interna (int)• Las dos se refieren a la fiabilidad de las respuestas de los encuestados en un mismo cuestionario• La de dos mitades se refiere a la estabilidad de las respuestas de los encuestados en dos mitades (por ejemplo ítems par e impar)• La de consistencia interna hace referencia a la estabilidad de la respuesta en pares de ítems (Ejemplo: ¿alguien que está contento con la limpieza de las consultas también debe estarlo con el mobiliario?)• Sólo es aplicable si los cuestionarios pueden dividirse en dos partes semejantes
  • 3. Diseño del cuestionario Cálculo del coeficiente de fiabilidad• Es posible que para una determinada medida no sea aplicable algún tipo de fiabilidad• Cada tipo de fiabilidad se mide con el denominado coeficiente de fiabilidad rxy ∈ [0,1], donde 0 indica que no hay fiabilidad y 1 que es perfecta• También se puede utilizar el coeficiente alpha de Cronbach (ver validez)• La fiabilidad se ve influenciada por la longitud del cuestionario, el número de ítems y la variabilidad de las puntuaciones (son correlaciones) Valor coeficiente Fiabilidad rxx ~ 0,9 Excelente rxx ~ 0,8 Muy buena rxx ~ 0,7 Aceptable rxx ≤ 0,5 No recomendable
  • 3. Diseño del cuestionario Principios de medida: Aspectos básicos de la validez“La validez es el grado en que un test o conjunto de operaciones mide lo que dice medir”La validez es un concepto múltiple de modo que se puede hablar de varios tipos de validez1. Validez de contenido• ¿Representan los ítems el dominio que supuestamente miden?• Valoración: opinión de expertos (no estadística)• Cómo: depende del concepto aunque se puede partir de una lista de posibles indicadores para que un grupo de expertos en la materia decida si son o no apropiados2. Validez relativa a criterio• La medida (subjetiva) se correlaciona adecuadamente con un criterio de valoración externo• Valoración: coeficiente de correlación rxy entre la/s medida/s y el criterio• Cómo: se calcula la matriz de correlaciones de medidas y criterio• Ejemplo: percepción del estado de salud y pruebas diagnósticas
  • Sesión 3. Diseño de Cuestionarios Principios de medida: Aspectos básicos de la validez3. Validez convergente y discriminante• Validez convergente: correlación (coeficiente Cα o alpha Cronbach) aceptable para todos los indicadores del mismo concepto• Validez discriminante: correlación baja para indicadores de constructos diferentes• Cómo: se calcula el alpha para los indicadores del mismo concepto (debe ser superior a 0,8) se calcula el alpha para indicadores de conceptos diferentes (debe ser inferior a 0,6)• Una alta correlación entre indicadores no implica necesariamente que midan el mismo constructo• El coeficiente Cα puede utilizarse para evaluar también la fiabilidad4. Validez de concepto (construct)• Los tres tipos de validez anteriores son útiles para evaluar la validez de constructo• No existe una prueba única para evaluar la validez de constructo la cual requiere las tres anteriores
  • Organización del curso Primera Parte1. Aspectos clave de una encuesta2. ¿Qué información necesito y qué método de encuesta debemos utilizar?3 Diseño cuestionarios4. Muestreo Segunda parte4. Muestreo (Continuación)5. Codificación y gestión de datos6. Encuestas en Internet: Surveymonkey, Google Drive, Freeonline Surveys7. Algunas pistas para empezar a diseñar encuestas
  • 4. Muestreo POBLACIÓN ≡ UNIVERSO = conjunto de todas las unidades que se estudian MUESTRA: Subconjunto de la población Objetivo: Trabajar con la muestra más pequeña posible Balance COSTE- PRECISIÓN Importante: Definición precisa de la población Ejemplo: Encuesta de morbilidad hospitalaria (INE) –“se considera enfermo a toda persona que haya ingresado en un centro hospitalario para ser atendida, diagnosticada u observada en régimen de internado y haya dado lugar a un alta hospitalaria” TIPOS MUESTREO Muestreo probabilístico Se conoce la probabilidad de cada individuo de la población de ser incluido en la muestra Es posible determinar el error de muestreo mediante fórmulas matemáticas. Se pueden inferir y contrastar hipótesis. Muestreo no probabilístico No se conoce la probabilidad de cada individuo de la población de ser incluido en la muestra No es posible determinar el error de muestreo mediante fórmulas matemáticas. No se pueden inferir y contrastar hipótesis. –Muestreo por cuotas, Conveniencia, Rutas Justificado cuando se quiere estudiar un grupo concreto
  • 4. Muestreo Muestreo probabilístico Todas las muestras de tamaño “n” tienen la misma probabilidad de ser elegidas Tipos de muestreo probabilístico: Muestro aleatorio simple Muestreo aleatorio sistemático Muestreo aleatorio estratificado Muestreo aleatorio por conglomerados Muestreo polietápico (*) A.Muestreo aleatorio simple: 1)Se asigna un número a cada individuo de la población. 2) A través de algún medio mecánico (bolas dentro de una bolsa, tablas de números aleatorios, números aleatorios generados con una calculadora u ordenador, etc) se eligen tantos sujetos como sea necesario para completar el tamaño de muestra requerido. Este procedimiento, atractivo por su simpleza, tiene poca o nula utilidad práctica cuando la población que estamos manejando es muy grande
  • 4. Muestreo B. Muestreo aleatorio sistemático: • Se numeran todos los elementos de la población, pero en lugar de extraer n números aleatorios sólo se extrae sólo uno. • Se parte de ese número aleatorio i, que es un número elegido al azar, y los elementos que integran la muestra son los que ocupan los lugares i, i+k, i+2k, i+3k,...,i+(n-1)k, es decir se toman los individuos de k en k, siendo k el resultado de dividir el tamaño de la población entre el tamaño de la muestra: k=N/n. El número i que empleamos como punto de partida será un número al azar entre 1 y k. • El riesgo se este tipo de muestreo está en los casos en que se dan periodicidades en la población ya que al elegir a los miembros de la muestra con una periodicidad constante (k) podemos introducir una homogeneidad que no se da en la población. • Imaginemos que estamos seleccionando una muestra sobre listas de 10 individuos en los que los 5 primeros son varones y los 5 últimos mujeres, si empleamos un muestreo aleatorio sistemático con k=10 siempre seleccionaríamos o sólo hombres o sólo mujeres, no podría haber una representación de los dos sexos.
  • 4. Muestreo C. Muestreo aleatorio estratificado: • Consiste en considerar categorías típicas diferentes entre sí (estratos) que poseen gran homogeneidad respecto a alguna característica (se puede estratificar, por ejemplo, según la profesión, el municipio de residencia, el sexo, el estado civil, etc). • Lo que se pretende con este tipo de muestreo es asegurarse de que todos los estratos de interés estarán representados adecuadamente en la muestra. • Cada estrato funciona independientemente, pudiendo aplicarse dentro de ellos el muestreo aleatorio simple o el estratificado para elegir los elementos concretos que formarán parte de la muestra. • En ocasiones las dificultades que plantean son demasiado grandes, pues exige un conocimiento detallado de la población. (tamaño geográfico, sexos, edades,...). • La distribución de la muestra en función de los diferentes estratos se denomina afijación, y puede ser de diferentes tipos: –Afijación Simple: A cada estrato le corresponde igual número de elementos muestrales. –Afijación Proporcional: La distribución se hace de acuerdo con el peso (tamaño) de la población en cada estrato. –Afijación Optima: Se tiene en cuenta la previsible dispersión de los resultados, de modo que se considera la proporción y la desviación típica. Tiene poca aplicación ya que no se suele conocer la desviación.
  • 4. Muestreo D. Muestreo aleatorio por conglomerados: • Los métodos presentados hasta ahora están pensados para seleccionar directamente los elementos de la población, es decir, que las unidades muestrales son los elementos de la población. • En el muestreo por conglomerados la unidad muestral es un grupo de elementos de la población que forman una unidad, a la que llamamos conglomerado. –Ejemplo: Servicios hospitalarios, centro de salud, departamentos universitarios, son conglomerados naturales. • En otras ocasiones se pueden utilizar conglomerados no naturales como, por ejemplo, las urnas electorales. Cuando los conglomerados son área geográficas suele hablarse de "muestreo por áreas". • El muestreo por conglomerados consiste en seleccionar aleatoriamente un cierto numero de conglomerados (el necesario para alcanzar el tamaño muestral establecido) y en investigar después todos los elementos pertenecientes a los conglomerados elegidos. Muestreo polietápico • Ante lo compleja que puede llegar a ser la situación real de muestreo con la que nos enfrentemos es muy común emplear lo que se denomina muestreo polietápico. • Este tipo de muestreo se caracteriza por operar en sucesivas etapas, empleando en cada una de ellas el método de muestreo probabilístico más adecuado. –Ejemplo: Primera etapa por conglomerados y segunda etapa muestreo aleatorio estratificado.
  • 4. Muestreo Muestreo no probabilístico • No todos los sujetos de la población tienen la misma probabilidad de se elegidos. • Esto implica que no se tiene certeza de que la muestra extraída sea representativa. Y entonces, ¿por qué se usa? 1. Es el único método cuando se hacen estudios exploratorios 2. A veces el muestreo probabilístico resulta costoso o imposible Este muestreo puede depender de criterios subjetivos. La muestra se selecciona porque es conveniente, “Típica” o “está compuesta por casos muy interesantes” Ejemplo “grupos focales”. Los individuos se eligen cuidadosamente pero no sistemáticamente, según características que tienen (psiquatras, residentes, etc.) Este tipo de muestreos puede ser el apropiado para • Hacer una investigación exploratoria que permita obtener ideas que se puedan contrastar de modo sistemático en una encuesta posterior. • Organizar colectivos, identificar líderes, crear redes, etc. No obstante, este muestreo debe evitarse si lo que se desea es inferir los resultados a poblaciones mayores. Podría ser precisa o no pero no podemos distinguirlo. No hay manera de estimar el error de muestreo Los datos son representativos de la muestra y por ello, resultan difíciles de defender ante quienes van a emplear los resultados.
  • 4. Muestreo Tipos de muestreo no probabilístico 1. Muestreo por cuotas 2. Muestreo opinático o intencional 3. Muestreo casual o incidental 4. Muestreo bola de nieve 5. Muestreo RDS 1. Muestreo por cuotas • En este tipo de muestreo se fijan unas "cuotas" que consisten en un número de individuos que reúnen unas determinadas condiciones. –Ejemplo: 20 pacientes de 25 a 40 años, de sexo femenino y fumadores. • Una vez determinada la cuota se eligen los primeros que se encuentren que cumplan esas características. Este método se utiliza mucho en las encuestas de opinión. • También denominado en ocasiones "accidental". • Se asienta generalmente sobre la base de un buen conocimiento de los estratos de la población y/o de los individuos más "representativos" o "adecuados" para los fines de la investigación. • Es similar al muestreo aleatorio estratificado, pero no tiene el carácter de aleatoriedad de aquél. Ejemplo: La Consejería de Sanidad y Consumo desea estudiar la incidencia de las drogas en la adolescencia. Primer paso: conocer cuales son los centros más afectados por el problema (informes de la Consejería de Educación). Segundo paso: fijar un número de sujetos a entrevistar proporcional a cada uno de los estratos (cuotas). Tercer paso: dejar en manos de los responsables del trabajo de campo a que sujetos concretos se deberá entrevistar.
  • 4. Muestreo Muestreo opinático o intencional: Este tipo de muestreo se caracteriza por un esfuerzo deliberado de obtener muestras "representativas" mediante la inclusión en la muestra de grupos supuestamente típicos. Es muy frecuente su utilización en sondeos preelectorales de zonas que en anteriores votaciones han marcado tendencias de voto. Muestreo casual o incidental: Se trata de un proceso en el que el investigador selecciona directa e intencionadamente los individuos de la población. El caso más frecuente de este procedimiento el utilizar como muestra los individuos a los que se tiene fácil acceso (los profesores de universidad emplean con mucha frecuencia a sus propios alumnos). Un caso particular es el de los voluntarios. Bola de nieve: Se localiza a algunos individuos, los cuales conducen a otros, y estos a otros, y así hasta conseguir una muestra suficiente. Este tipo se emplea muy frecuentemente cuando se hacen estudios con poblaciones "marginales", delincuentes, sectas, determinados tipos de enfermos, etc. RDS (Respondent Driven Sampling):
  • 4. MuestreoSelección de un encuestado a partir de un grupo• A veces la selección de la muestra no nos proporciona directamente las personas que deben responder (respondents)• Ejemplo A: Tenemos una lista de hogares (direcciones) pero queremos encuestar personas.• Ejemplo B: Tenemos una lista de empresas pero queremos encuestar responsables de RRHH• Es más común de lo que parece.• Si telefoneamos a una casa y encuestamos al que responda, no tendremos una muestra representativa de la población• ¿Qué se hace?• Pregunta filtro – ¿Puedo hablar con el empleado de mayor edad? – ¿Puedo hablar con la persona +18 que haya celebrado su cumpleaños más recientemente?• Método Kish – Permite obtener una muestra aleatoria en estas situaciones – Generalmente se usa para entrevistas cara a cara aunque ya se han hecho algunas propuestas para encuestas telefónicas y por correo
  • 4. Muestreo Método Kish: Situación de partida: • Queremos encuestar a una persona por domicilio. El único criterio de selección es que el encuestado sea mayo de 18 años. – Puede haber varias personas que puedan responder en cada casa. Paso 1: Se listan alfabéticamente todas las personas +18 años del hogar (apellido/nombre) Número total de personas: n Paso 2: A partir del último dígito del número de la casa (o de la planta) y del número de personas utilizar la tabla siguiente para identificar a la persona que debe responder. • Importante: No puede elegirse otra persona para evitar sesgos.
  • 4. Muestreo ¿Qué se hace cuando no se pueden inferir los resultados? A. Se intentan inferir los resultados a una subpoblación (la formada por quienes han respondido) Ejemplo: supongamos que en una encuesta dirigida a fumadores, la mayoría de las respuestas corresponden a hombres de 25-30 años. En tal caso, seleccionaremos sólo las respuestas de este grupo y las inferiremos al total de ese segmento de la población (subpoblación). Previamente habrá que determinar el tamaño de dicha subpoblación para medir el error de muestreo. B. Se interpretan los resultados como descriptivos de los que han respondido. C. Hay que tener en cuenta que NUNCA se debe hacer inferencia con muestras sesgadas. La discusión de los datos debe ser muy cautelosa. D. No obstante, si se explica claramente en la metodología y los resultados son valorados e interpretados por un grupo de expertos, el estudio tendrá un nivel de calidad aceptable.
  • Organización del curso Primera Parte1. Aspectos clave de una encuesta2. ¿Qué información necesito y qué método de encuesta debemos utilizar?3 Diseño cuestionarios4. Muestreo Segunda parte4. Muestreo (Continuación)5. Codificación y gestión de datos6. Encuestas en Internet: Surveymonkey, Google Drive, Freeonline Surveys7. Algunas pistas para empezar a diseñar encuestas
  • 5. Codificación y gestión de datos Sobre el trabajo de campo (encuesta por correo/Internet) Objetivo: maximizar la tasa de respuesta. En esta parte del proceso se pierde control sobre la encuesta PRENOTIFICACIÓN, ENVIO CUESTIONARIO + CARTA PRESENTACIÓN, RECORDATORIOS CARTA PRESENTACIÓN / INTRODUCCIÓN • 1 página, agradeciendo participación • Personalizarla usando nombre o apellidos. • Mencionar el propósito del estudio, cómo y por qué ha sido elegido así como quién patrocina el estudio. • Dar razones que justifican el estudio. (Importancia, utilidad, etc…) • Garantizar confidencialidad y anonimato. • Explicar cómo se usará la información. • Dar plazos flexibles (*). • Dar instrucciones para devolver el cuestionario. • Datos de contacto para dudas. Si la tasa respuesta es igual o mayor al 80%, no debe haber problemas. Si la tasa respuesta es inferior al 50% • Posiblemente no se puedan inferir los datos • Usar estadística descriptiva • Especial cuidado al obtener conclusiones • En el peor de los casos, se puede optar por describir los que han respondido • Es necesario determinar la presencia de sesgos en la no respuesta (hay técnicas estadísticas para ello) Posibles soluciones • Comparación de variables demográficas conocidas para quienes responden y quienes no lo hacen • Imputación aleatoria de respuesta • Contacto con una muestra aleatoria de los que no responden para tratar de estimar el sesgo
  • 5. Codificación y gestión de datos Sobre el trabajo de campo (encuesta por correo) Tarea Mes 1 Mes 2 Mes 3 Mes 4 Mes 5 Mes 6 0. Objetivos E 1. Censo 2. Muestreo 3. Cuestionario E E 4.Trabajo campo 5. Grabación 6. Análisis 7. Informe E 8. Conclusión E E
  • 5. Codificación y gestión de datos •Codificar: establecer una serie de reglas y procedimientos que transforman las respuestas a una encuesta en códigos (números) para grabarse en un fichero informático. (Ejemplo: SPSS) • Grabación de datos es el proceso por el que se introducen los datos en el fichero y se etiquetan tanto las variables como las modalidades –Deben emplearse códigos numéricos siempre que sea posible –Conviene elaborar un plan de códigos –Se puede hacer al mismo tiempo que se hace el cuestionario pero conviene revisarlo cuando se hayan recibido algunas respuestas –Número de cuestionario: el primer dato que se introduce –Cada cuestionario se graba en una sola fila • Depuración de datos –Antes de grabar conviene revisar los cuestionarios –Comentarios en los márgenes, Marcas irregulares, Patrones de respuesta, falta de respuesta (VP) –Quienes no deben responder una pregunta pero lo hacen: se asigna el código NA (no aplicable) –Quien selecciona varias opciones en una pregunta en la que sólo se pide una: se le declara VP o se elige una de las respuestas –Todas las asignaciones que se hagan deberán explicitarse en la metodología
  • 5. Codificación y gestión de datos Antes de asignar códigos Tipo pregunta Columnas Códigos conviene determinar cuántas Si/No 1 2 (0,1) columnas de datos necesitamos Likert (y similares) 1 N (1,..,N) para cada pregunta Escala (nº hijos) 1 No hay Multirrespuesta (K modalidades) 1ók 1 ó 2 (0,1)• Todas las preguntas del mismo tipo deben codificarse igual• Valores perdidos • Todas las encuestas tienen valores perdidos. Hay tres tipos: NA, NS, NC • NA (No aplicable) cuando el encuestado no debe responder • NS (No sabe) cuando el encuestado selecciona esta opción o la deja en blanco • NC (No contesta) cuanto el encuestado deja en blanco la casilla correspondiente • En ocasiones se omite la opción NS y se agrupa a NC • NC: 8; NS: 9; NA: 0 // NC: 98; NS: 99; NA: 0 Estos códigos deben ser declarados como valores perdidos a la hora de hacer el análisis• Preguntas abiertas. Hay dos opciones – Grabar la respuesta literalmente (tipo cadena de caracteres) – Asignar códigos a grupos de respuestas similares – Codificar los primeros 25 y probar si es suficientePreguntas de respuesta múltiple. Se pueden codificar de dos modos diferentes• Si se graba en una sola columna se determina un código para cada combinación de elecciones (resulta útil cuando hay un número máximo de posibles elecciones)• Si se graba en tantas columnas como opciones la codificación se realiza con 1 y 0 dependiendo de si la opción ha sido elegida o no
  • Organización del curso Primera Parte1. Aspectos clave de una encuesta2. ¿Qué información necesito y qué método de encuesta debemos utilizar?3 Diseño cuestionarios4. Muestreo Segunda parte4. Muestreo (Continuación)5. Codificación y gestión de datos6. Encuestas en Internet: Surveymonkey, Google Drive, Freeonline Surveys7. Algunas pistas para empezar a diseñar encuestas
  • 6. Encuestas en Internet• CheckMarket CheckMarket is an enterprise tool and services provider in Europe. It has an extensive API and automated alerts. Works in 30 languages. Distribution channels include e-mail, SMS, social media, kiosk, etc. Reporting has native Office formats and sharable dashboards. http://www.checkmarket.com• Survey Monkey Offers a web-based interface for creating and publishing custom web surveys, and then viewing the results graphically in real time. http://www.surveymonkey.com• eSurveysPro Online tool that allows users to create and deploy free surveys, polls and questionnaires. http://www.esurveyspro.com• QuestionPro Online service provider offering online surveys, survey panel management, idea panel management and micro polls. Case studies, demo and pricing available. http://www.questionpro.com• Google Drive• En http://www.survey-reviews.net/index.php/business-directory/ pueden encontrarse más herramientas
  • Organización del curso Primera Parte1. Aspectos clave de una encuesta2. ¿Qué información necesito y qué método de encuesta debemos utilizar?3 Diseño cuestionarios4. Muestreo Segunda parte4. Muestreo (Continuación)5. Codificación y gestión de datos6. Encuestas en Internet: Surveymonkey, Google Drive, Freeonline Surveys7. Algunas pistas para empezar a diseñar encuestas
  • Tendencias en la investigación con encuestas• Metodológicas: – Encuestas deliberativas: se encuesta a una muestra representativa, posteriormente se convoca a los encuestados a una reunión en la que son informados por expertos sobre el tema de la encuesta dándoles elementos para reflexionar. Posteriormente se repite la encuesta con el mismo cuestionario para medir el impacto del proceso deliberativo. Referencia: http://www.cis.es/cis/export/sites/default/- Archivos/Marginales/Encuesta_deliberativa_dossier_prensa.pdf – RDS (Respondent Driven Sampling): a partir de muestreos basados en red (ejemplo: bola de nieve) se aplican modelos matemáticos (Cadenas de Markov) para suprimir los efectos debidos al carácter no probabilístico de este tipo de muestreos. Referencia: http://www.respondentdrivensampling.org/• Trabajo de campo: – Uso combinado de diferentes procedimientos: se encuesta inicialmente a todos por correo, aquellos que no responden son encuestados mediante entrevista (telefónica, cara-a-cara)• Análisis: – Análisis factorial de correspondencias múltiples: técnica especialmente indicada para encuestas. Equivale al análisis factorial pero para variables cualitativas (escalas, Likert, etc.) – SEM (Structural Equation Modeling): Métodos estadísticos multivariantes que incluyen técnicas como: • CFA (análisis factorial confirmatorio) apropiados para analizar la validez de constructos • Modelos estructurales con variables latentes que permiten incorporar varios indicadores por variable en modelos causales en ecuaciones simultáneas • PLS (Partial Least Squares) permite trabajar con conceptos (constructs) sobre los que no existe un amplio conocimiento teórico, bien estén basados en indicadores reflexivos o formativos.
  • Referencias bibliográficas• Libros sobre el proceso completo de elaboración y análisis de encuestas – How to conduct your own survey Salant, P.;Dillman, D.A. New York, 1994. John Willey & Sons. ISBN: 0-471-01273-4 – Designing and conducting survey research Rea, LM.; Parker, RA. San Francisco, 1997. Jossey-Bass. ISBN: 0-7879-0810-X – Surveys with confidence: A practical guide to survey research using SPSS Rodeghier, M. Chicago, 1996. SPSS. ISBN: 1-56827-100-X• De la serie “Cuadernos Metodológicos del CIS” – Encuestas telefónicas y por correo Bosch, Josep Lluis C.; Torrente, Diego. Madrid, 1993. ISBN: 84-7476-184-0 – Manual de trabajo de campo en la encuesta Díaz de Rada, Vidal. Madrid, 2005. ISBN: 84-7476-388-6 – Métodos de Muestreo. Casos Prácticos Rodríguez Osuna, Jacinto. Madrid, 1993. ISBN: 84-7476-179-4• Libros sobre psicometría: – Escalas de medición en Ciencias Sociales Wainermann, Catalina H. Buenos Aires, 1976. Ediciones Nueva Visión. – Teoría de la Fiabilidad y la Validez Meliá, JL. Valencia (2001). Ediciones Cristóbal Serrano. ISBN: 84-89596-73-5 Accesible en http://www.uv.es/~meliajl/Research/LibroTFVpdf/TFVindex.htm
  • Dr. Antonio García RomeroResponsable de la Unidad de Política de Investigación Biomédica. Agencia Laín Entralgo Departamento de Economía. Universidad Carlos III de Madrid agr33@salud.madrid.org Teléfono: 913089423