Fiabilidad de un instrumento

5,426 views

Published on

Definición, tipos y ejemplos de confiabilidad en la construcción de un test psicométrico.

1 Comment
1 Like
Statistics
Notes
No Downloads
Views
Total views
5,426
On SlideShare
0
From Embeds
0
Number of Embeds
5
Actions
Shares
0
Downloads
1
Comments
1
Likes
1
Embeds 0
No embeds

No notes for slide
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Lic. Carlos Riego
  • Fiabilidad de un instrumento

    1. 1. UNIVERSIDAD NACIONAL DE ASUNCIÓNFACULTAD DE FILOSOFÍACARRERA DE PSICOLOGÍA – AREA BÁSICAPSICOMETRÍA BÁSICA3er. Curso 3ra. SecciónLIC. CARLOS FERNANDO RIEGO CABRALUNIDAD IV – CONFIABILIDAD DE UNA PRUEBAContacto: liccarlosriego@gmail.com
    2. 2. ““Cualquier cosa que existe, existe en alguna cantidad”.Cualquier cosa que existe, existe en alguna cantidad”.Thorndike, 1918.Thorndike, 1918.”Cualquier cosa que existe en cantidad, puede medirse”.”Cualquier cosa que existe en cantidad, puede medirse”.McCall, 1939McCall, 1939Lic. Carlos F. Riego C.Lewis R. Aiken (1996) Test Psicológicos y Evaluación
    3. 3. FIABILIDAD DE UN INSTRUMENTOen Investigación Cuantitativa
    4. 4. FIABILIDAD DE UN INSTRUMENTOen Investigación Cuantitativa
    5. 5. ¿Qué implica unaBuena Prueba?¿Qué implica unaBuena Prueba?FiabilidadFiabilidad Test-Retest Formas alternas División por mitades Spearman-Brown Kuder y Richardson Alfa Kappa Test-Retest Formas alternas División por mitades Spearman-Brown Kuder y Richardson Alfa KappaValidezValidezNormas ySistemas de MedidasNormas ySistemas de Medidas Contenido Criterio Constructo Contenido Criterio Constructo Edad del Sujeto Percentiles PuntuacionesTípicas Edad del Sujeto Percentiles PuntuacionesTípicas
    6. 6. FIABILIDAD Sinónimo de seguridad o consistencia. Atributo de consistencia en la medición. Confiabilidad en el sentido psicométrico denota algo que esconsistente, no necesariamente consistentemente bueno o malo. Es importante para nosotros como administradores depruebas y consumidores de información sobre ellas saber quétan confiables son así como otros procedimientos de medición. Pero la confiabilidad rara vez es una cuestión de todo o nada;hay diferentes tipos y grados de confiabilidad. Un coeficiente de confiabilidad es un índice de confianza.
    7. 7. ERROR EN LA MEDICIÓN “Error se refiere al componente de la puntuaciónobservada en la prueba de capacidad que no tiene quever con la capacidad de quien responde la prueba. X = T + EX = Puntuación observada.T = Puntuación verdadera.E = Error. El término confiabilidad se refiere a la proporción de lavarianza total atribuida a la varianza verdadera. Entremayor es la proporción de la varianza total atribuida a lavarianza verdadera, la prueba es más confiable. Una fuente de error sistemático no cambia lavariabilidad de la distribución ni afecta la confiabilidad.
    8. 8. FUENTES DE VARIANZA DE ERROR Construcción de la prueba: el muestreo de reactivos o muestreode contenidos. Administración de la prueba: En la aplicación de la prueba. Ej. La atención, motivación,ambiente (iluminación, temperatura, ruido, ventilación, etc.). De quien responde la prueba. Ej. Incomodidad física, descanso,ansiedad, problemas emocionales, fármacos, etc. Calificación e Interpretación de la prueba: En los examinados, respuestas a estímulos como palabras,dibujos, oraciones, manchas de tinta. En el examinador, subjetividad, respuestas que caen en un áreagris para la calificación, observación conductual, etc.
    9. 9. FUENTES DE VARIANZA DE ERROROtras fuentes de error…. Error No Sistemático, Accidentales o al Azar. Es el resultado erróneo debido al azar. Fuentes de variación desconocida. Fuentes de variación con la misma probabilidad de alterar loscálculos del estudio en una u otra dirección. Ejemplo: Si la prevalencia de Bullying (Violencia escolar) en lospaíses pobres latinoamericanos alcanza según la UNICEF el30%, entonces es probable que en la muestra del estudio seaproxime a esta cantidad, 27% o 32%. El azar determina unacifra distinta. Entre las diferentes técnicas para reducir la influencia del errordebido al azar, la más simple y mejor conocida consiste enaumentar el tamaño de la muestra.
    10. 10. Error Sistemático, Sesgo o Constante. Es un resultado erróneo debido al sesgo. Fuente de variaciónque alteran los datos del estudio en una dirección. Errores de diseño: si la muestra pretendida y la variables norepresentan a la población y los fenómenos de interés, estoserrores pueden alterar las inferencias sobre lo que realmenteocurre en la población. (Validez externa) Errores de realización: si los participantes y las medicionesreales no representan la muestra y las variables propuestas,estos errores pueden alterar las inferencias sobre lo querealmente ocurre en el estudio. (Validez interna) Ejemplo: Cuando validamos un test que mide depresión ytomamos como muestra universitarios solamente en lugar detomar en cuenta pacientes diagnosticados con este trastorno. Otro ejemplo de error sistemático es la infradotación de laprevalencia de Bullying (27%) debido a una falta de claridad enla forma de expresar la pregunta en el cuestionario.
    11. 11. FIABILIDADSeguridad, consistencia o precisión.Índice de confianza.Tipos de Confiabilidad Fiabilidad de Prueba y Posprueba: Utiliza el mismo instrumento para medir lo mismo en dos puntos en el tiempo. Pretende medir algo relativamente estable a lo largo del tiempo. Ej. Personalidad?Inteligencia? Ansiedad como rasgo? Ansiedad como situación? Obtenida al correlacionar pares de puntuaciones de las mismas personas en dosaplicaciones diferentes de la misma prueba. Conforme pasa el tiempo, las personas cambian. Ej. Aprenden cosas nuevas, olvidanotras, adquieren habilidades nuevas, etc. El paso del tiempo puede ser una varianza de error. Cuando el intervalo entre las pruebas es mayor que seis meses, a menudo se hacereferencia a la estimulación de la confiabilidad de prueba y posprueba como “Coeficientede estabilidad”. Varianza de Error: Tomar curso de matemáticas, sufrir un trauma, recibir unaorientación durante un periodo. Puede encontrarse una estimación baja de laconfiabilidad.
    12. 12.  Fiabilidad de Formas Alternas o Equivalentes: El grado de la relación entre varias formas de una prueba puede evaluarse por mediode un coeficiente de confiabilidad de formas alternas o equivalentes, el cual a menudo sedenomina “coeficiente de equivalencia.Formas alternas y formas equivalentes son términos que en ocasiones se usan enforma indiscriminada, aunque hay una diferencia técnica entre ellos.Existen formas equivalentes de una prueba cuando para cada forma de la prueba soniguales las medias y las varianzas de las puntuaciones de pruebas observadas.Son versiones diferentes de una prueba que se han construido con el fin de serequivalentes. Equivalentes con respecto a variables como contenido y dificultad.Son similares a una estimación de la confiabilidad de test-retes en: 1° Se requierendos aplicaciones de la prueba con el mismo grupo. 2° Las puntuaciones pueden serafectadas por factores como la motivación, fatiga, eventos como la práctica, elaprendizaje o terapia. Su desventaja es de índole financiera y temporal.Su ventaja primordial es que minimiza el efecto de la memoria para el contenido deuna forma de prueba aplicada con anterioridad.
    13. 13.  Tipos de Fiabilidad de Consistencia interna: Grado de correlación entre todos los reactivos en una escala. Una medida de consistencia entre reactivos se calcula a partir de una sola aplicaciónde una forma única de una prueba. Un índice de consistencia interna entre reactivos es útil, a su vez, para evaluar lahomogeneidad de la prueba. Se dice que las pruebas son homogéneas si contienen reactivos que miden un solorasgo. Homogeneidad deriva de las palabras griegas homos, que significa “misma”, ygenous, que significa “clase”. Es el grado en que la prueba mide un solo factor; o sea en que los reactivos de unaescala son unifactoriales. Una prueba no homogénea o heterogénea se compone de reactivos que miden más deun rasgo. Entre más homogénea es la prueba, puede esperarse que tenga más consistenciaentre reactivos. Debido a que la prueba abarcaría una muestra de un área de contenidorelativamente reducida, tendría más consistencia interna entre reactivos. Pero aunque es deseable una prueba homogénea debido a que se presta con facilidada una interpretación clara, a menudo es una herramienta insuficiente para medirvariables psicológicas multifacéticas como la inteligencia o personalidad.
    14. 14.  Tipos de Fiabilidad de Consistencia interna: Una forma de evitar esta fuente potencia de dificultad ha sido aplicar una serie depruebas homogéneas, cada una diseñada para medir algún componente de unavariable heterogénea. Además algunas de las influencias aleatorias que pueden afectar a las medidas deconfiabilidad, la varianza de error en una medida de consistencia entre reactivosproviene de dos fuentes: 1° El muestreo de reactivos. 2° La heterogeneidad del áreade contenido. Entre más heterogénea sea el área de contenido de la que se extrae la muestra, serámenor la consistencia entre reactivos.. Las decisiones importantes rara vez se toman sólo en base en una prueba. Lospsicólogos se basan con frecuencia en una batería de pruebas, una colección selectade pruebas y procedimientos de evaluación en el proceso de valoración. Una bateríade pruebas puede componerse o no de pruebas homogéneas.
    15. 15.  F. de División por Mitades.Confiabilidad de consistencia interna.Obtenida correlacionando dos pares de puntuaciones obtenidas de mitadesequivalentes de una sola prueba aplicada una sola vez.Es una medida de confiabilidad útil cuando es poco práctico o indeseable evaluar laconfiabilidad con dos pruebas o hacer dos aplicaciones de una prueba (debido a factoresde tiempo o costo).El cálculo de un coeficiente de división por mitades implica tres pasos:1° Dividir la prueba en mitades equivalentes.2° Calcular una r de Pearson entre las puntuaciones en las dos mitades de la prueba.3° Ajustar la confiabilidad de la mitad de la prueba usando la fórmula de Spearman-Brown. No es recomendable tan solo dividir la prueba por la mitad, debido a que es probableque este procedimiento elevaría o disminuiría en forma falsa el coeficiente de fiabilidad.Formas de dividir la prueba: 1°al azar, 2° pares y nones y 3° por contenido (de modoque cada mitad de la prueba contenga reactivos equivalentes con respecto al contenido ydificultad).El objetivo al dividir la prueba en mitades es crear lo que podría denominarse“miniformas paralelas”, con cada mitad siendo igual a la otra, o lo más similarhumanamente posible, en aspectos de formato, estilísticos, estadísticos y otrosrelacionados.
    16. 16.  Fiabilidad de Spearman-Brown:Debido a que la confiabilidad de una prueba es afectada por su longitud, esnecesaria una fórmula para estimar la confiabilidad de una prueba que se ha acortadoo alargado.Por lo general es cierto, aunque no siempre, que la confiabilidad se incrementaconforme aumenta la longitud de una prueba.Deriva de la Fiabilidad de División por Mitades y consta de tres pasos.Los reactivos deben ser equivalentes en contenido y nivel de dificultad.La estimaciones de confiabilidad basadas en la consideración de la prueba enteratenderán por consiguiente a ser mayores que aquellas basadas en la mitad de unaprueba.Al determinar la confiabilidad de una mitad de una prueba, un elaborador depruebas puede usar luego la fórmula de Spearman-Brown para estimar laconfiabilidad de una prueba entera.Al agregar reactivos para incrementar la confiabilidad de la prueba hasta un niveldeseado, la regla es que los reactivos nuevos deber ser equivalentes en contenido ydificultad, de modo que la prueba más larga todavía mida lo que medía la pruebaoriginal.Si la confiabilidad de la prueba original es relativamente baja, puede ser pocopráctico incrementar el número de reactivos para alcanzar un nivel de confiabilidadaceptable.
    17. 17.  Fiabilidad de Spearman-Brown: Las estimaciones de confiabilidad de consistencia interna, como las obtenidasusando la fórmula de Spearman-Brown, son inapropiadas para medir la confiabilidadde pruebas heterogéneas y pruebas de velocidad.
    18. 18.  Fiabilidad de Kuder-Richardson:La insatisfacción con los métodos de división por mitades existentes para estimar laconfiabilidad llevo a G. Frederic Kuder y M. W. Richardson a desarrollar sus propiasmedidas de estimar la confiabilidad.La más conocidas de las muchas fórmulas en las que colaboraron es su fórmulaKuder-Richardson 20 y 21.KR 20 es la estadística de elección para determinar la consistencia entre reactivosde reactivos dicotómicos.Usado en pruebas que miden un solo factor (homogeneidad) del tipo aptitudinal,con reactivos dicotómicos (correcto o equivocado).Los reactivos de la prueba deben tener aproximadamente el mismo grado dedificultad.En el caso en que los reactivos de la prueba son muy homogéneos, las estimacionesde confiabilidad KR 20 y de división por mitades serán similares.Si los reactivos de prueba son más heterogéneos, la KR 20 producirá estimacionesde confiabilidad inferiores que el método de división por mitades.
    19. 19.  Fiabilidad Alfa: Desarrollado por Cronbach (1951).El coeficiente alfa puede considerarse como la media de todas las correlaciones dedivisión por mitades posibles, las buenas junto con las malas.El coeficiente Alfa también puede ser usado en pruebas con reactivos dicotómicos.Pero es apropiado para pruebas que contienen reactivos que pueden calificarse a lolargo de un rango de valores. Ej. Encuesta de opinión y de actitud. Los reactivos deben presentar un rango de alternativas posibles, donde puede darseun crédito parcial.“Es la estadística preferida para obtener una estimación de la confiablidad deconsistencia interna”.
    20. 20.  Fiabilidad Kappa:Es el grado de acuerdo o consistencia que existe entre dos más observadores (jueceso evaluadores).Denominada en formas diversas como “confiabilidad del evaluador”, “confiabilidaddel juez”, “confiabilidad del observador” y “confiabilidad entre evaluadores”.En algunos tipos de prueba bajo algunas condiciones, la puntuación puede ser másuna función del evaluador que e alguna otra cosa. Se asigna un código para categorizar lo observado y la escala debe ser ordinal.Un elaborador de pruebas responsable que es incapaz de crear una prueba quepueda ser calificada con un grado razonable de consistencia por evaluadorescapacitados regresará al pizarrón para descubrir la razón para este problema.Si por ejemplo el problema es una falta de claridad en los criterios de calificación,entonces el remedio podría ser redactar de nuevo la sección de criterios de calificacióndel manual para incluir reglas de calificación redactadas con claridad.Obs: Una revisión de la literatura sobre la capacitación de evaluadores paramejorar su desempeño en las estimaciones sugiere que las conferencias paraevaluadores sobre reglas de calificación no son tan efectivas para promover laconsistencia entre ellos como proporcionarles la oportunidad de participar endiscusiones de grupo junto con ejercicios de práctica e información sobre su precisión.La estadística Kappa fue diseñada en un principio para ser usada en el caso que losevaluadores estimaciones usando escalas nominales de medición (Cohen, 1960)
    21. 21.  Fiabilidad Kappa:La estadística Kappa fue modificada después por Fliess (1971) para ser usada conmúltiples evaluadores.Ejemplo: El grado de acuerdo entre dos o más profesores al calificar una prueba deensayo o un examen oral.Valoración de un índice Kappa:Valor de KFuerza de laconcordancia≤≤ 0,200,20 PobrePobre0,21 a 0,400,21 a 0,40 DébilDébil0,41 a 0,600,41 a 0,60 ModeradoModerado0,61 a 0,800,61 a 0,80 BuenoBueno0,81 a 10,81 a 1 Muy buenoMuy buenoFuente: Urbina (2007, p. 39)Fuente: Urbina (2007, p. 39)
    22. 22.  Referencia Bibliográfica:Cohen, R. y Swerdlik M. (2001) Pruebas yEvaluación Psicológicas. Editorial McGrawHill. 4ª Edic. México. Urbina, S. (2007) Test Psicológicos. TEAEdiciones. Madrid. Hulley S. y Cummings S. (1993) Diseño de laInvestigación Clínica. Editorial Doyma. España.

    ×