Etapas de elaboracion de un test

27,619 views

Published on

Proceso de aprendizaje en catedra de pruebas psicometricas en Institucion Universitaria de Envigado

Published in: Education, Business
0 Comments
27 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
27,619
On SlideShare
0
From Embeds
0
Number of Embeds
49
Actions
Shares
0
Downloads
0
Comments
0
Likes
27
Embeds 0
No embeds

No notes for slide

Etapas de elaboracion de un test

  1. 2. <ul><li>¿Qué queremos hacer? (p.e. un test de calidad de vida del enfermo de cáncer, ya está hecho o no, cómo es, hacer un estudio de mercado). </li></ul><ul><li>Ubicar el instrumento, definir qué voy a medir, a qué problema va ser dirigido (p.e. calidad de vida, cáncer), qué deseo hacer con el, para qué sirve (p.e. clasificar, intervenir, saber el estado actual de su enfermedad). Buscar a nivel práctico y teórico. </li></ul>Demarcación de la prueba :
  2. 3. <ul><li>a. Fundamentar teóricamente el atributo a medir, buscar bibliografía (qué es calidad de vida). </li></ul><ul><li>b. Definir el objetivo, finalidad y uso del test (por qué y para qué se construye el instrumento) </li></ul><ul><li>c. Elegir a qué sujeto se destina el test (para quién se hace el instrumento (personas con cáncer del País Vasco). Con mayor precisión en la definición pensaremos mejor en ellas. </li></ul><ul><li>d. Establecer cómo se va a aplicar el instrumento, colectivo o individual, procedimiento y presentación. </li></ul><ul><li>Cómo se define de forma operativa ese atributo. </li></ul>Delimitación conceptual y operativa:
  3. 4. <ul><li>Formato del test: gráfico, verbal, manipulativo..., forma de presentación: cuadernillo, hoja de respuesta. </li></ul><ul><li>Ítems que va a tener el instrumento (verbales-creencias, gráficos-niños, manipulativos o mixtos). Se elaboran en base a la edad, contexto sociocultural, qué es lo que yo quiero valorar… ¿Cuántos ítems hacer?, a la hora de construir el test hacer un 25% más de ítems por los que se puedan desechar. </li></ul><ul><li>Tiempo disponible para la aplicación y tipo de tarea. Elaboración de ítems, ¿cómo ordenarlos? (p.e. de menor a mayor dificultad). Presentación del test (hoja de instrucciones, ejercicios prácticos como modelo, ficha de identificación o no, etc.). </li></ul>Elaboración del protocolo:
  4. 5. Ítems de construcción de respuesta libre o producción de respuesta
  5. 6. <ul><li>El sujeto debe responder con sus propias palabras, no hay una única respuesta. Es la más completa. El sujeto desarrolla de forma abierta y libre una respuesta ante una pregunta que se plantea, desde una perspectiva personal y su propio lenguaje. Puede ser verbal, manipulativo o gráfico. </li></ul><ul><li>Ventajas: se recoge la creatividad/originalidad de la respuesta del sujeto, se permiten varias respuestas verdaderas y se puede valorar no solo lo que dice sino también cómo lo expone y lo construye (información adicional). </li></ul><ul><li>Desventajas: la subjetividad a la hora de construir y, fundamentalmente, a la hora de valorar estos ítems (diferentes evaluadores no llegan al mismo acuerdo, es diferente según el juez, evaluación sesgada, a no ser que evalué un solo juez). </li></ul><ul><li>Sobre los demás tiene la ventaja de tener la mejor manera de valorar la creatividad y originalidad del sujeto. </li></ul>
  6. 7. <ul><li>En los que se le pide una respuesta breve, tiene menor libertad pero se puede ampliar el número de ítems (hacer más preguntas). </li></ul><ul><li>Ventajas: corrección rápida y se llega a un acuerdo entre jueces. </li></ul><ul><li>Desventajas: perdemos mucho la valoración de la creatividad del sujeto y sigue siendo subjetiva. </li></ul><ul><li>Son más globalistas. </li></ul>
  7. 8. Ítems de respuesta estructurada o elección de respuesta
  8. 9. <ul><li>Se pierde totalmente la posibilidad de valorar respuestas creativas (p.e. exámenes tipo test), se le dan las respuestas al sujeto y se le pide que elija una alternativa. La muestra es mucho mayor, se hacen más preguntas. Se responde a cada ítem por separado, son independientes entre sí y se suelen puntuar uno a uno. </li></ul><ul><li>Ventajas: permiten la comparación de grupo por presentar las mismas respuesta a cada sujeto. Más fáciles de cuantificar, mayor precisión, hay una clave de corrección clara y por ende, más acuerdo entre los jueces. </li></ul><ul><li>Desventaja : menor libertad a la hora de responder, no se valora la originalidad y creatividad. Perdemos cualidades, son muy atomistas (analiza una pequeña parte del comportamiento del sujeto). Existen diferentes tipos: </li></ul>
  9. 10. <ul><ul><li>Asegurarse de que el ítem se puede clasificar inequívocamente de verdadero o falso. </li></ul></ul><ul><ul><li>Utilización de términos que no sean generales o universales, pues son erróneos (nunca, siempre, todas, ninguna...) </li></ul></ul><ul><ul><li>Evitar el empleo de términos ambiguos o indefinidos para asignar cantidad (p.e. hace ejercicio frecuentemente?, la interpretación de este puede variar de una persona a otra). Es necesario poner cantidad (3, 4 o más veces por semana). </li></ul></ul><ul><ul><li>Procurar no utilizar negaciones (enunciados negativos) y muchísimo menos la doble negación (pues esto afirma). </li></ul></ul><ul><ul><li>Limitar los enunciados de verdadero-falso a una sola idea (una idea para cada enunciado) </li></ul></ul><ul><ul><li>Que los enunciados tengan aproximadamente la misma extensión (p.e. generalmente, un enunciado verdadero es más extenso que uno falso). </li></ul></ul><ul><li>Ventajas: se pueden construir muchos, recoger más muestras de conducta, son fáciles de corregir y rápidos. </li></ul><ul><li>Desventajas: difíciles de construir, pierde la capacidad de creatividad. </li></ul>
  10. 11. <ul><ul><li>Poseen más de dos alternativas, generalmente de 3 a 5. Son más flexibles, representan mejor lo que quieren evaluar, hay más opciones para el sujeto. </li></ul></ul><ul><ul><li>Es necesario delimitar bien el enunciado de las alternativas de respuesta. El enunciado debe contener toda la pregunta (saber que estamos preguntando y poner las alternativas pertinentes). El enunciado puede ser amplio pero las alternativas de respuesta deben ser breves. </li></ul></ul><ul><ul><li>El enunciado debe ser claro y específico, claramente expuesto (cuál es nuestra pregunta) y que sea positivo, no utilizar la doble negación (pues esta evalúa lo peor de una persona no lo mejor). </li></ul></ul><ul><ul><li>Utilizar material novedoso para explorar la creatividad del sujeto. </li></ul></ul><ul><ul><li>Asegurarse de que haya solo una respuesta válida o que expresa mejor lo que se pregunta (p.e. en los test de personalidad, la respuesta que manifiesta mejor ese rasgo). Que haya una única respuesta óptima, evidente sobre las demás y asegurarse de que las otras también sean plausibles. </li></ul></ul><ul><ul><li>No proporcionar indicadores involuntarios para las respuesta (todas tienen que acercarse a lo que quieren medir). </li></ul></ul>
  11. 12. <ul><li>Ventajas: suele ser más objetiva la corrección, existe un mayor acuerdo y se puede corregir mediante el uso del ordenador (p.e. en la selección de personal). Se corrige rápidamente y de forma objetiva se puede comparar y el número de ítems es amplio para tener una muestra representativa de la conducta del sujeto. Recogen mucha información en poco tiempo. </li></ul><ul><li>  </li></ul><ul><li>Desventajas: para redactarlos bien lleva mucho tiempo (su construcción), no permiten analizar la creatividad del sujeto. A veces es difícil determinar cuando una respuesta óptima es correcta sobre las demás. Su utilización depende del ámbito de trabajo, por ello puede ser mejor o peor en una determinada situación (p.e. para aplicaciones grupales son buenas pero en el ámbito clínico no, serían mejores las de ensayo). </li></ul>
  12. 13. <ul><li>Que sean representativos del atributo que quiero medir, ¿cómo se manifiesta ese atributo?  observación directa, definir cuál es la manifestación, tomar datos de campo. </li></ul><ul><li>Hasta que punto necesito una precisión de los datos, cuanto más estructurado es un ítem más preciso es pero menos creativo. Qué quiero evaluar y qué precisión quiero; me interesan los datos cualitativos o cuantitativos, describir (cualidad, ensayo) o predecir (cantidad, respuesta alternativa). </li></ul><ul><li>Las personas, a quien voy a evaluar, considerar edad, nivel sociocultural, académico, contexto, ambiente. Variables del sujeto. </li></ul>
  13. 14. <ul><li>Forma de administración: individual o colectiva. </li></ul><ul><li>Tiempo disponible (las pruebas verbales son más rápidas de aplicar y corregir que una manipulativa o gráfica) </li></ul><ul><li>Dificultad que le quiero dar a la prueba (p.e. para un niño son más difíciles los ítems verbales que los gráficos). </li></ul><ul><li>Destrezas del propio autor del test (p.e. que sepa dibujar). </li></ul>
  14. 15. <ul><li>Ver la característica que quiero evaluar y lo amplia que es (p.e. una característica de personalidad es más amplia que el clima familiar, más concreto), y ver si tengo de esa característica tengo más áreas de evaluación, si es así necesitaré más ítems. Cada uno de los ítems es una muestra de conducta, cuántas más tengamos mejor podremos entender al sujeto pero sin perder el equilibrio (no preguntas en exceso). </li></ul><ul><li>Tipo de ítems elegidos (la prueba es más larga o corta según los ítems, las pruebas verbales tienen más ítems, los manipulativos son menos). Demarcar la longitud del test. </li></ul>
  15. 16. <ul><li>Finalidad del instrumento, según ella la longitud puede cambiar. </li></ul><ul><li>Forma de aplicación. Los test individuales suelen tener menor número de ítems, en los colectivos se pierden la relación de tú a tú y otra información, hay que tener más preguntas, son más amplios que los individuales (p.e. tiempo de reacción WAIS, dificultad de los ítems y cuánto tiempo necesita para pensar y responder). </li></ul><ul><li>Características del sujeto. </li></ul><ul><li>Tiempo de aplicación, si tenemos menos tiempo utilizamos test cortos. No hay normas fijas, depende de estos apartados y del autor. </li></ul>
  16. 17. <ul><li>Tomar en cuenta el tipo de prueba, en las de personalidad tendrá que ser una dificultad media y media-alta, en los test de manipulativos y de inteligencia existirán diferentes niveles. Por ende, hay que valorar lo que mide la prueba y el tipo de sujetos a evaluar (tipo de ítems, presentación, áreas de contenido y características del sujeto marcarán la dificultad). Es importante que el nivel de lectura o lenguaje de los sujetos evaluados no sea un obstáculo para responder a las tareas, debe estar adecuado a su nivel de lenguaje. La única excepción sería si se trata de una prueba en que se evalué el rendimiento en el lenguaje, pero en ellas poco a poco se va aumentado el grado de dificultad para que el sujeto encuentre ítems que pueda resolver. </li></ul>
  17. 18. <ul><li>Instrucciones del protocolo/cuestionario, existen dos niveles de instrucciones: </li></ul><ul><li>a. Instrucciones para el sujeto que va a realizar el test. Explicar la sujeto cuál es la tarea que va a realizar con un lenguaje claro, precio y sencillo. El protocolo debe proporcionar algún tipo de ejemplo con la tarea ya resuelta, explicarle al sujeto si hay límite de tiempo o no, si existe penalización por las respuestas incorrectas o no (p.e. en test de rendimientos sí). </li></ul>
  18. 19. <ul><li>b. Instrucciones para el evaluador (manual del test). </li></ul><ul><li>- Especificar si el evaluador necesita una preparación previa y de qué tipo. </li></ul><ul><li>- Circunstancias situacionales: situación ambiental, tiempo que requiere, material a utilizar... </li></ul><ul><li>- Ficha técnica del test, datos de fiabilidad y validez. </li></ul><ul><li>- Condiciones y claves de corrección, cómo se utiliza la plantilla si hay. </li></ul><ul><li>- Condiciones de interpretación del test. </li></ul><ul><li>- El autor debe decir a que marco teórico pertenece. </li></ul><ul><li>- Instrucciones de manejo y calidad científica del test. </li></ul><ul><li>Por último, deben estar las tablas de conversión de datos (baremos) para poder comparar al sujeto con otros, y otras referencias. </li></ul>
  19. 20. <ul><li>Saber si lo que hemos construido es válido o no, se realiza un análisis cuantitativo y cualitativo. Los pasos a seguir son los siguientes: </li></ul><ul><li>Identificar y seleccionar una muestra en la cual aplicar el test (debe representar la población a la que va dirigida el test). </li></ul><ul><li>Aplicar el test en las mejores condiciones posibles y corregirlo, obtenemos las puntuaciones que nos permitan un primer análisis estadístico descriptivo de los resultados </li></ul>Primer estudio empírico
  20. 21. <ul><li>Análisis de cada uno de los ítems, saber cuáles no son importantes o están mal redactados. Se realiza el análisis en dos niveles: </li></ul><ul><li>Cuantitativo. Analizar el contenido (representan lo que miden) y redacción de los ítems (lo buenos que son, si se entienden o no). </li></ul><ul><li>Cualitativo. Analizar hasta que punto el ítem discriminan bien, nivel de dificultad que tiene, cómo es de consistente (si siempre mide igual), son homogéneos o heterogéneos, independencia de cada uno de los ítems, hasta que punto responden bien a la finalidad del test, interesa comparar el ítem consigo mismo y el exterior. </li></ul><ul><li>Reestructuración de la prueba, modificar los ítems que están mal o quitarlos, dejar los que sirven, cambio en el orden o la presentación. </li></ul>Primer estudio empírico
  21. 22. <ul><li>Volver a aplicar el test, ampliar la muestra de sujetos, para baremar el test. Su objetivo es garantizar la bondad del instrumento desde el punto de vista psicométrico y científico. La muestra debe ser realmente representativa de la población para que sea punto de comparación para los sujetos futuros. Se deben tomar en cuenta todas las variables (edad, sexo, nivel académico o sociocultural...). No debe ser un muestreo aleatorio sino que se debe hacer una estratificación (p.e. mismo porcentaje de hombres y mujeres, en clase serían más chicas que chicos), se deben utilizar estrategias de muestreo. </li></ul>Segundo estudio empírico
  22. 23. <ul><li>Elegir el método más apropiado (estadísticos de correlación), nos dicen hasta que punto esos datos obtenidos nos dan una seguridad porque se mantiene en el tiempo (p.e. una balanza que siempre de el mismo peso para un objeto). Si hay estabilidad en la medida es una medida fiable pero no me asegura que es buena (p.e. si la balanza pesa 2kg. de más), puede conllevar error, por ello se necesita la validez. </li></ul>Estudio de la fiabilidad del test
  23. 24. <ul><li>Existen diferentes modos dependiendo de la finalidad que tiene, saber hasta que punto es válido y útil </li></ul>Estudio de la validez del test
  24. 25. <ul><ul><ul><li>Capacidad de predicción del test (también estadísticos) </li></ul></ul></ul><ul><ul><ul><li>Tipificación </li></ul></ul></ul><ul><li>  Llevarlo a la imprenta, ponerle precio y distribuirlo </li></ul>

×