Sistema de evaluacion 01

2,609 views

Published on

Published in: Business, Technology
1 Comment
4 Likes
Statistics
Notes
  • EXELENTE AYUDA PARA MI PROYECTO
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total views
2,609
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
134
Comments
1
Likes
4
Embeds 0
No embeds

No notes for slide

Sistema de evaluacion 01

  1. 1. Charo Repáraz |creparaz@unav.es La construcción de pruebas objetivas Carlota Pérez Sancho |cpsancho@unav.es
  2. 2. Introducción| La medida del rendimiento académico Introducción LA MEDIDA DEL RENDIMIENTO ACADÉMICO • Medir (v. contínuas) ≠ contar (v. discontínuas) • Distancia entre la medida y lo medido (> cuanto más abstracto sea lo medido) • Teoría Clásica de los Test (TCT): X (puntuación) = V (puntuación verdadera) +e (error) •El mismo rasgo puede dar distintas medidas •Contar con el error de nuestra medida •Prudencia, es una orientación… En consecuencia:
  3. 3. Construcción del test | Paso 1: Contenidos a evaluar Conocer bien la estructura de los contenidos (especificar los distintos apartados del programa de la asignatura) nos permitirá: 1. CONOCER LOS CONTENIDOS A EVALUAR No olvidar ningún aspecto importante. Prescindir de lo anecdótico. Ponderar cada apartado en función de su relevancia intrínseca y relativa. Llegar a un aprueba equilibrada y coherente Ofrecer puntuaciones o diagnósticos diferenciados ¿Cómo construir un buen test?: Paso 1 Estimar la duración de la prueba
  4. 4. 2. DETERMINAR LOS OBJETIVOS T a x o n o m í a B l o o m CONOCIMIENTO Recuerdo de material aprendido anteriormente COMPRENSIÓN Percepción del significado del material APLICACIÓN Utilización de la información en situaciones concretas ANÁLISIS Fraccionamiento del material en sus elementos constitutivos SÍNTESIS Reunión de los elementos en un todo EVALUACIÓN Formulación de juicios sobre el valor de una cosa para un determinado propósito, utilizando ciertos criterios. La diferencia principal entre… El método más empleado para… Las principales características… El mejor ejemplo del principio… ¿Cuál es el significado de la fórmula….? ¿Cuál es la teoría que esta implícita en …? Después de analizar los datos que se presentan…. ¿Qué definición es aplicable para….? ¿Cuál es el procedimiento experimental más adecuado para …? ¿Qué aplicación ejemplifica el principio de la….? En el texto presentado ¿qué parte es la conclusión? ¿Qué elementos de la siguiente comunicación… pueden considerarse factuales? ¿Cuál es el error lógico del siguiente argumento? ¿Qué conclusión se puede extraer de…? ¿Cuál es la hipótesis de…? ¿Qué procedimiento es el más fiable para… ¿Cuál es el error lógico del siguiente argumento? ¿Cómo construir un buen test?: Paso 2 Construcción del test | Paso 2: Determinar los objetivos
  5. 5. 3. RELACIONAR CONTENIDOS Y OBJETIVOS ¿Cómo construir un buen test?: Paso 3 Qué objetivos deben cubrir los distintos contenidos y viceversa. No serán incluidos en el instrumento aquellos contenidos referidos a los objetivos para los que no se haya marcado X. Tabla de especificaciones Construcción del test | Paso 3: Relacionar contenidos y objetivos
  6. 6. 4. SELECCIONAR EL CONTENIDO DEL TEST ¿Cómo construir un buen test?: Paso 4 Imposibilidad de incluir todos los elementos SUFICIENCI A REPRESENTATIVID AD El número de elementos debe ser al menos aquel que permita incluir a todos los grandes bloques de contenidos y objetivos. Ejemplo: Si tenemos 3 grandes apartados de contenidos y trabajamos con 5 objetivos, debería haber, al menos, 3x5= 15 elementos. VALIDEZ DE CONTENIDO. No todos los objetivos ni los contenidos son igualmente relevantes: •Atribuir a los grandes bloques un mayor numero de elementos (dando a todos igual valoración). •Valorar más los elementos referidos a tales objetivos y contenidos. MUESTR A Construcción del test | Paso 4: Seleccionar el contenido del test
  7. 7. ¿Cómo construir un buen test?: Paso 4 Pero… ¿Cuántos ítems debe tener un test? Prueba diagnóstica 20-30 Prueba sumativa > 50 Cálculo: Minuto por ítem no exceder de 90 ítems (hora y media de duración) Construcción del test | Paso 4: Seleccionar el contenido del test
  8. 8. ¿Cómo construir un buen test?: Paso 5 5. REDACTAR LOS ITEMS  RESPUESTA ÚNICA De las siguientes afirmaciones, ¿cuáles son correctas respecto a la literatura medieval portuguesa? I. Un poema que narre el sufrimiento de una campesina, abandonada por el hidalgo que amaba por causa de otra mujer, es una “cantiga de amor”. II. Un poema que narre la desdicha de un hidalgo empobrecido que ama a una dama inaccesible es una “cantiga de amigo”. III. “Cantiga de amor” y “cantiga de amigo” son “poesías trovadorescas”. IV. “Cantiga de amor” y “cantiga de amigo” eran cantadas con acompañamiento musical. A) I, II, III y IV. B) I, II y III. C) I, II y IV. D) I y II. E) III y IV. EL USB fue creado en 1996: a) verdadero b) falso  RESPUESTA MÚLTIPLE El conocimiento científico es: 1) Un conocimiento fruto del pensar espontáneo 2) Una forma de conocimiento práctico 3) El único capaz de resolver nuestros problemas 4) Un conocimiento demostrado Máximo 5 alternativas Construcción del test | Paso 5: Redactar los ítems | tipos de ítems
  9. 9. ¿Cómo construir un buen test?: Paso 5 Elige la frase que presenta la forma correcta de redacción a) Esté dicho: sólo sé que no se nada. b) Este dicho: sólo se que no se nada. c) Éste dicho: solo sé que no sé nada. d) Este dicho: sólo sé que no sé nada. e) Éste dicho: solo se que no se nada. Anotar en los paréntesis de la columna A (países), los números de los elementos de la columna B (capitales) que correspondan: Columna A Columna B ( ) Japón (1) Pekín ( ) India (2) Tel Aviv ( ) China (3) Katmandú ( ) Nepal (4) Nueva Delhi ( ) Israel (5) Tokio (6) Jerusalem  SUSTITUCIÓN  ASOCIACIÓN, EMPAREJAMIENTO O CORRESPONDENCI A  AFIRMACIÓN INCOMPLETA El número de átomos de oxígeno que existen en 0,10 moles de nitrato de bario es: a) 0,6 b) 6,0 c) 3,6 x 1022 d) 6,0 x 1022 e) 3,6 x 1023  LAGUNA El “gorjeo” es propio del bebe de …. meses: a) uno b) dos c) tres d) cuatro Construcción del test | Paso 5: Redactar los ítems | tipos de ítems
  10. 10. ¿Cómo construir un buen test?: Paso 5 El gráfico siguiente muestra la duración, en días, del desarrollo embrionario del lepidóptero Ephestia kühniella en función de la temperatura. De su examen concluimos que: 1) el desarrollo más rápido se produce cerca de los 30ºC 2) cuanto más alta es la temperatura, más rápido es el desarrollo 3) el desarrollo sigue una curva logarítmica 4) el animal sólo se encuentra en lugares tropicales 5) a temperaturas inferiores a 10ºC el huevo se muere.  INTERPRETACIÓN IDENTIFICACIÓN O LOCALIZACIÓN Identifica en ésta célula el núcleo ( ), el citoplasma ( ) y la membrana ( ). 1 2 3 Construcción del test | Paso 5: Redactar los ítems | tipos de ítems
  11. 11. 5. REDACTAR LOS ITEMS ¿Cómo construir un buen test?: Paso 5 ⇒ Cuestiones generales a tener en cuenta ⇒Ofrecer en lo que se denomina el pie del elemento toda la información necesaria pero de forma breve y concisa. ⇒Claridad en la formulación. Vocabulario correcto. ⇒Brevedad del enunciado. ⇒Corrección gramatical, ortográfica y sintáctica de los enunciados. ⇒Redactar de forma afirmativa, evitando las dobles negaciones. Ejemplo: La media no es una medida de variabilidad. SI-NO ⇒Todas las alternativas deben ser plausibles. ⇒Evitar situar la respuesta correcta en una posición preferente. ⇒Evitar asociaciones entre el tronco del elemento y la respuesta correcta ⇒Contar con un banco de preguntas lo suficientemente amplio para no repetir de un curso a otro. Construcción del test | Paso 5: Redactar los ítems | cuestiones generales
  12. 12. 5. REDACTAR LOS ITEMS ¿Cómo construir un buen test?: Paso 5 ⇒ La independencia de los ítems ⇒Difícil asegurarla: cualquier palabra en un ítem puede servir de pista o ayuda para resolver otro u otros. ⇒Procurar no incluir elementos en cadena, la forma de responder, o no, a uno de ellos permita contestar, o no, a varios que le siguen. ⇒EJEMPLO:1. El “gorjeo” es propio del bebe de …. meses: a) uno b) dos c) tres d) cuatro 2. ¿Cuál de las siguientes afirmaciones es propia de la misma edad? a) Sólo me despierto y lloro si tengo hambre o estoy incómodo b) Boca abajo estoy tranquilo y me sostengo apoyado sobre las manos. c) Si me pones un objeto en la mano seré capaz de sostenerlo y me lo llevaré a la boca. d) Soy capaz de sostenerme un ratito sentado pero necesito apoyarme delante con las manos para no caerme. Construcción del test | Paso 5: Redactar los ítems | la independencia de los ítems
  13. 13. 6. ORDENAR LOS ITEMS ¿Cómo construir un buen test?: Paso 6 ⇒ Por tipos de elementos ⇒Para presentar al principio de cada bloque instrucciones necesarias para resolverlo. ⇒Facilitar la corrección ya que cada tipo de elemento puede tener reglas específicas. ⇒ Por orden de dificultad ⇒Situar los elementos más fáciles al principio da ánimos para seguir adelante. ⇒ Lógica o cronológica ⇒Seguir el orden que la estructura de la materia exige puede facilitar las contestaciones. ⇒ Al azar ⇒Presenta más dificultades que ventajas. Construcción del test | Paso 6: Ordenar los ítems
  14. 14. 7. VALORAR LOS ÍTEMS ¿Cómo construir un buen test?: Paso 7 ⇒ A través de las siguientes fórmulas ⇒La tendencia natural puede ser atribuir un punto a la respuesta correcta y cero para la incorrecta. ⇒Pero la posibilidad de respuestas correctas por azar lleva a la necesidad de valorar los elementos de forma diferente para disuadir de contestarlos cuando se sabe que esa contestación es puramente al azar. Pruebas verdadero-falso Resultado (R) =Aciertos (A) – Errores (E) Pruebas elección múltiple Donde na es el numero de respuestas que se ofrecen. 1-n E -AR a = Construcción del test | Paso 7: Valorar los ítems
  15. 15. 8. VALORAR LA PRUEBA ¿Cómo construir un buen test?: Paso 8 ⇒ Según los diferentes tipos de objetivos evaluados ⇒En ocasiones conviene que junto a la puntuación global obtengamos puntuaciones diferenciadas al menos en dos niveles: ⇒Se trata de apreciar si hay objetivos claramente superados y otros deficientes, si el nivel es uniforme en sentido positivo o negativo. 0 10 20 30 40 50 60 70 80 90 100 Conocimiento Comprensión Cálculo Aplicación Valoración Total Puntuación diferenciada ⇒ Según las diversas unidades importantes de contenido ⇒Un alumno puede obtener un valor global suficiente pero con determinadas unidades con puntuación elevada y otras muy bajas. 0 10 20 30 40 50 60 70 80 Concepto estadística Organización datos Medidas individuales Correlación Puntuación diferenciada Construcción del test | Paso 8: Valorar la prueba
  16. 16. 9. ELEGIR LA MODALIDAD DE EVALUACIÓN ¿Cómo construir un buen test?: Paso 9 ⇒ Evaluación referida a la norma ⇒Comparación de la realización del alumno con la realización del grupo, muestra o población a la que pertenece. ⇒Por ejemplo: MIR ⇒ Evaluación referida al criterio ⇒Comparación entre la realización del alumno y la realización objetiva previamente establecida. Comparación con un criterio objetivo. ⇒Por ejemplo: TOEFL Construcción del test | Paso 9: Elegir la modalidad de evaluación
  17. 17. Características de un test | Fiabilidad y validez 1. FIABILIDAD Características de un test ⇒Mide el error (la distancia entre la medida y lo medido). ⇒A menor error, mayor fiabilidad. ⇒Indica hasta qué punto las diferencias entre puntuaciones de dos alumnos son atribuibles a diferencias reales entre ellos o a errores de medida del test. ⇒Ejemplo: una fiabilidad rxx= 0.85 significa que el 85% varianza verdadera y 15% varianza error ⇒No se deben admitir tests con fiabilidad menor de 0.80 ⇒CONDICIÓN NECESARIA PERO NO SUFICIENTE 2. VALIDEZ ⇒Qué medimos? ¿Medimos lo que queremos medir? ⇒Ninguna prueba es válida y fiable para todos los sujetos y ocasiones LA MAQUINA DE CORRECCIÓN DE CIENCIAS NO CALCULA
  18. 18. 3. ANÁLISIS DE ÍTEMS Características de un test Estima la contribución de cada ítem a la fiabilidad y validez del test 1.- Índice de dificultad / facilidad: cociente entre quienes aciertan el ítem y quienes lo intentan. Muy difíciles: ID<0.25 (10%) Difíciles: ID >0.25 y <0.45 (20%) Normales: ID >0.44 y <0.55 (40%) Fáciles: ID >0.54 y <0.75 (20%) Muy fáciles: ID >0.74 (10%) 2.- Índice de discriminación: indica la capacidad del ítem para distinguir entre los sujetos de mayor conocimiento y los de menor. Cálculo: la diferencia entre el % del grupo superior que acierta el ítem y el % del grupo inferior que también lo acierta D> 0.39 Excelente Conservar D entre 0.30 y 0.39 Buena Mejorar D entre 0.20 - 0.29 Regular Revisar D entre 0.00 - 0.20 Pobre Descartar D< -0.01 Pésima Descartar definitivamente IDmax= 1 Idmin= 0 Dmax= 1 Dmin= -1 Características de un test | Análisis de ítems
  19. 19. Características de un test | Análisis de distractores 4. ANÁLISIS DE LOS DISTRACTORES Características de un test Nos informa del nº de alumnos del grupo superior (27%) y del grupo inferior (27%) que han seleccionado cada alternativa de respuesta. Cuántos aciertan y cuántos se distraen. •¿Qué significa que un distractor sea elegido por un gran nº de alumno del grupo superior?:?: •ítem mal redactado o confuso •problema generalizado de comprensión • ¿Qué pasa si algún distractor no es elegido por ningún alumno del grupo inferior? (mínimo un 10%): •disminuye la fiabilidad y la validez del test pues aumenta el acierto por azar •no cumple su función
  20. 20. Informe de resultados de los alumnos Características de un test Puntuación (29) % Rendim iento O RDEN EXPEDIENTE NO M BRE Rendim iento sobre 10 1 27 95995 APELLIDOS , NOMBRE 13,75 47,40 4,74 2 42 96123 APELLIDOS , NOMBRE 15,75 54,30 5,43 3 21 99844 APELLIDO S,NO M BRE 10,75 37,00 3,70 4 13 98639 APELLIDO S,NO M BRE 26,50 91,30 9,13 5 8 100188 APELLIDO S,NO M BRE 15,75 54,30 5,43 6 30 98798 APELLIDO S,NO M BRE 10,25 35,30 3,53 7 41 99830 APELLIDO S,NO M BRE 25,50 87,90 8,79 8 7 99851 APELLIDO S,NO M BRE 4,25 14,60 1,46 9 18 99361 APELLIDO S,NO M BRE 13,75 47,40 4,74 10 125 98795 APELLIDO S,NO M BRE 12,50 43,10 4,31 11 46 100167 APELLIDO S,NO M BRE 21,75 75,00 7,50 12 103 99447 APELLIDO S,NO M BRE 20,25 69,80 6,98 13 1 100235 APELLIDO S,NO M BRE 8,25 28,40 2,84 14 108 98968 APELLIDO S,NO M BRE 11,25 38,70 3,87 15 24 99355 APELLIDO S,NO M BRE 4,75 16,30 1,63 16 2 97571 APELLIDO S,NO M BRE 14,00 48,20 4,82 17 3 97273 APELLIDO S,NO M BRE 6,50 22,40 2,24 18 122 99471 APELLIDO S,NO M BRE 17,50 60,30 6,03 19 11 96624 APELLIDO S,NO M BRE 7,25 25,00 2,50 20 15 98732 APELLIDO S,NO M BRE 10,25 35,30 3,53 21 48 98786 APELLIDO S,NO M BRE 17,00 58,60 5,86 22 10 96153 APELLIDO S,NO M BRE 11,50 39,60 3,96 23 45 98689 APELLIDO S,NO M BRE 18,75 64,60 6,46 24 39 100133 APELLIDO S,NO M BRE 21,50 74,10 7,41 25 19 100092 APELLIDO S,NO M BRE 12,00 41,30 4,13 26 37 97480 APELLIDO S,NO M BRE 7,75 26,70 2,67 27 17 89238 APELLIDO S,NO M BRE 13,50 46,50 4,65 28 9 98554 APELLIDO S,NO M BRE 14,75 50,80 5,08 29 16 97143 APELLIDO S,NO M BRE 10,25 35,30 3,53 30 4 96765 APELLIDO S,NO M BRE 9,00 31,00 3,10 31 33 99819 APELLIDO S,NO M BRE 17,75 61,20 6,12
  21. 21. Características de un test Num .ITEM DISTRACTO RES Num Porcentaje Omisiones Num DO BLES ACIERTO S INDICE FACILIDAD INDICE DISCRIM INACIO N 1 2 3 4 5 1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56 (8) 12 10 4 0 0 0 23,53 % 2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21 8 (23) 0 2 0 1 0 67,65 % 3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56 7 (6) 11 2 0 8 0 17,65 % 4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,32 6 0 5 (19) 0 4 0 55,88 % 5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50 (11) 7 2 10 0 4 0 32,35 % 6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44 2 3 (9) 16 0 4 0 26,47 % 7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35 3 13 6 (5) 0 7 0 14,71 % 8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35 5 (6) 12 2 0 9 0 17,65 % 9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53 14 (7) 2 6 0 5 0 20,59 % 10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03 8 (2) 7 6 0 11 0 5,88 % Informe ordenado por número de ítem
  22. 22. Num .ITEM DISTRACTO RES Num Porcentaje Omisiones Num DO BLES ACIERTO S INDICE FACILIDAD INDICE DISCRIM INACIO N 1 2 3 4 5 1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56 (8) 12 10 4 0 0 0 23,53 % 2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21 8 (23) 0 2 0 1 0 67,65 % 3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56 7 (6) 11 2 0 8 0 17,65 % 4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,32 6 0 5 (19) 0 4 0 55,88 % 5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50 (11) 7 2 10 0 4 0 32,35 % 6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44 2 3 (9) 16 0 4 0 26,47 % 7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35 3 13 6 (5) 0 7 0 14,71 % 8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35 5 (6) 12 2 0 9 0 17,65 % 9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53 14 (7) 2 6 0 5 0 20,59 % 10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03 8 (2) 7 6 0 11 0 5,88 % Índice de dificultad / facilidad --- Índice discriminación muy fácil Regula r INDICE DISCRIMINACIÓN D> 0.39 Excelente Conservar D entre 0.30 y 0.39 Buena Mejorar D entre 0.20 - 0.29 Regular Revisar D entre 0.00 - 0.20 Pobre Descartar D< -0.01 Pésima Descartar definitivamente INDICE FACILIDAD Muy difíciles: ID<0.25 (10%) Difíciles: ID >0.25 y <0.45 (20%) Normales: ID >0.44 y <0.55 (40%) Fáciles: ID >0.54 y <0.75 (20%) Muy fáciles: ID >0.74 (10%) norma l Muy difícil Excelente Pobre
  23. 23. Num .ITEM DISTRACTO RES Num Porcentaje Omisiones Num DO BLES ACIERTO S INDICE FACILIDAD INDICE DISCRIM INACIO N 1 2 3 4 5 1 (27) 4 1 0 0 2 0 79,41 % 0,51 0,56 (8) 12 10 4 0 0 0 23,53 % 2 2 (30) 0 0 0 2 0 88,24 % 0,78 0,21 8 (23) 0 2 0 1 0 67,65 % 3 0 (25) 5 0 0 4 0 73,53 % 0,46 0,56 7 (6) 11 2 0 8 0 17,65 % 4 2 0 0 (30) 0 1 0 88,24 % 0,72 0,32 6 0 5 (19) 0 4 0 55,88 % 5 (28) 0 1 3 0 2 0 82,35 % 0,57 0,50 (11) 7 2 10 0 4 0 32,35 % 6 2 0 (24) 5 0 3 0 70,59 % 0,49 0,44 2 3 (9) 16 0 4 0 26,47 % 7 5 6 3 (17) 0 2 1 50,00 % 0,32 0,35 3 13 6 (5) 0 7 0 14,71 % 8 1 (18) 4 3 0 8 0 52,94 % 0,35 0,35 5 (6) 12 2 0 9 0 17,65 % 9 6 (25) 0 1 0 2 0 73,53 % 0,47 0,53 14 (7) 2 6 0 5 0 20,59 % 10 25 (3) 2 1 0 3 0 8,82 % 0,07 0,03 8 (2) 7 6 0 11 0 5,88 % Análisis de los distractores muy fácil ¿Qué significa que un distractor sea elegido por un gran nº de alumno del grupo superior? •ítem mal redactado o confuso •problema en la enseñanza ¿Qué pasa si algún distractor no es elegido por ningún alumno del grupo inferior? (mínimo un 10%): •< la fiabilidad y la validez pues > el acierto por azar (0.25, 0.33, 0.50) •no cumple su función

×