04 Validación y Confiabilidad de Instrumentos de Evaluación
Upcoming SlideShare
Loading in...5
×
 

Like this? Share it with your network

Share

04 Validación y Confiabilidad de Instrumentos de Evaluación

on

  • 34,054 views

Presentación sobre la validez y confiabilidad de exámenes.

Presentación sobre la validez y confiabilidad de exámenes.

Statistics

Views

Total Views
34,054
Views on SlideShare
32,066
Embed Views
1,988

Actions

Likes
2
Downloads
543
Comments
2

22 Embeds 1,988

http://mundoeducacionmexico.blogspot.com 1226
http://mundoeducacionmexico.blogspot.mx 268
http://cata-tacata.blogspot.com 248
http://www.cata-tacata.blogspot.com 101
http://www.slideshare.net 83
http://mundoeducacionmexico.blogspot.com.ar 15
http://www.mundoeducacionmexico.blogspot.com 9
http://cata-tacata.blogspot.mx 9
http://mundoeducacionmexico.blogspot.com.es 8
http://cata-tacata.blogspot.com.br 5
http://cata-tacata.blogspot.com.au 3
http://www.mundoeducacionmexico.blogspot.mx 2
http://translate.googleusercontent.com 2
http://www.cata-tacata.blogspot.in 1
http://cata-tacata.blogspot.de 1
http://cata-tacata.blogspot.ru 1
http://cata-tacata.blogspot.in 1
https://twitter.com 1
http://www.google.es 1
http://www.google.co.ve 1
http://webcache.googleusercontent.com 1
http://cata-tacata.blogspot.se 1
More...

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

04 Validación y Confiabilidad de Instrumentos de Evaluación Presentation Transcript

  • 1. Unidad II: La evaluación del aprendizaje Comunidad Educativa Tomás Moro Dos Impartido por: Luis Medina Gual Asesor Pedagógico Docente CCH
  • 2. Teórico Temario (tentativo) Generalidades sobre educación. ◦ Concepto de educación y pedagogía. ◦ Historia y teoría pedagógica. ◦ La didáctica general y diferencial. ◦ El diseño instruccional. La evaluación. ◦ La evaluación: constructo y tipología. ◦ La medida. ◦ Instrumentos de evaluación. ◦ Validación de instrumentos. ◦ Implicaciones de la evaluación. Práctico
  • 3. Validación de instrumentos ¿Mi examen es “bueno”? Dificultad. Evaluación basada en la norma vs basada en criterio.
  • 4. Validación de instrumentos ¿Mi examen es “bueno”? Dificultad. Evaluación basada en la norma vs basada en criterio.
  • 5. Validación de instrumentos ¿Mi examen es “bueno”?: ◦ Confiabilidad. ◦ Validez.
  • 6. Validación de instrumentos ¿Mi examen es “bueno”?: ◦ Confiabilidad: es consistente. ◦ Validez: mide lo que debe medir.
  • 7. Validación de instrumentos Validez: mide lo que debe medir. ◦ Validación por jueces. ◦ Validación por análisis factorial. ◦ Relaciones entre pruebas.
  • 8. Validación de instrumentos Validez: mide lo que debe medir. ◦ ¿Quién mejor que el maestro para decir que el examen mide lo que pretende medir?
  • 9. Validación de instrumentos Confiabilidad: si yo aplico el mismo examen bajo las mismas condiciones… ¿los alumnos obtendrán las mismas calificaciones? ◦ Consistencia de puntajes a través del tiempo.
  • 10. Validación de instrumentos Confiabilidad: ◦ Teoría clásica. ◦ Teoría de Respuesta al Ítem (TRI).
  • 11. Validación de instrumentos Confiabilidad: ◦ Teoría clásica: cómo se relacionan todos los ítems entre sí. ◦ Teoría de Respuesta al Ítem (TRI).
  • 12. Validación de instrumentos Confiabilidad: ◦ Teoría clásica: cómo se relacionan todos los ítems entre sí. Split Half. Correlación test-retest. Alfa de Cronbach.
  • 13. Validación de instrumentos Confiabilidad: ◦ Teoría clásica. ◦ Teoría de Respuesta al Ítem (TRI): valora el comportamiento de cada ítem por separado. Discriminación: un reactivo logre discernir entre quienes aprendieron y quienes no. Resultado Competente No competente Aprueba ☺ (falsos positivos) No aprueba (falsos negativos) ☺
  • 14. Validación de instrumentos Confiabilidad: TRI sencillísimo…
  • 15. Validación de instrumentos Confiabilidad: ◦ % de alumnos de GS que aciertan - % de alumnos en GI que aciertan. 27% % de sujetos que aciertan, GS Calificación Discriminación 27% % de sujetos que aciertan, GI
  • 16. Validación de instrumentos ¿Mi examen es “bueno”? Dificultad. Evaluación basada en la norma vs basada en criterio.
  • 17. Validación de instrumentos Dificultad: ◦ Se define como: (número de correctas / número máximo). ◦ Es una “probabilidad de ejecución”. ◦ Capacidad del estudiante: (número de correctas / número máximo).
  • 18. Validación de instrumentos Responder a reactivo es un proceso “estocástico”: ◦ Estudiante 0.80 vs reactivo 0.60. ◦ Estudiante 0.65 vs reactivo 0.20.
  • 19. Validación de instrumentos ¿Cómo distribuir dificultades de reactivos? ◦ Método Ebel. Rel-Dif Fácil Medio Difícil Esencial Importante Aceptable Cuestionable
  • 20. Validación de instrumentos ¿Cómo distribuir dificultades de reactivos? ◦ Método distributivo. 27% reactivos difíciles (0.39 ó menos). 27% reactivos fáciles (0.61 ó más). 46% reactivos medios (0.40-0.60).
  • 21. Validación de instrumentos ¿Cómo distribuir dificultades de reactivos? ◦ Método 20-80. 0.9 0.8 0.7 0.6 0.5 Dificultad Instrumento 0.4 Recta 20-80 0.3 0.2 0.1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
  • 22. Validación de instrumentos ¿Cómo distribuir dificultades de reactivos? ◦ Método 20-80. 0.9 0.8 0.7 0.6 0.5 Dificultad Instrumento 0.4 Recta 20-80 0.3 Recta 25-85 0.2 0.1 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20
  • 23. Validación de instrumentos Actividad: ◦ Analizar reactivos de mi examen: obtener dificultades y discriminaciones. ◦ Graficar recta 20-80. ◦ ¿Qué reactivos tengo más?: difíciles, fáciles, medios, etc… ◦ ¿Cuáles reactivos discriminan y cuáles no? ¿Qué características tienen en común los que sí y los que no discriminan?
  • 24. Validación de instrumentos ¿Mi examen es “bueno”? Dificultad. Evaluación basada en la norma vs basada en criterio.
  • 25. Evaluación basada en la norma vs basada en criterio. Evaluación basada en criterio: distribución de los puntajes con base en un criterio preestablecido. Evaluación basada en la norma: distribución de la capacidad de ejecución de los estudiantes.
  • 26. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Fija un “criterio”, una “condición” para que el alumno obtenga un “nivel de logro”. ◦ Ejemplo típico: Respuesta al 60% de reactivos: “aprobado”. Respuesta a menos del 60%: “reprobado”. ◦ Aprobado o reprobado son “niveles de logro” fijados por el criterio 60% de respuestas. ◦ El 60% es un “punto de corte”. ◦ Modelo Vienés (no calificación, sólo acreditación).
  • 27. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ ¿Qué significa aprobado? El alumno es capaz de… objetivos formulados. ◦ ¿Qué significa reprobado? El alumno requiere mejorar su capacidad de… objetivos formulados.
  • 28. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ ¿Para qué establecer criterios?
  • 29. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ ¿Para qué establecer criterios? Cuestión de control o acreditatoria. Comparación entre distintos sujetos evaluados. Establecimiento claro de la capacidad de ejecución del estudiante.
  • 30. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Pasos para el establecimiento de criterios: a. Definir cuántos niveles de logro se establecerán. b. Seleccionar los nombres o etiquetas de cada nivel. c. Elaborar la descripción guía. d. Desarrollar la descripción de cada nivel de logro. e. Evaluación del proceso de establecimiento de los niveles de logro.
  • 31. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Pasos para el establecimiento de criterios: a. Definir cuántos niveles de logro se establecerán. b. Seleccionar los nombres o etiquetas de cada nivel. c. Elaborar la descripción guía. d. Desarrollar la descripción de cada nivel de logro. e. Evaluación del proceso de establecimiento de los niveles de logro.
  • 32. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Definir cuántos niveles de logro se establecerán: ¿Qué tanta información requiero? A mayor cantidad o detalle de logro del estudiante requiero mayor número de niveles de logro. Reprobado vs aprobado (dos categorías). Insuficiente vs elemental vs avanzado (tres categorías).
  • 33. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Pasos para el establecimiento de criterios: a. Definir cuántos niveles de logro se establecerán. b. Seleccionar los nombres o etiquetas de cada nivel. c. Elaborar la descripción guía. d. Desarrollar la descripción de cada nivel de logro. e. Evaluación del proceso de establecimiento de los niveles de logro.
  • 34. Evaluación basada en la norma vs basada en criterio. Elaborar la descripción guía: ◦ Proporcionar marcos de referencia que permita identificar con mayor facilidad los conocimientos y habilidades de cada nivel. ◦ Deben evitarse palabras ambiguas o con tecnicismos o “negativos” para la población. Etiquetas Origen Básico, competente, avanzado National Assessment of Educational Progress Limitado, básico, competente, Pruebas de rendimiento del Estado acelerado, avanzado de Ohio Por debajo del básico, básico, medio Exámenes de Calidad y Logro y avanzado Educativo (EXCALE) Nivel 1, 2, 3 Proyecto PISA (2000), Lectura
  • 35. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Pasos para el establecimiento de criterios: a. Definir cuántos niveles de logro se establecerán. b. Seleccionar los nombres o etiquetas de cada nivel. c. Elaborar la descripción guía. d. Desarrollar la descripción de cada nivel de logro. e. Evaluación del proceso de establecimiento de los niveles de logro.
  • 36. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Elaborar las descripciones guía: Refleja de manera global el desempeño de los estudiantes. Deben marcar diferencias claras de nivel a nivel. Etiqueta Descripción guía del nivel de logro Elemental El sustentante es capaz de identificar procedimientos, hechos y conceptos y puede establecer relaciones básicas entre esos elementos. Satisfactorio El sustentante es capaz de organizar su conocimiento (…) a partir de lo cual puede extraer inferencias o conclusiones. Sobresaliente El sustentante es capaz de generalizar y aplicar los procedimientos y conceptos en distintos contextos.
  • 37. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Pasos para el establecimiento de criterios: a. Definir cuántos niveles de logro se establecerán. b. Seleccionar los nombres o etiquetas de cada nivel. c. Elaborar la descripción guía. d. Desarrollar la descripción de cada nivel de logro. e. Evaluación del proceso de establecimiento de los niveles de logro.
  • 38. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Desarrollar la descripción de cada nivel de logro: Deben ser sucesivamente más complejas. Deben ser cualitativamente diferentes (no debe de ser sólo cambio en cantidad de capacidad de ejecución). Las descripciones deben ser positivas. Deben referirse a comportamientos y habilidades no al conocimiento de un tema (a lo que pueden hacer con ellos).
  • 39. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Pasos para el establecimiento de criterios: a. Definir cuántos niveles de logro se establecerán. b. Seleccionar los nombres o etiquetas de cada nivel. c. Elaborar la descripción guía. d. Desarrollar la descripción de cada nivel de logro. e. Evaluación del proceso de establecimiento de los niveles de logro.
  • 40. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Evaluación del proceso de establecimiento de niveles de logro: ¿Los niveles de logro son representativos del contenido y permiten interpretar las puntuaciones de un modo adecuado por el examen? ¿El número de categorías fue el apropiado? ¿Apoyan el proceso de toma de decisiones para la mejora del quehacer educativo? ¿Facilitan la comunicación efectiva de los resultados a las instituciones educativas, los alumnos y la sociedad en general?
  • 41. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Puntos de corte: versión numérica de las descripciones cualitativas de los niveles de logro. ◦ Reflejan un estándar de desempeño. ◦ Debe aplicarse de forma idéntica para toda la población.
  • 42. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Puntos de corte: método Medina (sencillo para exámenes en instituciones educativas; adecuación del método Angoff). Establece 3 puntos de corte. a. Enlistar reactivos y poner valor. b. Asignar probabilidad de respuesta. c. Docente asigna probabilidad de respuesta correcta. d. Ordenar de más a menos probabilidad. e. Obtención de media de probabilidades. f. Obtención de desviación estándar. g. -1 desv. Estándar, media, desv. Estándar.
  • 43. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Puntos de corte:
  • 44. Evaluación basada en la norma vs basada en criterio. Evaluación criterial: ◦ Puntos de corte:
  • 45. Evaluación basada en la norma vs basada en criterio. Evaluación normativa: ◦ A partir de la capacidad de los estudiantes yo los evalúo. ◦ Evaluación por “campana”. ◦ Evaluación por normalización de puntajes.
  • 46. Evaluación basada en la norma vs basada en criterio. Evaluación normativa: ◦ Evaluación por “campana”: El de mayor puntaje= 10. Veo cuál es el total de respuestas correctas y a ese máximo lo convierto a 100%. Examen de 45 reactivos; Juan es el más alto y contestó 39. En lugar de 45=100%, 39=100%.
  • 47. Evaluación basada en la norma vs basada en criterio. Evaluación normativa: ◦ Evaluación por normalización de puntajes: “Depende de la distribución”. Obtengo promedio. Obtengo desviación estándar. Fijo cuánto representa mi promedio (generalmente 8). Fijo cuánta distancia representa mi desviación estándar (generalmente 1 punto). Obtener puntuaciones Z de los estudiantes: Z=(x- media)/s. Asigno puntuaciones cambiando media y desviación por las establecidas y convirtiendo por: x=(Zs+media).
  • 48. Evaluación basada en la norma vs basada en criterio. Evaluación normativa: ◦ Evaluación por normalización de puntajes:
  • 49. Teórico Temario (tentativo) Generalidades sobre educación. ◦ Concepto de educación y pedagogía. ◦ Historia y teoría pedagógica. ◦ La didáctica general y diferencial. ◦ El diseño instruccional. La evaluación. ◦ La evaluación: constructo y tipología. ◦ La medida. ◦ Instrumentos de evaluación. ◦ Validación de instrumentos. ◦ Implicaciones de la evaluación. Práctico
  • 50. Implicaciones de la evaluación ¿Para qué tanto evaluar? ¿Para qué desgastarnos? ¿A quién le sirve la evaluación?
  • 51. Implicaciones de la evaluación Alumno: ◦ Retroalimenta sobre desempeño. ◦ ¿Qué estrategias de estudio usó para cada materia? ◦ Valora interés y capacidad del estudiante. ◦ ¿Qué tipo de contenidos se le dificultan? ◦ ¿Para qué sirve aprender?: para seguir aprendiendo. Implicaciones como “meta- aprendizaje”.
  • 52. Implicaciones de la evaluación Docente: ◦ Retroalimenta sobre su función docente. ◦ ¿Cuál es el fin del maestro? Volverse inútil para su alumnos. ◦ ¿En qué temas aprendieron? ¿En qué temas parecen no haber aprendido? ¿Qué estrategias empleé? ¿Qué tiempo le di? ◦ ¿Qué tema fue el más fácil/difícil para los estudiantes? ◦ ¿Hubo algún nivel taxonómico muy difícil/fácil?
  • 53. Implicaciones de la evaluación Docente: ◦ Relación dificultad y profundidad. Dificultad Profundidad
  • 54. Implicaciones de la evaluación Docente: ◦ Relación dificultad y nivel taxonómico. Dificultad Nivel taxonómico
  • 55. Implicaciones de la evaluación Docente: ◦ Ejemplo: Historia de México. Unidad Objetivo Nivel Dificultad Profundidad Modificación Modificación taxonómico (% del taxonomía profundidad bimestre) Unidad 1 Identificar 1 memoria 0.7 (la 20% 4 análisis 25% elementos de (cognitivo) mayoría origen de la contestó independencia bien) mexicana Unidad 2 Analizar los 4 análisis 0.3 (la 10% 2 15% hechos que (cognitivo) minoría comprensión permitieron la contestó) consumación de la independencia
  • 56. Implicaciones de la evaluación Sociedad: ◦ Acreditación y reconocimiento de los estudiantes: medida de control. ◦ Evaluación estandarizada: contraste entre métodos educativos, currícula, alineación a fines del sistema.