Timss 2015 elaboracion items_1

2,486 views
2,356 views

Published on

0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,486
On SlideShare
0
From Embeds
0
Number of Embeds
100
Actions
Shares
0
Downloads
96
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide
  • Para los países que se evaluaron en 2015 será la sexta evaluación TIMSS en 20 años
  • - ¿Qué debería saber el estudiante sobre este tema en particular? - ¿Qué debería ser capaz de realizar? - ¿Qué tareas permiten evaluar mejor este conocimiento y habilidad?
  • Con el fin de contribuir a una evaluación global del conocimiento lo ideal es que cada ítem pueda responderse correctamente por intervalo de entre 30% y 70% de los estudiantes.
  • Las primeras permite una evaluación estadística rápida mientras las segundas permiten ganar información más en profundidad. La elección de uno u otro formato depende del proceso cognitivo a evaluar y de cuál de los dos tipos permite mejor al alumno mostrar su conocimiento y destreza.
  • Para los países que se evaluaron en 2015 será la sexta evaluación TIMSS en 20 años
  • Normalmente 1 punto. P=2piR A=pi R^2
  • Este tipo de pregunta es más apropiado como ítem de respuesta abierta.
  • Qué son? Por qué se usan ?
  • Para los países que se evaluaron en 2015 será la sexta evaluación TIMSS en 20 años
  • Explica en el caso que valga un punto
  • Revisión de expertos. Se realizan estudios pilotos. Sugerencias de Países participantes. Modificación de items.
  • Timss 2015 elaboracion items_1

    1. 1. Elaboración de ítems Hacia TIMSS 2015 Seminario, Comillas, Septiembre 2013 Jose Diego diegojm@unican.es
    2. 2. Contenidos • Aspectos generales en la elaboración de los ítems • Tipos de Ítems - Ítems de respuesta múltiple - Ítems de respuesta elaborada • Pasos en el diseño de estos ítems
    3. 3. Aspectos principales en la elaboración de los ítems 1. Elaboración del ítem respecto al contenido fijado 2. Elaboración de una guía de categorías de respuesta para dicho ítem (Mislevy, Almond, & Lukas, 2003) Tarea Diseña ítems para el contenido 1.1 Números naturales 1.1.6 Identificación números pares e impares que cubran cualquiera de los tres dominios cognitivos (conocer, aplicar y razonar). Ítem Señala los números pares Categorías de respuesta Dominio Cognitivo Conocer
    4. 4. Consideraciones generales en el diseño de ítems ítems respuesta múltiple 1 minuto. ítems respuesta elaborada 1-3 minutos. ítems adecuados a edades evaluadas. texto lo más corto posible y vocabulario sencillo. situaciones de la vida real próxima al alumno. (Dolan & Hall, 2007) evitar ítems muy difíciles y muy fáciles. deben poder responder correctamente entre 30% y 70% de los estudiantes. establecer equivalencia conceptual y lingüística. evitar términos contextualizados con difícil traducción. evitar sesgos respecto a la variable sexo. (Osborn, 2002) Tiempo: Evitar sesgos de contexto: Adecuación al contexto evaluado: Dificultad:
    5. 5. Tipos de Ítems que se pueden elaborar Ítems de respuesta múltiple Ítems de respuesta elaborada Tengo 37 euros. ¿Cuánto dinero me queda si me compro una mochila de 15 euros y una regla de 5 euros? Escribe todos los pasos. Un enunciado que introduce la información contextual del ítem Una pregunta que ha de responder el estudiante Cuatro opciones de respuesta a), b), c) y d) El estudiante ha de elaborar la respuesta. Se suele pedir un resultado numérico, una breve explicación o descripción en una o dos frases, completar una tabla o hacer un esquema.
    6. 6. Ítems de respuesta múltiple • Diseño de enunciado y pregunta • Diseño de respuestas • Uso de distractores pausibles • Ejemplo items
    7. 7. Diseño de enunciado y pregunta • Información suficiente, clara y entendible. Se debe poder responder sin mirar las respuestas propuestas. • Evitar el diseño de enunciados negativos que contenga palabras como NO, EXCEPTO, etc. • Diseñar ítems de respuesta única. • Evitar ítems en los que un método incorrecto puede llevar a una respuesta correcta (ej. calcular longitud circunferencia de radio 2 -> misma respuesta que calcular área círculo)
    8. 8. Diseño de las respuestas • Cuatro respuestas posibles y sólo una correcta, todas independientes (ninguna respuesta subconjunto de otras, no incluir pares de respuesta). • Similar estructura gramatical en enunciado y opciones de respuesta. Una gramática inconsistente puede dar pistas sobre la respuesta correcta o eliminar directamente las opciones incorrectas. • Todas las opciones de respuesta parecidas en longitud y complejidad. Si no pueden ser de la misma longitud, ordenarlas de más cortas a más largas. Evitar incluir más detalles en la respuesta correcta haciendo que resalte. • No usar como opciones de respuesta “ninguno de los anteriores” o “todas las respuestas”... etc. • Evitar que se deduzca la respuesta correcta de las opciones propuestas. (Ej. Al resolver una ecuación sustituyendo las posibles soluciones).
    9. 9. Distractores Plausibles • Usar distractores (opciones de respuesta incorrectas) basados en errores comunes del estudiante: - reduce la probabilidad del estudiante de llegar a una respuesta correcta por eliminación - ayuda a detectar en diferentes grupos de estudiantes errores tipo que puede ayudar a la mejora de la enseñanza. • Si no se pueden utilizar distractores plausibles, utilizar respuestas razonables que no conduzcan directamente a la solución. No utilizar, por ejemplo, respuestas que no tengan relación con el tema.
    10. 10. Ejemplo
    11. 11. Ítems de respuesta elaborada • Diseño de la pregunta • Puntuación • Codificación de respuestas • Ejemplo items
    12. 12. Diseño de la pregunta • Ítems en lenguaje asequible que no requieran explicación. • Ítems clarificadores, indicando el nivel de detalle de la respuesta esperada. (Ej. escribir ‘Da tres razones…’ en vez de ‘Da algunas razones…’ ) • Seleccionar situaciones o problemas de la vida real que se adapten a la edad de los estudiantes. • Evitar preguntas de respuesta abierta o libre difíciles de evaluar. • Tiempo de resolución inferior a 3 minutos. Ítem Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos.
    13. 13. Puntuación Los ítems pueden valorarse con 1 o 2 puntos: ● Ítems de 1 punto: correctos (1 punto) / incorrectos (0 puntos) ● Ítems de 2 puntos: - Completamente correctos (2 puntos) - perfecto entendimiento de los conceptos y procedimientos necesarios en la tarea - Parcialmente correctos (1 punto) - se realizan algunos partes de la tarea correctamente pero está incompleta - respuesta correcta pero explicación incompleta - respuesta incorrecta pero desarrollo o explicación correcta que sugiere un entendimiento de los conceptos - Incorrectos (0 puntos) - respuesta incorrecta, inadecuada, incoherente o irrelevante.
    14. 14. Codificación de respuestas Código Respuesta Ítem: ___________(valor 2 puntos) Respuesta Correcta 20 Escribir posible respuesta correcta (método 1) 21 Escribir posible respuesta correcta (método 2) Respuesta Parcialmente Correcta 10 Escribir posible respuesta parcialmente incorrecta 11 Escribir posible respuesta parcialmente incorrecta con método diferente Respuesta Incorrecta 70 Respuesta incorrecta, error común 1 71 Respuesta incorrecta, error común 2 79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea) Sin Respuesta 99 En blanco Primer dígito: Grado de validez de la respuesta Segundo dígito: Clasificación del método/procedimiento utilizado (propósito de diagnóstico) Después de diseñar el ítem se ha de escribir la respuesta apropiada en términos del conocimiento, lenguaje y habilidades de un estudiante de nivel alto. Se han de identificar métodos comunes en la resolución así como errores tipo.
    15. 15. Ejemplo Si = 12 ¿cuánto vale 2 x - 3? Escribe todos los pasos. Código Respuesta Ítem: ___________(valor 2 puntos) Respuesta Correcta 20 21, con expresión 2 × 12 – 3 = 21 Respuesta Parcialmente Correcta 10 21, sin explicar la respuesta 11 expresión 2 × 12 – 3 con respuesta equivocada Respuesta Incorrecta 70 Cualquier otra respuesta 79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea) Sin Respuesta 99 En blanco
    16. 16. Ejemplo Luis tiene 10 años. María tiene 15 años. ¿Cuántos años más tiene María que Luis? Escribe las operaciones. Código Respuesta Ítem: ___________(valor 2 puntos) Respuesta Correcta 20 5, con expresión 15-10 = 5 21 5, con expresión 10+5 = 15 22 5, con expresión 15-5 = 10 Respuesta Parcialmente Correcta 10 5, sin escribir operaciones 11 expresión 15-10 = con respuesta equivocada Respuesta Incorrecta 70 Cualquier otra respuesta 79 Incorrecta (incluye respuestas tachadas, borradas, ilegibles o no relacionadas con la tarea) Sin Respuesta 99 En blanco
    17. 17. Revisión ítems respuesta múltiple La primera revisión de los ítems se llevará a cabo por el equipo de elaboración; un grupo de expertos realizará una segunda revisión. Para la revisión de los ítems de respuesta múltiple se considerará la siguiente lista. Características del ítem Si No ¿Son correctas las matemáticas utilizadas? ¿Resulta la tarea entendible para el estudiante? ¿Está el ítem libre de sesgos culturales, geográficos o de sexo? ¿Resultará el ítem fácil de traducir a otras lenguas? ¿Se ha evitado el uso de ítems orientados negativamente? ¿El ítem tiene una única respuesta? ¿Son los distractores plausibles y claramente incorrectos? ¿Siguen las respuestas propuestas una estructura similar? ¿Se repiten las mismas palabras del enunciado en la respuestas? ¿Se realizó una clasificación correcta del contenido? ¿Se realizó una clasificación correcta de la dimensión cognitiva?
    18. 18. Revisión ítems respuesta elaborada Características del ítem Si No ¿Son correctas las matemáticas utilizadas? ¿Resulta la tarea entendible para el estudiante? ¿Está el ítem libre de sesgos culturales, geográficos o de sexo? ¿Resultará el ítem fácil de traducir a otras lenguas? ¿Contiene el ítem algún factor con el que estudiante pueda no estar familiarizado y dificulte la resolución? ¿Es razonable pensar que el ítem se puede responder correctamente? ¿Puede resolverse la tarea en un tiempo razonable? ¿Las guías de puntuación tienen las categorías apropiadas de respuesta correcta e incorrecta? ¿Las guías de puntuación tienen las codificaciones numéricas apropiadas ? ¿Se realizó una clasificación correcta del contenido? ¿Se realizó una clasificación correcta de la dimensión cognitiva?
    19. 19. Documentos de referencia - Elaboración Ítems TIMSS 2015 - Ítems TIMSS 2007 - Ítems TIMSS 1995-2003
    20. 20. ¡ Muchas Gracias !

    ×