Este documento presenta pautas sobre la elaboración de preguntas o ítems para evaluaciones. Explica que una evaluación debe ser confiable, objetiva, de dificultad adecuada y tener buena discriminación. Además, describe diferentes tipos de competencias, como saber, saber hacer y saber ser. Finalmente, detalla aspectos a considerar para la elaboración de ítems como la comprensibilidad del texto y el formato de las preguntas.

1. Pautas en la Elaboración de Preguntas o Ítems PS: PRUEBAS SABER; NEE: NUEVO EXAMEN DE ESTADO; ECAES: EXÁMENES DE ESTADO DE CALIDAD DE EDUCACIÓN SUPERIOR; ECPA: EXÁMENES COMPETENCIAS PEDAGOGICO-ACADÉMICAS Y EPP: EXÁMENES PERIÓDICOS PROFESIONALES. OSCAR ALBERTO LOPEZ OSPINA Licenciado en Educación Geografía Historia Universidad de Antioquia Profesor Lecto escritura Corporación Universitaria Lasallista Correo: yogylopez@gmail.com

2. Lee y conducirás, no leas y serás conducido Santa Teresa de Jesús La lectura hace al hombre completo; la conversación lo hace ágil, el escribir lo hace preciso Francis Bacon Dominar el instrumento, como también el significado, significa dominar el proceso, la operación Lev. S. Vigotskij

4. QUÉ, CÓMO, PARA QUÉ Y A QUIÉN EVALUAMOS?

5. PRIMERA PERSPECTIVA DE LA EVALUACIÓN Evaluar es la oportunidad de parar y afianzar, aprender del pasado y mejorar el futuro Evaluar es poder saber qué es lo necesario que se debe enseñar para poder aprender. Evaluar es cerrar ciclos para abrir otros Evaluar es garantizar la calidad del aprendizaje Evaluar es una estrategia para aprender

6. Los procesos de evaluación, son absolutamente necesarios para comprobar la validez de las estrategias metodológicas utilizadas, y el aprendizaje realizado por los estudiantes. Una evaluación debe poseer parámetros de: CONFIABILIDAD, OBJETIVIDAD, DIFICULTAD Y DISCRIMINACIÓN.

8. PRIMERA PERSPECTIVA DE LA EVALUACIÓN Evaluar es la oportunidad de parar y afianzar, aprender del pasado y mejorar el futuro Evaluar es poder saber qué es lo necesario que se debe enseñar para poder aprender. Evaluar es cerrar ciclos para abrir otros Evaluar es garantizar la calidad del aprendizaje Evaluar es una estrategia para aprender

10. COMPETENCIAS Y DESEMPEÑOS

11. SABER SABER CONCEPTUAL SABER APRENDER SABER PROCEDIMENTAL SABER METACOGNITIVO COMPETENCIA SABER HACER SABER ACTITUDINAL SABER SER COMPETENCIAS

12. Competencia universal: no es distintiva. Todos en el mismo nivel (mismo currículo, mismas condiciones) Competencia contextual: si depende del patrimonio social es distintiva y es facultativa, diferencia de niveles

13. LOS ESTANDARES BASICOS Se entiende como el parámetro de lo que todo niño, niña y joven debe saber; establece una situación deseada en cuanto a lo que se espera que un estudiante debe saber y así, determina que tan cerca se está de alcanzar la calidad establecida. El estándar permite trazar los planes de mejoramiento, para fortalecer las metas y hacer explícitos los procesos.

14. LOS ESTANDARES BASICOS Son guía para: El Diseño Curricular y trabajo en el aula Producción de textos y apoyo educativo Diseño de las practicas evaluativas dentro de la institución. Formulación de programas y proyectos, para los docentes. Son criterios comunes para las evaluaciones externas.

15. El SUJETO DE HOY De conocimiento Con autoconciencia problemática, el mapa de referencia de su identidad ya no es uno solo, los referentes de sus modos de pertenencia son múltiples, y, por tanto, se identifica desde diferentes ámbitos, con diferentes espacios, oficios y roles. Capacidad reflexionar sobre su saber . Autoconstituido por su propia capacidad de pensar y de razonar

16. ¿DONDE ESTA EL SABER? Saberes fuera de la escuela y los libros Descentramiento Eliminación de fronteras entre los conocimientos académicos del saber común Diseminación

17. ¿DONDE ESTA EL SABER? Saberes no legítimos socialmente de lugares y tiempos des-localización y des-temporalización. Saber en la articulación de conocimientos especializados con aquellos otros que provienen de la experiencia social y de las memorias colectivas.

18. Competencia es un “saber hacer en contexto”, es decir, el conjunto de acciones que un estudiante realiza en un contexto particular y que cumplen con las exigencias específica del mismo.

19. La evolutividad de las capacidades COMPARAR ANALIZAR CATEGORIZAR OBSERVAR tiempo

20. La transformabilidad de las capacidades COMPARAR ANALIZAR DISTINGUIR DE LO ESENCIAL LO ACCESORIO CATEGORIZAR OBSERVAR tiempo

22. Las categorías de las capacidades Los saber-reproducir(redecir o rehacer)memorizar, restituir, recitar, copiar... Los saber-haceridentificar, comparar, combinar, resolver, conducir... Los saber-serapreciar, respetar, consultar espontáneamente, utilizar en todacircunstancia...

23. Los campos de las capacidades El campo cognitivoanalizar, resumir, distinguirloesencial de loaccesorio,… El campo psyco-motorusar un latigo, decifrarmurmullos,… El campo socio-afectivotrabajar en colaboración, cambiar de parecer, estaratento a los otros,…

24. Las características de unacapacidad Una capacidad es: transversal : raramentedisciplinaria evolutiva : ella se desarrolla a lo largo de la vida combinable, transformable : ella se combina con otras no evaluable: si no tienecontenido

25. ¿Cómo definir una competencia ? Es la posibilidad de movilizar un conjuntointegrado de recursos (saberes, saber-hacer y saber-ser) para resolverunasituación-problema

27. Tiene un carácterfinalizado

28. Estáligada a unafamilia de situaciones

29. Es frecuentementedisciplinaria

32. Distinguir un elemento simple y uno compuesto

33. Identificar las sales minerales con ayuda de un reactivo

34. Estar consciente de la importancia del equilibrio biológico para la vida de los seres vivos...

35. ..a una competencia…

37. ASPECTOS A EVALUAR EN LOS DIFERENTES CONTEXTOS De acuerdo con la intencionalidad formativa y los niveles de complejidad, se eligen los contextos en los cuales adquiere significación el desempeño de la persona que se está formando. En cada contexto se pueden evaluar diferentes aspectos: Social, cultural, cognitivo, ético, estético, físico

41. RELACION Objetivo: Propósito general del proceso educativo Indicador de Logro: Comportamientos, manifestaciones Estándares: Metas específicas que se deben alcanzar en la formación Competencias

42. ¿Cómo se define una situación? La situación en este contexto se entiende en el sentido de« situación-problema», es decir,..un conjunto contextualizado de informaciones a articular en vistade una tarea determinada. Entonces, un caso, un problema por resolver, un projecto, una creación...

43. Las características de una situación • significativa • con una función operacional clara (el « porqué») • compleja • del nivel correcto • basada en documentos auténticos • que « muestrea » los principales recursos a movilizar • con tres ocasiones independientes de mostrar su competencia

45. si es un desafio

46. si es útil para hacer avanzar al alumno

47. si permite darle sentido a los saberes

48. si permite explorar los campos de aplicación de saberes

49. si interpela la construcción de saberes

51. INTERPRETATIVAInterpretación de situaciones Acciones de tipo interpretativo: Comprenden las acciones orientadas a encontrar el sentido de un texto, de una proposición, de un problema, de una gráfica, de un mapa, de un esquema, de los argumentos en pro o en contra de una teoría o de una propuesta, entre otras; es decir, se funda la reconstrucción local y global de un texto.

52. Del análisis de la gráfica (de acuerdo con lo planteado) se puede deducir que ... Con base en lo anterior podemos decir (afirmar) que De acuerdo con la anterior la gráfica (la opción) que mejor representa la situación planteada es ... Del texto se infiere que... Lo anterior se interpreta como.... Lo anterior se puede entender como De los fragmentos anteriores de ….., podemos concluir que..... de acuerdo con lo planteado se puede deducir que ...

53. Se comprende que Se define como Se deduce que podemos concluir que significa que se dice que A partir de esta afirmación se deduce que es necesario ..... Lo anterior se puede entender como.... el texto significa que:

54. ARGUMENTATIVAEstablecimiento de condiciones(RAZÓN, CAUSA O POR QUE) Acciones de tipo argumentativo: Involucran todas aquellas acciones que tienen como fin dar razón de una afirmación y que se expresan en la explicitación de los por qué de una proposición, en la articulación de conceptos y teorías con el ánimo de justificar una afirmación, en la demostración matemática, en la conexión de reconstrucciones parciales de un texto que fundamenten la reconstrucción global, en la organización de premisas para sustentar una conclusión, en el establecimiento de relaciones causales, etc.

55. Se puede plantear que la condición (que la razón) Si..... entonces Lo anterior representa ventajas porque Lo anterior se debe a que ... Una explicación a este hecho es... No (si) pues (puesto que) (no porque...) no podría considerarse (no es causa, no es condición),

56. una razón que explica esta afirmación es Una explicación es Porque Se argumenta con Lo anterior con base en no podría considerarse (no es causa, no es condición), se puede concluir que

57. PROPOSITIVAPlanteamiento de Hipótesis y regularidades(¿Que pasaría si?) Acciones de tipo propositivo: Hacen referencia a las acciones de generación de hipótesis, de resolución de problemas, de construcción de mundos posibles a nivel literario, de establecimiento de regularidades y generalizaciones, de proposición de alternativas de solución a conflictos sociales, de elaboración de alternativas de explicación a un evento, a un conjunto de eventos, o a una confrontación de perspectivas presentadas en un texto, etc.

58. Con base en lo anterior podría afirmarse que probablemente ... Cuando.... Lo anterior se explica (sugiere que probablemente) Del anterior experimento se infiere que Según lo anterior es de esperarse que ... Si..... es probable que ... Si.... Podría ser que Una posición contraria (semejante) (intermedia) (mediadora) es podría esperarse que, la nueva frecuencia es.... se ve favorecida en mayor medida serían..... alternativa para el hombre sería.....

59. Tipos o formatos de ítems ICFES-MEN Ítems de selección Múltiple con Única Respuesta Constan de un enunciado y cuatroopciones (A, B, C, D,). Sólo 1 de estasopcionesrespondeadecuadamente la pregunta. Usteddebeseleccionaruna de ellas y marcarla en suHoja de Respuestasrellenando el óvalocorrespondiente.

60. Tipos o formatos de ítems ICFES-MEN PREGUNTAS DE SELECCIÓN MÚLTIPLE CON MÚLTIPLE RESPUESTA Este tipo de preguntas consta de un enunciado y cuatro opciones de respuesta (1,2,3,4). Sólo dos de esas opciones responden correctamente a la pregunta. El estudiante debe responder este tipo de preguntas en su hoja de respuestas de acuerdo con el siguiente cuadro: Si 1 y 2 son correctas, rellene el óvalo (A) Si 2 y 3 son correctas, rellene el óvalo (B)Si 3 y 4 son correctas, rellene el óvalo (C)Si 2 y 4 son correctas, rellene el óvalo (D)

61. COMPRENSIBILIDAD DEL TEXTO Cuando hablamos de la comprensibilidad del texto del ítem, esbozamos la posibilidad de estudiar la situación particular de la prueba. Esta comprensibilidad toma en consideración los conceptos, categorías, hipótesis e ideas de predictibilidad y contextualización que se aplican a la pregunta teniendo en cuenta: Las características gráficas, de diagramación y la transcripción de textos Las instrucciones, introducción o explicación de las pruebas y de los ítems, de modo que resulten claros, concisos y no permitan dudas o ambigüedades El tipo de texto de material; por ejemplo un articulo de un autor, una frase, una teoría, un principio o una definición La significatividad de los materiales que se utilicen en función del marco disciplinar, el grado, la asignatura, el área, la carrera y del nivel de información y conceptualización que se supone maneja el estudiante La extensión de los enunciados y del ítem en general.

63. Comprensión. Interpretar, traducir de un medio a otro; describir con las palabras de uno mismo.

64. Aplicación. Resolver problemas, aplicar información para producir algún resultado.

65. Análisis. Subdividir algo para mostrar cómo se reúnen sus partes, encontrar la estructura subyacente a una comunicación o mensaje, identificar motivos.

66. Síntesis. Crear productos únicos y originales ya sea en forma verbal o como objeto físico.

68. Definición exacta (rigurosa) de la variable o concepto (competencia o contenido) a evaluar. Definir con rigor se refiere a: dejar claros los objetivos , delimitar el marco teórico, las posibles conexiones con otras variables y teorías, antecedentes, predisposiciones y estándares.

69. Elaboración de los ítems para medir la variable. Confeccionar buenos ítems es como escribir novelas; si hubiera reglas de aplicación automática, todos seríamos excelentes novelistas. No hay “recetarios”.

71. Se debe tener presente el lenguaje a utilizar, esto implica que: el problema debe emplearse claramente en el enunciado; el vocabulario con el que se expresan las partes del enunciado (oraciones) deben ser concisas, sin extravagancias y sin excesos; debe darse suficiente información pero midiendo el tiempo y la longitud de la prueba; el vocabulario debe ser apropiado con el grado, carrera o profesión del examen; puede emplearse vocabulario técnico y especializado dependiendo el área, tema, campo y demás referentes que indique el ICFES; deben tenerse presentes condiciones de edad, región, grado, nivel y carrera que se este terminando; y evitar las estructuras gramaticales confusas y excesivamente complejas; se pueden usar frases cortas y ojalá en forma proposicional.

73. Evitar el empleo de la negación en el encabezado del ítem.

74. Evitar el empleo del “ninguna de la anteriores” o “todas las anteriores”, el estudiante tiende a confundirse y decide por la adivinación. En ocasiones este error sucede porque el/la profesor/a no encuentra otra alternativa.

75. Las respuestas correctas deben estar distribuidas aleatoriamente dentro de una prueba.

76. No dar pautas que permitan deducir de la premisa, sin mayor esfuerzo, la respuesta correcta.

78. Evitar que la respuesta correcta sea de mayor longitud que las demás alternativas.

79. Utilizar material novedoso (redacción) al formular ítems o problemas que midan comprensión, argumentación, aplicación y contenidos.

80. Evitar las preguntas con expresiones cuál, qué, cuándo, cuánto,...

81. Se debe guardar confidencialidad y reserva de las preguntas elaboradas.

83. propósitos

84. causas

85. efectos

86. asociación

87. reconocimientos de errores

88. diferencias

89. identificación del errores

90. evaluaciones

91. similitudes

92. ordenamiento

94. Ventajas de los ítems de opciones múltiples Los exámenes POM (Preguntas de Opciones Múltiples) son apropiados para usarse en muchas áreas diferentes del conocimiento y permiten medir una gran variedad de objetivos educacionales. Se adaptan para evaluar niveles de aprendizaje que van desde el simple recuerdo de hechos o cosas (conocimiento), hasta los niveles cognoscitivos más complejos, tales como la habilidad para:

95. Comprender conceptos y principios Aplicarlos a nuevas situaciones Discriminar entre hechos y opiniones Interpretar relaciones del tipo causa - efecto Interpretar cartas, tablas, gráficos y curvas Juzgar la relevancia de la información Hacer inferencias a partir del suministro de información básica Resolver problemas Analizar fenómenos

96. LOS DISTRACTORES EN LAS PRUEBAS ICFES Y SU USO Un ítem típico consiste de dos partes básicas: un problema o texto de pregunta (tallo) y una lista de soluciones sugeridas (alternativas u opciones). El tallo puede ser de la forma de una pregunta o una frase incompleta, mientras que la lista de alternativas contiene una correcta o la mejor alternativa (respuesta) y un número de incorrectas o inferiores alternativas (distractores).

97. El propósito de los distractores es aparecer como soluciones plausibles al problema para aquellos estudiantes que no alcanzan el objetivo a medir o evaluar por el ítem.

98. Sus características predominantes son Restringe adecuadamente al área de contenidos específicos a evaluar en cada ítem No utiliza ítems triviales, ambiguos o gramáticamente incorrectos Redacta el tallo del ítem en forma positiva, evitando los negativos Proporciona alternativas plausibles, de similar longitud y estilo en cada ítem Asegura que cada ítem posea una inequívoca “mejor” respuesta para aquellos alumnos que alcanzan el objetivo

99. Utiliza como distractores aquellas respuestas que habitualmente dan los alumnos que no están suficientemente preparados, tales como: errores conceptuales, fallas de procedimiento, omisión de pasos, equivocaciones comunes, etc.

100. Claves para acertar en las opciones de respuesta Descubrir la base cada ítem que es un problema específico enunciado claramente en el tallo. El tallo es la base del ítem. Luego de leer el tallo, el estudiante debe conocer exactamente cuál es el problema y qué se espera que él resuelva respecto de éste. Si el estudiante puede inferir de qué se trata el problema, el ítem podrá medir la habilidad de aquél para obtener inferencias a partir de descripciones. De allí surge, hacia donde apunta la proposición o pregunta, si es interpretativa, argumentativa o propositiva. Descubrir las palabras redundantes o frases en cada una de las alternativas, para disminuir el trabajo de lectura y definir más claramente el problema en el texto de la pregunta.

101. La opción correcta siempre está acompañada por distractores plausibles. La opción correcta debe estar repartida entre las distintas ubicaciones. Es de forma aleatoria y no tiene patrones de ubicación. Por lo tanto, no la busque así. Las opciones deben presentarse usualmente en vertical

102. El conjunto de opciones de cada ítem aparece estructurado. Las opciones son autónomas entre sí, sin solaparse ni referirse unas a otras. Por ello, no se encuentran las opciones «Todas las anteriores» y «Ninguna de las anteriores». Ninguna opción se destaca del resto ni en contenido ni en apariencia. La mayor parte de los textos se presenta la pregunta en forma positiva (en general).

103. Cuando existen los “negativos”, Ítems presentados con formato de negación son aquellos en los cuales el estudiante es inducido a identificar la excepción, la respuesta incorrecta o, la respuesta menos correcta. Tales ítems son usados con demasiada frecuencia, debido a que son relativamente fáciles de construir. Además, los negativos tienden a confundir a los evaluados. Descubra las alternativas mutuamente excluyentes. Las alternativas que se superponen crean situaciones indeseables. Éstas son fácilmente identificadas como distractores. Por otro lado, si una superposición incluye la pretendida respuesta, puede haber más que una alternativa que pueda ser defendida con razón, si fuese la respuesta correcta. Aquí aparecen opciones de respuestas como

104. Las sinónimas entre si son aquellas que expresan una misma idea pero con palabras diferentes y cuya mayor diferencia es el uso de conceptos en contextos, con profundidad, generalidad o particularidad. Las antónimas entre sí, la una excluye a la otra por negación o contradicción Las generales y particulares, es decir; aquellas que responden al todo y las que responden a solo una parte del texto. La guía de cómo responder se encuentra en el tallo o pregunta.

105. Las parcialmente ciertas al comienzo de la respuesta pero en su redacción al final hay contradicción de lo afirmado anteriormente Las que se encuentran dentro del texto, ya sea textual o por inferencias y que dicen la verdad pero no son correctas, es decir, su afirmación es válida pero no correcta, ya que no responden a la pregunta. Las falsas, que no responden a nada, afirman mentiras,

106. Las contradictorias, es decir, contradicen las afirmaciones o tesis del texto Las que afirman y dicen algo cierto pero que no están en el texto, ni textual ni por inferencia, pero solo distraen al lector.

107. EVALUACION TIPO ICFES “La ilustración es la salida del hombre de su condición de menor edad de la cual él mismo es culpable. La minoría de edad es la incapacidad de servirse de su propio entendimiento. Uno mismo es culpable de esta minoría de edad, cuando la causa de ella no radica en una falta de entendimiento, sino en la decisión y el valor para servirse de él con independencia, sin la conducción de otro. ¡Ten valor de servirte de tu propio entendimiento! Es pues la divisa de la Ilustración. La pereza y la cobardía son las causas para que la mayoría de los hombres permanezcan como menores de edad a lo largo de sus vidas. Por esta razón, resulta fácil para otros erigirse en tutores, en conductores de los menores de edad.”

108. EVALUACION TIPO ICFES “La ilustración es la salida del hombre de su condición de menor edad de la cual él mismo es culpable. La minoría de edad es la incapacidad de servirse de su propio entendimiento. Uno mismo es culpable de esta minoría de edad, cuando la causa de ella no radica en una falta de entendimiento, sino en la decisión y el valor para servirse de él con independencia, sin la conducción de otro. ¡Ten valor de servirte de tu propio entendimiento! Es pues la divisa de la Ilustración. La pereza y la cobardía son las causas para que la mayoría de los hombres permanezcan como menores de edad a lo largo de sus vidas. Por esta razón, resulta fácil para otros erigirse en tutores, en conductores de los menores de edad.”

109. ¡Es tan cómodo ser menor de edad! Si tengo un libro que piensa por mí, un pastor que reemplaza mi conciencia, un médico que dictamina acerca de mi dieta, y así sucesivamente, no necesitaré esforzarme. Si sólo debo pagar, no tengo necesidad de pensar: otro asumirá por mi tan fastidiosa tarea. La mayoría de los hombres tienen por muy peligroso ese paso a la mayoría de edad. En cambio, los tutores se han cuidado, muy amablemente, de asumir semejante control. Después de haber atontado a su ganado doméstico y de haberle impedido dar un solo paso por fuera de los indicados, se les muestra el riesgo que corren si intentan caminar a solas. Pero ese riesgo no es tan grande, pues tras algunas caídas, habrán aprendido a caminar.” Emmanuel Kant

110. El texto habla básicamente de las causas y consecuencias de la Ilustración – distractor símil de D- las dificultades para salir de la minoría de edad – verdadera pero incompleta- las ventajas y desventajas de la Ilustración – falsa- las causas y consecuencias de la minoría de edad – correcta-

111. Según el texto la ilustración puede definirse como la minoría de edad – falsa- falta de independencia –contraria al texto- capacidad de servirse del propio entendimiento –correcta - falta de libertad – símil de B y contraria al texto-

112. Uno mismo es culpable de la minoría de edad cuando le falta entendimiento e independencia –falsa- se erige en tutor de los demás -idea del texto pero falsa- se sirve de su propio entendimiento –idea del texto pero contraria a la pregunta- le falta decisión para servirse de su entendimiento –correcta-