Difusion Uso De Resultados Icfes 2010 03 12

SOBRE LA DIFUSIÓN Y EL USO DE RESULTADOS DE PRUEBAS
Felipe Martínez Rizo
Bogotá, marzo de 2010

Introducción
Las pruebas estandarizadas son instrumentos que se usan para valorar el nivel de aprendizaje que alcanzan grandes grupos de alumnos.
En AL y educación básica, ese tipo de pruebas comenzó a usarse a partir de 1990.
Hay pruebas nacionales e internacionales cuyos resultados se difunden ampliamente; si se usan bien, pueden ayudar a mejorar la educación, pero también pueden tener efectos negativos.
Presentaré usos adecuados o no de resultados de pruebas, justificando mis opiniones.

La combinación de las fallas técnicas y las de difusión

Evaluación del sistema y de individuos
Evaluar integralmente es muy complejo:
Un alumno: todo el currículo; lo cognitivo y no; al final del ciclo, al inicio… Sólo puede el maestro.
Un maestro: evidencias de todo su trabajo diario. Sólo puede el director o el supervisor.
Una escuela: evidencias de múltiples facetas de la calidad. Sólo puede hacerlo el supervisor.
No confundir dos tipos de evaluación:
Del sistema educativo como tal, con acercamientos en gran escala a cargo de órganos especializados;
De alumnos, maestros y escuelas, con enfoques intensivos por maestro, director, supervisor.

Sobre la evaluación del sistema
Las pruebas pueden servir para conocer:
El nivel medio de aprendizaje de un grupo;
Cómo se compara con otros (países, regiones…);
Como se distribuyen los resultados internamente;
Cuántos alumnos tiene cierto nivel;
Qué factores de la familia y/o la escuela se asocian con los resultados…
No todo lo anterior es igualmente útil

Sobre la evaluación del sistema
Diferentes formas de dar resultados:
Ordenamientos (rankings)
Porcentajes por nivel de rendimiento.
Relaciones:
Entre resultados y factores sociales
Entre resultados y factores escolares;
Entre factores sociales y escolares
Gradientes y perfiles escolares

Los ordenamientos y sus limitaciones
En todo ordenamiento hay alguien delante y detrás, y no siempre los primeros están bien y los últimos mal.
Por ello un ordenamiento sólo permite hacer juicios relativos, en términos de mejor o peor, que no es lo mismo que bueno o malo.
Si la distancia que separa un puntaje de otros es menor que el margen de error que tienen los resultados, la diferencia no es significativa.
La impresión de claridad de los ordenamientos simples es engañosa y hay que tener en cuenta las distancias que separan los resultados.

Medias de desempeño en la escala global de Ciencias, por país

Los niveles de desempeño y sus ventajas
Los niveles de desempeño permiten juicios en relación con los niveles deseables, en términos de adecuado o inadecuado, y no de mejor o peor. Su análisis permite identificar dos tipos de problemas:
Tener altas proporciones abajo del Nivel 2 implica que muchos jóvenes no están siendo preparados para una vida fructífera en la sociedad actual.
Tener pocos estudiantes en niveles altos (5-6) quiere decir que no se prepara a los mejores para que puedan ocupar puestos de alto nivel en el terreno científico, académico, gerencial…

% en cadanivel de rendimiento PISA 2006 Ciencias, países GIP y referentes

% en cadanivel de rendimiento PISA 2006 Países y regiones GIP

Nacional
Cursoscomunitarios
Nivelavanzado
Pordebajo del nivelbásico
Escuelasindígenas
Ruralespúblicas
Urbanaspúblicas
Urbanas privadas
Porcentajes de estudiantes
Excaleniveles de desempeño6º primaria, Español (2006).

Capital cultural escolar de los estudiantes
por entidad federativa

Relación entre CCE y aprendizaje: Ciencias Naturales, 3º de primaria

Condiciones de Infraestructura
Escolar por entidad

Relación entre IE y aprendizaje: Ciencias Naturales, 3º de primaria

La combinación de factores entorno-escuela
Relación IE-CCE por entidad y servicio

Perfil escolar, Colombia, PISA 2006

Perfil escolar, México, PISA 2006

Perfil escolar, Chile, PISA 2006

Sobre la evaluación de individuos
Las pruebas dan elementos sobre alumnos, maestros o escuelas, pero no bastan para evaluar íntegramente a individuos porque:
No pueden evaluar unos aspectos del currículo, incluidos los mas importantes;
No se pueden aplicar con la frecuencia que sería necesaria para dar retroalimentación oportuna;
Difícilmente pueden tener en cuenta elementos del entorno familiar-escolar para contextualizar.
Una evaluación de individuos que no tome en cuenta lo anterior no es adecuada

Uso de resultados de pruebas para evaluar alumnos individuales
El trabajo del maestro es insustituible para que los alumnos aprendan y para evaluar si ello ocurre. Evaluar en integralmente es complejo; debe incluir:
Todas las áreas del currículo;
Todos los niveles cognitivos;
El avance a lo largo del ciclo escolar;
Las circunstancias personales de los alumnos, a tener en cuenta al tomar decisiones importantes para el futuro de cada uno.

Las pruebas como complemento, no como la evaluación principal
¿Puede evaluarse con validez y confiabilidad comparables con pruebas en gran escala?
Con la finura que puede alcanzar la evaluación a cargo del maestro NO.
Ninguna decisión individual importante debería basarse sólo en pruebas;
En cambio, las pruebas pueden dar algo que los maestros no pueden: información comparable sobre conjuntos grandes de alumnos.
Indispensables para evaluar el sistema como tal y complementan la evaluación del maestro

Uso de pruebas para evaluar maestros individuales
Las pruebas:
Sólo cubren unos aspectos del currículo y se tiende a orientar la enseñanza sólo hacia ellos.
No controlan bien factores del contexto, lo que llevaría a comparaciones injustas.
Ignoran efecto acumulado de varios maestros.
Un impacto fuerte produce distorsiones graves

Uso de resultados de pruebas para evaluar escuelas
El aprendizaje de los alumnos es dimensión central de la calidad de una escuela, pero no la única.
Se debe considerar el contexto de cada escuela, así como sus recursos y procesos.
La precisión de datos no permite ordenamientos finos de escuelas o alumnos.
El error de medición aumenta si se compara un año con otro, por lo que los ordenamientos son muy inconsistentes a lo largo del tiempo.
Un impacto fuerte produce distorsiones graves

Dos escuelas imaginarias
A: admite sólo a los mejores aspirantes, por lo que buena parte de sus alumnos proviene de medios favorecidos.
Es muy exigente por lo que los alumnos de bajo rendimiento no pueden permanecer en ella, sino que la abandonan.
B: admite sin selección a todo aspirante, por lo que muchos alumnos son de origen humilde.
Trata de retener hasta el fin a todos los aceptados y lo logra en gran parte, aunque no todos logren plenamente los objetivos de aprendizaje.
En las pruebas los alumnos de A sacan resultados más altos que los de B. ¿Es mejor escuela A que B?
Los resultados de A pueden deberse a sus políticas selectivas y no a un funcionamiento mejor. Los de B se pueden deber a un excelente funcionamiento, focalizado en la retención, aunque los resultados promedio sean más bajos.

¿Qué es una buena escuela?
Una que tiene:
Buenas instalaciones;
Funcionamiento regular;
Buena práctica docente;
Director con liderazgo;
Padres participativos…
Aquella cuyos alumnos sacan altos puntajes, en promedio, en pruebas de rendimiento como las de SABER
Las dos formas de definir qué es una buena escuela parecen adecuadas y, en principio, se esperaría que se presentaran en forma conjunta.
El que tal coincidencia no siempre se presente se explica seguramente por diferencias del alumnado en lo que se refiere al contexto familiar y social, cuya importancia es bien conocida.

Una precisión importante
Algunas personas dicen que es injusto medir con la misma vara alumnos de diferente contexto social.
Lo injusto no es usar la misma vara, sino culpar sin más a los evaluados por los resultados obtenidos.
También la estatura de las personas depende en parte de factores genéticos, pero en parte de otros debidos al entorno: nutrición, salud, pobreza…
No por eso usaremos metros de diferente tamaño para medir a los niños pobres o acomodados.
Se deben aplicar pruebas iguales (evitando sesgo) para comparar con un mismo estándar, pero no culpar a los niños de bajo rendimiento por ello.

Conclusión
Potencial positivo y negativo de las evaluaciones
Las evaluaciones en general, y las pruebas en particular, son una herramienta poderosa.
Sus consecuencias pueden ser positivas o negativas.
Depende de cómo se hagan las evaluaciones, de cómo se interpreten sus resultados, y de qué decisiones se tomen a partir de ello.

Conclusión
Se dice lo que no se evalúa no se puede mejorar, y en educación evaluar se identifica con pruebas.
Finlandia no aplicaba pruebas, EEUU muchas. ¿Qué pasa con esas ideas generalmente aceptadas?
Frases alternativas más precisas:
Lo que no se evalúa no se puede mejorar. Lo que sí se evalúa tampoco, si no se trabaja duro…
Si se trabaja duro para hacer las cosas bien, se puede tener buena calidad, aunque no se evalúe, pero esto último puede ayudar.
Lo que no se evalúa sistemáticamente se puede mejorar, pero no sistemáticamente.

Conclusión
En los más diversos países prevalece insatisfacción con nivel de aprendizaje, que interpretación usual de evaluaciones internacionales refuerza.
Algunos tienen visión simplista de las causas de la situación, de la forma de valorarla y corregirla.
Los diagnósticos simplistas no toman en cuenta factores de escuela y contexto que influyen.
Los medios simplistas de evaluar se reducen a pruebas, sin distinguir enfoque y nivel técnico;
Las estrategias para remediar la situación se reducen a asignar recursos a las escuelas según los resultados de las pruebas.

Conclusión
Muchas personas ignoran la dificultad que implica obtener buenos resultados educativos con grupos de alumnos de medio social desfavorable.
En México es frecuente que dirigentes del sector empresarial vean con simpatía las estrategias simplistas, pensando que las fallas de la escuela pública se podrían corregir fácilmente con escuelas privadas, ignorando que menos del 10% de los niños mexicanos asisten a ellas.
Por eso es frecuente la opinión de que bastará con aplicar pruebas masivamente y tomar medidas correctivas simples para que la calidad mejore.

Conclusión
Una concepción distinta de los tres aspectos:
Diagnóstico: la calidad no es satisfactoria, pero no necesariamente catastrófica; causas complejas y bien conocidas; los resultados no sorprenden.
Los medios de evaluar: no se reducen a pruebas; debe haber indicadores de otros aspectos.
Las estrategias de mejora: deberán ser complejas también, y los resultados sólo podrán observarse en el mediano y largo plazo.

Conclusión
Las estrategias simplistas de mejora parten de un supuesto falso: que hacer buena educación en cualquier contexto es fácil:
Los sistemas de rendición de cuentas basados en pruebas se basan en la creencia de que la educación pública puede mejorar gracias a una estrategia sencilla: haga que todos los alumnos presenten pruebas estandarizadas de rendimiento, y asocie consecuencias fuertes a las pruebas, en la forma de premios cuando los resultados suben y sanciones cuando no ocurra así.

Conclusión
La información que veo sobre la aplicación 2009 de las pruebas SABER y sobre la manera en que se han difundido los resultados me parece positiva.
Los resultados se han difundido ampliamente.
Se han evitado usos inadecuados como los que mencioné en mi presentación.
Las escuelas y la sociedad pueden acceder con facilidad a los resultados.
Se alienta a los diferentes actores a usar los resultados para sustentar acciones de mejora.

Sugerencias para maestros
Qué NO hacer:
Reducir su enseñanza a lo que se evalúa.
Tratar de preparar a sus niños para que salgan mejor en la siguiente aplicación.
Hacer evaluaciones parecidas a SABER.
Qué SÍ hacer:
Tomar a SABER como referente, considerando escuelas similares y diferentes.
Seguir esforzándose como siempre.

Sugerencias para rectores
Qué NO hacer:
Creer que los resultados de SABER son la única forma de saber qué tan buena es su escuela.
Avergonzarse o jactarse de los resultados.
Tratar de preparar a sus niños para que salgan mejor en la siguiente aplicación.
Qué SÍ hacer:
Analizar con sus maestros los puntos a mejorar en su escuela, considerando la información que da SABER y los demás elementos disponibles.
Proponerse mejoras realistas y trabajar duro.

Sugerencias para autoridades educativas
Qué NO hacer:
Juzgar la calidad de las escuelas con base en los resultados de SABER, sin tener en cuenta el contexto de cada escuela.
Presentar resultados mediante ordenamientos de escuelas basadas en SABER.
Asignar estímulos o sanciones a escuelas y/o maestros con base en los resultados de SABER.
Qué SÍ hacer:
Analizar resultados con otra información sobre las escuelas para llegar a juicios mesurados.
Diseñar políticas dando prioridad a la equidad.

Conclusión
En algunos casos la forma como se interpretan los resultados en los medios no es la más acertada:
Algunas noticias enfatizan el lugar que ocupó una región u otra.
Se destaca la dimensión normativa (en sentido estadístico) de la información, y no la criterial.
Ojala se refuercen los usos positivos y se minimicen los negativos. Así la evaluación será una valiosa herramienta para la mejora de la calidad de la educación en Colombia.

MUCHAS GRACIAS
POR SU ATENCIÓN

http://www.slideshare.net	213
http://normalmercedes.blogspot.com	148
http://www.normalmercedes.blogspot.com	7
http://www.iweb34.com	2
http://webcache.googleusercontent.com	2
http://gerdocarna.blogspot.com	1

Difusion Uso De Resultados Icfes 2010 03 12

by Portal Educativo Colombia Aprende on Mar 12, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

6 Embeds 373

Statistics

Difusion Uso De Resultados Icfes 2010 03 12 — Presentation Transcript