Eval Calidad Educ

LOS RESULTADOS DE APRENDIZAJES ESCOLARES: UNA DISCUSIÓN METAEVALUATIVA DESDE LAS SOCIEDADES QUE LOS PRODUCEN Prof. Dr. Luis Sime Poma. Nov. 2008

Justificación:
Los resultados de las pruebas estandarizadas en el ámbito escolar tanto a escala nacional como internacional han abierto una etapa distinta en las políticas educativas que permiten tipos de medición y comparación al interior de los países como a nivel internacional.
No obstante dicho avance, el riesgo es a una lectura descontextualizada de los resultados sin considerar a la sociedad que los produce y que nos permita elaborar imágenes más complejas de dónde provienen los resultados obtenidos, cuál es esa sociedad realmente existente detrás de los datos.
Luis Sime http://blog.pucp.edu.pe/luissime

Estas correlaciones contextuales y referenciales con otros aspectos de la sociedad contribuyen a una visión más amplia y crítica de los resultados de aprendizajes y una prudencia mayor para establecer comparaciones e intereses de transferibilidad de ciertos modelos educativos que responden también a modelos de desarrollo.

2. Objetivos o propósitos de la investigación
Contribuir a un debate más crítico sobre el análisis de los resultados de aprendizaje basados en pruebas estandarizadas desde una perspectiva metaevaluativa contextualista y de paradigmas de desarrollo.
Relacionar los resultados de los aprendizajes de pruebas internacionales PISA (2006) con otros datos relevantes de la misma sociedad.

3. Perspectivas o aproximación conceptual .
3.1. Desde un enfoque metaevaluativo contextualista
3.2. Desde un enfoque sobre educación y desarrollo

3.1. Desde un enfoque metaevaluativo contextualista
En este camino de reconceptualización, retomando un trabajo previo (Sime 2005), proponemos entender la metaevaluación contextualista como la reflexión crítica y pluridisciplanria de los procesos, instrumentos y resultados de evaluaciones a la luz de los contextos sociales en las cuales se insertan.
Las pruebas estandarizadas que se han aplicado a nivel nacional, latinoamericano e internacional en las últimas décadas constituyen un discurso, una práctica y una política evaluativa que exige de planteamientos metaevaluativos críticos, contextualistas y pluridisciplinarios como los que propone Bonnet (2006) al llamar la atención en las singularidades lingüísticas y culturales en las evaluaciones internacionales de PISA, haciendo suya la pregunta: “ ¿en qué medida la evaluación de las competencias de los alumnos en este estudios comporta sesgos culturales diversos que harían difícil o errónea la comparación entre los países?” (p.92); o las reflexiones de diversos autores incluidas en Iaies (2003) cuyo propio título nos da un aliento metaevaluativo desde la política: “Evaluar las evaluaciones. Una mirada política acerca de las evaluaciones de la calidad educativa”.

Una cuarta vertiente es la que se dirige a relacionar los resultados PISA con variables macro sociales. Entre ellas se destaca aquella que visualiza una relación entre dichos resultados con el PBI del país o nivel de inversión en educación. Nuestro aporte se sitúa en esta vertiente.
En efecto, nuestra perspectiva opta por situar los datos desde los contextos sociales que los han generado. Detrás de dichos resultados existen sociedades cuya complejidad en la producción de esos resultados queda implícita y sin una interpretación más sistémica. En ese sentido, se busca interrogar los datos desde la misma sociedad.
A su vez, los análisis que han buscado relacionar los resultados de las pruebas estandarizadas sobre ciertos tipos de aprendizajes como los informes PISA con otros datos más allá del sistema educativo, han estado mayormente correlacionados con el factor económico, especialmente con el PBI de los países (Hanushek y Wößmann 2007) siendo más escasos los análisis que hayan intentado análisis estadísticos o reflexiones críticas con otros factores de las sociedades.

3.2. Desde un enfoque sobre educación y desarrollo
Desde este punto de vista, la interacción entre educación y desarrollo requiere ser pensada más allá del reduccionismo economicista que privilegia las variables vinculadas al crecimiento económico sin integrar otras dimensiones que son igualmente importantes en el desarrollo de la sociedad.

El repensar el rol de la educación en función de la construcción de un paradigma de desarrollo alternativo, implica considerar más profundamente la relación entre la educación con variables que representen la situación de sustentabilidad ambiental de una sociedad, así como la situación de salud y de violencia. Este cuestionamiento desde esas variables nos lleva inscribir los procesos educativos como parte de las experiencias conflictivas que la sociedad hace por un desarrollo sustentable, saludable y pacífico.

4. Métodos, técnicas o modos de análisis y fuentes de información
El estudio establece relaciones entre los datos PISA 2006 basados en resultados de ciencias, con las variables e indicadores siguientes:
1. ambiental (emisión de gases invernadero C02)
2. salud (obesidad, tabaquismo y cáncer)
3. violencia (suicidio)

Se seleccionaron 20 países (66.6%) de los 30 que conforman la OECD – entre los cuales 12 (44%) pertenecen a la Unión Europea- sobre los cuales la información de PISA y otras requeridas para el estudio, aportadas por fuentes confiables, permitieran la comparación de la información sobre datos que no más atrás del 2002 y sin buscar una correlación estadística sino referencial entre las variables estudiadas. Este parámetro de selección (solo países OCDE, y fuentes desde el 2002) fue estrechando el número de países a los aquí seleccionados.

5. Resultados y /o conclusiones preliminares
5.1. Resultados
a) Relaciones entre resultados PISA y la variable ambiental (emisión de gases C02)
b) Relaciones entre resultados PISA y la variable salud (obesidad)
c) Relaciones entre resultados PISA y la variable salud (tabaquismo)
d) Relaciones entre resultados PISA y la variable salud (cáncer)
e) Relaciones entre resultados PISA y la variable violencia (suicidio)

Tabla 3 Comparación entre resultados PISA (2006/ ciencias) y emisión de C02 (2004) en países de OECD Luis Sime http://blog.pucp.edu.pe/luissime Countries OECD PISA 2006 Countries OECD C02-2004% 1 Finland 563 1 United States 22.2 2 Canadá 534 2 Japan 4.6 3 Japan 531 3 Germany 3.1 4 New Zealand 530 4 Canada 2.3 4 Switzerland 530 5 United Kingdom 2.2 5 Australia 527 6 Korea 1.7 6 Netherlands 526 6 Italy 1.7 7 Korea 522 7 Mexico 1.6 8 Germany 516 8 France 1.4 9 United Kingdom 515 9 Spain 1.2 10 Austria 505 9 Australia 1.2 11 Sweden 502 10 Polonia 1.1 12 Ireland 501 11 Netherlands 0.5 13 France 495 12 Austria 0.3 13 Polonia 495 13 Finland 0.2 14 Hungary 491 13 Hungary 0.2 15 United States 489 13 Sweden 0.2 16 Spain 488 13 Ireland 0.2 17 Italy 462 13 Switzerland 0.2 18 Mexico 406 14 New Zealand 0.1

Tabla 7 Comparación entre resultados PISA (2006/ ciencias) y número de muertes por cien mil habitantes de suicidio en la población en países de OECD (2003-2007) Luis Sime http://blog.pucp.edu.pe/luissime OECD PISA 2006 OECD Suicidio 2003-07 1 Finland 563 1 Korea 21.5 2 Canada 534 2 Hungary 21 3 Japan 531 3 Japan 19.1 4 New Zealand 530 4 Finland 18 4 Switzerland 530 5 France 14.6 5 Australia 527 6 Switzerland 14.1 6 Netherlands 526 7 Polonia 13.2 7 Korea 522 8 Austria 12.6 8 Germany 516 9 New Zealand 11.9 9 United Kingdom 515 10 Sweden 11.1 10 Austria 505 11 Australia 10.2 11 Sweden 502 11 Canada 10.2 12 Ireland 501 12 United States 10.1 13 France 495 13 Germany 9.2 13 Polonia 495 13 Ireland 9.2 14 Hungary 491 14 Netherlands 8.1 15 United States 489 15 United Kingdom 6.6 16 Spain 488 16 Spain 6.3 17 Italy 462 17 Italy 5.5 18 Mexico 406 18 Mexico 4.4

5.2. Conclusiones preliminares.
Conclusiones del análisis horizontal sobre los países ubicados en la mitad superior de PISA
Un análisis horizontal de las variables estudiadas nos permite señalar que aquel grupo de países de la OECD que ocupan la mitad superior en los resultados PISA a su vez ocupan en más de un 50% la mita superior de tres variables (C02, Obesidad y Suicidio) y en las otras variables (Tabaquismo y Cáncer) representan entre el 40 y 44% de las respectivas mitades superiores.

Tabla N 8 Ubicación de países en mitad superior de PISA en cinco variables Luis Sime http://blog.pucp.edu.pe/luissime OECD PISA C02 Obesidad Suicidio Tabaquismo Cancer Finland 1 13 9 4 13 19 Canada 2 4 6 11 16 7 Japan 3 2 19 3 7 27 New Zealand 4 14 4 9 14 6 Switzerland 4 13 18 6 4 18 Australia 5 9 7 11 15 12 Netherlands 6 11 14 14 1 3 Korea 7 6 20 1 8 13 Germany 8 3 10 13 10 11 United Kingdom 9 5 3 15 12 5 % de mitad superior 71% 60% 55.50% 44% 40% Total puestos 18 puestos 14 puestos 20 puestos 18 puestos 18 puestos 20 puestos

b) Conclusiones del análisis horizontal sobre los países ubicados en la mitad inferior de PISA

Respecto al grupo de países de la OCDE de nuestra muestra que ocupa en PISA la mitad inferior existe un segmento de ellos que en cuatro de las cinco variables estudiadas (Tabaquismo, cáncer y suicidio), se encuentran en la mitad superior de dichas variables, representado entre 55% y 66% de dichas mitades, y en las otras dos variables (C02 y obesidad ) menos del 40%.

Tabla N 9 Ubicación de países en mitad inferior de PISA en cinco variables Luis Sime http://blog.pucp.edu.pe/luissime OECD PISA Tabaquismo Cancer Suicidio Obesidad C02 Austria 10 10 14 8 13 12 Sweden 11 18 16 10 15 13 Ireland 12 3 4 13 11 13 France 13 9 9 5 16 8 Polonia 13 6 2 7 12 10 Hungary 14 2 1 2 5 13 United States 15 17 10 12 1 1 Spain 16 5 15 16 8 9 Italy 17 11 8 17 17 6 Mexico 18 5 20 18 2 7 % de mitad superior 66% 60% 55.50% 40% 28.50% Puestos totales 18 puestos 18 puestos 20 puestos 18 puestos 20 puestos 14 puestos

c) Conclusiones específicas sobre ciertos países.
El caso de Finlandia podríamos configurarlo como un país con muy alto nivel de resultados en PISA (1er puesto) pero que a su vez es alta su tasa de suicidio (el 4to puesto pero en realidad el 1ero de la Europa más occidental en nuestra muestra si asumimos a Hungría con una tradición más de Europa del este) y mediana su tasa de población con obesidad (el puesto 9 de 20); siendo más bien bajo en su nivel de emisión de gases C02, (13 de 14 puestos), cáncer (19 de 20 puestos) y su tasa de tabaquismo (13 de 18 puestos). De no ser por el puesto que ocupa en suicidio podríamos decir que es una sociedad que ha logrado construir una coherencia significativa entre su nivel educativo, y otras variables para un desarrollo sustentable, saludable y pacífico.

El segundo caso muy singular es el de Estados Unidos cuyo nivel de rendimiento es bajo en PISA tanto en nuestra muestra donde ocupa la mitad inferior como si tomáramos de referencia el promedio OCDE de 500 puntos, EEUU también es inferior a dicho promedio (489) aunque superior al Total Internacional (461). El contraste del caso norteamericano es que estando con puntajes bajos en PISA, ocupa a la vez puntajes muy altos en emisión de gases C02 y en obesidad, el primer puesto en ambas variables, y una posición intermedia en cáncer (puesto 10 de 20), quedando más hacia abajo en la tabaquismo (17 de 18 puestos) y en suicidio (12 de 18 puestos). Este es el único país de nuestra muestra de 20 países de la OECD que ocupa los primeros puestos en dos variables diferentes que son de alto sensibilidad para el desarrollo sustentable y saludable.

El tercer caso es el de Hungría, un país cuyos resultados en PISA pertenecen a la mitad inferior en nuestro análisis, aunque con sus 491 puntos se acerca al promedio de la OCDE de 500 puntos y por supuesto superior al Total Internacional de PISA 2006 (461). Lo que llama la atención de este país es los puestos que ocupa en las variables de salud vinculadas a los indicadores de cáncer, donde ocupa el primer puesto, y a los de tabaquismo y suicido, donde ocupa el segundo puesto para ambos casos, y el quinto puesto en obesidad. Es decir, en cuatro de las cinco variables estudiadas revelan problemas muy serios para construir una sociedad basada en un desarrollo sustentable, saludable y pacífico, aunque sus resultados en PISA se acerquen al promedio de la OCDE.

d) Pistas para una mayor indagación
1era pista: las sociedades paradójicas
PISA 2006 nos ofrece una imagen de la situación educativa de los países en función a su rendimiento respecto a ciencia resultando paradójico que aquellos países que evidenciando un alto resultado en esta área pertenezcan justamente a países donde el desarrollo científico y tecnológico junto ha un tipo de industrialización y estilos de vida han producido graves problemas para la calidad de vida de su población y más allá de ella. ¿Cómo es que se puede estar aparentemente muy bien en educación escolar científica y estar a la vez en niveles críticos en variables claves de la sociedad? ¿Cómo hace dichas sociedades para construir esos desdoblamientos?

2da pista: Evaluar la calidad: ¿y la pertinencia?
Las evaluaciones estandarizadas tanto internacionales y nacionales se han legitimado sobre un discurso de la calidad educativa centrada en medir competencias en lecto escritura y matemática centralmente, aunque PISA 2006 incluyó por primera vez un conjunto de preguntas explícitas sobre temas ambientales que debieran ser más permanentes, al igual que otros temas más bien casi ausentes referidos por ejemplo a las epidemias que hemos analizado previamente. Es decir, los esfuerzos han estado más dirigidos a evaluar competencias básicas que a competencias en torno a temas cruciales que estarán marcando negativamente el contexto mundial y nacional de este siglo. Ello nos sugiere que se ha legitimado más la necesidad de evaluar la calidad que la pertinencia educativa.

http://www.evaluacion.edusanluis.com.ar	526
http://www.slideshare.net	2
http://webcache.googleusercontent.com	1
http://www.google.com.mx	1

Eval Calidad Educ

by Alberto Christin on Jan 21, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

4 Embeds 530

Statistics

Eval Calidad Educ — Presentation Transcript