Jornada PIAAC 19 Feb 2014 Características, niveles de rendimiento y preguntas liberadas

1. PIAAC
Programa internacional para la evaluación de
competencias de la población adulta. 2013
http://www.mecd.gob.es/inee/Ultimos_informes/PIAAC.html
1

2. I. Estudios de evaluación
internacional
 Evaluaciones muestrales, cíclicas, a gran escala
 Cuestionarios de contexto + pruebas cognitivas
 Metodología:
• Marco teórico: Qué evaluar, elaboración de ítems,
distribución de ítems ….…
• Selección de la muestra
• Traducción de materiales, aplicación, corrección,
limpieza de datos…
• Análisis TRI de las respuestas. Dificultad de los ítems
y puntuación lograda por los alumnos
 Informes internacionales comparativos
2

3. I. Estudios de evaluación
internacional
Lo deseable
Competencias
para la vida
Curriculum
Evaluamos
3

4. I. Estudios de evaluación
internacional
La realidad
Competencias
para la vida
Curriculum
Evaluamos
4

5. II. Principales
características
• Objetivos
Conocer el nivel de las competencias de la
población adulta en los diferentes países
Relacionar educación y formación con el
mercado laboral
• Áreas de evaluación
Comprensión lectora (Componentes de la
comprensión lectora)
Matemáticas
Resolución de problemas en entornos
informatizados (no aplicada en España)
5

6. II. Principales
características
• Muestra
 24 países, 166.000 adultos de 16 a 65 años
6

7. II. Principales
características
Primera ronda: 24 países participantes
OCDE
Australia
Canadá
Corea
EEUU
Japón
Alemania
Austria
Chipre
Dinamarca
Eslovaquia
España
Estonia
Finlandia
Flandes (Bélgica)
UE
Francia
Inglaterra/Irlanda N.
Irlanda
Italia
Noruega
Países Bajos
Polonia
República Checa
Suecia
Federación Rusa*
* La Federación Rusa también ha participado en el estudio aunque sus resultados no se presentan en esta edición.
7

8. II. Principales
características
• Muestra
 24 países, 166.000 adultos de 16 a 65 años
 Población de 16 a 65 años empadronada en 2011 en un municipio
de España.
 Encuesta a hogares
 Carta de presentación y folleto explicativo, pagina web e incentivos
 6 intentos para contactar con la persona seleccionada
8

9. II. Principales
características
9

10. II. Principales
características
10

11. II. Principales
características
• Muestra
 24 países, 166.000 adultos de 16 a 65 años
 Población de 16 a 65 años empadronada en 2011 en un municipio
de España.
 Encuesta a hogares
 Carta de presentación y folleto explicativo, pagina web e incentivos
 6 intentos para contactar con la persona seleccionada
 6.055 adultos residentes en España participaron en el estudio
11

12. II. Principales
características
• Formato de aplicación
En ordenador portátil o en papel, dependiendo de la competencia digital
de los entrevistados
• Fechas de aplicación en campo
Del 1 de septiembre de 2011 al 1 de mayo de 2012
• Instituciones participantes
Instituto Nacional de Evaluación Educativa (MECD)
Servicio Público de Empleo Estatal (Ministerio de Empleo y Seguridad
Social)
• Instituciones colaboradoras
Fundación Tripartita para la formación en el empleo
S.G. de Estadística y Estudios (MECD)
Instituto Nacional de Estadística (Economía)
12

13. II. Principales
características
• Supervisión por el PIAAC BPC (Board of Participating Countries)
• Apoyo del Secretariado de la OCDE
• Consorcio internacional de empresas, lideradas por ETS
–
–
–
–
–
Desarrollo de cuestionarios e instrumentos
Apoyo a las operaciones de la encuesta
Control de calidad
Preparación de la base de datos
Apoyo para el análisis de los resultados
• Cada país es responsable de la implementación a nivel nacional
–
–
–
–
Diseño de la muestra (INE)
Adaptación y traducción de los materiales (INEE y SEPE)
Recogida de datos y elaboración de la base de datos (INEE)
Responsables nacionales del programa – NPM (INEE y SEPE)
13

14. II. Principales
características
• Corrección
– Automática, si el entrevistado realizó las pruebas en ordenador
– Manual, si las pruebas se realizaron en cuadernillos
– Dos correctores. Control de corrección
 Evaluación de la calidad de los datos (Consorcio)
Proceso de adjudicación: evaluación de un conjunto de indicadores en
las áreas de:
 Muestreo
 Tasa de respuesta y análisis de sesgo por no respuesta
 Recogida de datos
 Instrumentación
14

15. II. Principales
características
• Componentes
Inicio del caso (IC)
Cuestionario de antecedentes (CA)
Ejercicio básico
Ejercicio
(Ordenador o papel)
15

16. Cuestionario de
antecedentes
Experiencia en el manejo de ordenador
PRUEBA COGNITIVA
CUESTIONARIO
II. Principales
características
16

17. III. Cuestionario de
Antecedentes
Objetivos
 Distinguir nivel y distribución de competencias de subgrupos de
la población
 Determinar los factores asociados a la adquisición, desarrollo,
mantenimiento y pérdida de competencias a lo largo de la vida
 Estudiar la relación entre el dominio de competencias y los
resultados económicos y sociales
17

18. III. Cuestionario de
Antecedentes

Características demográficas básicas de los entrevistados
Edad, sexo, país de origen, estructura familiar, idioma en casa, nivel educativo
padres, …

Antecedentes educativos y participación actual en
actividades de aprendizaje
Cualificación más alta, estudios iniciados pero no completados, estudios
formales y/o no formales en el último año; Formación en el último año, interés
y barreras para acceder a la formación, situación laboral al recibir formación,
dentro o fuera de las horas de trabajo, utilidad en trabajo, tipo de apoyo de la
empresa ….
 Situación laboral y trayectoria profesional
Actividad actual, historia laboral, empleo actual, último empleo, salario o
ingresos, ocupación, sector de actividad, tamaño de la empresa, …
18

19. III. Cuestionario de
Antecedentes
 JRA (Job Requirement Approach) – Enfoque de los requisitos
del puesto de trabajo
 El entrevistado indica el nivel de las habilidades que se
requieren en su trabajo actual en varios dominios de
habilidad. El método de JRA se ha aplicado con éxito en
diferentes encuestas, como la Encuesta Habilidades británica
(British Skills Survey), US O*NET Survey y varias encuestas
internacionales de postgrado (CHEERS y REFLEX).
19

20. III. Cuestionario de
Antecedentes
 Uso de habilidades genéricas en el puesto de trabajo
Estrategias de aprendizaje; discrecionalidad de las tareas; capacidad de
influencia, de cooperación, de auto organización; habilidades físicas
 Uso de habilidades de procesamiento de la información
Lectura, escritura, matemáticas, TIC y resolución de problemas, en el trabajo y
en la vida diaria
 Resultados sociales
Confianza (en sí mismo y en otros), participación política, voluntariado,
autoevaluación de la salud,…
20

21. IV. Dominios de
evaluación
21

22. IV. Dominios de
evaluación
Niveles de rendimiento
 Escala de 0 a 500 puntos.
 Una persona que alcance un determinado punto de la escala
tiene probabilidad 0,67 de responder a un ítem localizado en
ese punto.
 Seis niveles de rendimiento:
Niveles
Intervalos
inferior al 1
[0, 176)
1
[176, 226)
2
[226, 276)
3
[276, 326)
4
[326, 376)
5
[376, 500]
22

23. V. Interpretación de
resultados
Comprensión Lectora
23

24. V. Interpretación de
resultados
Observe la lista de normas de la escuela
infantil.
Seleccione la información de la lista para
contestar la pregunta
¿A qué hora, como muy tarde, deben
llegar los niños a la escuela?
Las normas de la escuela infantil
representan un ítem de dificultad media y
se centra en los siguientes aspectos de
comprensión lectora:
24

25. V. Interpretación de
resultados
Pregunta 1
Haz una cruz en la celda de la tabla
que contiene la información sobre
equipamiento para el ejercicio físico
para responder a esta pregunta:
¿Qué músculos se beneficiarán
más si usa el banco de
entrenamiento?
Pregunta 2
Haz un círculo sobre la celda de la
tabla que contiene la información
sobre equipamiento para el
ejercicio físico, respondiendo a esta
pregunta:
¿Qué artículo de equipamiento
listado recibe el mayor número de
valoraciones “ineficiente”?
Es una prueba relativamente fácil. Se centra en los siguientes
aspectos de comprensión lectora:
25

26. V. Interpretación de
resultados
26

27. V. Interpretación de
resultados
Matemáticas
27

28. V. Interpretación de
resultados
Responda a esta pregunta:
Si la temperatura marcada baja
aproximadamente 30 º Celsius,
¿cuál sería la temperatura en
grados Celsius (o C)?
Es una prueba de baja dificultad. Se solicita a
los encuestados que introduzcan una
respuesta numérica basada en el gráfico
proporcionado y se centra en los siguientes
aspectos de capacidad de cálculo:
28

29. V. Interpretación de
resultados
Responda a esta pregunta:
¿Cuántas centrales eólicas se
necesitarían para remplazar la
energía generada por el reactor
nuclear?
Es una prueba de dificultad media.
Se centra en los siguientes
aspectos de capacidad de cálculo:
29

30. V. Interpretación de
resultados
Responda a la siguiente pregunta
¿En qué periodo(s) se produjo un
descenso de nacimientos?- Señale todos
los que sean pertinentes
1957-1967
1967-1977
1977-1987
1987-1997
1997-2007
Es una prueba de dificultad media. Se
centra en los siguientes aspectos de
capacidad de cálculo:
30