Ponencia del educador Mario Posso

1. LA CONFIABILIDAD DE LAS EVALUACIONES
INTERNACIONALES. MÁS ALLÁ DE PISA
Mario Posso Rojas
marposroj@hotmail.commarposroj@hotmail.com

2. EN QUE CONSISTE LA
EVALUACIÓN EDUCACIONAL.
NECESIDADES Y RETOS

4. ¿POR QUÉ Y QUÉ EVALUAMOS?
Más allá de la Mente-Cerebro

6. MEDICIONMEDICION
EDUCATIVAEDUCATIVA
Se puede medir las facultades
mentales y predecir
Comportamientos
INDIRECTA:INDIRECTA:
C.I, R.E o A o M
Medir:Medir: Asignar Numerales
a objetos o eventos de
acuerdo a reglas
- Indicadores: Prom, Capac.
- Escalas: N, O, R, I
- Validez
- Confiabilidad
Hacia un instrumento
invariable y confiable

7. Pruebas
Orales
Escritas
Elaborar
Respuestas
Elegir
Respuestas
Ensayo Libre
Ensayo Guiado
Respuesta breve
Directa
Incompleta
Alternativa simple
Alternativa triple
Alternativa múltiple
Directa
Combinada
Apareamiento
Estructuración autónoma
Estructuración cerrada
Discusión o Debate
Tomar
Decisión

8. LALA
ARTIFICIALIDADARTIFICIALIDAD
DE LADE LA
EDUCACIÓNEDUCACIÓN
Modelo de HumanidadModelo de Humanidad

9. LA ARTIFICIALIDAD DE LALA ARTIFICIALIDAD DE LA
EDUCACIÓNEDUCACIÓN
Modelo de HumanidadModelo de Humanidad
 ¿Qué característica debería o tiene?¿Qué característica debería o tiene?
 ¿Cuál es el elemento de la mente que es¿Cuál es el elemento de la mente que es
constante en todos los lugares y tiempos?constante en todos los lugares y tiempos?
- Inteligencia (única, dicotómica o múltiple).- Inteligencia (única, dicotómica o múltiple).
- Conocimiento (común o científico)- Conocimiento (común o científico)
-- CapacidadesCapacidades
-- CompetenciasCompetencias
- Aprendizaje y Memoria- Aprendizaje y Memoria
- etc.- etc.
Indicador de
Benjamin Bloom

10. SECUENCIA DE LOS APRENDIZAJES CONCEPTUALES
TEORÍASPRINCIPIOSCONCEPTOS
HECHOS Y
DATOS
HECHOS Y CONCEPTOS COMO
CONTENIDOS DEL APRENDIZAJE
Aprendizaje de: HECHOS CONCEPTOS
Consiste en: Copia literal Relación con conocimientos
anteriores
Se alcanza por: Repetición (aprendizaje
memorístico)
Comprensión (aprendizaje
significativo)
Se adquiere: De una vez Gradualmente
Se olvida: Rápidamente sin repaso Más lenta y gradualmente
EVALUACION DEL APRENDIZAJE

11. LA ESTADÍSTICA DE LA
VALIDEZ
Confiabilidad Vs Indicadores Nacionales
Rho = 1 – 6*EDRRho = 1 – 6*EDR
Aplicar el mismo instrumento
2 veces a un mismo grupo.
Comparar mediante rho.
Dificultad: Cambio conductual
Denota estabilidad y
Constancia de los puntos
Variación no significativa
TABLA DE EBELTABLA DE EBEL
MÉTODO DE PRUEBAMÉTODO DE PRUEBA
REITERADAREITERADA
)1(
*6
1 2
2
−
−=
∑
NN
R
D
rho
PSICO-
METRIA

12. PRUEBAS CONFIABLESPRUEBAS CONFIABLES
Debe serDebe ser >> 0,600,60








−





−
=
∑
2
2
1
1 t
i
s
s
k
k
r
m
m
t
r
r
r
+
=
1
2
º1
MÉTODO PORMÉTODO POR
BIPARTICIÓNBIPARTICIÓN
1º Varianzas similar
2º Diferente Varianza
KR20KR20
COEFICIENTES DECOEFICIENTES DE
CONFIABILIDADCONFIABILIDAD
Kuder – RichardsonKuder – Richardson Alpha de CrobachAlpha de Crobach
KR21KR21
( )






−





−
= 2
s*
m-km
1*
1 kk
k
r2
2
1 s
pqs
k
k
r
−






−
=
SPSSSPSS >> 0,800,80











 +
−= 2
2
2
2
1
12º2
ts
ss
r
GuttmanGuttman

13. INDICADORESINDICADORES
OPERATIVIZACIÓNOPERATIVIZACIÓN
DE LA EVALUACIÓNDE LA EVALUACIÓN
CAPACIDAD
GENERAL
Capacidad específica
Capacidad específica
Capacidad específica
Capacidad específica
REACTIVOS
Grandes
propósitos
Procesos que
involucra la
capacidad
Evidencia
observable del
aprendizaje
Tareas que se
ejecuta para
evidenciar el
aprendizajeMED – DCN, 2007, 2009
APRENDIZAJES
FUNDAMENTALE
S
COMPETENCIA/

14. Matriz de ConsistenciaMatriz de Consistencia
Contenidos
Capacidades
RM RV Mat C.Na Huma Legua Total
Identifica 44 44 44 44 44 44 24
Compara 33 33 33 44 33 44 20
Argumenta 33 44 33 44 44 44 22
Aplica 55 55 55 44 33 33 25
Analiza 33 44 33 33 55 55 23
Sintetiza 33 55 33 55 55 33 24
Juzga 22 22 22 22 22 22 12
Nº de ítems 23 27 23 26 26 25 150
Elaborado por: Tiempo de Prueba: 3 horasmarposroj@hotmail.commarposroj@hotmail.com

15. EJEMPLO EN SECUNDARIAEJEMPLO EN SECUNDARIA
I) La relación correcta entre capacidad, pregunta y respuesta es:
1) Identificar – El ángulo de inclinación axial de la tierra es
a) 2º b) 23,4º c) 24º d) 97,9º e) N.A
2) Análisis – El número de ángulo de inclinación axial varia por
a) La forma de traslación de una estrella
b) La Traslación de ese planeta
c) La Forma de que ese planeta se formo
d) N.A e) T.A
3) Interpretación – Si en el centro del Sol el hidrogeno se convierte en helio es:
a) Estrella Roja b) Estrella azul c) Enana blanca
d) Pulsar e) Quasar
4) Síntesis – Lo que causa que el Sol es se convierta en rojo es:
a) Los años de la estrella b) La cantidad de Helio
c) La cantidad de hidrógeno d) N.A e) Cantidad de Iones
5) Aplica – Si un cuerpo pesa 50kg y se encuentra en la luna que masa tiene:
a) 20,5 b) 45,9 c) 24.5 d) 30,6 e) 44,5
IDENTIFICAR

16. ANÁLISIS DE ÍTEMSANÁLISIS DE ÍTEMS
Grado de Eficiencia
De los ítems
I.DI.D == NcNc
NtNt
* Intervalos:* Intervalos:
0,000,00 –– 0,50 Muy Fácil0,50 Muy Fácil
0,510,51 –– 0,60 Fácil0,60 Fácil
0,610,61 –– 0,700,70 ModeradoModerado
0,710,71 –– 0,80 Difícil0,80 Difícil
0,810,81 –– 100 Muy difícil100 Muy difícil
GRADO DEGRADO DE
DIFICULTADDIFICULTAD
INDICE DEINDICE DE
DISCRIMINACIÓNDISCRIMINACIÓN
I.DsI.Ds == AA –– BB
NN
DEBE SERDEBE SER >> 0,250,25
Relación entre ID y IDsRelación entre ID y IDs
Las ID > de 0,8Las ID > de 0,8
Carece de IDsCarece de IDs
marposroj@hotmail.commarposroj@hotmail.com

17. EJEMPLOS DE APLICACIÓNEJEMPLOS DE APLICACIÓN
Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 IMPAR PAR TOTAL
Alberto 1 1 1 0 1 0 1 1 0 0 4 2 6
Betty 0 1 1 1 1 1 0 0 1 0 3 3 6
Carmen 1 0 1 0 1 1 1 1 0 1 4 3 7
Dionisio 1 1 1 1 1 0 1 1 1 1 5 4 9
Estelita 1 1 1 0 0 0 0 1 1 0 3 2 5
Federico 1 1 0 1 0 0 1 0 0 0 2 2 4
Grover 0 0 0 0 0 0 1 0 1 1 2 1 3
Hurtado 1 1 1 1 1 1 1 1 1 1 5 5 10
Isabel 0 1 0 1 0 1 1 0 1 0 2 3 5
Juana 1 1 1 1 1 0 1 0 1 0 5 2 7
Media u
Varianza s
= 0,76
Rendimiento de 10 alumnos es similar o no, frente a cada uno de los 5
ítems impares y 5 ítems pares en una prueba de Geometría o Filosofía
BIPARTICION
BIPARTICION

18. KURDER – RICHARDSON (KR21)KURDER – RICHARDSON (KR21)
Alumnos I1 I2 I3 I4 I5 I6 I7 I8 I9 I10 TOTAL
Alberto 1 1 1 0 1 0 1 1 0 0 6
Betty 0 1 1 1 1 1 0 0 1 0 6
Carmen 1 0 1 0 1 1 1 1 0 1 7
Dionisio 1 1 1 1 1 0 1 1 1 1 9
Estelita 1 1 1 0 0 0 0 1 1 0 5
Federico 1 1 0 1 0 0 1 0 0 0 4
Grover 0 0 0 0 0 0 1 0 1 1 3
Hurtado 1 1 1 1 1 1 1 1 1 1 10
Isabel 0 1 0 1 0 1 1 0 1 0 5
Juana 1 1 1 1 1 0 1 0 1 0 7
Suma 7 8 7 6 6 4 8 5 7 4 62
p 0,7 0,8 0,7 0,6 0,6 0,4 0,8 0,5 0,7 0,4 0,62
q 0,3 0,2 0,3 0,4 0,4 0,6 0,2 0,5 0,3 0,6
p*q 0,21 0,16 0,21 0,24 0,24 0,24 0,16 0,25 0,21 0,24 2,16
Prom: 06,2
Var: 4,62
= 0,59
KR20KR20 = 0,54

19. ALFA CRONBACHALFA CRONBACH
Alumnos 1 2 3 4 5 6 Total
Alberto 3 3 2 0 2 2 12
Bartola 2 0 0 0 1 1 4
Cristian 5 2 1 1 3 2 14
Dayana 4 1 2 1 4 0 12
Elmer 1 2 1 0 1 1 6
Federico 3 3 2 0 4 2 14
Desviación 1,29 1,06 0,74 0,47 1,25 0,74
Varianza 1,66 1,12 0,55 0,22 1,56 0,55
S2
= 15,21
Σ = 5,66
Calificaci
ón no
dicotómic
a
= 0,75
marposroj@hotmail.commarposroj@hotmail.com

20. PRUEBAS CONFIABLESPRUEBAS CONFIABLES
EDUMÉ-
TRICA
q
p
s
Xp
r
t
bisp *.
−
=
Orientado para Clasificar,
en Categorías Los Logros de
Aprendizaje. En forma estable.
CATEGORÍAS DE
APRENDIZAJE
PUNTUACIÓN DE
CORTE
( )
( )














−+
−+
















−
−
=
∑
22
22
2
2
*1
1 Mit
Mit
t
i
a
LXs
LXs
s
s
k
k
r
Cronbach - Livingston

21. EJEMPLOS DEEJEMPLOS DE
APLICACIÓNAPLICACIÓN
r (Pearson) = 0,70 Pi = 70 y PE = 42
Cov (X, Y) = 0,70*21,03*23,36 = 343,88
77,627
52,443
=cr = 0,71

22. VALIDEZ DE LAS PRUEBASVALIDEZ DE LAS PRUEBAS
Validez del Contenido para la Elaboración de Reactivos de Evaluación
Universidad: X Prueba : General
Área o Asig
TODASTODAS
Temas:
RM y V, Mt, CN, Hum y LRM y V, Mt, CN, Hum y L
Objetivo
MEDIR CONOCMEDIR CONOC
Hipótesis (Ho): Los conocimientos de los estudiantes se pueden medir, indiciariamente,
mediante pruebas de selección múltiple confiables y válidas, en constructo,
teniendo en cuenta los contenidos básicos de los Silabus
Capacidad General,
Capacidades Específicas:
Matriz de Consistencia
Universo: Local X, Y, Z
Identifica AnalizaAplicaCompara Sintetiza JuzgaArgumenta
SILABUSSILABUS

23. CorrelaciónPorPuntuacionesNetasCorrelaciónPorPuntuacionesNetasCorrelaciónPorPuntuacionesNetasCorrelaciónPorPuntuacionesNetas
Puntuación en: Puntuación al Cuadrado Prueba por
Alumnos Prueba (X) Criterio (Y) Prueba (X2) Criterio (Y2) Criterio (X*Y)
Abel 10 6 100 36 60
Aldo 20 20 400 400 400
Ary 15 15 225 225 225
Blas 14 10 196 100 140
Popper 19 20 361 400 380
Elba 20 18 400 324 360
Morgan 18 19 324 361 342
Mario 17 17 289 289 289
Flor 15 16 225 256 240
Hugo 13 13 169 169 169
DeVries 15 13 225 169 195
Lino 18 17 324 289 306
Lila 15 13 225 169 195
Irma 20 19 400 361 380
Juan 19 18 361 324 342
Nino 14 15 196 225 210
Nora 13 14 169 196 182
Olga 16 15 256 225 240
Réne 15 14 225 196 210
Rosa 9 4 81 16 36
Sumas 315 296 5151 4730 4901
Promedio 15,75 14,8
Desviac 3,16 4,29
yx SS
YX
N
XY
r
*
*−
=
∑
22








−=
∑∑
N
X
N
X
s
1,3
20
315
20
5151
2
=





−=xs
2,4
20
296
20
4730
2
=





−=ys
92,0
2,4*1,3
8,14*75,15
20
4901
=
−
=r
Pearson

24. VALIDEZ PREDICTIVAVALIDEZ PREDICTIVA
La UNI compara los desempeños finales de los alumnosLa UNI compara los desempeños finales de los alumnos
de 1º año en un curso Algebra (A) con los obtenidos ende 1º año en un curso Algebra (A) con los obtenidos en
su Examen de Admisión (EA). Muestra: 10 estudiantes;su Examen de Admisión (EA). Muestra: 10 estudiantes;
A: Puntajes de 1 a 100 para EA: de 200 a 800.A: Puntajes de 1 a 100 para EA: de 200 a 800.
Resultados Excel:Resultados Excel:
AlumAlum A B C D E F G H I J
EA (X) 650 710 682 700 691 705 666 690 709 715
A (Y) 75 87 85 83 80 92 78 81 90 90
Coeficiente de: a) Spearman: b) Pearson:
Interpretación: El EA es un procedimiento para
el futuro desempeño de los alumnos de A.
0,83 0,87
buen
vaticinar
marposroj@hotmail.commarposroj@hotmail.com

25. INDICADORES NACIONALES

26. ¿¿Qué evalúan las Pruebas yQué evalúan las Pruebas y
Rankings InternacionalesRankings Internacionales ??
PRINCIPALES PRUEBAS INTERNACIONALES

27. ¿¿Qué evalúan las PruebasQué evalúan las Pruebas
y Rankingsy Rankings
InternacionalesInternacionales??

28. ¿¿Qué evalúan las PruebasQué evalúan las Pruebas
y Rankingsy Rankings
InternacionalesInternacionales??

29. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD
Pruebas y Rankings Internacionales
2009

30. IMPORTANCIA DE LAIMPORTANCIA DE LA
SELECTIVIDADSELECTIVIDAD

31. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD

32. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD

33. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD

34. IMPORTANCIA DE LA SELECTIVIDADIMPORTANCIA DE LA SELECTIVIDAD

35. UNIVERSIDAD VS MINEDUUNIVERSIDAD VS MINEDU
VS MERCADO LABORALVS MERCADO LABORAL
2008

36. UNIVERSIDAD VS MINEDUUNIVERSIDAD VS MINEDU
VS MERCADO LABORALVS MERCADO LABORAL

37. UNIVERSIDAD VS MINEDUUNIVERSIDAD VS MINEDU
VS MERCADO LABORALVS MERCADO LABORAL

38. LOS PROBLEMAS DE LA EVALUACIÓNLOS PROBLEMAS DE LA EVALUACIÓN
EN LA EDUCACIÓN PERUANAEN LA EDUCACIÓN PERUANA
1.1. El sistema de pruebas nacionales existe de maneraEl sistema de pruebas nacionales existe de manera
generalizada. 98% confiables, inferibles y válidas.generalizada. 98% confiables, inferibles y válidas.
2.2. Permite orientar con información fáctica la capacitación yPermite orientar con información fáctica la capacitación y
formación. Rumbo mercado o nuevo mercado.formación. Rumbo mercado o nuevo mercado.
3.3. Evaluación esta suscrita al papel y no al desempeño, laEvaluación esta suscrita al papel y no al desempeño, la
universidad y otros, prima el PODER DEL «VOTO».universidad y otros, prima el PODER DEL «VOTO».
4.4. Las Pruebas de selección ¿Qué Prueban?Las Pruebas de selección ¿Qué Prueban?
5.5. Las estrategias y toma de decisiones del MED, UniversidadLas estrategias y toma de decisiones del MED, Universidad
y organismos en que están sustentadas .y organismos en que están sustentadas .
6.6. Las tesis de la universidad colaboran o dan grados.Las tesis de la universidad colaboran o dan grados.

39. BIBLIOGRAFÍA
1) Baco, E., Larrazolo, N. y Rosas, M. (2000). Nivel de dificultad y poder de discriminación del Examen de
Habilidades y Conocimientos Básicos (EXHCOBA). Revista Electrónica de Investigación Educativa, 2.
2) Bazán Guzmán, J. (2000). Evaluación psicométrica de las preguntas y pruebas CRECER 96. Ministerio de
Educación, Perú.
3) Chávez López, L. M. (2001). Análisis de reactivos: una aproximación. Biblioteca Universitaria,
Julio/Diciembre, vol. 4, número 002, México.
4) Crocker, L. y Algina, J. (1986). Introduction to Classical and Modern Test Theory. Holt, Rinehart and Winston.
5) Ebel, R.L. y Frisbie, D. A. (1986). Essentials of Education Measurement. Englewood Cliffs, NJ: Prentice Hall.
6) Eccles, John C. (1975). El Cerebro. Morfología y dinámica. Ed. Interamericana,
México – México. 236 pp.
7) Glass, G. y Stanley, J. (1986). Métodos estadísticos aplicados a las ciencias sociales. México: Prentice-Hall
Hispanoamericana.
8) Henrysson, S. (1971). Gathering, Analysing, and Using Data on Test Items. En R.L. Thorndike (Ed.),
Educational Measurement. Washington, DC: American Council on Education.
9) Piscoya Hermoza, L. (2005). Cuánto saben nuestros maestros. Una entrada a los diez problemas cardinales
de la educación peruana. Fondo Editorial de la Universidad Nacional Mayor de San Marcos. Perú
10) Popper, Karl R. (1971). La Lógica de la Investigación Científica. Ed. Tecnos. Madrid. Segunda reimpresión.
11) Santibáñez Riquelme, J. D. (2001). Manual para la evaluación del aprendizaje estudiantil. Conceptos,
procedimiento, análisis e interpretación para el proceso evaluativo. Ed. Trillas. México.

40. MUCHAS
GRACIAS
marposroj@hotmail.commarposroj@hotmail.com