Presentación llevada a cabo por Stefano Cabras (Universidad Carlos III y Università di Cagliari) y J.D. Tena (Universidad Carlos III y Università di Sassari) en el curso de la UIMP "Mejorando la educación entre todos", celebrado en Santander del 30 de Junio al 2 de Julio. El objetivo del estudio es computar el efecto causal de ICT sobre el rendimiento de los estudiantes en la prueba PISA 2012, salvando las problemáticas de acceso a la información, ya que para calcular este efecto causal deberían ver la respuesta de cada estudiante que usa ordenador en la escuela y el mismo estudiante sin dicho uso de computador, a través de técnicas de estimación.

1. ESTIMACIÓN DEL EFECTO
CAUSAL DE LA INVERSIÓN EN
TECNOLOGÍA SOBRE EL
RENDIMIENTO DE LOS
ESTUDIANTES ESPAÑOLES EN
LA PRUEBA PISA.
Stefano Cabras, Universidad Carlos III y Università
di Cagliari.
J.D. Tena, Universidad Carlos III y Università di
Sassari.

2. ESTRUCTURA DE LA PRESENTACIÓN
1. Motivación
2. Estudios similares.
3. Modelos BART en inferencia causal
4. Estadística descriptiva
5. Resultados
6. Conclusiones 2

3. 1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
3
“No, mother, I could not feel your church group praying for
my safety. The fact that I’m home safe is not proof that it
worked, that logic is Post Hoc Ergo Propter Hoc.” Sheldon
Cooper in The Big Bang Theory, "The Electric Can Opener
Fluctuation".

4. 1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
4
“Le nez de Cléopâtre: s’il eût été plus court, toute la face de la terre
aurait changé” Blaise Pascal.

5. 1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
 Realizar inferencia causal es una tarea muy dificil en ciencias
sociales.
 Problema: conocemos lo que ocurre después de un
determinado tratamiento pero no conocemos el
contrafactual.
 Algunos ejemplos:
 Como evoluciona mi dolor de cabeza después de tomar una aspirina.
 Como reacciona mi equipo de futbol después de cambiar de entrenador.
 El efecto de una determinada política económica sobre mi variable de
interés.
 El incremento de la lluvia después de bailar la danza de la lluvia. 5

6. 1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
6

7. 1. MOTIVACIÓN: ¿POR QUÉ LO LLAMAN
CAUSALIDAD CUANDO QUIEREN DECIR
CORRELACIÓN?
 Problema: en general existen variables que no observamos
y que están relacionadas con la probabilidad de un
tratamiento. Esto conduce a conclusiones erroneas en
muchos casos.
 Situación extrema en ele momento de aplicar el tratamiento:
retorno a la media.
 Años de educación y habilidad innata de los estudiantes.
 Equipación de los colégios y tipo de estudiantes que atraen.
 Experimentos controlados no siempre son posibles y cuando
lo son resultan muy caros o no éticos en muchos casos. 7

8. 1. MOTIVACIÓN
 Nuestro artículo estima el impacto causal de la inversión
en tecnologías de la comunicación y la información (ICT)
sobre el rendimiento educativo en matemáticas medido en
el programa PISA 2012 en España.
 Problema: de nuevo el tratamiento no es aleatorio porque
es más probable que un estudiante sea asignado a una
escuela equipada con computadores cuando su familia
pertenece a un status sociocultural alta.
 De este modo podría ser el entorno familiar (y no ICT) lo
que determina una puntuación más favorable en el test de
PISA comparable con otros estudiantes que provienen de
un status sociocultural más bajo. 8

9. 1. MOTIVACIÓN
 Se trata con este problema usando una estrategia de estimación
bayesiana conocida como Bayesian Additive Regression Trees
(BART), Chipman et al. (2010) y Hill (2011).
 Principal ventajas:
 Forma funcional muy flexible que no requiere ningún tipo de hipótesis
sobre las variables consideradas en nuestro análisis.
 Posibilidad de tratar con un elevado número de variables explicativas.
 ... y de estimar un gran número de efectos interactivos entre la variable de
tratamiento y las demás.
 Permite tratar con valores no observados sin necesidad de eliminarlos de
la muestra.
9

10. 2. LITERATURA RELACIONADA (EN ICT)
 Un resumen preliminar de esta literatura puede ser
encontrado en Kirkpatrick y Cuban (1998).
 Ausencia de consenso sobre el efecto de ICT en el desempeño
del estudiante.
 Sin embargo, la mayoría de estos estudios están basados en
correlaciones simples entre ICT y el desempeño estudiantil
sin tener en cuenta otras variables.
 El problema de endogeneidad ya discutido genera un
jusficado excepticismo sobre la validez de estos estudios
y la necesidad de usar procedimientos econométricos
que corrigan por el potencial sesgo de estimación.
10

11. 2. LITERATURA RELACIONADA (EN ICT)
 Algunas soluciones son:
1) Identificar una cierta política educativa que parte de
una fuente que no está correlacionada con una política
de interés, Angrist and Lavy (2002), Leuven et al.
(2007), Machin et al. (2007) y Goolsbee y Guryan
(2006).
2) Conducir un experimento que asigna de forma aleatoria
a estudiantes dentro del grupo de tratamiento y
control, Benerjee et al. (2007).
3) Usar una base de datos que contiene información
relevante acerca de un gran número de variables
explicativas. Fuchs y Woessman (2004) y Spiezia
(2010).
11

12. 3. MODELOS BART EN INFERENCIA CAUSAL.
- Nuestro objetivo es computar el efecto causal de
ICT sobre el rendimiento de los estudiantes en la
prueba PISA 2012.
- Para calcular este efecto causal deberiamos ver la
respuesta de cada estudiante que usa ordenador en
la escuela y el mismo estudiante sin dicho uso de
computador.
- Sin embargo, solo uno de ellos puede ser observado
y el otro debe ser estimado mediante técnicas de
estimación.
12

13. 3. MODELOS BART EN INFERENCIA
CAUSAL.
 Una vez se dispone de la estimación del efecto causal para
cada individuo, el efecto total se calcula como una media
ponderada de todos ellos.
 Incluso si tenemos un conjunto de variables explicativas
podemos estimar efectos causales condicionales a dichas
variables.
 Hipótesis fundamentales:
 La asignación del tratamiento es aleatoria una vez que
consideramos un conjunto de variables explicativas
suficientemente amplio.
 Indentificación es posible. 13

14. 3. MODELOS BART EN INFERENCIA
CAUSAL
14

15. 4 ESTADÍSTICA DESCRIPTIVA
 La base de datos PISA contiene información
sobre conocimientos y habilidades de estudiantes
que están cercanos al final del periodo de
educación obligatoria.
 Nos centramos exclusivamente en el rendimiento
de estudiantes en matemáticas usando PISA
2012. En total son 25,313 observaciones.
 Se interpreta que cada observación se obtiene de
una muestra aleatoria de la población total (valor
plausible). Cada observación tiene un peso
relativo de acuerdo a su importancia en la
población total. 15

16. 4 ESTADÍSTICA DESCRIPTIVA
 Variables explicativas:
Características previas de los estudiantes
RELATIVE_AGE: periodo del año en el que el estudiante ha nacido.
GENDER: indicador del género.
EARLY_EDUCATION: indicador de si el estudiante ha asistido a educación preescolar.
Características socioeconómicas de la familia del estudiante
ESCS: Índice de status económico, social y cultural.
FAMSTRUC: Estructura familiar.
HEDRES: Recursos educativos en casa.
HISCED: Nivel educativo de los padres.
HISEI: Nivel ocupacional de los padres.
HOMEPOS: Posesiones en casa.
IMMIG: Status de inmigrante.
TIMEINT: Tiempo total de uso de computador (en minutos).
WEALTH: Renta.
School features
CLSIZE: Tamaño de clase .
SCMATEDU: Calidad de los recursos educativos en la escuela.
STRATIO: Ratio de estudiantes por profesor.
SMRATIO: Ratio de estudiantes por profesor en matemáticas.
SCHLTYPE: Indicador de tipo de propiedad en la escuela.
16

17. 5. RESULTADOS
17

18. 5. RESULTADOS
18

19. 5. RESULTADOS
19

20. 3. RESULTADOS
20

21. 4. CONCLUSIONES
 La metodología BART ofrece una interesante posibilidad de
estudiar efectos causales en ciencias sociales.
 Nuestra aplicación al análisis del efecto causal de ICT
sobre el desempeño de los estudiantes en PISA muestra un
efecto positivo, aunque moderado.
 Este resultado depende, entre otras cosas, de un grupo de
indicadores sociales y económicos de los estudiantes.
 Dos posibles razones de este efecto moderado:
 El número de observaciones no es suficientemente alto.
 El efecto no es importante.
 Se necesita más investigación sobre este tema... 21