Evaluación de Impacto de políticas públicas

Evaluación de Impacto de políticas públicas
Martín A. Rossi
Universidad de San Andrés
Santo Domingo
8-10 de febrero de 2010

Este trabajo se llevó a cabo con la ayuda de fondos asignados al IEP por el Centro Internacional de Investigaciones para el Desarrollo y de la Agencia Canadiense de Desarrollo Internacional, Ottawa, Canadá.
El autor agradece la colaboración del Instituto Dominicano de Telecomunicaciones en la organización e implementación del seminario.
Este documento cuenta con una licencia CreativeCommons del tipo: Reconocimiento - No comercial - Compartir bajo la misma licencia 2.5 Perú
Usted puede: copiar, distribuir y comunicar públicamente la obra y hacer obras derivadas, bajo las condiciones establecidas en la licencia: http://creativecommons.org/licenses/by-nc-sa/2.5/pe/legalcode
Se sugiere citar este documento de la siguiente forma:
Rossi, Martín. Evaluación de impacto de políticas públicas [diapositivas]. Santo Domingo: DIRSI, 2010.

Plan de la presentación
Introducción al problema de la evaluación del impacto de proyectos
La noción de causalidad. El diseño experimental
Before and After; With and Without; Difference in differences
Diseños no experimentales: Matching y Regresión discontinuada
Estrategias factibles para la evaluación del impacto de la portabilidad numérica en la República Dominicana

¿A qué llamamos “impacto” de un proyecto?
El concepto fundamental en esta literatura es el de causalidad
El impacto causal de un proyecto es la diferencia en un indicador de interés (como por ejemplo los precios o la calidad de servicio) con el proyecto y sin el proyecto
La mayor complicación proviene del hecho que en un momento dado del tiempo, la unidad de interés (que puede ser un individuo, una familia o una empresa) está o no está expuesta al proyecto
Por lo tanto, necesitamos construir un escenario contrafactual
Qué hubiese sucedido en la ausencia del proyecto

¿Cómo podemos medir el impacto de un proyecto?
O, ¿cómo construir el contrafactual?
Depende del tipo de información disponible, y de cómo fue generada esta información
Tipo de información disponible
Datos antes y después del proyecto pero sólo para agentes expuestos al proyecto
Datos después del proyecto para agentes expuestos y no expuestos al proyecto
Datos antes y después del proyecto tanto para agentes expuestos como no expuestos al proyecto
Cómo fueron generados estos datos
De forma experimental o no experimental

Tipo de información disponible
En general, casi todos los proyectos pueden ser evaluados
Pero los supuestos necesarios para construir el escenario contrafactual dependen en forma crucial del tipo de información disponible
Por lo tanto, el tipo de información disponible es determinante al momento de evaluar qué tan confiables van a ser los resultados de la evaluación
Veamos cuáles son los supuestos necesarios dependiendo del tipo de información disponible

Información post-proyecto pero solo para el grupo tratado
Si solo se tiene información para el grupo tratado después del proyecto, entonces es imposible decir algo respecto del impacto del proyecto, ya que no es posible construir un escenario contrafactual

Información para el grupo tratado antes y después del proyecto
Diferencia antes/después = 90 – 70 = 20
Denominado enfoque Before and After
Bajo supuestos muy fuertes esto puede llegar a funcionar
Pero usualmente no es el caso

Problema con este enfoque
El problema fundamental con el enfoque Before and After es que el impacto del proyecto se confunde con cualquier otro evento que haya sucedido en ese momento y que también pueden eventualmente haber afectado al indicador de interés
Esto es, la situación antes del proyecto en general no es un buen contrafactual
Ejemplo: programa de entrenamiento laboral con datos en el 2007 y en el 2010. La variación de los salarios (el indicador de interés) estaría contaminada por los efectos de las crisis del año 2009

Sobre-estimación del impacto del proyecto
Indicador del impacto
después
Impacto atribuido al proyecto con el enfoqueBefore & After
Contrafactual
antes
proyecto
tiempo

Datos post-proyecto para el grupo tratado y el grupo no tratado
Diferencia simple = 90 – 60 = 30
Denominado enfoque With and Without
Esto puede llegar a funcionar si los dos grupos eran
similares antes de la intervención
Pero sin información antes del proyecto es imposible
testear este supuesto (pensar en el caso donde los números
eran los mismos antes del proyecto)

Problema con este enfoque
La diferencia entre el indicador de interés en el grupo tratado y en el grupo no tratado no siempre refleja el impacto del proyecto
En cambio, puede estar reflejando una medida compuesta tanto por el impacto del proyecto como por diferencias preexistentes entre ambos grupos
A esto último se lo denomina sesgo de selección
Ejemplo: evaluación del impacto de estudiar en Harvard

Datos antes y después del proyecto tanto para el grupo tratado como el no tratado
Doble diferencia = (90-70)-(60-55) = 15
Denominado enfoque Diference in Differences
Datos de panel, con información tanto para el grupo tratado como no tratado es el escenario ideal para evaluar el impacto de un proyecto

¿Cómo fueron generados los datos?
La confiabilidad de los resultados va a depender de cómo fueron generados los datos
Dos posibilidades
Experimental
No experimental (o cuasi-experimental)
La mejor práctica actual es generar los datos de forma experimental
Identificar el grupo de agentes que cumple las condiciones para formar parte del proyecto, y luego asignar aleatoriamente a estos agentes al grupo de tratamiento y al grupo de control

¿Por qué se considera al enfoque experimental como la mejor práctica posible?
Si la muestra es lo suficientemente grande, entonces el grupo tratado y el grupo de control tendrán características (observables y no observables) similares
Por lo tanto, cualquier diferencia después del proyecto puede ser atribuida al proyecto
Ejemplo de características observables: edad
Ejemplo de características no observables: motivación
Crucial: que la muestra sea lo suficientemente grande para poder confiar en la Ley de los Grandes Números

Enfoques no experimentales
Varias alternativas
Matching
Difference in differences
Regresión discontinuada
En general, la idea central de estos enfoques es buscar agentes que no participan del proyecto que tengan características observables similares a los que participan del proyecto
La intuición es que si las características observables son similares, entonces es probable que también lo sean las no observables
Todos estos enfoques son second best comparados con el enfoque experimental

¿Cómo medir el impacto de un proyecto?
En los dos casos (experimental y no experimental) el impacto del proyecto se mide como la diferencia entre el indicador de interés promedio para las unidades tratadas y no tratadas
Por lo tanto, es necesario recolectar información de los indicadores de interés

¿Qué información necesitamos recolectar?
Consideremos el caso del proyecto de portabilidad numérica
Los indicadores de interés están relacionados con los tres tipos de beneficios que teóricamente puede brindar la portabilidad
Beneficios obtenidos directamente por aquellos que deciden hacer el switch
Beneficios obtenidos por todos los clientes de telefonía celular (baja de precios, mejoras de eficiencia, mayor innovación)
Beneficios obtenidos por aquellos que hacen llamados a números con portabilidad numérica

Indicadores de interés
Precios
No es claro el efecto final, dado que la implementación de la portabilidad tiene un costo que hace subir los precios, pero por otro lado el incremento de la competencia debería presionar en el sentido de bajar los precios
Calidad del servicio
Cantidad de gente que cambia de operador
Las operadoras pueden reaccionar disminuyendo la dispersión de precios y calidad del servicio, y el resultado observado puede ser que nadie cambia de operador
Si no se tiene esta información, usar proxies (ver Lyons 2006)

Otros requerimientos de información
Características de las empresas
Por ejemplo, número de clientes, facturación, etc.
Y de los clientes de las empresas
Esto es importante cuando se utiliza un grupo de control, ya que permite chequear si el grupo de control es realmente similar al grupo tratado, al menos en las características que son observables
Es importante darle al proyecto el tiempo suficiente para que madure, y los efectos reales del mismo se puedan observar

Causalidad versus correlación
Hemos dicho que la palabra clave en la literatura de evaluación de impacto es causalidad
No es sencillo identificar causalidad
La mayoría de la veces solo identificamos correlación
Diferencia entre correlación y causalidad
Ejemplo motivante I: el impacto de incrementar el número de policías sobre las tasas de criminalidad
Datos de corte transversal para muchas ciudades en un determinado año vis a vis datos para muchas ciudades en muchos años
Ejemplo motivante I: relación entre salarios y altura en EEUU y en Brasil

Causalidad
Utilizaremos el marco conceptual en Holland (1986). “Statistics and causal inference.” Journal of the American Statistical Association 81 (396), 945-960
Partimos de una población U de agentes económicos, que son nuestra unidad básica de análisis
Un agente particular en U es denotado con la letra u
El valor esperado de una variable es simplemente el promedio de esa variable para todas las unidades en U
El valor esperado condicional de una variable es el promedio de esa variable para un subconjunto de agentes, donde el subconjunto se define condicionando en los valores de las variables

Causalidad (cont.)
El efecto de una causa es siempre relativo a otra causa
Utilizando el lenguaje experimental, tratamiento (una causa) versus control (otra causa)
La noción fundamental es el potencial de cada agente a estar expuesto o no a la causa
Para inferencia causal, un requerimiento es que cada unidad potencialmente pueda ser expuesta a cualquiera de las causas
Ejemplo, los años de escolaridad pueden ser una causa, pero la raza no
Y(u) es el indicador de impacto de interés, es la variable que queremos explicar (por ejemplo, la calidad del servicio)
A(u) es un atributo del agente u (género, raza) que no podría haber sido distinto

Causalidad (cont.)
El indicador de interés, Y, puede potencialmente tomar dos valores: Yt e Yc
Yt(u) es el valor del indicador que observaríamos en el caso en que el agente estuviese expuesto a tratamiento, mientras que Yc(u) es el valor que observaríamos si el mismo agente estuviese expuesto a control
El efecto causal de t para el agente u, medido por el indicador Y y relativo a la causa c es
Yt(u) - Yc(u)
Aquí surge el problema fundamental de inferencia causal: es imposible observar el valor de Yt(u) e Yc(u) para el mismo agente y, por lo tanto, es imposible observar el efecto causal de t sobre u
Otra forma de decir esto es que no conocemos el contrafactual, esto es, no sabemos que hubiese pasado en la ausencia del tratamiento

Causalidad (cont.)
El énfasis está puesto en la palabra “observar”
Ambos, Yt(u) e Yc(u) existen, pero nosotros solo podemos observar uno de ellos
¿Qué se puede hacer?
Respuesta estadística: aceptar que solo es posible estimar el efecto causal promedio (por simplicidad, obviemos el subíndice u de las ecuaciones)
E(Yt) – E(Yc)
La idea es que los agentes que están expuestos a t pueden brindar información acerca de E(Yt), mientras que los agentes que están expuestos a c pueden brindar información acera de E(Yc)
El punto importante es que la solución estadística pasa por reemplazar el efecto causal de t sobre un determinado agente (lo que es imposible de estimar) por el efecto promedio de t sobre una población de agentes (lo que sí es posible de estimar)

Estimación de efectos causales
El efecto causal promedio es
E(Yt) – E(Yc),
Pero los datos que observamos solo nos dan información acerca de
E(Yt/t) y E(Yc/c)
Notemos que E(Yt/c) y E(Yc/t) existen, pero no pueden ser observados
Es importante recordar que E(Yt/t) y E(Yt) no son la misma cosa, y que pueden tomar valores muy diferentes (lo mismo para el grupo de control)
El salario promedio en la población puede ser diferente que el salario de los individuos que participaron de un programa de entrenamiento

¿Cómo solucionar esto?
¿Qué tenemos que suponer de forma tal que E(Yt/t) y E(Yt) sean iguales? (lo mismo para el grupo de control)
Supuesto de independencia. Cuando los agentes son asignados a t y c en forma aleatoria, la determinación de la causa (t o c) u a la que está expuesto es independiente de todas las demás variables. En particular, es independiente de Yt e Yc
Por lo tanto, bajo asignación aleatoria a tratamiento y control, E(Yt/t) = E(Yt) y E(Yc/c) = E(Yc)
Ahora, el efecto causal promedio puede ser computado como
E(Yt/t) - E(Yc/c)
Como ahora todo es observable, esta diferencia puede ser calculada

E(Yt/t) y E(Yc/c) son medias poblacionales, y nosotros solo tenemos información de una muestra
Por la Ley de los Grandes Números, si la muestra es lo suficientemente grande, la media muestral converge a la media poblacional
La diferencia en las medias muestrales entre los dos grupos es análogo a estimar la siguiente regresión:
Necesidad de tener una muestra grande

Aleatorización en dos etapas
El diseño ideal es en dos etapas
En una primera etapa se obtiene aleatoriamente un conjunto de agentes elegibles para el proyecto
En una segunda etapa a este conjunto de agentes elegibles se los asigna aleatoriamente a tratamiento o a control

Randomización en la primera etapa:Validez externa
El hecho que el subgrupo de agentes elegibles haya sido selecto en forma aleatoria en la primera etapa asegura que las conclusiones del estudio de evaluación de impacto tiene validez externa, esto es, que los agentes elegibles son representativos de la población
Esto puede no ser importante para Indotel, ya que el proyecto se aplicó a toda la población regulada por esta institución, pero puede ser importante para agencias internacionales al brindarles información acera de la posibilidad de replicar el programa en otros lugares
Pensar a la evaluación de un proyecto como un bien público, donde la institución que realiza el proyecto no puede apropiarse de todas las externalidades que genera la evaluación de su proyecto

Randomización en la segunda etapa:Validez interna
La asignación aleatoria de los individuos elegibles a tratamiento y control garantiza la validez interna
Garantiza que los dos grupos son idénticos en valor esperado
Por supuesto, hay que chequear que se cumpla en la muestra

Estimación
En este contexto, el efecto causal promedio de tratamiento puede ser estimado muy fácilmente mediante Mínimos Cuadrados Clásicos
El modelo a ser estimado es
donde ß es el parámetro de interés, yies el indicador de interés para el agente i, Di es una variable dicotómica que toma el valor uno si el agente i fue asignado a tratamiento, y εi es el término de error

Complicaciones a la utilización del enfoque experimental
El principal problema se da cuando algunos agentes originalmente asignados al grupo de tratamiento terminan no recibiendo el tratamiento, o cuando algunos agentes originalmente asignados al grupo de control terminan recibiendo el tratamiento
A esto se lo llama el problema de non-compliance
Solución: utilizar variables instrumentales

Portabilidad numérica
No vamos a discutir en profundidad el enfoque experimental porque no es aplicable al caso de la evaluación de la portabilidad numérica en la República Dominicana
En esta aplicación en particular hay que aceptar que se deben utilizar datos generados de forma no experimental
Plan: ver tipos de datos disponibles, y tipos de enfoques que se podrían utilizar

Formato de los datos
Datos en formato de panel, pero solo para los tratados: Before and After
Datos de corte transversal, tanto para el grupo tratado como para un grupo de control (no tratado): With and Without
Datos en formato de panel, tanto para el grupo tratado como para un grupo de control: Difference in Differences

Necesidad de datos de panel, pero solo para los tratados
Conceptualmente muy sencillo y probablemente el enfoque que se puede aplicar con más facilidad y menores costos en términos de recolección de datos
Compara la situación antes y después para los participantes del proyecto
Se obtiene computando la diferencia entre el indicador de interés promedio de los participantes antes y después del proyecto
Before and After

Before and after en una regresión
Es posible computar el estimador Before and After por medio de una regresión en la cual la variable dependiente es el indicador de interés y la variable explicativa cuyo coeficiente estamos interesados en estimar es una variable dicotómica que adopta el valor uno si la observación es después del programa y cero si antes del programa

Supuesto
El supuesto fundamental del enfoque Before and After es que el nivel del indicador de interés no hubiese cambiado en ausencia del proyecto
En otras palabras, el nivel del indicador antes de la intervención es utilizado como contrafactual
En la mayoría de los casos este supuesto es muy fuerte
Esto es, la ausencia de un grupo de control no implica que no haya un contrafactual; implica que el contrafactual no es muy creíble en la mayoría de las aplicaciones

Salarios
1000
900
700
Tiempo
t+1
t-2
t-1
t
Comparación Before and After: Proyecto de capacitación laboral

Ejemplo en el cual el supuesto probablemente no se cumpla
Supongamos un programa de capacitación laboral en el momento t
Si se comparan los salarios en t-1 y t+1, la conclusión sería que el programa no ha tenido efecto sobre el salario promedio
Sin embargo, el hecho que hubiese una tendencia negativa antes del proyecto nos puede hacer suponer que esa tendencia hubiese continuado igual en ausencia del proyecto
Por lo tanto, en este caso particular el efecto positivo del proyecto es subestimado si uno realiza una estimación Before and After
Lo importante es notar la conveniencia de disponer de más de una observación antes del tratamiento, de forma tal de poder estimar en forma más o menos confiable la tendencia de la variable de interés

Before and after en el caso de la portabilidad
Buscar información de las variables de interés (precios, calidad) de las empresas de la República Dominicana antes y después de la implementación de la portabilidad numérica
Si es posible, conseguir información desde mucho tiempo antes, de forma tal de poder estimar una tendencia en esas variables
Ver si hay un cambio de tendencia después de la implementación de la portabilidad
Esto es, usar la tendencia pretratamiento como contrafactual
Si se puede observar un cambio de tendencia marcado, este enfoque sería medianamente creíble

With and without
Utilizado cuando los datos son de corte transversal
Compara la diferencia en el indicador de interés después del programa entre los participantes y no participantes
El supuesto es que no hay sesgo de selección; esto es, que no hay diferencias antes del proyecto entre el grupo de participantes y el grupo de no participantes
El nivel del indicador correspondiente al grupo de control es utilizado como contrafactual
La ventaja es que este enfoque se puede utilizar cuando no se dispone de información antes del programa

With and without en el caso de la portabilidad
Recolectar información actual de las variables de interés para las empresas de la República Dominicana
Recolectar información de empresas comparables en otros países de la región donde no se implementó portabilidad numérica
Comparar el promedio de precios y calidad de servicio entre los dos grupos
Este enfoque, en este caso particular, no arrojaría resultados creíbles
Mayor credibilidad si se utiliza algún procedimiento complementario (matching)

Matching
Utilizado cuando los datos no son generados en forma experimental, y cuando se dispone de datos de corte transversal (esto es, no se dispone de datos antes del tratamiento)
Es un procedimiento que mejora al enfoque with and without
El indicador de interés de cada participante es comparado con el indicador de interés correspondiente a un o un grupo de no participantes con caractarísticas similares al participante

Supuesto
El principal supuesto es que la selección al grupo tratado depende solo de variables observables
Esto es, condicional en el conjunto de variables observables disponible, el estatus de tratamiento no está correlacionado con el término de error
En otras palabras, condicional en el conjunto de variables observables disponible, todas las características no observables relevantes se encuentran balanceadas entre el grupo de control y el grupo de tratamiento

Propensity score matching
Problema con matching: en los casos en los que hay muchas características observables, es improbable encontrar un no participante para cada uno de los participantes que comparta todas estas características
Solución: realizar el matching de participantes y no participantes basado en el los propensity scores estimados:
p(x) ≡ P(T=1|x)
A este procedimiento se lo denomina propensity score matching

Propensity score matching (cont.)
Rosenbaum and Rubin (1983)1 demostraron que es lo mismo hacer matching con todas las características que hacerlo con el propensity score estimado
Se reduce un problema multidimensional a un problema unidimensional
Ahora es más sencillo encontrar buenos matches o comparadores
1. Rosenbaum and Rubin (1985). “Constructing a Control Group Using Multivariate Matched Sampling Methods that Incorporate the Propensity Score.” The American Statistician 39 (1), 33-38

PSM: otro supuesto
Un supuesto necesario para propensity score matching es que la probabilidad de ser seleccionado condicional en las características observables sea menor a uno
Esto es, el estatus de tratamiento no puede ser predicho perfectamente en base al conjunto de variables observables, X
En caso contrario, sería imposible encontrar a un no participante con el mismo propensity score
Esto es, solo se comparan individuos comparables

PSM: procedimiento
Estimar un modelo de la probabilidad de ser tratado condicional en el vector de características observables X (Probit o Logit)
Predecir los propensity scores individuales basados en la estimación anterior
Utilizar un promedio ponderado de los no participantes como contrafactual de cada participantes
Esto es, al indicador de interés de cada participante se le resta un promedio ponderado del indicador de interés de los no participantes

PSM procedimiento (cont.)
Estimar el efecto promedio de tratamiento como
Donde
N1 es el número de participantes
N0 es el número de no participantes
i indexa a los participantes
j indexa a los no participantes
wij son las ponderaciones

PSM procedimiento (cont.)
Cuanto menor es la diferencia en los propensity scores estimados, mayor es el peso que se le asigna al no participante en la construcción del contrafactual del participantes
Diferentes enfoques para estimar las ponderaciones
Nearest-Neighbour-Matching
Caliper Matching
Kernel-Based Matching

Nearest-Neighbour matching
Se le asigna ponderación igual a uno al no participantes con la menor distancia al participante |pi-pj|
Todos los demás no participantes tienen una ponderación igual a cero

Caliper matching
El participante i solo es incluido en el cálculo final del impacto promedio, si hay algún no participante cuya distancia sea menor a algún número prefijado: |pi-pj|<H
Reduce la posibilidad de tener malos matches
Pero algunos participantes pueden no entrar en el cálculo

Kernel-based matching
Todos los no participantes tienen una ponderación positiva en el cálculo del contractual de todos los participantes
La ponderación es inversamente proporcional a la distancia entre los propensity scores estimados |pi-pj|

El soporte común
Para incrementar la comparabilidad, la muestra se restringe al soporte común
Se reduce el sesgo proveniente de no tener comparadores

Densidad de los propensity scores de los participantes

Densidad de los propensity scores de los no participantes

Lecciones a partir del enfoquede matching
Herramienta útil para controlar por heterogeneidad no observable cuando no se dispone de datos experimentales ni de datos antes del proyecto
Validez del enfoque depende enormemente de la calidad y cantidad de características observables que se disponga
El soporte común puede ser un problema
Especialmente si se pierden individuos tratados

Difference in differences: concepto
Combina los enfoques before and after y with and without
Compara los cambios en el grupo de participantes con respecto a los cambios en el grupo de no participantes
Requiere datos de panel, tanto para el grupo tratado como para el grupo de control

Difference in differences
Cambio a través del tiempo
para el grupo tratado
Ganancia a través del
tiempo para el grupo
de control

Representación formal
Consideremos la siguiente ecuación:
donde Yit es el indicador de interés correspondiente al individuo i en el momento t, Dites una variable dicotómica que adopta el valor 1 si el individuo i es tratado en el momento t, β es el parámetro de interés, y Xites el vector de variables explicativas

Representación formal (cont.)
Los determinantes no observables vienen representados por los últimos tres términos
Un efecto individuo que es invariante en el tiempo, αi, el cual captura diferencias permanentes entre individuos
Un efecto tiempo, μt, que captura shocks comunes a todos los individuos en un determinado momento
El término de error, εi, que se supone no está correlacionado ni con las X’s ni con D

Supuesto detrás del enfoque de difference in differences
El supuesto de identificación del enfoque difference in differences es que los controles han evolucionado en el período pre- a post-proyecto de la misma forma en que los tratados lo hubieran hecho en ausencia del proyecto
En otras palabras, el cambio en el indicador de interés para los individuos en el grupo de control es un estimador no sesgado del contrafactual
Recordar que en el enfoque with and without el contrafactual era que el nivel del indicador de los individuos en el grupo de control

Difference in differences Mejor escenario posible

Difference in differences cuando los niveles iniciales son distintos

Diferencias preexistentes en los niveles
Una de las grandes ventajas de difference in differences es que no es necesario controlar por características no observables, siempre y cuando éstas no varíen en el tiempo
Sin embargo, diferencias en los niveles iniciales pueden estar reflejando que futuros shocks afecten distinto a los individuos en los distintos grupos

Difference in differences cuando las tendencias antes del proyecto eran distintas

Diferencias preexistentes en las tendencias
Dado que las tendencias eran distintas antes del proyecto, es improbable que las tendencias hubiesen sido similares en el escenario contrafactual
Por lo tanto, la tendencia del grupo de control no es un buen contrafactual de la tendencia del grupo tratado

Test formal del paralelismo de las tendencias antes del tratamiento
Estimar un modelo para el indicador de interés e incluir como variables explicativas variables dicotómicas temporales para aquellos que eventualmente son tratados y controles, utilizando solo observaciones antes del tratamiento
Testear si las variables dicotómicas que capturan la interacción son significativas
Alternativamente, hacerlo con tendencia lineal
El problema es cuando tenemos solo una observación antes del proyecto
En ese caso ni siquiera es suficiente que los niveles sean iguales, ya que los mismos niveles en ese momento pueden haber sido generados por distintas tendencias previas

Caso de estudio
En Chudnovsky, Lopez, Rossi, y Ubfal (2008)1 evaluamos el impacto de subsidios a la investigación en el desempeño académico de los investigadores
El desempeño académico lo medimos en términos del número de publicaciones y del índice de impacto en revistas con referato
El grupo de control está conformado por investigadores que aplicaron al subsidio pero que no lo obtuvieron
Ayuda a controlar por motivación
1. Chudnovsky, Lopez, Rossi, and Ubfal (2008).“Money for Science? The Impact of Research Grants on Academic Output.” Fiscal Studies 29 (1), 75-87

Diseño para la evaluación: dif-in-dif
Utilizamos el enfoque difference in difference
En este enfoque no es necesario controlar explícitamente por características individuales que son invariantes en el tiempo ya que ellas son absorbidas por el efecto individual
El supuesto es que el cambio en el desempeño académico del grupo de control es un buen contrafactual
Este supuesto no puede ser testeado, pero si podemos testear si las tendencias eran paralelas antes del tratamiento

Test informal del supuesto de identificación: publicaciones

Test informal del supuesto de identificación: índice de impacto

Combinación de matching y difference in differences
Matching
Selección depende solo de observables
Solución
Combinar matching y difference-in-differences
Esto permite controlar por no observables constantes en el tiempo
Condición
Disponer de datos de panel

Difference-in-differences matching
Matching
Difference-in-difference matching

Recapitulando
El principal supuesto en el enfoque before and after es que el nivel del indicador de interés antes del tratamiento es un buen contrafactual
El principal supuesto en el enfoque with and without es que el nivel del indicador en el grupo de control es un buen contrafactual
Supuesto muy fuerte, necesidad de utilizar un procedimiento de matching
El principal supuesto en el enfoque difference in differences es que el cambio en el indicador de interés en el grupo de control es un buen contrafactual
Supuesto aceptable, especialmente si se pueden testear las tendencias antes de tratamiento
Posible de mejorar aún más si se lo combina con matching

Regresión discontinuada
Este enfoque se caracteriza por el hecho que la probabilidad de participar del proyecto varía en forma discontinua con respecto a una variable
Existe un umbral en una variable que es el que determina si el individuo participa o no del proyecto

Regresión discontinuada (cont.)
Explota la regla que genera asignación al programa solo para aquellos individuos por encima del umbral
Asume discontinuidad en la participación pero no en otras variables
Contrafactual: los individuos justo debajo del umbral
Esto es, alrededor del umbral es como tener un “experimento”, en el sentido que el grupo de control es similar al grupo de tratamiento

Regresión discontinuada: ejemplo
Beca a estudiantes otorgada a aquellos con nota promedio superior a 7 sobre 10
Hay una discontinuidad en 7
Supongamos que queremos estimar el impacto de la beca en los salarios futuros
Comparar los salarios de los becados y no becados no parece una buena estrategia, ya que probablemente sobre estimaría el impacto
¿Por qué? En promedio, se podría pensar que aquellos con promedios por encima de 7 son más inteligentes o motivados que aquellos con promedios por debajo de 7
Por lo tanto, es posible que sus salarios futuros de los dos grupos hubiesen sido distintos aún en ausencia de la beca
Y no es posible controlar por inteligencia o motivación porque no son observables por el investigador

Regresión discontinuada: ejemplo (cont.)
¿Cómo opera RD?
Comparando aquellos estudiantes cuyas notas promedio se encuentran justo por encima de 7 (y por lo tanto reciben la beca) con aquellos estudiantes cuyas notas promedio se encuentran justo por debajo de 7 (y por lo tanto no reciben la beca)
¿Cuál es el supuesto de identificación?
Todas las variables no observables que afectan los salarios futuros se encuentran balanceadas para aquellos estudiantes en un entorno del punto de corte
En particular, tanto la motivación como la inteligencia son similares para un estudiante con un promedio 7.01 como para uno con un promedio 6.99

Tipos de diseño para regresiones discontinuadas
Hay dos tipos de diseño
El diseño sharp y el diseño fuzzy
En el diseño sharp, la selección al tratamiento depende de forma determinística de una variable observable, y además se conoce el punto umbral
En el diseño fuzzy, la selección al tratamiento es aleatoria condicional en la variable observable, pero la probabilidad condicional es discontinua en el punto umbral
En el diseño fuzzy hay “non-compliers” (por lo que hay que usar Variables Instrumentales)

Potenciales problemas
Potencial pérdida de poder estadístico debido al uso de una sub-muestra
Potencial problema de validez externa
La posible existencia de efectos de tratamiento heterogéneos sugiere que las estimaciones solo son válidas alrededor del punto de corte
Cuidado al querer extrapolar los resultados a la población
Los individuos no tienen que poder manipular el punto umbral ni tener comportamiento estratégico en base al punto umbral

Regresión discontinuada: ejemplo (cont.)
Volviendo al ejemplo de las becas
La pérdida de poder estadístico se debe a que sólo estamos usando para calcular el efecto de tratamiento a aquellos estudiantes, digamos, con notas promedio entre 6.50 y 7.50
El problema de validez externa se debe a que las becas pueden tener un impacto distinto para alumnos con diferentes promedios
Por ejemplo, las becas podrían beneficiar más a aquellos con promedios altos comparado con aquellos con promedios más bajos
La manipulación es también un problema si es que los estudiantes conocen de antemano que las becas serán otorgadas a los alumnos con promedios superiores a 7 puntos

Regresión discontinuada y portabilidad numérica
No parece posible utilizar el enfoque de regresión discontinuada para la evaluación de este proyecto en particular

Ranking de confiabilidad de los distintos enfoques

El caso de la portabilidad numérica
El mejor escenario para la evaluación se daría si fuese posible contar con datos tanto para las empresas de la República Dominicana como otras empresas de la región donde no se implementó portabilidad numérica, antes y después de la implementación de la portabilidad numérica
Si las tendencias antes de la implementación fuesen similares, y se observara un cambio de tendencia luego de la portabilidad pero únicamente para las empresas de la República Dominicana, entonces el resultado sería creíble
Esto es, el mejor procedimiento consistiría en utilizar el enfoque de difference in differences, complementándolo con procedimientos de matching

Quizás más interesante aún…
Recolectar datos de otros países que hayan implementado portabilidad numérica
Este procedimiento evaluaría el impacto de la portabilidad numérica en general, no de la portabilidad numérica en la República Dominicana
Sin embargo, no siempre la implementación ha sido igual
Los procedimientos, costos y tiempos para lograr la portabilidad difieren entre países

Universidad de San Andrés
Vito Dumas 284 (1644)
Buenos Aires – Argentina
TE: (5411) 4725-6948;
FAX: (5411) 4725-7027
mrossi@udesa.edu.ar
http://www.udesa.edu.ar/Faculty/mrossi/index.htm

http://dirsi.net	84
http://www.slideshare.net	40
http://www.dirsi.net	10
http://74.125.93.132	1
http://webcache.googleusercontent.com	1

Evaluación de Impacto de políticas públicas

by Dialogo regional sobre Sociedad de la Información on Feb 24, 2010

Accessibility

Categories

Tags

Upload Details

Usage Rights

5 Embeds 136

Statistics

Evaluación de Impacto de políticas públicas — Presentation Transcript