Evaluación de Impacto de políticas públicas

Evaluación de Impacto de políticas públicas Martín A. Rossi Universidad de San Andrés Santo Domingo 8-10 de febrero de 2010

Este trabajo se llevó a cabo con la ayuda de fondos asignados al IEP por el Centro Internacional de Investigaciones para el Desarrollo y de la Agencia Canadiense de Desarrollo Internacional, Ottawa, Canadá. El autor agradece la colaboración del Instituto Dominicano de Telecomunicaciones en la organización e implementación del seminario. Este documento cuenta con una licencia CreativeCommons del tipo: Reconocimiento - No comercial - Compartir bajo la misma licencia 2.5 Perú Usted puede: copiar, distribuir y comunicar públicamente la obra y hacer obras derivadas, bajo las condiciones establecidas en la licencia: http://creativecommons.org/licenses/by-nc-sa/2.5/pe/legalcode Se sugiere citar este documento de la siguiente forma: Rossi, Martín. Evaluación de impacto de políticas públicas [diapositivas]. Santo Domingo: DIRSI, 2010.

Plan de la presentación Introducción al problema de la evaluación del impacto de proyectos La noción de causalidad. El diseño experimental Before and After; With and Without; Difference in differences Diseños no experimentales: Matching y Regresión discontinuada Estrategias factibles para la evaluación del impacto de la portabilidad numérica en la República Dominicana

¿A qué llamamos “impacto” de un proyecto? El concepto fundamental en esta literatura es el de causalidad El impacto causal de un proyecto es la diferencia en un indicador de interés (como por ejemplo los precios o la calidad de servicio) con el proyecto y sin el proyecto La mayor complicación proviene del hecho que en un momento dado del tiempo, la unidad de interés (que puede ser un individuo, una familia o una empresa) está o no está expuesta al proyecto Por lo tanto, necesitamos construir un escenario contrafactual Qué hubiese sucedido en la ausencia del proyecto

¿Cómo podemos medir el impacto de un proyecto? O, ¿cómo construir el contrafactual? Depende del tipo de información disponible, y de cómo fue generada esta información Tipo de información disponible Datos antes y después del proyecto pero sólo para agentes expuestos al proyecto Datos después del proyecto para agentes expuestos y no expuestos al proyecto Datos antes y después del proyecto tanto para agentes expuestos como no expuestos al proyecto Cómo fueron generados estos datos De forma experimental o no experimental

Tipo de información disponible En general, casi todos los proyectos pueden ser evaluados Pero los supuestos necesarios para construir el escenario contrafactual dependen en forma crucial del tipo de información disponible Por lo tanto, el tipo de información disponible es determinante al momento de evaluar qué tan confiables van a ser los resultados de la evaluación Veamos cuáles son los supuestos necesarios dependiendo del tipo de información disponible

Información post-proyecto pero solo para el grupo tratado Si solo se tiene información para el grupo tratado después del proyecto, entonces es imposible decir algo respecto del impacto del proyecto, ya que no es posible construir un escenario contrafactual

Información para el grupo tratado antes y después del proyecto Diferencia antes/después = 90 – 70 = 20 Denominado enfoque Before and After Bajo supuestos muy fuertes esto puede llegar a funcionar Pero usualmente no es el caso

Problema con este enfoque El problema fundamental con el enfoque Before and After es que el impacto del proyecto se confunde con cualquier otro evento que haya sucedido en ese momento y que también pueden eventualmente haber afectado al indicador de interés Esto es, la situación antes del proyecto en general no es un buen contrafactual Ejemplo: programa de entrenamiento laboral con datos en el 2007 y en el 2010. La variación de los salarios (el indicador de interés) estaría contaminada por los efectos de las crisis del año 2009

Sobre-estimación del impacto del proyecto Indicador del impacto después Impacto atribuido al proyecto con el enfoqueBefore & After Contrafactual antes proyecto tiempo

Datos post-proyecto para el grupo tratado y el grupo no tratado Diferencia simple = 90 – 60 = 30 Denominado enfoque With and Without Esto puede llegar a funcionar si los dos grupos eran similares antes de la intervención Pero sin información antes del proyecto es imposible testear este supuesto (pensar en el caso donde los números eran los mismos antes del proyecto)

Problema con este enfoque La diferencia entre el indicador de interés en el grupo tratado y en el grupo no tratado no siempre refleja el impacto del proyecto En cambio, puede estar reflejando una medida compuesta tanto por el impacto del proyecto como por diferencias preexistentes entre ambos grupos A esto último se lo denomina sesgo de selección Ejemplo: evaluación del impacto de estudiar en Harvard

Datos antes y después del proyecto tanto para el grupo tratado como el no tratado Doble diferencia = (90-70)-(60-55) = 15 Denominado enfoque Diference in Differences Datos de panel, con información tanto para el grupo tratado como no tratado es el escenario ideal para evaluar el impacto de un proyecto

¿Cómo fueron generados los datos? La confiabilidad de los resultados va a depender de cómo fueron generados los datos Dos posibilidades Experimental No experimental (o cuasi-experimental) La mejor práctica actual es generar los datos de forma experimental Identificar el grupo de agentes que cumple las condiciones para formar parte del proyecto, y luego asignar aleatoriamente a estos agentes al grupo de tratamiento y al grupo de control

¿Por qué se considera al enfoque experimental como la mejor práctica posible? Si la muestra es lo suficientemente grande, entonces el grupo tratado y el grupo de control tendrán características (observables y no observables) similares Por lo tanto, cualquier diferencia después del proyecto puede ser atribuida al proyecto Ejemplo de características observables: edad Ejemplo de características no observables: motivación Crucial: que la muestra sea lo suficientemente grande para poder confiar en la Ley de los Grandes Números

Enfoques no experimentales Varias alternativas Matching Difference in differences Regresión discontinuada En general, la idea central de estos enfoques es buscar agentes que no participan del proyecto que tengan características observables similares a los que participan del proyecto La intuición es que si las características observables son similares, entonces es probable que también lo sean las no observables Todos estos enfoques son second best comparados con el enfoque experimental

¿Cómo medir el impacto de un proyecto? En los dos casos (experimental y no experimental) el impacto del proyecto se mide como la diferencia entre el indicador de interés promedio para las unidades tratadas y no tratadas Por lo tanto, es necesario recolectar información de los indicadores de interés

¿Qué información necesitamos recolectar? Consideremos el caso del proyecto de portabilidad numérica Los indicadores de interés están relacionados con los tres tipos de beneficios que teóricamente puede brindar la portabilidad Beneficios obtenidos directamente por aquellos que deciden hacer el switch Beneficios obtenidos por todos los clientes de telefonía celular (baja de precios, mejoras de eficiencia, mayor innovación) Beneficios obtenidos por aquellos que hacen llamados a números con portabilidad numérica

Indicadores de interés Precios No es claro el efecto final, dado que la implementación de la portabilidad tiene un costo que hace subir los precios, pero por otro lado el incremento de la competencia debería presionar en el sentido de bajar los precios Calidad del servicio Cantidad de gente que cambia de operador Las operadoras pueden reaccionar disminuyendo la dispersión de precios y calidad del servicio, y el resultado observado puede ser que nadie cambia de operador Si no se tiene esta información, usar proxies (ver Lyons 2006)

Otros requerimientos de información Características de las empresas Por ejemplo, número de clientes, facturación, etc. Y de los clientes de las empresas Esto es importante cuando se utiliza un grupo de control, ya que permite chequear si el grupo de control es realmente similar al grupo tratado, al menos en las características que son observables Es importante darle al proyecto el tiempo suficiente para que madure, y los efectos reales del mismo se puedan observar

Causalidad versus correlación Hemos dicho que la palabra clave en la literatura de evaluación de impacto es causalidad No es sencillo identificar causalidad La mayoría de la veces solo identificamos correlación Diferencia entre correlación y causalidad Ejemplo motivante I: el impacto de incrementar el número de policías sobre las tasas de criminalidad Datos de corte transversal para muchas ciudades en un determinado año vis a vis datos para muchas ciudades en muchos años Ejemplo motivante I: relación entre salarios y altura en EEUU y en Brasil

Causalidad Utilizaremos el marco conceptual en Holland (1986). “Statistics and causal inference.” Journal of the American Statistical Association 81 (396), 945-960 Partimos de una población U de agentes económicos, que son nuestra unidad básica de análisis Un agente particular en U es denotado con la letra u El valor esperado de una variable es simplemente el promedio de esa variable para todas las unidades en U El valor esperado condicional de una variable es el promedio de esa variable para un subconjunto de agentes, donde el subconjunto se define condicionando en los valores de las variables

Causalidad (cont.) El efecto de una causa es siempre relativo a otra causa Utilizando el lenguaje experimental, tratamiento (una causa) versus control (otra causa) La noción fundamental es el potencial de cada agente a estar expuesto o no a la causa Para inferencia causal, un requerimiento es que cada unidad potencialmente pueda ser expuesta a cualquiera de las causas Ejemplo, los años de escolaridad pueden ser una causa, pero la raza no Y(u) es el indicador de impacto de interés, es la variable que queremos explicar (por ejemplo, la calidad del servicio) A(u) es un atributo del agente u (género, raza) que no podría haber sido distinto

Causalidad (cont.) El indicador de interés, Y, puede potencialmente tomar dos valores: Yt e Yc Yt(u) es el valor del indicador que observaríamos en el caso en que el agente estuviese expuesto a tratamiento, mientras que Yc(u) es el valor que observaríamos si el mismo agente estuviese expuesto a control El efecto causal de t para el agente u, medido por el indicador Y y relativo a la causa c es Yt(u) - Yc(u) Aquí surge el problema fundamental de inferencia causal: es imposible observar el valor de Yt(u) e Yc(u) para el mismo agente y, por lo tanto, es imposible observar el efecto causal de t sobre u Otra forma de decir esto es que no conocemos el contrafactual, esto es, no sabemos que hubiese pasado en la ausencia del tratamiento

Causalidad (cont.) El énfasis está puesto en la palabra “observar” Ambos, Yt(u) e Yc(u) existen, pero nosotros solo podemos observar uno de ellos ¿Qué se puede hacer? Respuesta estadística: aceptar que solo es posible estimar el efecto causal promedio (por simplicidad, obviemos el subíndice u de las ecuaciones) E(Yt) – E(Yc) La idea es que los agentes que están expuestos a t pueden brindar información acerca de E(Yt), mientras que los agentes que están expuestos a c pueden brindar información acera de E(Yc) El punto importante es que la solución estadística pasa por reemplazar el efecto causal de t sobre un determinado agente (lo que es imposible de estimar) por el efecto promedio de t sobre una población de agentes (lo que sí es posible de estimar)

Estimación de efectos causales El efecto causal promedio es E(Yt) – E(Yc), Pero los datos que observamos solo nos dan información acerca de E(Yt/t) y E(Yc/c) Notemos que E(Yt/c) y E(Yc/t) existen, pero no pueden ser observados Es importante recordar que E(Yt/t) y E(Yt) no son la misma cosa, y que pueden tomar valores muy diferentes (lo mismo para el grupo de control) El salario promedio en la población puede ser diferente que el salario de los individuos que participaron de un programa de entrenamiento

¿Cómo solucionar esto? ¿Qué tenemos que suponer de forma tal que E(Yt/t) y E(Yt) sean iguales? (lo mismo para el grupo de control) Supuesto de independencia. Cuando los agentes son asignados a t y c en forma aleatoria, la determinación de la causa (t o c) u a la que está expuesto es independiente de todas las demás variables. En particular, es independiente de Yt e Yc Por lo tanto, bajo asignación aleatoria a tratamiento y control, E(Yt/t) = E(Yt) y E(Yc/c) = E(Yc) Ahora, el efecto causal promedio puede ser computado como E(Yt/t) - E(Yc/c) Como ahora todo es observable, esta diferencia puede ser calculada

E(Yt/t) y E(Yc/c) son medias poblacionales, y nosotros solo tenemos información de una muestra Por la Ley de los Grandes Números, si la muestra es lo suficientemente grande, la media muestral converge a la media poblacional La diferencia en las medias muestrales entre los dos grupos es análogo a estimar la siguiente regresión: Necesidad de tener una muestra grande

Aleatorización en dos etapas El diseño ideal es en dos etapas En una primera etapa se obtiene aleatoriamente un conjunto de agentes elegibles para el proyecto En una segunda etapa a este conjunto de agentes elegibles se los asigna aleatoriamente a tratamiento o a control

Randomización en la primera etapa:Validez externa El hecho que el subgrupo de agentes elegibles haya sido selecto en forma aleatoria en la primera etapa asegura que las conclusiones del estudio de evaluación de impacto tiene validez externa, esto es, que los agentes elegibles son representativos de la población Esto puede no ser importante para Indotel, ya que el proyecto se aplicó a toda la población regulada por esta institución, pero puede ser importante para agencias internacionales al brindarles información acera de la posibilidad de replicar el programa en otros lugares Pensar a la evaluación de un proyecto como un bien público, donde la institución que realiza el proyecto no puede apropiarse de todas las externalidades que genera la evaluación de su proyecto

Randomización en la segunda etapa:Validez interna La asignación aleatoria de los individuos elegibles a tratamiento y control garantiza la validez interna Garantiza que los dos grupos son idénticos en valor esperado Por supuesto, hay que chequear que se cumpla en la muestra

Estimación En este contexto, el efecto causal promedio de tratamiento puede ser estimado muy fácilmente mediante Mínimos Cuadrados Clásicos El modelo a ser estimado es donde ß es el parámetro de interés, yies el indicador de interés para el agente i, Di es una variable dicotómica que toma el valor uno si el agente i fue asignado a tratamiento, y εi es el término de error

Complicaciones a la utilización del enfoque experimental El principal problema se da cuando algunos agentes originalmente asignados al grupo de tratamiento terminan no recibiendo el tratamiento, o cuando algunos agentes originalmente asignados al grupo de control terminan recibiendo el tratamiento A esto se lo llama el problema de non-compliance Solución: utilizar variables instrumentales

Portabilidad numérica No vamos a discutir en profundidad el enfoque experimental porque no es aplicable al caso de la evaluación de la portabilidad numérica en la República Dominicana En esta aplicación en particular hay que aceptar que se deben utilizar datos generados de forma no experimental Plan: ver tipos de datos disponibles, y tipos de enfoques que se podrían utilizar

Formato de los datos Datos en formato de panel, pero solo para los tratados: Before and After Datos de corte transversal, tanto para el grupo tratado como para un grupo de control (no tratado): With and Without Datos en formato de panel, tanto para el grupo tratado como para un grupo de control: Difference in Differences

Necesidad de datos de panel, pero solo para los tratados Conceptualmente muy sencillo y probablemente el enfoque que se puede aplicar con más facilidad y menores costos en términos de recolección de datos Compara la situación antes y después para los participantes del proyecto Se obtiene computando la diferencia entre el indicador de interés promedio de los participantes antes y después del proyecto Before and After

Before and after en una regresión Es posible computar el estimador Before and After por medio de una regresión en la cual la variable dependiente es el indicador de interés y la variable explicativa cuyo coeficiente estamos interesados en estimar es una variable dicotómica que adopta el valor uno si la observación es después del programa y cero si antes del programa

Supuesto El supuesto fundamental del enfoque Before and After es que el nivel del indicador de interés no hubiese cambiado en ausencia del proyecto En otras palabras, el nivel del indicador antes de la intervención es utilizado como contrafactual En la mayoría de los casos este supuesto es muy fuerte Esto es, la ausencia de un grupo de control no implica que no haya un contrafactual; implica que el contrafactual no es muy creíble en la mayoría de las aplicaciones

Salarios 1000 900 700 Tiempo t+1 t-2 t-1 t Comparación Before and After: Proyecto de capacitación laboral

Ejemplo en el cual el supuesto probablemente no se cumpla Supongamos un programa de capacitación laboral en el momento t Si se comparan los salarios en t-1 y t+1, la conclusión sería que el programa no ha tenido efecto sobre el salario promedio Sin embargo, el hecho que hubiese una tendencia negativa antes del proyecto nos puede hacer suponer que esa tendencia hubiese continuado igual en ausencia del proyecto Por lo tanto, en este caso particular el efecto positivo del proyecto es subestimado si uno realiza una estimación Before and After Lo importante es notar la conveniencia de disponer de más de una observación antes del tratamiento, de forma tal de poder estimar en forma más o menos confiable la tendencia de la variable de interés

Before and after en el caso de la portabilidad Buscar información de las variables de interés (precios, calidad) de las empresas de la República Dominicana antes y después de la implementación de la portabilidad numérica Si es posible, conseguir información desde mucho tiempo antes, de forma tal de poder estimar una tendencia en esas variables Ver si hay un cambio de tendencia después de la implementación de la portabilidad Esto es, usar la tendencia pretratamiento como contrafactual Si se puede observar un cambio de tendencia marcado, este enfoque sería medianamente creíble

With and without Utilizado cuando los datos son de corte transversal Compara la diferencia en el indicador de interés después del programa entre los participantes y no participantes El supuesto es que no hay sesgo de selección; esto es, que no hay diferencias antes del proyecto entre el grupo de participantes y el grupo de no participantes El nivel del indicador correspondiente al grupo de control es utilizado como contrafactual La ventaja es que este enfoque se puede utilizar cuando no se dispone de información antes del programa

With and without en el caso de la portabilidad Recolectar información actual de las variables de interés para las empresas de la República Dominicana Recolectar información de empresas comparables en otros países de la región donde no se implementó portabilidad numérica Comparar el promedio de precios y calidad de servicio entre los dos grupos Este enfoque, en este caso particular, no arrojaría resultados creíbles Mayor credibilidad si se utiliza algún procedimiento complementario (matching)

Matching Utilizado cuando los datos no son generados en forma experimental, y cuando se dispone de datos de corte transversal (esto es, no se dispone de datos antes del tratamiento) Es un procedimiento que mejora al enfoque with and without El indicador de interés de cada participante es comparado con el indicador de interés correspondiente a un o un grupo de no participantes con caractarísticas similares al participante

Supuesto El principal supuesto es que la selección al grupo tratado depende solo de variables observables Esto es, condicional en el conjunto de variables observables disponible, el estatus de tratamiento no está correlacionado con el término de error En otras palabras, condicional en el conjunto de variables observables disponible, todas las características no observables relevantes se encuentran balanceadas entre el grupo de control y el grupo de tratamiento

Propensity score matching Problema con matching: en los casos en los que hay muchas características observables, es improbable encontrar un no participante para cada uno de los participantes que comparta todas estas características Solución: realizar el matching de participantes y no participantes basado en el los propensity scores estimados: p(x) ≡ P(T=1|x) A este procedimiento se lo denomina propensity score matching

Propensity score matching (cont.) Rosenbaum and Rubin (1983)1 demostraron que es lo mismo hacer matching con todas las características que hacerlo con el propensity score estimado Se reduce un problema multidimensional a un problema unidimensional Ahora es más sencillo encontrar buenos matches o comparadores 1. Rosenbaum and Rubin (1985). “Constructing a Control Group Using Multivariate Matched Sampling Methods that Incorporate the Propensity Score.” The American Statistician 39 (1), 33-38

PSM: otro supuesto Un supuesto necesario para propensity score matching es que la probabilidad de ser seleccionado condicional en las características observables sea menor a uno Esto es, el estatus de tratamiento no puede ser predicho perfectamente en base al conjunto de variables observables, X En caso contrario, sería imposible encontrar a un no participante con el mismo propensity score Esto es, solo se comparan individuos comparables

PSM: procedimiento Estimar un modelo de la probabilidad de ser tratado condicional en el vector de características observables X (Probit o Logit) Predecir los propensity scores individuales basados en la estimación anterior Utilizar un promedio ponderado de los no participantes como contrafactual de cada participantes Esto es, al indicador de interés de cada participante se le resta un promedio ponderado del indicador de interés de los no participantes

PSM procedimiento (cont.) Estimar el efecto promedio de tratamiento como Donde N1 es el número de participantes N0 es el número de no participantes i indexa a los participantes j indexa a los no participantes wij son las ponderaciones

PSM procedimiento (cont.) Cuanto menor es la diferencia en los propensity scores estimados, mayor es el peso que se le asigna al no participante en la construcción del contrafactual del participantes Diferentes enfoques para estimar las ponderaciones Nearest-Neighbour-Matching Caliper Matching Kernel-Based Matching

Nearest-Neighbour matching Se le asigna ponderación igual a uno al no participantes con la menor distancia al participante |pi-pj| Todos los demás no participantes tienen una ponderación igual a cero

Caliper matching El participante i solo es incluido en el cálculo final del impacto promedio, si hay algún no participante cuya distancia sea menor a algún número prefijado: |pi-pj|<H Reduce la posibilidad de tener malos matches Pero algunos participantes pueden no entrar en el cálculo

Kernel-based matching Todos los no participantes tienen una ponderación positiva en el cálculo del contractual de todos los participantes La ponderación es inversamente proporcional a la distancia entre los propensity scores estimados |pi-pj|

El soporte común Para incrementar la comparabilidad, la muestra se restringe al soporte común Se reduce el sesgo proveniente de no tener comparadores

Densidad de los propensity scores de los participantes

Densidad de los propensity scores de los no participantes

Lecciones a partir del enfoquede matching Herramienta útil para controlar por heterogeneidad no observable cuando no se dispone de datos experimentales ni de datos antes del proyecto Validez del enfoque depende enormemente de la calidad y cantidad de características observables que se disponga El soporte común puede ser un problema Especialmente si se pierden individuos tratados

Difference in differences: concepto Combina los enfoques before and after y with and without Compara los cambios en el grupo de participantes con respecto a los cambios en el grupo de no participantes Requiere datos de panel, tanto para el grupo tratado como para el grupo de control

Difference in differences Cambio a través del tiempo para el grupo tratado Ganancia a través del tiempo para el grupo de control

Representación formal Consideremos la siguiente ecuación: donde Yit es el indicador de interés correspondiente al individuo i en el momento t, Dites una variable dicotómica que adopta el valor 1 si el individuo i es tratado en el momento t, β es el parámetro de interés, y Xites el vector de variables explicativas

Representación formal (cont.) Los determinantes no observables vienen representados por los últimos tres términos Un efecto individuo que es invariante en el tiempo, αi, el cual captura diferencias permanentes entre individuos Un efecto tiempo, μt, que captura shocks comunes a todos los individuos en un determinado momento El término de error, εi, que se supone no está correlacionado ni con las X’s ni con D

Supuesto detrás del enfoque de difference in differences El supuesto de identificación del enfoque difference in differences es que los controles han evolucionado en el período pre- a post-proyecto de la misma forma en que los tratados lo hubieran hecho en ausencia del proyecto En otras palabras, el cambio en el indicador de interés para los individuos en el grupo de control es un estimador no sesgado del contrafactual Recordar que en el enfoque with and without el contrafactual era que el nivel del indicador de los individuos en el grupo de control

Difference in differences Mejor escenario posible

Difference in differences cuando los niveles iniciales son distintos

Diferencias preexistentes en los niveles Una de las grandes ventajas de difference in differences es que no es necesario controlar por características no observables, siempre y cuando éstas no varíen en el tiempo Sin embargo, diferencias en los niveles iniciales pueden estar reflejando que futuros shocks afecten distinto a los individuos en los distintos grupos

Difference in differences cuando las tendencias antes del proyecto eran distintas

Diferencias preexistentes en las tendencias Dado que las tendencias eran distintas antes del proyecto, es improbable que las tendencias hubiesen sido similares en el escenario contrafactual Por lo tanto, la tendencia del grupo de control no es un buen contrafactual de la tendencia del grupo tratado

Test formal del paralelismo de las tendencias antes del tratamiento Estimar un modelo para el indicador de interés e incluir como variables explicativas variables dicotómicas temporales para aquellos que eventualmente son tratados y controles, utilizando solo observaciones antes del tratamiento Testear si las variables dicotómicas que capturan la interacción son significativas Alternativamente, hacerlo con tendencia lineal El problema es cuando tenemos solo una observación antes del proyecto En ese caso ni siquiera es suficiente que los niveles sean iguales, ya que los mismos niveles en ese momento pueden haber sido generados por distintas tendencias previas

Caso de estudio En Chudnovsky, Lopez, Rossi, y Ubfal (2008)1 evaluamos el impacto de subsidios a la investigación en el desempeño académico de los investigadores El desempeño académico lo medimos en términos del número de publicaciones y del índice de impacto en revistas con referato El grupo de control está conformado por investigadores que aplicaron al subsidio pero que no lo obtuvieron Ayuda a controlar por motivación 1. Chudnovsky, Lopez, Rossi, and Ubfal (2008).“Money for Science? The Impact of Research Grants on Academic Output.” Fiscal Studies 29 (1), 75-87

Diseño para la evaluación: dif-in-dif Utilizamos el enfoque difference in difference En este enfoque no es necesario controlar explícitamente por características individuales que son invariantes en el tiempo ya que ellas son absorbidas por el efecto individual El supuesto es que el cambio en el desempeño académico del grupo de control es un buen contrafactual Este supuesto no puede ser testeado, pero si podemos testear si las tendencias eran paralelas antes del tratamiento

Test informal del supuesto de identificación: publicaciones

Test informal del supuesto de identificación: índice de impacto

Combinación de matching y difference in differences Matching Selección depende solo de observables Solución Combinar matching y difference-in-differences Esto permite controlar por no observables constantes en el tiempo Condición Disponer de datos de panel

Difference-in-differences matching Matching Difference-in-difference matching

Recapitulando El principal supuesto en el enfoque before and after es que el nivel del indicador de interés antes del tratamiento es un buen contrafactual El principal supuesto en el enfoque with and without es que el nivel del indicador en el grupo de control es un buen contrafactual Supuesto muy fuerte, necesidad de utilizar un procedimiento de matching El principal supuesto en el enfoque difference in differences es que el cambio en el indicador de interés en el grupo de control es un buen contrafactual Supuesto aceptable, especialmente si se pueden testear las tendencias antes de tratamiento Posible de mejorar aún más si se lo combina con matching

Regresión discontinuada Este enfoque se caracteriza por el hecho que la probabilidad de participar del proyecto varía en forma discontinua con respecto a una variable Existe un umbral en una variable que es el que determina si el individuo participa o no del proyecto

Regresión discontinuada (cont.) Explota la regla que genera asignación al programa solo para aquellos individuos por encima del umbral Asume discontinuidad en la participación pero no en otras variables Contrafactual: los individuos justo debajo del umbral Esto es, alrededor del umbral es como tener un “experimento”, en el sentido que el grupo de control es similar al grupo de tratamiento

Regresión discontinuada: ejemplo Beca a estudiantes otorgada a aquellos con nota promedio superior a 7 sobre 10 Hay una discontinuidad en 7 Supongamos que queremos estimar el impacto de la beca en los salarios futuros Comparar los salarios de los becados y no becados no parece una buena estrategia, ya que probablemente sobre estimaría el impacto ¿Por qué? En promedio, se podría pensar que aquellos con promedios por encima de 7 son más inteligentes o motivados que aquellos con promedios por debajo de 7 Por lo tanto, es posible que sus salarios futuros de los dos grupos hubiesen sido distintos aún en ausencia de la beca Y no es posible controlar por inteligencia o motivación porque no son observables por el investigador

Regresión discontinuada: ejemplo (cont.) ¿Cómo opera RD? Comparando aquellos estudiantes cuyas notas promedio se encuentran justo por encima de 7 (y por lo tanto reciben la beca) con aquellos estudiantes cuyas notas promedio se encuentran justo por debajo de 7 (y por lo tanto no reciben la beca) ¿Cuál es el supuesto de identificación? Todas las variables no observables que afectan los salarios futuros se encuentran balanceadas para aquellos estudiantes en un entorno del punto de corte En particular, tanto la motivación como la inteligencia son similares para un estudiante con un promedio 7.01 como para uno con un promedio 6.99

Tipos de diseño para regresiones discontinuadas Hay dos tipos de diseño El diseño sharp y el diseño fuzzy En el diseño sharp, la selección al tratamiento depende de forma determinística de una variable observable, y además se conoce el punto umbral En el diseño fuzzy, la selección al tratamiento es aleatoria condicional en la variable observable, pero la probabilidad condicional es discontinua en el punto umbral En el diseño fuzzy hay “non-compliers” (por lo que hay que usar Variables Instrumentales)

Potenciales problemas Potencial pérdida de poder estadístico debido al uso de una sub-muestra Potencial problema de validez externa La posible existencia de efectos de tratamiento heterogéneos sugiere que las estimaciones solo son válidas alrededor del punto de corte Cuidado al querer extrapolar los resultados a la población Los individuos no tienen que poder manipular el punto umbral ni tener comportamiento estratégico en base al punto umbral

Regresión discontinuada: ejemplo (cont.) Volviendo al ejemplo de las becas La pérdida de poder estadístico se debe a que sólo estamos usando para calcular el efecto de tratamiento a aquellos estudiantes, digamos, con notas promedio entre 6.50 y 7.50 El problema de validez externa se debe a que las becas pueden tener un impacto distinto para alumnos con diferentes promedios Por ejemplo, las becas podrían beneficiar más a aquellos con promedios altos comparado con aquellos con promedios más bajos La manipulación es también un problema si es que los estudiantes conocen de antemano que las becas serán otorgadas a los alumnos con promedios superiores a 7 puntos

Regresión discontinuada y portabilidad numérica No parece posible utilizar el enfoque de regresión discontinuada para la evaluación de este proyecto en particular

Ranking de confiabilidad de los distintos enfoques

El caso de la portabilidad numérica El mejor escenario para la evaluación se daría si fuese posible contar con datos tanto para las empresas de la República Dominicana como otras empresas de la región donde no se implementó portabilidad numérica, antes y después de la implementación de la portabilidad numérica Si las tendencias antes de la implementación fuesen similares, y se observara un cambio de tendencia luego de la portabilidad pero únicamente para las empresas de la República Dominicana, entonces el resultado sería creíble Esto es, el mejor procedimiento consistiría en utilizar el enfoque de difference in differences, complementándolo con procedimientos de matching

Quizás más interesante aún… Recolectar datos de otros países que hayan implementado portabilidad numérica Este procedimiento evaluaría el impacto de la portabilidad numérica en general, no de la portabilidad numérica en la República Dominicana Sin embargo, no siempre la implementación ha sido igual Los procedimientos, costos y tiempos para lograr la portabilidad difieren entre países

Universidad de San Andrés Vito Dumas 284 (1644) Buenos Aires – Argentina TE: (5411) 4725-6948; FAX: (5411) 4725-7027 mrossi@udesa.edu.ar http://www.udesa.edu.ar/Faculty/mrossi/index.htm

Evaluación de Impacto de políticas públicas

Recommended

Recommended

More Related Content

What's hot

What's hot (11)

Viewers also liked

Viewers also liked (17)

Similar to Evaluación de Impacto de políticas públicas

Similar to Evaluación de Impacto de políticas públicas (20)

More from Dialogo regional sobre Sociedad de la Información

More from Dialogo regional sobre Sociedad de la Información (20)

Recently uploaded

Recently uploaded (20)

Evaluación de Impacto de políticas públicas