Los programas y las políticas de desarrollo social contra la pobreza generalmente propenden por mejorar el nivel de ingresos, el aprendizaje y la salud de la población. La importancia de las evaluaciones de impacto económico de los programas contra la pobreza está dada en que los elevados costos de los programas sociales ameritan una utilización adecuada de recursos en intervenciones que dispongan de evidencia robusta sobre sus beneficios socioeconómicos. Estas evaluaciones son determinantes para la formulación de políticas basadas en la evidencia; permiten trascender el enfoque de los insumos a los resultados; mejoran la evaluación y el seguimiento de las asignaciones presupuestales, y optimizan las decisiones de política pública.
En términos históricos, las evaluaciones de impacto nacen con los ensayos clínicos, basados en grupos de tratamiento y control, que iniciaron en 1747 con los trabajos de James Lind sobre la eficacia de los cítricos para la prevención del escorbuto. Específicamente, la obra de Esther Duflo, premio nobel de Economía 2019, premio Princesa de Asturias de 2015 y cofundadora y directora de j-pal, constituye un referente académico mundial en temas relacionados con las evaluaciones de impacto de programas y políticas sociales contra la pobreza. A pesar de ello, su obra se encuentra escrita principalmente en inglés y francés, lo que en algunos casos dificulta el acceso a sus trabajos. Lo anterior toma mayor relevancia al tener presente que la divulgación de información relacionada con las evaluaciones aleatorizadas del impacto de programas sociales no es prolífica ni ha avanzado suficientemente en Latinoamérica.
Fundamentos de la Evaluación de Impacto Económico
La evaluación de impacto económico obedece a la estimación de la diferencia, en una o más variables de desenlace, entre un grupo de beneficiarios de un programa social (denominados “tratamiento”) y un grupo de individuos que no participaron o se beneficiaron con él (llamados “control”).
Sin embargo, las evaluaciones aleatorizadas del impacto económico de programas sociales son exiguas en Latinoamérica y en la salud pública en general. Otros retos subsumen el control de los efectos Hawthorne y John Henry, relacionados con cambios conductuales asociados con la pertenencia al grupo tratamiento y control, respectivamente. Además, los altos costos de las evaluaciones pueden derivar en bajos tamaños de muestra que luego afectan la validez externa y la precisión de las estimaciones. Dado que los beneficios de un programa social no pueden negarse, es difícil estudiar efectos en el largo plazo. También resulta complicado captar información relacionada con externalidades y efectos de equilibrio general.
Las evaluaciones aleatorizadas de impacto derivan en resultados de gran relevancia para la implementación o no de un programa social, y es una de las vías de mayor importancia para generar políticas públicas basadas en la evidencia. Sin embargo, se debe precisar que el análisis de sus resultados debe ser contextual, en la medida en que, a pesar de tener ambientes controlados, los efectos de un programa (sean o no efectivos) pueden variar de un lugar a otro.
Lea también: Impuestos y Economía
Con base en los estudios desarrollados en América Latina, los principales aprendizajes de las evaluaciones de impacto económico han sido los siguientes:
- La necesidad de actualizar la información, caracterizando a los beneficiarios de los programas y su localidad.
- Lograr la participación de los ejecutores en la fase de diseño.
- Incorporar el análisis de costo-beneficio y fases piloto.
- Incluir estrategias claras para que los beneficiarios de un programa pueda abandonarlo cuando no lo requieran (evitar que el programa se convierta en un incentivo negativo), de modo que la provisión del Estado no se convierta en un incentivo perverso para permanecer en el programa.
- Asignar roles a los beneficiarios del programa y a los actores locales, principalmente el fomento del control participativo.
- Incorporar monitoreo y seguimiento operativo de los programas.
Evaluaciones Aleatorizadas de Programas Sociales contra la Pobreza: La Obra de Esther Duflo
Se realizó una revisión sistemática, en la que se aplica la guía PRISMA en nueve bases de datos para caracterizar los estudios sobre la evaluación aleatorizada del impacto de programas sociales contra la pobreza en la obra de Esther Duflo. Se garantizó reproducibilidad de la selección de estudios y extracción de la información. Se realizó síntesis cualitativa de los resultados, mediante descripción de las poblaciones, las intervenciones, los controles y los desenlaces evaluados.
Se analizaron 34 evaluaciones aleatorias de programas sociales contra la pobreza, el 41,2 % en educación; el 20,6 % en salud; el 8,8 % sobre microcréditos; el 8,8 % en participación política de las mujeres y el 5,9 % en transferencias directas a poblaciones pobres. Las restantes evaluaron el uso de fertilizantes, veedurías a policías, consecución de empleo y control a las emisiones ambientales en plantas industriales. La mayor proporción de estudios correspondió a evaluaciones del sector educativo y salud. Los mejores impactos se reportaron en educación y salud, lo que se relaciona con el capital humano, la participación laboral efectiva y la reducción de la pobreza.
Educación
En los programas educativos se emplearon muestreos probabilísticos, generalmente estratificados por variables como sexo, idioma o puntajes preintervención cuando se evaluaban desenlaces en los niños. Dichas intervenciones están dirigidas, en su mayoría, a mejorar la calidad de la educación, aunque focalizada en habilidades o aprendizajes en matemáticas y de lenguaje. En educación, en general, los problemas más comunes en la calidad educativa de la mayoría de países de bajos ingresos se relacionan con ausentismo de profesores y estudiantes, y el bajo rendimiento académico, los cuales pueden impactarse con intervenciones simples y de bajo costo.
Entre los hallazgos se incluyen:
Lea también: Inflación y Empresas
- Mejoramiento en matemáticas y asistencia con spillover (contagio o derrame) de ambos desenlaces a niños no asistentes; el efecto persiste un año.
- Reducción de inasistencia docente mejora aprendizajes en niños.
- Reducir tamaño de clase y dar incentivos mejoran aprendizaje.
- Proveer uniformes escolares fue eficaz para participación escolar y percepción sobre beneficios de la educación.
- Los programas de monitoreo mejoran (aumentan su proporción) la asistencia de profesores a la escuela.
- No hubo efecto en la participación comunitaria en asuntos escolares, ni en esfuerzos de profesores.
- La reducción de razón estudiante/profesor no mejora aprendizajes en matemáticas y lenguaje. Un profesor extra y reducir razón estudiante/profesor reducen el esfuerzo del profesor, pero no mejora aprendizajes (puntajes de pruebas).
Salud
En relación con la salud, debe precisarse que este es uno de los sectores con mayor variación en el tipo de evaluaciones de impacto desarrolladas, las cuales subsumen asuntos como la demanda de servicios, la desinformación, los bajos ingresos, bajo número de proveedores e incluso problemas de oferta.
Los resultados generales de las intervenciones en salud indicaron que:
- Cuando las ayudas monetarias las reciben las mujeres, mejoran los indicadores antropométricos de los niños.
- El entrenamiento de profesores disminuye los embarazos no deseados; sin embargo, tuvo un bajo impacto en los conocimientos, las actitudes y las prácticas; el debate sobre condón mejoró el reporte de uso, sin aumento de actividad sexual.
- Inicialmente, el monitoreo con enfermeras es eficaz, aunque las veedurías de enfermeras en la prestación de servicios son efectivas, pero de poca duración.
- Las proporciones de inmunización son bajas, observándose, por ejemplo, 39 % en un grupo beneficiado por incentivos y 18 % en un grupo de control, frente a 6 % en otro grupo de control.
- La conexión domiciliaria de agua aumenta la cantidad consumida, mejora la percepción de bienestar, pero no mejora indicadores de salud relacionados con las enfermedades de transmisión hídrica, y sin efecto en la incidencia de enfermedades de transmisión hídrica.
Microcréditos y Transferencias Directas
En esta investigación se identificaron pocos estudios en las intervenciones financieras (microcréditos y transferencias), a pesar de que j-pal presenta un elevado número de proyectos en esta área. Este grupo de intervenciones muestran bajo impacto y alta variabilidad en el uso de los recursos suministrados; sin embargo, la evidencia indica que, en condiciones de extrema pobreza, resulta más efectivo estimular el consumo que incentivar préstamos para la superación de la pobreza.
En los microcréditos se amplían actividades de autoempleo (agricultura, ganadería) y también los gastos en mano de obra; no hay efecto en la generación de nuevos empleos, ni gastos, ni consumo, ni bienes, ni en indicadores de salud y educación. Las subvenciones aumentan el consumo en el hogar; incluso luego de un año de su finalización, el beneficio fue mayor al costo. Estos resultados se observaron en Etiopía, Ghana, Honduras, India, Pakistán y Perú, donde las mujeres invierten más en agua potable, combustibles y carreteras, y los líderes invierten más en infraestructura.
Otros Sectores
Entre las intervenciones evaluadas también se encontraron estudios sobre el uso de fertilizantes, veedurías a policías, consecución de empleo y control a las emisiones ambientales en plantas industriales. En cuanto a la consecución de empleo, ayudar a conseguir trabajo duradero durante 6 meses o más resultó ineficaz: aumenta la probabilidad de encontrar trabajo estable, pero el efecto es transitorio y no detectable, al competir con trabajadores educados o en mercados laborales débiles. Respecto al control de emisiones, se observó un aumento de exactitud y cumplimiento en los informes, en contraste con un statu quo corrupto con subregistro de emisiones en las plantas.
Lea también: Inflación y su efecto en el gasto nacional
El Impacto de los Subsidios en Sectores Específicos
A nivel mundial, en particular en los países menos desarrollados, los organismos operadores de agua potable, saneamiento básico y electricidad, otorgan subsidios al consumo de los hogares que demandan sus servicios. Uno de los principales argumentos para ofrecer dichos subsidios es que mejoran el bienestar socioeconómico de los hogares, especialmente de los más pobres, al facilitar el acceso a este tipo de servicios y mejorar la redistribución de los recursos gubernamentales. A contrapunto, a menudo se considera que el subsidio a los hogares genera ineficiencia en el uso de los recursos y desequilibrios financieros en los organismos operadores. La magnitud de los subsidios que se otorgan a los usuarios de servicios públicos puede representar un costo de oportunidad para el gasto público del Estado y para los costos de operación y mantenimiento de las empresas que prestan los servicios.
Subsidios Eléctricos en Centroamérica
Tal vez se asombre, pero la mayoría de los hogares centroamericanos reciben subsidios eléctricos directos, favoreciendo, en algunos casos, a 8 de cada 10 hogares. De acuerdo con informes, actualmente una gran parte de los subsidios van destinados a los hogares que menos lo necesitan, es decir, los más ricos. Esto se debe a dos factores claves: el primero es que los subsidios eléctricos solo benefician a aquellos hogares que están conectados a la red eléctrica; el segundo es que las familias que más electricidad consumen son también las que más subsidios reciben.
Esto nos deja dos lecciones: la primera es que el diseño de los mecanismos para otorgar los subsidios importa. Los mecanismos normalmente asignan ayudas basadas en umbrales de consumo que tienen como objetivo la exclusión de los consumidores de mayor volumen. Por un lado, en países como Honduras y Panamá, donde los umbrales de consumo subsidiado son muy elevados en relación con el consumo local de electricidad, los hogares con más ingresos consumen mucha más electricidad subsidiada que otros hogares. Pero incluso en El Salvador y Guatemala, el 40% más rico de la población recibe más subsidios que el 40% más pobre. Esto nos lleva a la segunda lección: basar la elegibilidad de los hogares en el consumo de electricidad resulta imperfecto si el objetivo es beneficiar a los más necesitados.
Una opción para mejorar esta situación es cambiando la forma de otorgar los subsidios, de manera que en lugar de ser descuentos en las facturas de la electricidad fueran transferencias directas a los hogares que consumen menos electricidad que el establecido por el umbral. Incluso, estas transferencias podrían incluir a los que están fuera de la red, y así eliminar distorsiones en la entrega de los subsidios. Una mejor focalización beneficiaría, a su vez, a las finanzas de los países centroamericanos, que destinaron en subsidios eléctricos 1,300 millones de dólares anuales entre 2012 y 2014. El impacto fiscal de los subsidios varía desde el caso de Costa Rica, con sistemas auto financiados donde los subsidios no tienen costo fiscal; hasta Nicaragua, donde el costo es del 1,4% del PIB anual.
Subsidios al Agua Potable en la Ciudad de México
Numerosos estudios han demostrado que el mejoramiento y acceso a los servicios de agua y saneamiento incrementan el bienestar de los hogares más pobres, al reducir la mortalidad general, las enfermedades y padecimientos como la desnutrición, el raquitismo y la menor productividad laboral, entre otros. Sin embargo, aún existen alrededor de 350 mil familias en la CDMX que no están conectadas al servicio público, obteniendo el recurso por tandeo con pipas, pozos comunitarios o por acarreo manual. En la CDMX, las viviendas con menor acceso al agua potable son las de mayores niveles de pobreza, pero al mismo tiempo, las delegaciones con menores niveles de pobreza se caracterizan por los más altos niveles de igualdad. Esto sugiere que existe una relación inversa entre el porcentaje de viviendas con agua entubada y el porcentaje de población en pobreza para las diferentes delegaciones.
Los subsidios siempre han estado presentes en las tarifas de agua en México, y en especial en la CDMX. En 1992 la CDMX enfrentó una severa crisis en el sector del agua debido al deterioro de la infraestructura y las condiciones económicas, sumada a la ineficiencia y al sistema de cobros basados en tarifas fijas, fuertemente subsidiadas por el Estado. Desde entonces, ha surgido la necesidad de eliminar los altos subsidios por razones financieras y con fines de una mejor administración y conservación del recurso. En 2010 se implementaron tarifas diferenciadas por vez primera y se restructuraron las tarifas para ser más asertivos en el destino de los subsidios. El monto total anual del subsidio al agua potable en la CDMX se ha reducido en alrededor de 38 por ciento entre los años 2008 y 2013, en vista de la política presupuestal en el país. Para el ejercicio presupuestal de 2017 se estaba considerado en el Presupuesto de Egresos de la Federación un recorte de 72 por ciento en los servicios de agua potable, al pasar de 12500 a 3400 millones de pesos. En esas condiciones, el Sacmex se verá afectado al reducirse en dicho porcentaje la recepción de subsidios, problema grave, ya que las tarifas actuales son insuficientes para cubrir los costos mínimos de operación del sistema.
El Sistema de Aguas de la Ciudad de México (Sacmex) aplica una política de subsidios al consumo de agua de los hogares que trata de favorecer a los hogares de menores ingresos. Los subsidios se focalizan de acuerdo con el tipo de vivienda familiar, que se clasifican considerando su correspondiente Índice de Desarrollo por Manzana, que a su vez se determina según el ingreso de los hogares y el valor catastral de las viviendas. La focalización se basa en la clasificación de las viviendas a partir de la calificación de la manzana en que se ubica; se determinan cuatro grupos de manzanas que definen el porcentaje de subsidio: a) popular, b) baja, c) media y d) alta. Queda claro que los subsidios aplicados evidencian una relación inversa con el volumen de agua consumida y una relación directa con el nivel de pobreza de los hogares.
Metodología de Evaluación de Subsidios al Agua
Este trabajo tiene como objetivo principal examinar si los subsidios destinados al consumo de agua potable de los hogares en la CDMX contribuyen a la reducción de la pobreza, y si su diseño y aplicación permiten que se distribuyan equitativamente entre los diversos grupos socioeconómicos. La metodología aplicada consiste en la estimación de cuatro indicadores que miden la incidencia de los subsidios al agua en los hogares de la CDMX. El primer indicador es el Análisis de Incidencia de Subsidio (AIS) que capta su impacto sobre la reducción de la pobreza; seguido de un grupo de tres indicadores que engloban el Análisis de Inequidad en la Distribución (AID) que muestran cómo esta política pública impacta a diversos grupos socioeconómicos. Los indicadores considerados en este grupo son: el Indicador de Focalización (Ω), el Indicador de Concentración (IC) y la Curva de Concentración (CC).
Los datos utilizados en esta investigación se obtuvieron básicamente de la Encuesta de Hábitos de Consumo, Servicio y Calidad del Agua de los Hogares del Distrito Federal, 2011 (EHCSCA), además del Censo de Población y Vivienda (INEGI, 2010) y de la Encuesta Nacional de Ingresos y Gastos de los Hogares (ENIGH, 2010, 2012, 2014). Las estimaciones de los indicadores y curvas de concentración se realizaron en tres tipos de agrupación de los hogares: por ingresos económicos bimensuales (bajo, medio bajo, medio alto y alto), por tarifas de agua que pagan bimensualmente (popular, baja, media y alta) y finalmente en una clasificación que combina los ingresos y las tarifas.
Resultados de la Evaluación en CDMX
De acuerdo con la encuesta aplicada a hogares en la CDMX en 2011 (EHCSCA) y a su clasificación, más de la mitad de los 1.9 millones de hogares se encuentran en el rango de ingresos medios (aproximadamente 56 por ciento expresan que disponen aproximadamente entre 3001 y 9000 pesos al mes como ingreso económico). Los hogares pobres (ingresos menores a los 3000 mensuales) explican una tercera parte del total de hogares (30.7%) y los hogares de ingresos altos (ingresos mayores a 9000 pesos mensuales) explican arriba de una décima del total (13.5%).
El indicador AIS que mide la participación ponderada del subsidio al agua potable de los hogares (ponderada por su correspondiente gasto en agua), indica que el grupo de ingresos medio bajo capta casi 43 por ciento del subsidio, seguido por el grupo de ingresos medio alto con 26.5 por ciento, el de ingresos altos capta una quinta parte del total; contrastando con la baja participación (10.5%) del grupo de hogares de ingresos bajos, y que muestra que este grupo es el que registra la menor incidencia en su bienestar ante el otorgamiento de los subsidios.
A continuación, se presenta la distribución del subsidio al agua potable por grupos de ingresos en la CDMX:
| Grupos de Ingresos (pesos bimensuales) | Proporción de hogares (%) | Participación ponderada del subsidio (%) (AIS) |
|---|---|---|
| Bajo (menor a 3000) | 30.7% | 10.5% |
| Medio bajo (3001 a 6500) | 28.5% | 43.0% |
| Medio alto (6501 a 9000) | 27.5% | 26.5% |
| Alto (9001 o más) | 13.5% | 20.0% |
Fuente: Elaboración propia con base en EHCSCA, 2011.
El indicador de focalización (Ω) para los hogares con ingreso bajo es menor a uno (0.92), lo que indica una distribución regresiva del subsidio en este grupo. Un valor igual a uno de Ω implica que la distribución del subsidio es neutral, siendo la proporción de los beneficios que llegan a los hogares pobres igual a la proporción de la población que conforma esos hogares. Un valor mayor de uno implica que la distribución del subsidio es progresiva; es decir, los hogares pobres se benefician de una proporción de los beneficios totales mayor que la proporción que representan en la población.
Para medir la desigualdad en la distribución de los subsidios entre los hogares, la literatura sugiere estimar el indicador de concentración (IC) asociado a la curva de concentración (CC). En este caso, números negativos indican una distribución favorable a los pobres (pro-pobre); mientras que valores positivos indican una distribución que favorece a los hogares de mayores ingresos (pro-rica).