Secretaría de Desarrollo Social

Meta Evaluación 2007-2012 del

Programa 70 y Más

Informe Final

Institución a cargo del proyecto:

Universidad Autónoma de Chiapas Centro Universidad-Empresa

Coordinador General: Jorge Mario Soto Romero

Responsable Administrativo Alfredo Martínez de la Torre

Investigadores: Rosalva Pineda Juárez

Alida Marcela Gutiérrez Landeros

Melissa Rodríguez Segura

Ricardo Belman Martínez

Colaboradora: María Magdalena Santana Salgado

Tuxtla Gutiérrez, Chiapas

23 de octubre de 2012

1

Resumen Ejecutivo La presente Meta evaluación 2007-2012 del Programa 70 y Más (70 y Más) tiene como objetivo analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad que permitan al programa obtener mejores resultados. Así, los principales resultados de 70 y Más en materia de evaluación son los siguientes: Principales fortalezas y oportunidades:

Existe evidencia internacional, así como en la evaluación de impacto del programa, de que el apoyo económico que entrega el programa tiene resultados favorables en la alimentación, salud y estado de ánimo de los adultos mayores.

Contribuye a la disminución de la vulnerabilidad, aumenta el empoderamiento, participación en el gasto del hogar, mejoría de la autoestima y disminución de la dependencia económica y en el estado nutricional.

Esfuerzos constantes por mejorar el programa a través de evaluaciones que retroalimentan su diseño, operación y resultados.

Tiene definida y cuantificada su población potencial, objetivo y atendida lo que permite estimar su cobertura actual y la evolución de la misma en los últimos años.

La percepción de los adultos mayores en torno al programa es positiva. Principales debilidades y amenazas:

El problema focal y los objetivos del programa no están correctamente identificados y claramente definidos. No queda claro si lo que pretende el programa es contribuir a la protección social o a disminuir la vulnerabilidad de los adultos mayores.

Utilización de indicadores de percepción de beneficiarios para medir fin y propósito con alto costo logístico y debilidad metodológica que puede afectar la consistencia.

El Programa amplió su cobertura a localidades de hasta 30 mil habitantes sin un diagnóstico previo sobre las condiciones de vulnerabilidad de los adultos mayores en localidades urbanas.

La estrategia de cobertura del Programa no considera el largo plazo. No puede estimar cuándo se alcanzará a atender a toda la población potencial del Programa.

No se conoce el efecto del programa en los beneficiarios que habitan en zonas urbanas. Hallazgos sustantivos y metodológicos relevantes de otros programas similares:

Existen programas similares a 70 y Más que han mostrado ser efectivos para mejorar las condiciones de vida de los beneficiarios (Mchinji Social Cash Transfer Pilot Scheme de Malawi; Old age pensions de Sudáfrica; Beneficio de Prestação Continuada (BPC) de Brasil).

En programas similares a 70 y Más se ha detectado un efecto redistributivo del ingreso en adultos mayores provenientes de familias pobres y en zonas rurales.

2

Agenda de evaluación propuesta:

2013: Diagnostico y propuestas de atención y Evaluación de financiamiento, cobertura y focalización

2014: Evaluación de diseño

2015 y 2016: Evaluación de impacto

2017: Evaluación de procesos

2018: Evaluación de consistencia y resultados Sugerencias para la evaluación de impacto:

Para evaluar el impacto en el ingreso de los adultos mayores y el efecto en cuanto a su mejor calidad de vida, se sugiere aplicar un modelo de dobles diferencias, con grupos de tratamiento y de comparación así como con levantamientos basales y de seguimiento. Para la comparación, se pueden tomar a los adultos mayores con y sin beneficios del programa en dos momentos distintos del tiempo, lo que permitiría comparar el antes y después de la intervención.

Como modelo alternativo se propone una regresión discontinua que permite observar las diferencias en el margen (70 años) con grupos etarios comparables.

Para realizar las estimaciones se sugiere levantar encuestas propias representativas de los solicitantes, considerando en lo posible estratos por tipo localidad y grupos etarios.

Para medir los impactos y efectos a nivel de Fin y Propósito, se sugiere cuantificar los patrones de ingreso, gasto y ahorro; el uso de servicios de salud y la incidencia y duración de enfermedades inherentes a la edad de los beneficiarios.

Adicionalmente, se propone evaluar por sí mismos otros aspectos complementarios, variables de alimentación y nutrición que permitan valorar las condiciones de vida y oportunidades, que incluya el empoderamiento, de la población mayor de 70 años.

En materia de monitoreo, y considerando el diseño actual del programa se desarrollaron las siguientes propuestas: Propuesta para mejorar los resúmenes narrativos:

Fin: “Contribuir a la disminución de la vulnerabilidad y el deterioro de la salud física y mental de los adultos de 70 años y Más que no reciben pago por jubilación o pensión contributiva”.

Propósito: “Los adultos mayores de 70 años y Más que no reciben pago por jubilación o pensión contributiva incrementan sus ingresos y cuidan mejor su salud física y mental”.

Propuestas para mejorar los indicadores:

Fin: 1) “Diferencia en la vulnerabilidad por carencias sociales entre beneficiarios y no beneficiarios”; y 2) “Diferencia en el índice de morbilidad de las principales enfermedades que aquejan a los adultos mayores entre beneficiarios y no beneficiarios”.

Propósito: 1) “Diferencia en el ingreso disponible entre beneficiarios y no beneficiarios”, 2) “Diferencia en la asistencia a consultas médicas preventivas y de control, y seguimiento entre beneficiarios y no beneficiarios”; y 3) “Diferencia en la asistencia a

3

actividades organizadas para la promoción de la salud física y mental entre beneficiarios y no beneficiarios”.

Finalmente, las principales conclusiones y recomendaciones complementarias del metaevaluador son las siguientes:

El rápido crecimiento del Programa 70 y Más plantea retos que deben valorarse de manera reflexiva y cuidadosa, para asegurar su sustentabilidad y contribución a los objetivos de la política social. Las ROP 2012 disponen ya de la incorporación de adultos mayores en localidades urbanas y rurales, con la única condicionante de no recibir una pensión contributiva. Este enfoque obliga al programa a redefinir su diseño, operación y resultados, al alejarse de la condición de pobreza que prevalecía en su origen.

El problema focal, centrado en la alta vulnerabilidad de los adultos mayores de 70 años y Más, no es completamente consistente con el objetivo general del programa, centrado en la protección social. La transferencia de ingreso que otorga el programa no se concibe como un seguro o mecanismo de aseguramiento —como las pensiones, con las características que conllevan— sino como un apoyo o subsidio, más cercano a la asistencia social o a los mecanismos compensatorios. Por otro lado, no queda claro que los adultos mayores sin pensión pero con ingresos por arriba de la línea de bienestar económico, presenten un problema de vulnerabilidad, o al menos uno que el programa solucione. Además, se requiere considerar plantear una interpretación respecto a la “situación de rezago”, que establece la Ley de Derechos de las Personas Adultas Mayores. Con base en lo anterior, se recomienda redefinir el problema focal y los objetivos del programa, para fortalecer su diseño y mejorar sus resultados.

La redefinición del diseño del programa requiere asumir una posición clara de hacia dónde debe dirigirse el programa, a partir de un análisis conceptual, jurídico y de política, que desarrolle y compare las diversas opciones y escenarios de forma rigurosa y responsable, para asegurar la efectividad y viabilidad financiera del programa.

Es fundamental abrir la discusión sobre los retos de cobertura y focalización, que se ligan de forma ineludible al tema del financiamiento. Por ello, se recomienda a la Sedesol realizar una evaluación específica de financiamiento, cobertura y focalización, que permita definir la estrategia más apropiada para la cobertura y focalización, elabore las proyecciones actuariales que permitan prever los recursos necesarios en el mediano y largo plazo, y que brinde información y alternativas útiles para la toma decisiones.

Finalmente, se recomienda a la Sedesol valorar la pertinencia y factibilidad de llevar a cabo una aproximación progresiva, consistente y viable en las modificaciones de diseño y en la ampliación de la cobertura. Dicha aproximación se propone a partir de una perspectiva de tipo maximin y por fases, garantizando inicialmente la atención a los adultos mayores con menores ingresos y mayor vulnerabilidad que más requieren los apoyos del programa, y moviéndose progresivamente hacia segmentos menos carenciados, en una estrategia de abajo hacia arriba.

4

Índice de contenidos

Resumen Ejecutivo ........................................................................................................................... 1

1. Introducción ............................................................................................................................. 6

2. Descripción del Programa ........................................................................................................ 7 2.1. Antecedentes y objetivos ................................................................................................. 7 2.2. Problema focal y árbol de problemas .............................................................................. 8 2.3. Población potencial y población objetivo ...................................................................... 11 2.4. Apoyos otorgados .......................................................................................................... 11 2.5. Evolución de la cobertura .............................................................................................. 12

3. Evaluación .............................................................................................................................. 13 3.1. Principales resultados de las evaluaciones .................................................................... 14

3.1.1. Evaluación de Consistencia y Resultados (ECR 2007) ............................................ 14 3.1.2. Evaluación de Diseño (ED 2007) ............................................................................. 16 3.1.3. Evaluación de Impacto (EI 2007-2009) .................................................................. 18 3.1.4. Evaluación Específica de Desempeño (EED 2008-2009) ........................................ 25 3.1.5. Evaluación Específica de Desempeño (EED 2009-2010) ........................................ 26 3.1.6. Evaluación Específica de Desempeño 2010-2011 .................................................. 28 3.1.7. Evaluación de Consistencia y Resultados (ECR 2011-2012) ................................... 30 3.1.8. Índice Mexicano de Satisfacción de Usuario (IMSU) Reporte Final 2011 .............. 31

3.2. Análisis de evaluaciones de programas similares .......................................................... 32 3.2.1. Esquema Piloto de Transferencias Sociales de Ingreso en Mchinji, Malawi ......... 32 3.2.2. Old age pensions (Older persons grant), Sudáfrica; Beneficio de Prestação Continuada (BPC). Prestação Continuada (BPC), Brasil. ........................................................ 36

3.3. Agenda de evaluación para el período 2013-2018. ....................................................... 39 3.3.1. 2013 Diagnóstico y propuesta de atención............................................................ 41 3.3.2. 2013: Específica de financiamiento, cobertura y focalización. .............................. 42 3.3.3. 2014: Diseño ........................................................................................................... 43 3.3.4. 2015-2016: Evaluación de impacto ........................................................................ 44 3.3.5. 2017: Evaluación de Procesos ................................................................................ 44 3.3.6. 2018: Evaluación de consistencia y resultados ...................................................... 45

3.4. Análisis de pertinencia y viabilidad para las evaluaciones de impacto ......................... 46 3.4.1. Pertinencia de la evaluación de impacto ............................................................... 46 3.4.2. Aspectos a evaluar: ................................................................................................ 48 3.4.3. Metodología y fuentes de información .................................................................. 49 3.4.4. Viabilidad técnica y financiera ............................................................................... 53

3.5. Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones ..... 54 3.6. Reflexiones y recomendaciones complementarias del metaevaluador ........................ 62

4. Monitoreo .............................................................................................................................. 65 4.1. Introducción ................................................................................................................... 65 4.2. Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012 .................. 66

4.2.1. Principales cambios de la Matriz de Indicadores 2007-2012 ................................. 66

5

4.2.2. Análisis 2008-2009 ................................................................................................. 66 4.2.3. Análisis 2009-2010 ................................................................................................. 69 4.2.4. Análisis 2010-2011 ................................................................................................. 71 4.2.5. Análisis 2011-2012 ................................................................................................. 73

4.3. Principales comentarios a la Matriz de Indicadores 2007-2012 .................................... 76 4.3.1. Fin ........................................................................................................................... 76 4.3.2. Propósito ................................................................................................................ 79 4.3.3. Componentes ......................................................................................................... 83 4.3.4. Comentarios generales .......................................................................................... 84

4.4. Análisis de los resúmenes narrativos de la MIR 2012 .................................................... 87 4.4.1. Análisis de la MIR 2012 y vinculación con las ROP ................................................. 87 4.4.2. Propuesta de mejoras para MIR 2013: Fin y Propósito ......................................... 88

4.5. Análisis de los indicadores de la MIR 2012 .................................................................... 89 4.5.1. Indicadores de la MIR 2012 .................................................................................... 89 4.5.2. Propuesta de mejoras para MIR la 2013: Indicadores ........................................... 90

5. Conclusiones ........................................................................................................................... 95

6. Bibliografía básica .................................................................................................................. 97 6.1. Documentos sobre el programa..................................................................................... 97 6.2. Documentos de otros programas similares ................................................................... 98 6.3. Documentos normativos y programáticos ..................................................................... 99 6.4. Documentos teóricos y metodológicos........................................................................ 100

7. Anexos .................................................................................................................................. 103 7.1. Anexo 1 “Síntesis de Evaluaciones 2007-2012”. .......................................................... 103 7.2. Anexo 2 “Síntesis de Evaluaciones de programas similares internaciones”. ............... 103 7.3. Anexo 3. “Agenda de evaluación” ................................................................................ 103 7.4. Anexo 4. “FODA” .......................................................................................................... 103 7.5. Anexo 4.1 ...................................................................................................................... 103 7.6. Anexo 5. “Análisis histórico y propuestas de mejora de la MIR” ................................. 103

1. Introducción Conforme a los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal (Lineamientos), el numeral vigésimo cuarto, define a las evaluaciones complementarias, como aquellas que no se encuentran previstas en el Programa Anual de Evaluación (PAE), y cuya aplicación está a consideración de las necesidades que identifiquen las dependencias o entidades. En este sentido, al ser interés particular de la Sedesol contar con información acerca del desempeño y resultados de los Programas Sociales, y con base en la información disponible de evaluación y monitoreo, se plantea una evaluación complementaria, denominada “Meta-evaluación 2007-2012 para el Programa 70 y Más (70 y Más)”. El objetivo general de la evaluación es analizar los avances y logros en materia de evaluación y monitoreo durante el periodo 2007-2012, así como identificar áreas de oportunidad en dichos temas, que permitan al programa obtener mejores resultados en el periodo 2013-2018. Este objetivo general posteriormente se desarrollará en una serie de objetivos específicos, a los cuales se les da cumplimiento formal en los diversos apartados de documento. El desarrollo de la metaevaluación del programa comienza con la descripción general del programa a partir de lo establecido en diversos documentos normativos y técnicos básicos, así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, en el apartado de Evaluación se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012; se analizan evaluaciones de resultados o impacto de programas similares a 70 y Más; se propone una agenda de evaluación para el periodo 2013-2018; se enuncian las principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones derivadas de las evaluaciones realizadas al programa, y se exponen las conclusiones y recomendaciones más relevantes del equipo metaevaluador. En el apartado de Monitoreo se hace un análisis de la evolución de la Matriz de Indicadores para Resultados (MIR) del programa durante el período 2007-2012. El análisis histórico identifica los principales cambios en los resúmenes narrativos y en los indicadores que componen la Matriz, que surgieron como resultado a las observaciones y recomendaciones de diversas instancias normativas y fiscalizadoras, así como de evaluaciones externas realizadas al programa. Asimismo, se incluye una serie de recomendaciones del equipo metaevaludor para mejorar la matriz hacia el inicio de la próxima administración federal. Finalmente, se presentan las conclusiones y recomendaciones resultantes de la metaevaluación y se incluye una serie de anexos que refiere el contenido del documento.

7

2. Descripción del Programa

En este apartado se presenta una descripción general del programa a partir de lo establecido en diversos documentos básicos, tales como las Reglas de Operación del Programa (ROP) 2012, el Diagnóstico sobre la situación de vulnerabilidad de la población de 70 años y Más, 2010 (en adelante, el Diagnóstico), la Nota de Actualización de la Población Potencial y Objetivo del Programa 70 y Más 2011 (en adelante, la Nota), así como las evaluaciones externas recientes. Inicia con una presentación general, deteniéndose luego en aspectos centrales como los objetivos, el problema focal que se busca revertir y las relaciones de causa y efecto asociadas a dicho problema. Posteriormente, se describen los diferentes apoyos que otorga el programa a sus beneficiarios, se identifica y cuantifica la población potencial y objetivo, y se da cuanta de la evolución de la cobertura durante los años recientes.

2.1. Antecedentes y objetivos El Programa 70 y Más (70 y Más), inició operaciones en 2007.1 Actualmente depende de la Secretaría de Desarrollo Social (Sedesol), con clave programática S176, y es operado por la Dirección General de Atención a Grupos Prioritarios (DGAGP). De acuerdo con las ROP 2012, el programa se encuentra enmarcado en el Objetivo 17 del Eje 3 Igualdad de Oportunidades del Plan Nacional de Desarrollo (PND), el cual establece que se debe

1 En 2003, en el marco de Ley General de Desarrollo Social, la Ley de los Derechos de las Personas Adultas Mayores

y el Acuerdo Nacional para el Campo, firmado entre el gobierno federal y las organizaciones campesinas, sociales y de productores, la Sedesol implementó el Programa de Atención a Adultos Mayores con el propósito de brindar atención a los adultos mayores de 60 años (ROP, 2007). El objetivo definido era contribuir a que los adultos mayores de 60 años o más lograran superar las condiciones de pobreza alimentaria en que y accedieran a un mejoramiento de sus condiciones de vida. La cobertura del programa se concentraba en localidades rurales con menos de 2,500 habitantes, de alta y muy alta marginación, de acuerdo con la información demográfica y de marginación que proporcionaron el INEGI y el CONAPO del año 2000, respectivamente. La población objetivo se definió como los adultos mayores con 60 años o más residentes en localidades de alta y muy alta marginación con menos de 2,500 habitantes en categoría de pobreza alimentaria y que no recibieran apoyo de otro programa por el mismo componente autorizado. Se otorgaba un apoyo alimentario mediante una transferencia en efectivo de $2,100.00 a entregarse en el curso de un año, en un máximo de 3 exhibiciones. Éste programa sería el antecedente del 70 y Más cuya fecha de creación es 2007, que de hecho, originalmente llevaría el nombre de Programa de Atención a los Adultos Mayores de 70 años y Más en Zonas Rurales. En ese mismo año se publicó el acuerdo por el que se modificaron las ROP del Programa de Atención a los Adultos Mayores (creado en 2003 para población de 60 años) señalando que no se incorporarían nuevos beneficiarios al padrón y que se transferirían los ya inscritos con edad de 70 años al nuevo Programa de 70 y Más en Zonas Rurales, al tiempo que transferiría a los adultos de 60 a 69 años a otros programas. Con esta aclaración se comprenderá porque en 2007 esta metaevaluación registra dos evaluaciones: la de Consistencia y Resultados y la de Diseño, la primera fue practicada al Programa de Atención a Adultos Mayores (60 años) y la segunda al 70 y Más. Esto se justificó con los argumentos de la DGAGP referentes a que el nuevo programa retomó los preceptos del anterior, incorporó a beneficiarios ya inscritos y siguió atendiendo el mismo problema sólo que ahora para una población 10 años mayor.

Desde 2007 a la fecha, 70 y Más ha ampliado gradualmente su cobertura primero a localidades de 10 mil habitantes, posteriormente a localidades de hasta 30 mil habitantes y a partir de 2012 a aquellas de más de 30 mil habitantes, lo que lo orienta a una aplicación universal de sus beneficios.

8

abatir la marginación y el rezago que enfrentan los grupos sociales vulnerables para proveer igualdad en las oportunidades que les permitan desarrollarse con independencia y plenitud. En el marco del Programa Sectorial de Desarrollo Social, el programa 70 y Más contribuye con la Estrategia 2.2. referente a la promoción de la asistencia social a los Adultos Mayores en condiciones de pobreza o vulnerabilidad. Asimismo, dentro de la Estrategia Vivir Mejor del Gobierno Federal, 70 y Más se enfoca en la consolidación de una red de protección social que brinda asistencia a los beneficiarios en condiciones de vulnerabilidad, a efecto de fomentar su desarrollo personal y comunitario. En particular otorga un apoyo económico a los adultos mayores de 70 años que no reciban ingresos por concepto de jubilación o pensión. Para el ejercicio 2012, el objetivo general del programa es “Contribuir a la protección social de los Adultos Mayores (AM) de 70 años y Más”. Su objetivo específico consiste en “Incrementar el ingreso de los Adultos Mayores de 70 años y Más, así como aminorar el deterioro de su salud física y mental”.

2.2. Problema focal y árbol de problemas El problema central que aborda el programa se define en su Diagnóstico 2010 y la Nota 2011 al señalar que los “adultos mayores de 70 años y Más presentan alta vulnerabilidad”. En el Diagnóstico se analizan variables poblacionales y socioeconómicas de los adultos mayores específicamente: niveles educativos y de ingreso, acceso a pensiones a la seguridad social, así como condiciones de la vivienda y la estructura del gasto. En la Nota 20112 es posible ver la actualización de algunos datos con base en la Encuesta Nacional de Ingresos y Gastos de los Hogares (ENIGH) 2010. En ese año se registró un total de 5’144,0493 adultos mayores de 70 años y más en el país, entre las características más importantes de este grupo etario se hallan: 44% se encuentra en pobreza de patrimonio; una tercera parte de ellos no tiene ningún tipo de instrucción; sólo 21.6% cuenta con alguna ocupación, aunque el 92.5% recibe un salario; 65% no se benefician de un sistema de pensiones lo que contribuye a incrementar la probabilidad de caer en pobreza en caso de enfrentar gastos excesivos en servicios de salud, casi el 52% tiene seguridad social formal; 23% cuenta con asistencia social y 25% no tiene afiliación a la seguridad y protección social. Con base en los datos anteriores, las causas de la alta vulnerabilidad en adultos mayores de 70 años y Mwás derivan de: 1) la insuficiencia de ingresos y 2) la insuficiente protección social. La primera de ellas resume un entorno de pobreza permanente y la falta de herramientas de ahorro que llevan a una reserva insuficiente de recursos; se asocia también a una falta de capacidades relevantes y a una menor productividad que conduce a una baja oferta de trabajo para los adultos mayores, ello provoca un ingreso laboral insuficiente para cubrir sus necesidades y las de su hogar. La segunda causa está determinada por una insuficiente red de apoyo social y familiar; un sistema de protección social no universal y una sobredemanda de 2 Nota 2011, pp- 11-12

3 La cifra es de alrededor de 300 mil personas más que la estimación hecha con base en la muestra del Censo 2010.

Sin embargo, la diferencia se encuentra dentro del rango esperado de dos muestras diferentes. Nota 2011 p. 10

9

servicios de salud explicada por una mayor incidencia de enfermedades como producto del deterioro físico y mental natural y progresivo. Los efectos del problema se traducen en: 1) deterioro y disminución de los activos debido a los gastos inesperados; 2) aceleramiento del deterioro natural y la baja calidad de vida; 3) exclusión social y, 4) mayor dependencia funcional de terceros. En conjunto, los efectos producen hogares con adultos de 70 años y Más en pobreza, marginación y rezago. A continuación, se presenta el árbol de problemas que el programa construyó en torno al problema focal.

10

ÁRBOL DE PROBLEMAS

Fuente: Sedesol (2010) Diagnóstico sobre la situación de vulnerabilidad de la población de 70 años y Más. http://www.sedesol.gob.mx/es/SEDESOL/Diagnosticos_de_los_ Programas_de_Desarrollo_Social, p. 2. Nota: Algunos conceptos del problema focal que aparecen originalmente en el Diagnóstico de 2010 fueron redefinidos en 2011 para la elaboración de la Nota sobre la población potencial y objetivo del programa, sin que se afectara la esencia del análisis.

11

2.3. Población potencial y población objetivo La Nota 2011 define que la población potencial está conformada por: “adultos mayores de 70 años y más”. Para 2012, ésta se cuantificó en 5’106,217 personas. La población objetivo es el subconjunto de la población potencial que el programa busca atender en el corto y mediano plazo, teniendo en cuenta las limitaciones institucionales y de presupuesto. Las ROP 2012 definen que está compuesta por “personas de 70 años de edad o más que no reciban ingresos por concepto de pago de jubilación o pensión”. Para 2012, esta población se estimó en: 3’328,573 personas (padrón al cierre). El método de cálculo de la población potencial se basa en una estimación probabilística a nivel localidad con la información oficial del Censo 2010 de INEGI. En el caso la población objetivo la metodología y fuentes de cuantificación depende de: el padrón de beneficiarios al sexto bimestre del ejercicio fiscal 2011; la cobertura que se autorice para el ejercicio fiscal; la estimación nacional de adultos mayores en cobertura e, incorporaciones. Con estos datos se simulan bimestre a bimestre los movimientos del padrón. La actualización de la cuantificación de la población potencial está en función de la disponibilidad de información estadística de las principales fuentes de información como son: Censos y Conteos de Población y vivienda y la ENIGH. La cuantificación de la población objetivo se basa en las fuentes ya señaladas. 2.4. Apoyos otorgados Los apoyos del Programa se dividen en cuatro tipos, de acuerdo con las ROP 2012: a) Apoyos económicos directos:

Apoyos económicos mensuales con entregas bimestrales de $500.00

Pago de marcha por única ocasión de $1,000.00. b) Apoyos para la incorporación al sistema financiero nacional:

Consisten en la incorporación de los beneficiarios al esquema de bancarización. El programa asume los costos relacionados con la entrega de una tarjeta electrónica de una cuenta bancaria hasta por un monto de $300.00 por ejercicio fiscal y por beneficiario.

c) Acciones para aminorar el deterioro de la salud física y mental:

A partir del uso de técnicas de participación como grupos de crecimiento, campañas de orientación social y jornadas y sesiones informativas, se promueven actividades relacionadas con: promoción de derechos humanos específicamente de los adultos mayores; desarrollo personal; cuidados de la salud; cuidado del medio ambiente;

12

educación para aminorar los daños provocados por desastres naturales y otros temas en beneficio de este sector poblacional

d) Acciones para la protección social:

Son servicios o apoyos para atenuar los riesgos por pérdidas en el ingreso o salud a través de la credencial del Instituto Nacional de las Personas Adultas Mayores (INAPAM), promoción de acceso a los servicios de salud (Seguro Popular) y promoción de la atención a la salud.

2.5. Evolución de la cobertura

La última Evaluación de Consistencia y Resultados 2011 de 70 y Más ofrece datos de la cobertura para el período 2007-2011. La población potencial prácticamente se ha cuadruplicado en el período de 2007 a 2011, debido a la ampliación de la cobertura a localidades de hasta 30,000 habitantes. Para el mismo período, la población objetivo se duplicó, esta situación explica la reducción de la cobertura estimada entre la población potencial y la objetivo. En cambio, la cobertura, estimada entre la población objetivo y la atendida, ha aumentado en el período 2007 a 2011. En el último año la cobertura alcanzó 107% porque se atendió a 2’149,024 frente a una objetivo programada de 2’009,019. Personas. Respecto a la población potencial la cobertura fue de 43.2% (Cuadro 1).

Cuadro 1. Evolución de la Cobertura del Programa 70 y Más 2007-2011 Tipo de Población

Unidad de Medida

2007 2008 2009 2010 2011

P. Potencial Adultos Mayores

1,030,098 1,653,989 4,259,547 4,502,562 4,647,839

P. Objetivo Adultos Mayores

1,030,098 1,520,374 2,042,000 2,105,305 2,009,019

P. Atendida Adultos Mayores

1,031,005 1,863,945 2,050,626 2,105,306 2,149,024

P.O x 100/P.P % 100 91.9 47.9 46.8 43.22

P. A x 100/P.O % 100.1 122.6 100.4 100 107.00

Fuente: ECR 2011-2012, 70 y Más, Anexo 11.

Al igual que la cobertura, los recursos se han multiplicado. Al principio –en 2007– el presupuesto ejercido fue de 6,000 millones de pesos, para 2009 había crecido a 12 mil millones en tanto que para 2012 registra ya poco más de 18 mil millones de pesos. Así, presupuesto y cobertura se han triplicado y duplicado, respectivamente, en el período relevante de la metaevaluación. En ambos casos ello se explica por la incorporación gradual de localidades con mayor número de habitantes, mientras en el ejercicio 2007 el programa atendía a los adultos mayores de localidades de hasta 2,500 habitantes, en los siguientes años fue extendiéndose hacia localidades de hasta 30,000 habitantes y a partir de 2012 abarca localidades de más de 30 mil habitantes. Más adelante veremos las implicaciones que esta expansión de la cobertura representa para el programa.

13

3. Evaluación

En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los principales resultados; identifica las fortalezas, oportunidades, debilidades y amenazas más relevantes, y enuncia las recomendaciones que los evaluadores derivaron en su momento de las evaluaciones —el Anexo 1 facilita una visión esquemática de este ejercicio. Para establecer un punto de referencia con otras experiencias a nivel internacional, posteriormente se muestra una síntesis de evaluaciones de resultados o impacto aplicadas a programas, proyectos o intervenciones públicas que son similares, ya sea por algunos de sus objetivos, componentes o poblaciones atendidas. Se trata de obtener información útil para valorar en qué medida las acciones del programa han obtenidos resultados en otras realidades, así como de analizar y aprovechar aquellos aspectos del esquema metodológico aplicado en estos casas para próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de las evaluaciones a intervenciones similares a la que nos ocupa. A continuación, se propone una agenda de evaluación para el período 2013-2018, que pretende ser una guía para orientar los ejercicios que deberán hacerse al programa conforme a la normatividad en la materia. La agenda propuesta plantea los objetivos para cada evaluación y el período de duración, señala los componentes específicos para analizar, hace una justificación de cada ejercicio con base en necesidades o recomendaciones identificadas en esta metaevaluación, y propone un conjunto de insumos necesarios para llevar a cabo las evaluaciones durante todo el período. La esquematización de la propuesta puede observarse en el Anexo 3. Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una propuesta más detallada para someter al programa una evaluación de impacto. Se describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de las características específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de viabilidad técnica y financiera. En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e implicaciones para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en el Anexo 4. Finalmente, se incorpora una sección de conclusiones y recomendaciones del metaevaluador, que si bien en su mayoría construyen sobre el análisis de las evaluaciones antes revisadas, en

14

algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas conclusiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño, la cobertura y los impactos del programa, y son responsabilidad exclusiva del metaevaluador. 3.1. Principales resultados de las evaluaciones En este apartado se presenta una síntesis de cada una de las evaluaciones externas que se realizaron al programa en el período 2007-2012. La síntesis se enfoca en la metodología y los principales resultados; identifica las recomendaciones que los evaluadores derivaron en su momento de las evaluaciones —el Anexo 1 facilita una visión esquemática de este ejercicio. Cabe señalar que los resultados aquí presentados reflejan lo encontrado en cada evaluación en el momento en que estas se llevaron a cabo, y no reflejan la opinión del equipo metaevaluador. Asimismo, es necesario enfatizar que, conforme a la normatividad respectiva, los principales hallazgos y recomendaciones de las evaluaciones externas se incorporaron en un mecanismo de seguimiento y derivaron en aspectos susceptibles de mejora, que en su momento fueron atendidos por los responsables de los programas. Sin embargo, por el diseño del propio mecanismo de seguimiento y la naturaleza de los problemas que les dieron origen, algunos hallazgos y recomendaciones importantes pueden seguir siendo vigentes a la fecha en que se realiza la presente metaevaluación. En los casos en que esto ocurra, a juicio del metaevaluador, dichos hallazgos y recomendaciones se retomarán en el análisis FODA de la sección 3.5. 3.1.1. Evaluación de Consistencia y Resultados (ECR 2007)

La Evaluación de Consistencia y Resultados del Programa de Atención a Adultos Mayores en Zonas Rurales, tuvo como fin retroalimentar el diseño y la gestión del programa a partir del examen de la consistencia del programa en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo y resultados. El periodo que contempla en el análisis es el ejercicio 2006-2007. La evaluación la realizó la Universidad Autónoma Chapingo (UACh). A continuación se exponen los aspectos más relevantes de los temas que comprende la misma.

Diseño:

El problema no se encuentra correctamente identificado ni claramente definido, tampoco cuenta con un diagnóstico de la problemática de los adultos mayores de 60 años.

En 2003, no existía información oficial suficiente ni una metodología de diseño de programas, por lo que en las evaluaciones externas se incluyó el análisis de la problemática.

15

En lo referente a su Fin y Propósito, no se encuentran claramente definidos y no se puede saber si corresponden a la solución del problema al no estar claramente identificado.

El Programa está alineado con el Plan Nacional de Desarrollo 2006-2012 (PND) y con el Programa Sectorial de Desarrollo Social 2007-2012 (PSDS).

Las lógicas vertical y horizontal no son claras ni validadas; no todos los indicadores son claros, relevantes, económicos, adecuados y monitoreables.

Las poblaciones potencial y objetivo no están claramente definidas.

El diseño no se expresa en las ROP, éstas no marcan el rango de 60 a 69 años ni apoyos

adicionales a la transferencia económica.

No puede considerarse que tenga duplicidades pero sí se complementa con el programa IMSS-Oportunidades.

Planeación Estratégica:

No cuenta con planes de corto, mediano y largo plazos donde se detallen indicadores, metas anuales, estrategias, políticas ni resultados a alcanzar, debido a que tuvo su origen en un Acuerdo Nacional.

Se apegó a los objetivos del Programa Sectorial 2001-2006 y se sujetó a la autorización de la Cámara de Diputados para modificar las Reglas de Operación.

El Programa no cuenta con indicadores que muestren que sus resultados sean suficientes para mostrar si se logró o no el efecto esperado en la población objetivo, éstos no son suficientes ni se encuentran orientados a resultados; los de desempeño, no tienen una línea base.

El Programa a inicio del ejercicio estableció metas en cuanto al número de beneficiarios y recursos a ejercer.

Cobertura y Focalización:

No se identificó un método para determinar y cuantificar las poblaciones potencial y objetivo.

La población potencial y objetivo no fueron calculadas debido a que no existe una definición clara de éstas. Pero debe señalarse que es en 2007 cuando Coneval pide hacer estos cálculos.

El programa no presenta una estrategia clara de cobertura, debido a que no tiene bien definida y cuantificada la población objetivo y potencial.

La población atendida en 2007 fue de 82,970 adultos mayores. Durante ese año, el rango de edad bajó de 60 y más (contemplaba hasta 80 años) a sólo de 60 a 69 años.

Operación:

Se identificaron procedimientos estandarizados y adecuados para seleccionar a los beneficiarios que cumplen con los criterios de elegibilidad, monto y entrega de apoyos señalados en las ROP.

Se introdujeron cambios en la regulación para mejorar la focalización (encuesta socioeconómica para el procedimiento de selección); el control (anuló a las

16

organizaciones campesinas y OSC como intermediarios); los costos de entrega de apoyos, y la ubicación de puntos temporales de pago para abarcar más beneficiarios.

Percepción de la Población Objetivo:

Las evaluaciones externas son los instrumentos para medir la satisfacción de los beneficiarios, en particular la de 2006 por medio de una encuesta, el tamaño de la muestra fue de 2,041 beneficiarios registrados, localizados en 101 localidades, distribuidas en 60 municipios de 16 entidades federativas; fue representativa con un nivel de confianza del 95% para proporciones de máxima varianza y con un error de +2.2.%

La percepción sobre el programa fue en general favorable.

El 74% de los adultos mayores beneficiados mencionó que los apoyos los han favorecido mucho o muchísimo.

El 62% declaró que su salud había mejorado con el apoyo.

El 52% señaló que había mejorado la relación con sus familias y el 42% que las relaciones familiares se mantuvieron iguales.

El 66% mencionó que su estado de ánimo mejoró. El 89% manifestó que recibió muy buena y buena atención en la liquidadora. El 92% calificó como muy buena y buena la atención del personal que los inscribió. La evaluación externa 2004 indica que 7 de cada 10 beneficiarios mencionaron que el

apoyo les ayudo “muchísimo/mucho” porque les permitió comprar alimentos y el 92% indicó una mejoría en su situación alimentaria, salud y estado de ánimo.

Resultados:

No se reportó información a nivel de Propósito y Fin

Las evaluaciones externas (2005 y 2006) no cumplieron con una metodología rigurosa que permitiera medir el impacto del programa.

3.1.2. Evaluación de Diseño (ED 2007) La Evaluación del Diseño del Programa de Atención a Adultos Mayores de 70 años y Más en Zonas Rurales tuvo como objetivo evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la dependencia o entidad, el diseño del programa. Lo anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa. La institución encargada de realizar la evaluación fue la Universidad Autónoma Chapingo (UACh). A continuación se exponen los aspectos más relevantes de los temas que comprende la misma.

Características:

El problema no está claramente definido ni correctamente identificado.

El Diagnóstico se elaboró pero no es adecuado; caracteriza parcialmente a los adultos mayores (ámbito económico).

17

No identifica los problemas o necesidades según nivel de pobreza para hacer comparaciones o identificar similitudes o diferencias con oros grupos etarios. Tampoco justifica la selección de localidades de hasta 2,500 habitantes.

No da evidencias acerca de las necesidades de contar con una red de apoyo social, su funcionamiento, dificultad para crearlas, expandirlas, los tipos de apoyos intercambiados o las necesidades potenciales a satisfacer.

No hay evidencia de que en conjunto, los servicios del programa (transferencia económica y red de apoyo) sean adecuados para conseguir el fin y propósito, sólo se registra un impacto con la transferencia económica

El Fin y el Propósito no están claramente definidos dado que el problema tampoco lo está.

Contribución a objetivos estratégicos:

En cuanto a los objetivos estratégicos, el Programa está alineado con el Programa Sectorial de Desarrollo Social y tiene relación lógica con el Plan Nacional de Desarrollo.

Matriz de indicadores:

Debido a que el problema no está claramente definido ni correctamente identificado, el Fin y el Propósito de la Matriz de Indicadores tampoco lo están.

Las actividades fueron suficientes pero no todas eran necesarias para producir el primer Componente (apoyo económico entregado de forma oportuna y accesible a adultos a mayores de 70 años y Más beneficiarios del programa), y ya que el segundo Componente (Red de promoción y participación social identificada e instalada en provecho de los beneficiarios del Programa) no estaba bien definido, se desconoce si las actividades propuestas fueron las necesarias y suficientes para alcanzar el componente.

Los componentes no fueron suficientes ni necesarios para el logro del propósito. Era necesario primero definir bien el propósito.

La lógica vertical de la Matriz de Indicadores de Resultados (MIR) no se validó debido a que el problema no estaba claramente definido, lo que provocó un incorrecto planteamiento, ambigüedad de conceptos de Fin y Propósito, así como un planteamiento inadecuado de los Componentes.

La MIR contiene indicadores que permiten medir el logro de cada uno de los niveles; sin embargo, no se validó en su totalidad la lógica horizontal de la Matriz, debido a que no todos los indicadores eran relevantes y adecuados a nivel de Fin, Propósito y Actividades.

Población potencial y población objetivo:

La población potencial y objetivo son las mismas y están claramente definidas. Vinculación con las ROP:

Respecto de la vinculación con las ROP, el diseño no se encuentra correctamente expresado en ellas.

No existe congruencia entre las ROP y la lógica interna del programa.

18

Coincidencias, complementariedades y duplicidades:

El diseño no se considera adecuado para alcanzar el propósito y atender a la población objetivo;

Podría existir complementariedad con los IMSS-Oportunidades, PASL y PAR, pero primero resulta necesario que el programa defina correctamente el tipo de producto o servicio a entregar para posteriormente analizar con cuáles programas presenta complementariedad o duplicidad.

No se considera que presente duplicidad de acciones con otros programas federales. 3.1.3. Evaluación de Impacto (EI 2007-2009)

La Evaluación denominada Primer Seguimiento a la Evaluación de Impacto del Programa de Atención a Adultos Mayores de 70 años y Más en zonas rurales tuvo como objetivo evaluar los efectos alcanzados por el programa sobre las condiciones de vida de los adultos mayores (AM) beneficiarios. El análisis se enfoca particularmente a medir el impacto en los componentes específicos de: oferta laboral y patrones de ingreso, gasto y ahorro. Adicionalmente, se estudia el efecto en la salud (física y mental) y nutrición, así como en las redes de apoyo (social y familiar) y los arreglos residenciales de los adultos mayores. Complementariamente, el estudio cualitativo del impacto percibido por los beneficiarios y de los factores culturales que interactúan con el programa se propuso: determinar el impacto percibido sobre la calidad de vida de los beneficiarios del Programa 70 y Más desde la perspectiva de los beneficiarios y sus representantes; comprender la relación entre el impacto percibido por los beneficiarios y por sus representantes, y las determinantes individuales, sociales y estructurales de los beneficiarios; conocer el impacto esperado en los beneficiarios potenciales, así como describir las determinantes individuales, sociales y estructurales que, desde la perspectiva de los beneficiarios potenciales, impiden su inscripción al programa y, explorar las dinámicas locales generadas a partir del Programa 70 y Más en los adultos mayores y sus comunidades La evaluación fue elaborada por el Instituto Nacional de Salud Pública (INSP). A continuación se exponen los aspectos más relevantes de los temas que comprende la misma.

Metodología utilizada:

Con base en las dos variables centrales del Programa: edad (70 años o más) y tamaño de localidad rural (menos de 2,500 habitantes) se utilizó un diseño de regresión discontinua para aproximarse a las condiciones existentes en un diseño experimental donde, por efecto de asignación aleatoria del tratamiento, el grupo expuesto es similar al grupo de control tanto en características observadas como no observadas. La única diferencia estaría en la exposición al Programa. Se utilizaron 127 indicadores socioeconómicos y demográficos provenientes de tres Encuestas Nacionales: la de Evaluación del Seguro Popular (EESP) 2006; la de Evaluación del Desempeño de las Instituciones del Sector Salud (ENED) 2002 y la de Salud y Envejecimiento en México (ENASEM) 2001, para determinar el grupo de control adecuado. Con los resultados se determinó un grupo de tratamiento con AM de 70 a 74 y el de control con AM de 65 a 69 años. Tomando en

19

consideración el punto de corte de 2,500 habitantes se delimitaron otros dos grupos de control con el análisis de 41 indicadores a nivel de localidad con base en el Censo de Población y Vivienda, 2005, definiendo un grupo de AM entre 70 y 74 años y otro de 65 a 69 años ambos en localidades de 2500 a 3300 habitantes. Para remover las eventuales causas de sesgo en los indicadores se utilizó un Modelo de Difference In Difference (DID). Este modelo en vez de estudiar diferencias en niveles entre el grupo de tratamiento y de control permite analizar diferencias en el cambio entre ambos grupos, esto es: 1) diferencias que existían antes de la asignación del programa (en la medición basal) y 2) por diferencias provenientes de características no observadas a nivel de localidad que no cambian entre la medición basal y el seguimiento (2007 y 2008).

La evaluación comprendió una medición basal en septiembre—noviembre de 2007; dos seguimientos, uno en noviembre-diciembre de 2008 y otro en 2009. Para estimar el efecto del programa se definieron dos estrategias la primera utiliza la medición basal 2007 y la primera medición 2008 con una transferencia bimestral. Para 2009 se considera una transferencia acumulada a un año otorgada a los AM a finales de 2008. La muestra se determinó en forma aleatoria con base en la encuesta de evaluación en 7 estados: Guerrero, Hidalgo, Michoacán, Puebla, Querétaro, San Luis Potosí y Veracruz, se visitaron 422 localidades de menos de 2,500 habitantes. Se aplicó una versión corta del cuestionario en 2008 y una ampliada en 2009. Se conformó una muestra de 3000 AM de los que 1500 fueron de 65 a 69 años y otro tanto de 70 a 74 años, éste último es el grupo de intervención. Se seleccionó solo a un adulto por hogar para maximizar el tamaño de la muestra y capturar la viabilidad de gasto, ahorro y salud. En las localidades de más de 2,500 habitantes se utilizó el listado de familias beneficiarias del Programa de Desarrollo Humano Oportunidades en los mismos 7 estados, restringiendo el tamaño de localidad de 2,500 a 3,500, se seleccionaron 94 localidades. Nuevamente se eligieron 3000 AM donde 1,500 fueron de 65 a 69 y 1,500 de 70 a 74. La muestra final quedó conformada por 6000 AM.

Dado que el tamaño de localidad de cobertura cambió en las ROP de 2009 hasta 30 mil habitantes y que la transferencia fue entregada en forma acumulada por el equivalente a un año, lo que complicaría la estimación del efecto del programa, se planteó un nueva ecuación del modelo DID para el seguimiento 2009 porque el grupo de control de AM de 70 a 74 años en localidades de 2500 a 3300 habitantes dejó de existir. En este modelo los grupos de control fueron los de AM de 65 a 69 años tanto en localidades de menos como de más de 2,500 habitantes. Con esto se controlan las diferencias observables y no observables.

Los instrumentos de medición en los tres momentos: basal de 2007, seguimiento 2008 y seguimiento 2009, consistieron en dos cuestionarios uno para el hogar y otro individual. En el primero se entrevistó al jefe del hogar o a la persona que conociera más el hogar y los miembros que lo componen. El segundo lo debía responder el adulto mayor. Ello implicó una evaluación cognitiva previa para determinar si el AM estaba en posibilidad de contestar o si era necesario que lo hiciera su cuidador o persona más cercana. Además de la lista nominal se conformó una de 312 AM sustitutos. En la medición basal de 2007, se tuvo una respuesta de AM de 90.8%, donde 88.3% corresponde a lo respondido por el AM el resto a su cuidador. En el primer seguimiento 2008 se tuvo una

20

respuesta de 91% de AM pues se consideraron los que contestaron la primera vez menos los que habían fallecido, la muestra fue de 5793 AM, entrevistando a 5270. De la tasa de respuesta 84% corresponde a los AM y el resto a su cuidador. Para el segundo seguimiento 2009 de la lista de los 5760 que no habían fallecido se entrevistó a 5424 con una tasa de respuesta de 94.2% donde el 87.6% corresponde a los casos respondidos por el AM y el resto a sus cuidadores. Se usó un modelo de programación lineal para variables dicotómicas.

Para el estudio cualitativo se conformó una muestra con cuatro diferentes actores: a) AM beneficiarios y sus representantes; 2) Potenciales beneficiarios que siendo AM elegibles no eran beneficiarios de 70 y Más, 3) AM Beneficiarios suspendidos y 4) Actores clave locales. Se realizó una observación en la entrega del recurso por cada localidad, de los 2 estados seleccionados por su alto nivel de marginación: Hidalgo y Veracruz, los cuales se eligieron atendiendo a los siguientes criterios: tener dos localidades con 2500 habitantes o menos, con población mayoritariamente mestiza y otras dos localidades con población mayoritariamente indígena declarada por INEGI, una de las dos poblaciones a elegir debía tener barreras de acceso a los servicios de salud. Se consideraron localidades que estuvieron en la línea basal con al menos 30 AM con 69 años que el día de la entrevista tuvieran 70 años pues la meta era de 24. Para la selección de beneficiarios se consideraron aquellos que en la línea basal presentaron las características siguientes en orden de importancia: 1) ser hombre versus ser mujer, 2) estar relativamente sano o “valerse por si mismo” versus tener enfermedades crónicas o “depender de otros para su subsistencia” y 3) declarar redes sociales fuertes versus declarar redes sociales débiles. Para obtener la percepción de los actores sociales sobe la salud y los aspectos sociales se aplicó el modelo de regresión entre dos probabilidades y se empleó la entrevista semiestructurada y observación no participante y estructurada en puntos de pagos. Se aplicaron 129 entrevistas, 99 con AM beneficiarios y sus representantes; 16 con potenciales beneficiarios; 6 con AM suspendidos; 8 con actores clave. Se realizó un registro de diario de campo y registro de la observación de la entrega del recurso para cada localidad.

El concepto guía del estudio cualitativo es el de la Calidad de Vida, referido a la satisfacción que tienen la personas con su situación personal (Schwartzmann, 2003) íntimamente vinculada a la propia experiencia, a la salud, al grado de interacción social de los individuos, y a otros factores (Vera, 2007) entre ellos el económico. Para la operacionalización del concepto se asume el peso de la percepción de las propias personas para definir y conceptualizar la calidad de vida (Palomba, 2003). La aproximación teórica y los métodos se basan en la antropología que considera el modo émic de aproximación a fenómenos sociales para un entendimiento profundo de la realidad desde el punto de vista del actor que debe ser contratada con la perspectiva étic del observador externo.

Valoración Técnica de la metodología empleada:

La evaluación hizo su propio levantamiento en tres ocasiones diferentes, con lo que se aseguraba una recepción de información que le permitía observaciones más robustas. Sin embargo, se reconoce que en 2008 y 2009 se aplicó el mismo cuestionario con la

21

salvedad que en el 2008 se aplicó una versión reducida de las variables, con lo que se pudo haber comprometido la pulcritud de la comparación y seguimiento fidedigno de datos de un año a otro. Esta situación fue por causa de la ampliación del programa a localidades de hasta 30 mil habitantes. Inducido por este mismo cambio en el tamaño de localidad, un Grupo de Control se convirtió en Grupo de Tratamiento con una transferencia acumulada y se reconoce una afectación diferente por el programa en este grupo.

El modelo utilizado fue el de Difference in Difference (DID) para aproximar lo más posible al Grupo de Tratamiento al Grupo de Control definido. Este modelo permite analizar diferencias en el cambio entre ambos grupos sólo por el efecto de aplicación del programa, definiendo una nueva ecuación del DID cuando en 2009 se convirtió a un Grupo de Control en un Grupo de Tratamiento por el cambio en la localidad. El modelo DID es recomendado para estudios que van a requerir de varias comparaciones. La regresión discontinua permitió contar con grupos comparables en cuanto a los efectos del programa porque facilitó la conformación de un Grupo de Tratamiento y de Grupos de Control adecuados.

La metodología fue muy robusta pues consideraba a su vez la aplicación de distintos instrumentos para cada aspecto a medir como por ejemplo en salud y capital social. Las encuestas comprendieron siete estados en donde no había iniciado la aplicación del programa tanto para el momento basal, primero y segundo seguimiento. Los resultados cuantitativos fueron complementados con un estudio cualitativo sobre la base de entrevistas estructuradas y semi-estructuradas para, desde la percepción del adulto mayor beneficiario y actores clave, se pudieran valorar los efectos de 70 y Más con un tinte cualitativo. Esto complementa el análisis del impacto del programa al considerar factores de contexto.

El hecho de que el programa intentara medir efectos en aspectos que no estaban condicionados a la aplicación del programa, dejó abierta la necesidad de hacer una nueva evaluación cuando se convirtieron en requisitos de condicionalidad, como por ejemplo la sujeción a servicios de salud. Asimismo, se requiere actualizar la evaluación para conocer sus efectos en localidades urbanas.

Conclusiones:

Fueron consistentes con los resultados obtenidos en el sentido de que el impacto de la transferencia económica del programa sobre las diferentes esferas de la vida cotidiana de los AM se vio reflejado en cambios casi inmediatos en el ingreso, el gasto, la oferta laboral, las decisiones al interior de la unidad doméstica, la percepción del estado de salud y sobre síntomas depresivos mientras que en otras esferas como las condiciones de salud y su estado nutricio, los cambios pueden verse en un plazo mayor. No obstante, la ayuda financiera otorgada por el programa puede facilitar el acceso a los servicios de salud para la detección de enfermedades, la adquisición de medicamentos y alimentos. Además las conclusiones contextualizan adecuadamente los hallazgos y se reconoce la necesidad de estimar ciertos efectos e impactos que buscaron medirse y que no estaban condicionados tratándose de un grupo vulnerable que había vivido en condiciones de

22

pobreza marcadas, para lo cual se requiere de una mayor exposición al programa buscando dimensionar correctamente sus efectos.

Principales resultados Oferta Laboral, Patrones de Ingreso, Gasto y Ahorro:

No hay evidencia significativa de un cambio en la oferta laboral total de trabajo entre el Grupo de Tratamiento y el Grupo de Control Interno (65 a 69 años localidades menores a 2,500 habitantes).

Se encuentra evidencia sobre la oferta laboral; los beneficiarios redujeron 18% su oferta de trabajo pagada a causa del programa, ocupándose en actividades de familia; las horas destinadas a trabajar por pago se redujeron 37%.

El descenso en las horas trabajadas pagadas es comparable al aumento en el número de horas de trabajo familiar; también se reducen significativamente las horas de viaje al trabajo, en proporción con la caída de las horas de trabajo por pago.

Por otra parte, la transferencia de $500.00 implica que los hogares beneficiarios reduzcan 27% su ingreso laboral ($200 en promedio), pero la reducción en el ingreso de los AM no es significativa; en tanto que los hogares beneficiarios incrementaron el gasto total en $340.00, equivalente a 24%.

No se encuentra evidencia sobre cambios importantes en el uso del tiempo de los beneficiarios y no hay reducción en los ahorros líquidos, incrementándose mínimamente.

Hay un efecto de anticipación en hogares no tratados en localidades rurales donde reducen un 11% su ingreso labora e incrementan un 10% su gasto total.

Salud (física y mental) y nutrición

De 2007 a 2008, la diferencia entre el Grupo de Intervención y el Grupo de Control Interno respecto de considerar una mejoría en su estado general de salud fue de 12% a favor de los beneficiarios del programa. Se consideraron variables de sexo, indigenismo y dependencia funcional; el efecto de mejor percepción fue mayor en hombres que mujeres (15 y 11%, respectivamente); asimismo, fue mayor el efecto benéfico entre indígenas (18%) y no indígenas (8%).

Por cambio en las ROP que amplió el tamaño de localidad, en 2009 se tuvieron dos Grupos de Tratamiento (uno con transferencia bimestral y otro con anual); la percepción de mejoría en salud fue mayor en el primero que en el segundo, con una diferencia del 5%. Las diferencias por sexo e indigenismo arrojan que se presentó un efecto promedio positivo en las mujeres e indígenas del 9 y 8% respectivamente (entrega bimestral). Adicionalmente, no hubo un efecto estadísticamente significativo en el incremento de la cobertura de vacunación contra tétanos, influenza y neumococo. Respecto de la salud bucal, existió un efecto positivo sobre el uso de los servicios dentales en un 4% en el Grupo de Tratamiento con transferencia acumulada, las acciones preventivas en salud auditiva y visual no tuvieron ningún efecto significativo.

No hubo cambios atribuibles a 70 y Más en el uso de servicios ambulatorios de 2007 a 2008, pero desde ese año a 2009, se aprecia un efecto positivo de un 5% en el Grupo de Tratamiento con transferencia acumulada. En el bimestral, no se reportó efecto.

23

Respecto de la salud física, se atribuye un cambio estadísticamente significativo al programa en mujeres beneficiarias de 70 a 74 años residentes en localidades de más de 2,500 habitantes con ayuda acumulada, para la cobertura de la prueba de detección oportuna de cáncer cérvico-uterino. En mujeres con dependencia funcional, hubo un efecto negativo del 20% en comparación con el Grupo de Control; sin embargo, no hubo un cambio atribuible al programa para la detección de cáncer de próstata.

En cuanto a las enfermedades crónicas, hubo un mal control de la hipertensión arterial en el adulto mayor diagnosticado en el Grupo de Tratamiento 2 (localidades mayores a 2,500 habitantes), con un cambio negativo de un 13.3% atribuible al programa 70 y Más; comparado con el Grupo de Control, la diferencia fue significativa. Para los AM no diagnosticados, no se encontró efecto significativo en ninguno de los dos grupos de tratamiento. En el Grupo de Tratamiento 1 se atribuyó al programa el incremento en cifras de registro de hipertensión arterial en AM diagnosticados. Asimismo, se usó la escala de depresión geriátrica de Yesavage (EDG) encontrando una disminución del 6% en los síntomas depresivos en el Grupo de Tratamiento comparado con el Grupo de Control, en los años de 2007 al 2009 no hubo cambios significativos.

Se detectó un incremento no significativo en el indicador de satisfacción con la vida de 2007 a 2008. No se reportó un efecto en la autoestima ni en el empoderamiento (participación en las decisiones sobre el gasto del hogar y aportación en éste). Hubo un efecto positivo, aunque mayor en las mujeres de 2007 a 2008. Para 2009, no se detectó efecto atribuible al programa, mientras que el impacto del segundo indicador (colaboración en gasto) presentó un efecto positivo atribuible al programa.

Hay un efecto positivo del programa en la inseguridad alimentaria en el Grupo de Tratamiento 1 en comparación con el Grupo de Control, al reducir los hogares en inseguridad alimentaria moderada y severa. Se observó un mayor número sin inseguridad alimentaria e inseguridad alimentaria leve en los dos grupos de tratamiento. En el Grupo de Tratamiento 1, se ubicaron con el programa, mayormente en inseguridad alimentaria leve. No hubo efectos diferenciados por indigenismo, sexo y dependencia funcional.

En el Grupo de Tratamiento 1, el programa provocó sobrepeso en mujeres, comparadas con el Grupo de Control; en el Grupo de Tratamiento 2, disminuyó la probabilidad de padecer obesidad por un consumo menor de energía, en tanto que los indígenas disminuyeron la posibilidad de padecer sobrepeso.

El consumo de energía fue mayor en el Grupo de Tratamiento 1 que en el Grupo de Control, y los indígenas del Grupo de Tratamiento 2 consumieron 260 kcal. más que el Grupo de Control. Asimismo, el aporte de proteínas aumentó en general y se observó un cambio significativo (2.24%) en el consumo de energía diaria a partir de alimentos de origen animal en el Grupo de Tratamiento 2 (transferencia anual). En el Grupo de Tratamiento 1 no hubo efecto significativo por consumo de carne, pero sí por frutas y verduras.

Redes de Apoyo (Social y Familiar) y los Arreglos Residenciales:

El tamaño promedio de la red muestra una tendencia a disminuir en los dos Grupos de Tratamiento y el Grupo de Control, lo que puede explicarse por el contexto de pobreza,

24

ruralidad y alta marginación. La hipótesis del evaluador fue que el apoyo recibido disminuyó la dependencia y fomentó la migración.

De acuerdo con el tipo de apoyo (emocional, instrumental, económico y de información) se observaron cambios en el primero y el tercero como apoyos que dan y reciben los AM, pero también disminuyó el apoyo económico que reciben los AM.

En cuanto al capital social, hubo cambios discretos en la proporción de AM cuyos hogares participaron en al menos un grupo social y disminuyó el de AM que reportaron algún grado de exclusión social. La mayoría de los AM que reportaron algún grado de exclusión social (75%) lo adjudicaron a la edad e impedimentos físicos.

En cuanto al arreglo domiciliario, el tamaño del hogar en el Grupo de Tratamiento 1 disminuyó el número de integrantes, pero debe interpretarse con cautela pues podía ser indicativo de que la transferencia económica genera que los AM busquen la manera de vivir en hogares no extendidos (solos o con pareja; igualmente puede deberse a un fenómeno más marcado de migración; lo primero podía ser por la mayor independencia económica y un mayor nivel de empoderamiento.

Hubo un incremento del 6% en hogares unigeneracionales (compuesto sólo por AM) en el Grupo de Tratamiento 1 respecto del Grupo de Control. En hogares intergeneracionales hubo una disminución del 10%, pero debe interpretarse con cautela porque no cabría suponer una situación de conveniencia en la proliferación de hogares habitados sólo por AM, lo que podía ser mejor explicado por un fenómeno migratorio.

Estudio Cualitativo:

La mayoría de los beneficiarios evaluó a 70 y Más en forma positiva porque aumentó la capacidad de gasto, mejoró la subsistencia, la autoestima, la satisfacción con la vida al poder ofrecer algo a sus familias, el consumo de alimentos y su posicionamiento en el hogar; sin embargo, no todos los AM percibieron mejoría en su salud física, pero sí en la mental. En esta última, las razones se asocian a la tranquilidad de contar con un ingreso regular; la capacidad de compra y a la reducción de dependencia económica.

La transferencia no sólo solventó necesidades de los AM, sino que se compartió con la unidad doméstica, lo que generó un impacto en la toma de decisiones en el hogar con mayor percepción en los hogares multi-generacionales en donde el empoderamiento resaltó particularmente en las mujeres.

En cuanto a los apoyos instrumentales y emocionales, éstos fueron significativos y recíprocos. Se refieren a transferencias o intercambios interpersonales que circulan en las redes de los AM, los primeros se refieren al apoyo en transporte, ayuda en labores domésticas, cuidado y acompañamiento; los segundos se expresan por la vía del cariño, la confianza, empatía, sentimientos de afecto y preocupación por el otro. Con el apoyo es posible que el AM esté siendo más capaz de ser recíproco, por lo que en general el programa se evalúa positivamente.

25

3.1.4. Evaluación Específica de Desempeño (EED 2008-2009)

La Evaluación Específica de Desempeño 2008 del Programa de Atención a los Adultos Mayores de 70 años y Más en zonas rurales, se realizó para mostrar los avances en materia de indicadores conforme a la información disponible, así como en los aspectos susceptibles de mejora derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio 2008-2009. El Colegio de la Frontera Norte, A.C. fue responsable de la evaluación, siendo el coordinador René Martín Zenteno Quintero. A continuación se exponen los aspectos más relevantes de la misma.

Indicadores:

Sólo cuenta con tres indicadores de resultados (porcentaje de Adultos Mayores que perciben mejoría en sus condiciones de vida; variación porcentual promedio del ingreso de los hogares e índice de inclusión social) de los cuales no se propusieron metas para ese año y no se reportaron resultados.

Tres de cinco indicadores de gestión y servicios están por debajo de la meta (porcentaje de cobertura de la red social; porcentaje de acciones de promoción y participación social realizadas y porcentaje de facilitadores voluntarios operando respecto del total de facilitadores voluntarios capacitados) en 5, 73 y 12 puntos porcentuales. Los otros dos, (porcentaje de beneficiarios que recibieron el apoyo económico respecto de los que se les programó y porcentaje de adultos mayores incorporados a los padrones respecto de la meta bimestral programada de incorporación) superan la meta en 10.8 y 361.6 porcentuales respectivamente.

Los indicadores estratégicos no estuvieron bien definidos, no permiten valorar los impactos y resultados esperados; los de gestión sí posibilitaban dar seguimiento oportuno a los avances sobre los componentes centrales. La corrección requiere definir qué aspectos de la calidad de vida y de inclusión social se quieren valorar; para medir el impacto de apoyos económicos en el ingreso del hogar, se propone medir un año respecto de otro con independencia del número de miembros y aplicar los efectos inflacionarios o bien, medir el cambio sólo en el ingreso del beneficiario.

Asimismo, se reportaron resultados de la Evaluación de Diseño 2007 y de los principales resultados del Informe de resultados basales para la medición del impacto 2007 del INSP.

No es posible valorar los resultados del programa, los indicadores estratégicos y el informe basal no ofrecieron información al respecto. Los componentes en 2008 presentaron avances en metas de cobertura de beneficiarios y facilitadores voluntarios y entrega de apoyos económicos; pero en la acción de promoción y participación social el avance es modesto.

Cobertura:

Las poblaciones potencial y objetivo están bien definidas y cuantificadas.

26

De acuerdo con los datos disponibles, la evolución de la cobertura registraba el siguiente comportamiento (Cuadro 2):

Cuadro 2. Cobertura de 70 y Más 2007-2008

Año Población potencial

Población objetivo

Población atendida

% de cumplimiento

2007 - - Más de 1,000,000

100.1%

2008/ 1,635,989 1,520,374 1,863,945 122.5%

Fuente: EED 2009

Se observan inconsistencias en la cuantificación de la población potencial y objetivo en el diagnóstico y la cobertura, ya que ésta fue mayor respecto de las dos primeras en más de un 20%, probablemente debido a fallas de proyección.

El posicionamiento institucional Sedesol señala que la población potencial y objetivo están documentadas con base en el II Conteo Nacional de Población y Vivienda 2005, y respecto al comportamiento de la población atendida, el Programa amplió su cobertura para atender AM en localidades de hasta 20 mil habitantes en 2008 y de hasta 30 mil habitantes en 2009.

Aspectos susceptibles de mejora:

Referente a los Aspectos Susceptibles de Mejora se encontró que era necesario realizar el diagnóstico del programa a fin de que establezca con claridad el problema que el programa debiera contribuir a resolver; establecer claramente el diseño del programa en las ROP y la MIR con base en el problema a resolver y, analizar conveniencia de fusionar en un solo programa los tres instrumentos de política de Sedesol que actualmente entregan un apoyo en efectivo a los adultos mayores.

Los avances correspondientes reflejan los siguientes parámetros: o Se elaboró el Diagnóstico y se rediseñó la Matriz de Indicadores de Resultados en

2008 y las Reglas de Operación de 2009 se vincularon con ella. En 2008, el Programa de Atención a Adultos Mayores en zonas zurales no apareció más en el Presupuesto de Egresos de la Federación y los programas de 70 y Más y PDHO previeron la no duplicidad de apoyos en sus ROP.

3.1.5. Evaluación Específica de Desempeño (EED 2009-2010) La Evaluación Específica de Desempeño 2009 del Programa 70 y Más, se realizó para mostrar los avances en materia de indicadores conforme a la información disponible, así como en los aspectos susceptibles de mejora derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio 2009-2010. El Colegio Mexiquense, A.C. fue responsable de la evaluación, siendo el coordinador Israel Banegas González. A continuación se exponen los aspectos más relevantes de la misma.

27

Indicadores: A pesar de contar con 6 indicadores de resultados, sólo se reportaron tres (índice de

inclusión social; índice de variación del ingreso de los Adultos Mayores y porcentaje de Adultos Mayores que perciben mejoría en sus condiciones de vida).

En todos los casos la meta y el valor coinciden; no registran valor inmediato anterior y sólo el de fin tiene año base (2008). La línea base, se determinaría al final de la evaluación de impacto en el año 2009 para los de propósito.

El indicador de fin (porcentaje de adultos mayores que perciben mejoría en sus condiciones de vida) tiene un valor de 46.1% medido con la evaluación de impacto.

Cuatro de cinco indicadores de gestión están por encima de la meta en 0.4, 8, 43 y 4 puntos porcentuales respectivamente (porcentaje de beneficiarios en localidades de hasta 30 mil habitantes; porcentaje de proyectos de vinculación interinstitucional formalizados; porcentaje de cobertura de gestores y, monto de recursos de apoyos económicos que recibieron los beneficiarios en- el bimestre operativo anterior). El otro indicador (porcentaje de beneficiarios apoyados para favorecer su protección social) quedó 1 punto por debajo de su meta.

Los indicadores de resultados fueron medidos por primera vez en 2009 y se reportaron resultados del Informe Final del Estudio de Impacto del Programa de Atención a Adultos Mayores de 70 y Más 2007-2009 del INSP.

Los indicadores de 2009 dieron cuenta de los avances y resultados, guardan congruencia con las Reglas de Operación¸ cumplen con los criterios requeridos, el fin y propósito son relevantes y pertinentes; se cuenta con indicadores de planificación, implementación y capacidad institucional, así como para identificar retos presupuestarios y operar a través de instrumentos clave.

Cobertura:

La población potencial entre 2007-2008 y-2009-2010 se incrementó 60.6 y 157.5%

respectivamente, y la población atendida siempre superó a la objetivo por subregistro

del INEGI.

Los datos de la cobertura guardan el siguiente comportamiento (Cuadro 3).

Cuadro 3. Cobertura de 70 y Más 2007-2009

Año Población potencial

Población objetivo

Población atendida

2007 1’030,098 1’030,098 1’031,005

2008 1’653,989 1’520,374 1’863,945

2009 4’259,547 2’042,000 2’050,626

Fuente: EED 2009

Aspectos susceptibles de mejora:

Referente a los Aspectos Susceptibles de Mejora se encontró que era necesario mejorar las condiciones de atención en las sedes de pago, fortalecer capacitación y seguimiento a gestores voluntarios; hacer la agenda de evaluación de resultados de programas sociales

28

privilegiando evaluaciones de impacto y seguimiento a beneficiarios, previo análisis de factibilidad; continuar mejora de la MIR documentando solidez técnica, relevancia, líneas base y metas de indicadores y, actualizar y difundir los diagnósticos de programas sociales compartiendo medición de poblaciones, estrategias de cobertura, cambios de diseño y estrategias de atención.

Los avances correspondientes reflejaban los siguientes parámetros: o 100% en mejora del diagnóstico del Programa o 100% respecto del establecimiento de diseño en las Reglas de Operación y en la

Matriz de Indicadores de Resultados o 100% en el análisis de la fusión en un programa de los tres instrumentos de

Sedesol a través de los cuales entregaba apoyos en efectivo a los adultos mayores.

3.1.6. Evaluación Específica de Desempeño 2010-2011 La Evaluación Específica de Desempeño 2010 del Programa 70 y Más, se realizó para mostrar los avances en materia de indicadores conforme a la información disponible, así como en los aspectos susceptibles de mejora derivados de las evaluaciones externas y las acciones establecidas por el programa para atenderlos. La evaluación consistió en un análisis de gabinete que comprendió el ejercicio 2010-2011. La consultora C-230 Consultores S.C. fue responsable de la evaluación. A continuación se exponen los aspectos más relevantes de la misma.

Indicadores: Tres indicadores de resultados (número de localidades atendidas; porcentaje de adultos

mayores que perciben mejoría en sus condiciones de vida respecto de los entrevistados, porcentaje de adultos mayores que perciben mejoría en sus ingresos respecto de los que perciben mejoría en determinados aspectos de sus condiciones de vida) de un total de cuatro, superaron su meta en 0.8, 43 y 1 puntos porcentuales respectivamente. El otro indicador (porcentaje de adultos mayores que perciben mejoría en su protección social respecto de los que perciben mejoría en determinados aspectos de sus condiciones de vida) no alcanzó su meta por 17 puntos.

Por otra parte, cuatro indicadores de gestión cumplieron su meta (porcentaje de localidades que mantuvieron su atención respecto de la localidades objetivo; padrón activo de beneficiarios; porcentaje de beneficiarios programados para recibir el apoyo económico respecto de los planeados para recibir el apoyo económico y, porcentaje de localidades con clubes-estancias concertadas respecto de las localidades programadas para contar con gestor voluntario capacitado) y uno la superó en más de 77 puntos porcentuales (porcentaje de localidades atendidas con acciones para aminorar el deterioro de la salud física y mental de los beneficiarios).

La mayoría de los indicadores son pertinentes, salvo el que se refiere al número de localidades atendidas no correspondió al nivel de propósito porque no reflejaba el resultado en términos del incremento en el ingreso y protección social de los adultos mayores. El indicador de fin se obtuvo de la Encuesta de Satisfacción a Usuarios y arrojó

29

el porcentaje de adultos mayores satisfechos, pero era necesario que se determinaran indicadores ad hoc para medir el acceso a la protección social de los adultos mayores.

También se pudo observar la evolución de la mayoría de los indicadores, aunque una gran parte de ellos tenía como año base 2009 y habían dos de gestión que no tenían año base.

Hallazgos relevantes:

Se reportaron resultados de Evaluación de Impacto 2007-2009 y de la Encuesta de Satisfacción de Beneficiarios.

Cambios a las Reglas de Operación para mejorar la alineación de la población objetivo y los tipos de apoyos, facilitando su comprensión

Mejora en los procesos de operación por la Unidad Responsable, con lineamientos para clarificar y ordenar tareas en campo

Nivel de ejercicio del presupuesto óptimo a pesar de complejidad logística

En la Cuenta Pública se refleja como un instrumento eficiente al favorecer al 100% de beneficiarios del padrón y la consolidación de la red social.

Cobertura:

La población potencial y la población objetivo estuvieron definidas y cuantificadas.

De acuerdo con los datos, la cobertura guarda el siguiente comportamiento (Cuadro 4):

Cuadro 4. Cobertura de 70 y Más 2007-2010 Año Población potencial Población objetivo Población atendida

2007 1,030,098 1, 030,098 1,031,005

2008 1,653,989 1,520,374 1,863,945

2009 4,259,547 2,042,000 2,050,626

2010 4,502,562 2,105,305 2,105,306

Fuente: EED 2010

La población objetivo siempre fue cubierta en su totalidad Aspectos susceptibles de mejora:

Referente a los Aspectos Susceptibles de Mejora se reportan avances en la modificación

de fin y propósito de la Matriz de Indicadores para Resultados 2011; se acotó el objetivo

general y específico de las ROP; se realizó una reunión de planeación estratégica 2011

para todos los programas de grupos vulnerables y se actualizó la población potencial.

De 2007 a2009, se definieron nueve aspectos susceptibles de mejora con un avance del

97.8%, quedando pendiente la actualización del diagnóstico para incorporarlo a la

estrategia de cobertura.

En 2011, se definieron los ASM: Fortalecer la atención en sedes de pago; reforzar

mecanismos de quejas y denuncias; capacitación a gestores externos; establecer metas

30

retadoras en la Matriz de Indicadores para Resultados, y mejorar la entrega de apoyos

económicos.

3.1.7. Evaluación de Consistencia y Resultados (ECR 2011-2012)

La Evaluación de Consistencia y Resultados del Programa 70 y Más tuvo como objetivo retroalimentar el diseño y la gestión del programa a partir del examen de la consistencia del programa en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo y resultados. El periodo que contempla el análisis es el ejercicio 2011-2012. La evaluación la realizó N.I.K. Beta, S.C. A continuación se exponen los aspectos más relevantes de los temas que comprende la misma.

Diseño: El problema está correctamente identificado y definido y se cuenta con un diagnóstico

actualizado y adecuado

Está alineado con los objetivos del Plan Nacional de Desarrollo y del Plan Sectorial de Desarrollo Social.

Las poblaciones potencial y objetivo estuvieron definidas y cuantificadas, esta última corresponde a los adultos mayores de 70 años y Más que habitan en localidades de hasta 30 mil habitantes; en 2009 se cuantificó en 2’042,000 adultos mayores.

Las Reglas de Operación reflejaban el contenido de la Matriz de Indicadores para Resultados.

Todos los indicadores cuentan con ficha técnica y metas con las características requeridas.

Tiene coincidencias con el componente de adultos mayores de Oportunidades y se complementa con el Programa de Credencialización del INAPAM; Programa de Abasto Rural de Diconsa, Seguro Popular y Programa de Atención a Jornaleros Agrícolas.

Planeación Estratégica: Cuenta con un Plan Estratégico que contemplaba el mediano y largo plazos que

establece los resultados a alcanzar (Fin y Propósito) y los indicadores de medición estuvieron integrados en la Matriz de Indicadores de Resultados con metas a 2012.

Presentó un avance del 91% en los ocho aspectos susceptibles de mejora, pero no se atendió a la recomendación de la evaluación de impacto (INSP 2009): “Si el programa se va a extender a comunidades mayores a 2,500 habitantes es necesario realizar otro estudio de impacto (…)”.

Cobertura y Focalización:

Tiene una estrategia de cobertura con población objetivo y metas anuales.

La población atendida en 2011 representó un 107% con relación a la objetivo (2’149,024 vs. 2’009,019)

No cuenta con una estrategia de cobertura de mediano y largo plazo.

31

Operación:

Identifica los procesos clave para la entrega de apoyos

Cuenta con procedimientos adecuados para la selección de beneficiarios, en tanto que la entrega de sus apoyos es verificable.

Introdujo cambios en la regulación, tales como: la opción de aceptar la suspensión de apoyos de Oportunidades; se definieron mejor los apoyos y sus características (2009-2010); y en los criterios de elegibilidad se eliminó la constancia expedida por la autoridad local para acreditar la identidad si se vive en una localidad de más 10 mil habitantes, ahora se solicitó recibo para la acreditación de residencia (2011)

Percepción de la población objetivo:

Tiene un instrumento para medir el grado de satisfacción de la población atendida con opciones de respuesta ambiguas, las cuales podrían ser inducidas al realizarse en el lugar donde se entregaban los apoyos

Sin considerar lo anterior, el diseño muestral fue representativo.

Resultados: Se reportaron resultados de fin y propósito; realizó una evaluación de impacto en 2009. Los principales resultados son: mejor percepción del estado de salud en general; mejor

posicionamiento dentro del hogar y contribución a la economía del hogar. 3.1.8. Índice Mexicano de Satisfacción de Usuario (IMSU) Reporte Final 2011

La Evaluación de Satisfacción de Usuario del Programa 70 y Más, realizada como parte del proyecto de investigación “Diseño y Aplicación de una Metodología para el Establecimiento del índice Mexicano de Satisfacción del Usuario de los Programas Sociales Mexicanos” (IMSU-Programas Sociales) en 2011, tuvo como objetivos: evaluar la satisfacción de los beneficiarios del programa de la modalidad en cuestión, sus causas y sus efectos, e identificar áreas de oportunidad de mejora; obtener una metodología general, propia, comparable y reproducible, para el establecimiento del IMSU válido y confiable, que ponga a prueba el modelo de evaluación del American Customer Satisfaction Index (ACSI) y, comparar los resultados obtenidos con otras metodologías similares. La evaluación estuvo a cargo de la Universidad Iberoamericana. A continuación se presentan los principales resultados:

Resultados

La Calidad percibida se asoció de manera positiva a la satisfacción con a) la actividad de ingreso al programa; b) el aviso y ubicación de la entrega de apoyos; c) el evento de entrega de apoyos; d) el beneficio del apoyo, y e) a la satisfacción; en donde ésta última se relacionó favorablemente con la Confianza alcanzando un coeficiente relativamente alto de 2.6, lo que significa que por cada 5 puntos de incremento en la Satisfacción la Confianza puede aumentar en 2.6 puntos (3.54 según la estimación por Smart PLS).

32

Las Expectativas del usuario se asociaron de manera positiva a la Calidad percibida y a la Satisfacción. La calificación alcanzada por el programa en Satisfacción que es el centro del modelo IMSU fue de 79 en escala de 0 a 100, resultó moderada en comparación a otros programas sociales, al 95% de confianza.

Las variables latentes asociadas a la Satisfacción tuvieron los siguientes puntajes en una escala de 0 a 100: Calidad percibida, 85; Expectativas, 79; Confianza, 86. Respecto de las quejas, se observa que sólo el 1% de los usuarios se ha quejado; las variables latentes referentes a las Expectativas y Calidad, tuvieron una variable manifiesta con peso externo bajo (se trata de las variables manifiestas Expectativa de dificultades y Percepción de dificultades). En cuanto a las variables latentes específicas, los resultados en escala de 0 a 100 fueron: ingreso al programa, 82; evento de entrega de apoyos, 79; aviso y ubicación de entrega, 75; beneficios de apoyo, 66.

Los usuarios del programa en general, no estuvieron conformes con las complicaciones que les ocasionaba desplazarse para recoger sus apoyos ni con el tiempo que tenían que esperar una vez que llegaban al lugar de entrega. El 50% de los entrevistados reportó haber esperado una hora y media o más antes de recibir sus apoyos, y el 25% de ellos esperó dos horas y media o más.

3.2. Análisis de evaluaciones de programas similares

Para establecer un punto de referencia con otras experiencias a nivel internacional, se muestra una síntesis de evaluaciones de resultados o impacto aplicadas a programas, proyectos o intervenciones públicas que son similares, ya sea por algunos de sus objetivos, componentes o poblaciones atendidas. Se trata de obtener información útil para valorar en qué medida las acciones del programa han obtenidos resultados en otras realidades, así como de analizar y aprovechar aquellos aspectos del esquema metodológico aplicado en estos casos para próximas evaluaciones al programa. El Anexo 2 posibilita una visión sintética de las evaluaciones a intervenciones similares a la que nos ocupa.

3.2.1. Esquema Piloto de Transferencias Sociales de Ingreso en Mchinji, Malawi

Nombre de la evaluación: Impact Evaluation Report External Evaluation of the Mchinji Social Cash Transfer Pilot. Objetivos de la Evaluación: Comprender el impacto de la transferencia de ingreso mediante la evaluación de las diferencias entre los hogares beneficiarios y no beneficiarios (grupo de comparación) entre marzo de 2007 y marzo-abril de 2008 en las siguientes áreas: migración de niños y adultos, salud e higiene, educación, trabajo infantil, nutrición y consumo de alimentos, propiedad de activos, calidad de la vivienda, gastos del hogar y uso de la transferencia de ingreso, cheques a los hogares, bienestar e impacto de la transferencia, decisiones acerca del gasto de las transferencias y envidias y conflictos.

33

Características:

Se otorga un apoyo mensual no condicionado al 10% de los hogares más pobres y sin opciones de trabajo dependiendo de su tamaño y del número de niños en edad de asistir a la escuela.

En promedio, los hogares reciben un apoyo mensual de 14 dólares. Los comités de las comunidades y distritales se encargan de seleccionar a los hogares beneficiarios.

Metodologías empleadas:

Se escogieron cuatro grupos comunitarios de desarrollo en los que opera el programa y otros cuatro con características similares como grupo de comparación. La muestra fue de 408 hogares en el grupo de tratamiento y 411 en el grupo de control.

Debido a que no existe información estadística acerca de las comunidades, se consideró que tienen características similares.

Se recabaron encuestas longitudinales en hogares que consistió en tres rondas de recolección de información, así como 106 entrevistas a profundidad con beneficiarios y no beneficiarios, 18 grupos foco con niños, 20 grupos foco con miembros de las comunidades donde opera el programa, 33 grupos foco con comités de protección social que aprueban a los hogares participantes y más de 100 entrevistas con informantes clave.

La encuesta cuantitativa incluyó mediciones antropométricas, así como preguntas acerca de las características socioeconómicas, de salud, prácticas higiénicas, educación, trabajo infantil, alimentación, choques externos, bienestar psicológico y patrones de gasto de los hogares.

El tratamiento estadístico que se dio a los datos fue a partir de tablas de contingencia y búsqueda de diferencias estadísticamente significativas entre ambos grupos.

Valoración técnica:

Debido a que son los grupos comunitarios los que eligen a los hogares beneficiarios al interior de las comunidades, los criterios para seleccionarlos pueden diferir de una comunidad a otra, razón por la cual puede haber sesgos entre los hogares que pertenecen al grupo de tratamiento, así como entre éstos y los que pertenecen al grupo de comparación.

Adicionalmente, el grupo evaluador decidió otorgar una despensa pagada por UNICEF al grupo de comparación debido a sus difíciles condiciones de vida y a que no serían incluidos en el programa, sino hasta un año después. Se estimó que el impacto de esta transferencia sería mínimo.

Al parecer hubo un sesgo sistemático en la conformación de los grupos de tratamiento y de control. En el primer caso, tendían a tener más niños, mientras que en el segundo, había más adultos mayores.

El principal problema con la evaluación es que el tratamiento estadístico no fue econométrico, sino de estadística descriptiva. Es decir, no utilizó modelos en los que se controlara por variables que pudieran incidir en la variable dependiente, ni se buscó

34

hacer un aparejamiento de cada uno de los hogares en el grupo de tratamiento con algunos del grupo de comparación. Po tal motivo, la validez interna y externa de la evaluación es baja.

Principales resultados:

73% de los adultos mejoraron su estado de salud en comparación a sólo el 7% de los adultos en el grupo de comparación. 84% de los adultos en el programa tuvieron mayor probabilidad de recibir cuidados de salud en caso de que se enfermaran, en comparación al 10% de los adultos en el grupo de comparación. En ambos grupos se registró una caída en el porcentaje de adultos que respondieron haber estado enfermos en el mes anterior; sin embargo, la caída en el grupo de tratamiento fue de 21 puntos porcentuales, mientras que en el grupo de comparación fue de 8. También en ambos grupos se registró una menor cantidad de adultos sin enfermedades; sin embargo, en el grupo de tratamiento, la cifra fue del 20.2%, mientras que en el grupo de control fue de 7.3%. Sólo un 25% de los hogares en el grupo de tratamiento reportaron no haber gastado nada en el cuidado de las enfermedades de los adultos, mientras que esta cifra fue de 63% en el grupo de control. No se encontraron diferencias significativas en el índice de masa corporal de adultos ya que ambos presentan un patrón de variación estacional; sin embargo, no se observó variación estacional del índice de masa corporal en el grupo de tratamiento cuando las familias recibían transferencias por arriba de los 1,800 kwachas de Malawi.

Se reportó que el 81% de los niños en el grupo de comparación mejoraron su estado de salud, mientras que el porcentaje fue de 15% en el grupo de comparación. 80% de los niños en el grupo de tratamiento recibieron asistencia cuando se enfermaron, mientras que en el grupo de comparación sólo fue de 8%. En el grupo de tratamiento, el 42% de los niños se enfermaron en el mes pasado, mientras que en el grupo de control fue el 55%. El 15% de los niños en el grupo de tratamiento tuvo bajo peso, mientras que en el grupo de control, el porcentaje fue de 26%. 96% de los niños en el grupo de tratamiento estaban matriculados en las escuelas vs. el 84% en el grupo de comparación. 5% de los niños en el grupo de comparación abandonaron la escuela, mientras que en el grupo de tratamiento, la cifra fue del 2%. El promedio de gastos escolares por niño o adolescente de entre 6 y 18 años creció en 454 kwachas, mientras que en el grupo de comparación fue de 121.

93% de los hogares en el grupo de intervención afirmaron que el consumo de alimentos mejoró, mientras que en el grupo de comparación, la cifra fue de 11%. Por el contrario, 36% de los hogares en el grupo de comparación señalaron que su alimentación empeoró en el periodo estudiado, a diferencia de un 1.3% en el grupo de tratamiento. 44% de los hogares con acceso al programa comieron tres veces al día, mientras que esta frecuencia fue de sólo 88% en el grupo de comparación.

Fortalezas/Oportunidades:

El programa muestra que la transferencia de 14 dólares tiene efectos positivos en la salud tanto en adultos como en niños y mejora la posibilidad de una mejor alimentación como de recibir cuidados médicos para el grupo de tratamiento.

35

En ambos grupos se registró una caída de adultos que respondieron haber estado enfermos, así como una menor cantidad de adultos sin enfermedades aunque con diferencias muy marcadas.

Los niños mejoraron su peso, recibieron mayor atención médica y tuvieron una menor proclividad a abandonar la escuela en comparación con el grupo de control. Asimismo, el gasto escolar por niño se incrementó respecto a los niños no tratados.

Debilidades/Amenazas:

La debilidad podría dirigirse a la construcción metodológica de la evaluación, afectando la comparabilidad de grupos que integran poblaciones de distintas edades y características (niños y adultos) y en tanto que el diseño se sustentó en decisiones de los comités distritales.

Utilidad de los resultados para el Programa 70 y Más:

El programa es un instrumento efectivo para contrarrestar la vulnerabilidad, que en el corto plazo protege los hogares de choques económicos demográficos y estacionales, mejora la nutrición, la seguridad alimentaria, incrementa la posesión de activos por parte de los hogares y el gasto en necesidades básicas.

El programa fue útil para aliviar la pobreza y reducir el hambre para los adultos mayores.

Menor incidencia de enfermedades entre adultos; mayor gasto en el cuidado de la salud y en educación; mayor acumulación de activos productivos y ganado; incremento en el gasto de alimentos, mayor diversidad en el consumo de alimentos y menos comidas perdidas.

El programa sustenta, pese a las dificultades de comparabilidad, que las transferencias económicas inciden positivamente en la alimentación, salud y atención médica de las personas.

El impacto en el caso de 70 y Más, aun cuando éste considera la promoción de acciones de prevención en la salud física y mental, podría incrementarse si la transferencia se condicionara a la visita obligatoria a los servicios médicos.

Observaciones generales y recomendaciones del metaevaluador A partir de los resultados de esta evaluación es posible concluir que las transferencias no condicionadas pueden ser útiles para aliviar las condiciones de vida de los hogares que viven en las condiciones más extremas y fomentar a su vez la acumulación de capital humano. Los principales impactos de este tipo de transferencias se dan en la seguridad alimentaria, particularmente como mecanismo de protección ante choques económicos, demográficos y estacionales. Las dimensiones que conforman a la seguridad alimentaria se ven mejoradas mediante la mayor producción agrícola (disponibilidad de alimentos), el incremento en el gasto dedicado a la compra de alimentos y en la reducción de comidas perdidas (acceso a los alimentos) y mediante la variedad en el consumo de alimentos y reducción de la incidencia de enfermedades, producto del incremento en el gasto en el cuidado de la salud (uso de los alimentos).

36

3.2.2. Apoyos para adultos mayores, Sudáfrica y Brasil.

Nombre de la Evaluación: What is the impact of non-contributory pensions on poverty? Estimates from Brazil and South Africa. Año de la evaluación: 2003 Objetivos de la Evaluación:

Estimar los impactos en las trasferencias de efectivo a adultos mayores en los casos de Brasil (Beneficio de Prestação Continuada) y Sudáfrica (Older Persons Grant) para estimar y comparar la capacidad de estos programas en la reducción de la pobreza familiar y mejora de los niveles de vida, así como la posibilidad de prevención de la pobreza.

Metodologías empleadas:

Para el caso de Sudáfrica las pensiones otorgadas a adultos mayores es de 640 rands a hombres mayores de 65 años y a mujeres de 60 años y Más. En este año existían alrededor de 1.9 millones de beneficiarios del Estado, con beneficiario en las áreas más pobres y rurales. El programa es se fondea a través de impuesto, absorbiendo cerca del 60% del gasto social y 1.4 por ciento del PIB.

El caso de Brasil, el programa ha sufrido cambios, para el momento de la evaluación, el beneficio de la pensión es de alrededor de 200 reais y se focaliza en hombres de 60 años o más y a mujeres de 55 años o más, este beneficio fue extendido a personas con actividades de subsistencia: agricultura, minería, entre otros. Existen alrededor de 4.6 millones de beneficiarios en el momento de la evaluación y el costo del programa es aproximadamente 1% del PIB.

Para realizar la evaluación se utilizó una estimación del ingreso total promedio de la familia con un adulto mayor. Para poder hacerlo, se utilizó una fórmula donde se establece una línea de pobreza, en donde el nivel de vida del individuo tratado, se sitúa por debajo de esta línea y se miden las brechas para superar la línea de pobreza.

Para hacer comparables las líneas de pobreza entre ambos países, se utilizaron las pensiones como parámetro que para la época del estudio eran comparativamente 237.2 dólares para Sudáfrica y 208.3 dólares para Brasil, considerando el tipo de cambio oficial y las tasas de conversión de PPP del Banco Mundial sobre los Indicadores mundiales del desarrollo. Dada la cercanía entre ambos países, se justificó en el estudio la comparación de la pensión como línea de pobreza. El monto de la pensión dado que es cercano al salario mínimo de cada país y son cercanos entre ellos. Estableciendo para cada familia un estándar de vida de acuerdo a los puntos por encima o por debajo de la línea de pobreza (poverty head count).

Para las estimaciones, se realizaron encuestas en ambos países y través de la estimación del ingreso promedio de las familias por persona con un adulto mayor, tomando en consideración la línea de pobreza y el monto de la pensión otorgada al adulto mayor dado que es cercano al salario mínimo de cada país y son cercanos entre ellos además de

37

establecer una línea común para ambos países como se mencionó anteriormente. Las muestras tomadas de encuestas sobre familias en cada país y los Censos respectivos que permitieron conocer información sobre los miembros de la familia, con módulos especiales para personas de 55 años o más. Se levantó una encuesta común a ambos países sobre el ingreso del hogar, la información socioeconómica y otras variables relacionadas con el ingreso del adulto mayor. Para el caso de Sudáfrica, se tomó información de 1,111 familias en Cape Town y Eastern Cape. Para el caso de Brasil se tomó información de 1,006 familias de Río de Janeiro, tanto en la zona metropolitana como en la zona rural a través de una muestra aleatoria relacionada con los Censos de cada país y fueron entrevistadas aquellas familias que tenían un miembro focalizado por alguno de los programas.

El instrumento contó con información socioeconómica, demográfica, sobre las condiciones de la vivienda, empleo, ingreso y gasto, acceso a la salud y bienestar familiar. La batería de preguntas para el adulto mayor de la familia incluyó información sobre la pensión, beneficios del Estado, estado de salud, participación social y transferencias.

Valoración técnica:

El estudio presenta sesgos importantes en la selección de la muestra dado que los datos son regionales y se privilegian las zonas rurales, sería relevante conocer la información sobre una muestra nacional que permitiera conocer las diferencias entre las regiones y en función del entorno en el que vive cada una de las familias.

El argumento para utilizar la línea de pobreza como el nivel de la pensión no es del todo robusto, aunque es un parámetro válido para hacer la comparación entre países.

El estudio no permite aislar los efectos de la pensión para adultos mayores, además de que la comparación presenta deficiencias importantes debido principalmente a las diferencias de los programas y la situación de la familia. En particular: o Las condiciones de los programas son distintas: Para el caso de Brasil, la pensión se da a

las personas mayores de 70 años que hayan cotizado al menos 12 meses en el seguro social. Para el caso de Sudáfrica el programa es diferenciado entre hombres de más de 65 años y mujeres de más de 60.

o No se realiza una medición del comportamiento de las familias en ausencia de la pensión. Sería indispensable conocer si la ausencia de ese ingreso, produce algún efecto de sustitución en la familia y también sería indispensable contar con un grupo de control.

A pesar de estas deficiencias antes expuestas, el estudio utiliza variables instrumentales que

permiten hacer inferencias válidas sobre los efectos de la pensión para adultos mayores en

Sudáfrica y Brasil.

Síntesis de los principales resultados:

Es importante considerar los sesgos potenciales de los datos utilizados en este estudio, como las muestras regionales y la localización de los beneficiarios en las zonas rurales. A pesar de ello, el resultado principal del estudio es que los programas de pensiones en Brasil

38

y Sudáfrica tienen un impacto significativo en los niveles de pobreza de las familias que tienen un adulto mayor.

Las pensiones reducen tanto el estándar de vida de las familias como la brecha promedio entre el ingreso y la línea de pobreza establecida en ambos países. Para las mediciones en promedio, el indicador del estándar de vida de la familia con relación a la línea de pobreza (poverty headcount) y el ingreso de las pensiones produce un efecto redistributivo disminuyendo la distancia en la línea de pobreza en 4.2% en promedio para Brasil y en 2.8% en promedio para Sudáfrica.

Para las mediciones en promedio, la pensión tiene un efecto mayor en la distancia a la línea de pobreza en ambos países. En ausencia de la pensión, la distancia aumenta en 40% en Brasil y 81% en Sudáfrica. Esta información está tomada en la media de la estimación, no obstante, si se toman las brechas en los diferentes quintiles de ingreso y se desagrega la información a este nivel, se observa que en los quintiles más bajos, el efecto es mayor. En Brasil, el efecto de la pensión en el ingreso es mayor en el cuarto quintil en donde la probabilidad de pobreza es casi el doble que en los demás quintiles. Asimismo, para el caso de Sudáfrica, el impacto es mayor en el tercer quintil. Lo anterior da cuenta de la importancia de una pensión en la calidad de vida de familias pobres con un adulto mayor. En particular en Sudáfrica, la presencia de familias extendidas con menor ingreso, la pensión del adulto mayor no es suficiente para sacar a las familias de la línea de pobreza y reducir las brechas. Para el caso de Brasil, las diferencias entre los diferentes deciles de ingreso son menores, por lo que el impacto es mayor en cualquier nivel.

Resumen de análisis de Fortalezas, Oportunidades, Debilidades y Recomendaciones

El estudio no presenta un análisis FODA. No obstante, es importante notar que para el análisis del impacto de las transferencias a adultos mayores en familias pobres y en zonas rurales, es necesario analizar el efecto redistributivo que tiene sobre las familias.

Fortaleza:

Las pensiones tienen un efecto positivo en la disminución pobreza de las familias beneficiarias, por el efecto redistributivo que tiene al interior del hogar.

Debilidad:

Al considerar los efectos que podría tener un programa de esta naturaleza en la salud y condiciones de vida de un adulto mayor, será necesario analizar cómo se comporta y a qué se destina el ingreso adicional de una pensión al interior del hogar.

Utilidad de los resultados para el Programa 70 y Más:

Uno de los principales aprendizajes de este estudio es la consideración de los cambios a nivel familia de las pensiones a adultos mayores. Las diferencias entre las personas que viven solas y que pertenecen a una familia amplia es relevante debido a las transferencias de ingreso al interior de las familias y el monto que representa el ingreso del adulto mayor para las actividades del hogar. En este sentido, el efecto de un programa como 70 y Más, no solamente debe estar relacionado con la vida del adulto mayor al que va dirigido sino del entorno en el que se desarrolla.

De este mismo modo, la presencia de un ingreso adicional en la familia, puede tener efectos relevantes sobre las decisiones laborales en el seno del hogar. Incluyendo la

39

decisión de ciertos miembros de la familia a tomar un segundo trabajo o tener una presión adicional sobre los gastos de la casa. Por lo anterior, es necesario analizar el efecto redistributivo de la pensión sobre las familias.

Es importante notar que para el análisis del impacto de las transferencias a adultos

mayores en familias pobres y en zonas rurales, es necesario analizar el efecto

redistributivo que tiene sobre las familias.

Bajo esta perspectiva se considera importante que la Sedesol incluya la medición y

valoración de este aspecto en la evaluación de impacto que se ha sugerido para el

período 2015-2016, fundamentalmente porque el tamaño de localidades se ha

modificado desde 2009 hacia localidades urbanas donde los efectos pueden variar

sensiblemente en tanto que permea en un contexto con población con características

diferentes.

3.3. Agenda de evaluación para el período 2013-2018.

En esta sección se propone una agenda de evaluación para el periodo 2013-2018, incorporando una justificación técnica y/o empírica sobre la importancia que cada ejercicio tendría para el programa, con base en los principales resultados de las evaluaciones en el periodo 2007-2012 y el análisis de la información proporcionada. Se señalan también los periodos de ejecución y el orden en el que se deberán ir implementando cada una de las evaluaciones consideradas. Como referencia general para elaborar la agenda, se tomaron los Lineamientos generales para la evaluación de los programas federales de la Administración Pública Federal, publicados en el DOF el 30 de marzo de 2007. El Anexo 3 facilita una visión esquemática de la propuesta. La agenda sugerida empieza con un Diagnóstico y propuestas de atención, a implementarse en el año 2013. Tiene como propósito identificar, definir y especificar de forma clara y rigurosa la problemática focal que se pretende resolver a través del programa, así como analizar, valorar y seleccionar las estrategias y mecanismos de atención que resulten más adecuados. Este estudio deberá cumplir cabalmente con los criterios y requisitos mínimos establecidos en los Lineamientos generales para la elaboración de diagnósticos de cuyos resultados se obtienen propuestas de atención de Programas de Desarrollo Social, publicados el 7 de mayo de 2009, e incorporar asimismo las metodologías y mejores prácticas en la materia. Los resultados de este ejercicio pretenden brindar una base sólida de datos, análisis y estrategia para anclar sólidamente el diseño, la operación y los resultados del programa durante la siguiente administración federal, y de manera inmediata informar los cambios que se pretendan hacer durante el primer año de la misma. En este mismo año se propone una Evaluación específica de financiamiento, cobertura y focalización cuyo propósito es abordar la discusión sobre los alcances del programa para garantizar la atención, así como definir la estrategia más apropiada para la implementación de la expansión de la cobertura con criterios de focalización o no, acordes a la población objetivo que atiende. Esto incluiría las proyecciones actuariales que permitan la viabilidad financiera del

40

programa. Lo anterior, con el propósito de que los hallazgos y recomendaciones puedan retroalimentar la gestión del programa; brindar información y alternativas útiles para la toma decisiones; mejorar la cobertura efectiva, y llevar los apoyos a quienes más los necesitan. Para el año 2014 se propone una Evaluación de diseño. El ejercicio deberá analizar la justificación de la creación y diseño del programa, especificar su vinculación con la planeación sectorial y nacional, valorar la consistencia entre su diseño y la normatividad aplicable, así como identificar posibles complementariedades y/o coincidencias con otros programas federales. Esta evaluación deberá proveer información y análisis que retroalimente el diseño conceptual y operativo del programa, así como los resultados que se deben esperar del mismo. De forma inmediata, se pretende que sirva para valorar los cambios que se hayan hecho al programa del primer al segundo año de la gestión, y generar recomendaciones para refinarlos hacia el tercer año. Posteriormente, para 2015 y 2016 se recomienda una Evaluación de impacto, para identificar los cambios en la situación de la población objetivo del programa que se reflejan a través de los indicadores de resultados, y que son propiamente atribuibles a su intervención. Conforme a los estándares en la materia, se deberán utilizar metodologías rigurosas y fuentes de información confiables con representatividad nacional; para ello, se propone la combinación de enfoques cuantitativos y cualitativos así como el levamiento de información en campo a través de diversos instrumentos, los cuales de describen a mayor detalle en la sección subsecuente. La evaluación de impacto propuesta busca estimar en qué medida el programa está alcanzado sus objetivos y qué condiciones y factores pueden afectan sus logros, de forma tal que el programa pueda consolidar elementos clave de diseño y operación, o en su caso cambiarlos, para mejorar su efectividad. Por sus características y complejidad se recomienda que la evaluación comprenda dos años—entre 18 y 24 meses, para ser más precisos—a efecto de poder realizar mediciones basales y de seguimiento. En el año 2017 se plantea hacer una Evaluación de procesos. Se pretende realizar un análisis sistemático de la operación del programa mediante trabajo de campo y de gabinete, con la finalidad de conocer cómo sus procesos—traducidos en sus Componentes, productos o entregables—conducen al logro de los objetivos y metas a nivel de Propósito. Asimismo, se busca detectar los problemas operativos que enfrenta el programa y las buenas prácticas que realiza, de manera que se puedan detectar áreas de oportunidad y emitir las recomendaciones correspondientes. A través de una serie de preguntas específicas que descomponen la operación y la aplicación de técnicas especializadas para el mapeo y análisis de procesos, se pretende valorar el funcionamiento y la organización del programa, permitiendo así conocer los factores que sustentan la implementación y hacer ejercicios comparativos para la medición y la mejora de su gestión en el tiempo. Finalmente, para el año 2018 se propone una Evaluación de consistencia y resultados. Este ejercicio plantea una concatenación lógica de objetivos para analizar los aspectos más importantes del programa, incluyendo la lógica y congruencia de su diseño, los instrumentos de planeación y de orientación hacia resultados, la estrategia de cobertura y los avances

41

presentados, los principales procesos establecidos en las ROP y en la normatividad aplicable, los sistemas de información y sus mecanismos de rendición de cuentas, los instrumentos para medir el grado de satisfacción de los beneficiarios y sus resultados, así como los logros respecto a la atención del problema para el que fue creado. El propósito de esta evaluación es contar con una visión integral y comprensiva de cómo ha sido, qué tan bien ha funcionado y cuáles han sido los logros del programa al cierre de la administración federal, a manera que la siguiente pueda tener una sólida base para tomar decisiones informadas. A continuación se presentan los detalles básicos de cada una de las evaluaciones propuestas, en el año y secuencia en que corresponden.

3.3.1. 2013 Diagnóstico y propuesta de atención

Objetivo:

Fundamentar la permanencia y justificar las eventuales modificaciones sustantivas al programa, a partir de la identificación del problema que se busca resolver así como la caracterización y análisis detallado de los aspectos principales del mismo.

Plantear posibles alternativas de solución y seleccionar la más apropiada, a efecto de mejorar el diseño, la operación y los resultados del programa.

Componentes a evaluar:

Identificación del problema

Caracterización del problema

Experiencias de atención a la problemática

Propuesta de diseño

Marco de actuación de la propuesta

Proyecciones financieras y metas para la solución propuesta Previsiones para integración y operación de padrones

Justificación e importancia: Deficiencias e inconsistencias importantes en el Diagnóstico 2010, particularmente en torno a:

la identificación, caracterización y magnitud del problema focal;

la definición y cuantificación de la población potencial y objetivo; y

el problema definido y su traducción en el objetivo general del Programa. Adicionalmente, el diagnóstico no incluye una propuesta de atención que:

revise otras experiencias nacionales e internacionales para atender el problema;

especifique, valore y seleccione las alternativas de atención; y

proponga elementos de rediseño así como proyecciones y previsiones para mejorar sustancialmente el desempeño del programa.

42

Insumos necesarios:

Metodologías robustas de planeación estratégica y marco lógico.

Información de censos, conteos y encuestas nacionales.

Información estadística interna de carácter operativo y financiero, actualizada y confiable.

Estudios y evaluaciones nacionales e internacionales sobre programas similares.

Duración:

3 a 4 meses. 3.3.2. 2013: Específica de financiamiento, cobertura y focalización. Objetivo de la evaluación:

Definir la estrategia más apropiada para la cobertura y focalización del programa por medio de trabajo de gabinete.

Elaborar proyecciones actuariales que permitan determinar la viabilidad financiera del programa.

Emitir recomendaciones que permitan retroalimentar la gestión del programa, brindar información y alternativas útiles para la toma decisiones, y para mejorar la cobertura efectiva y llevar los apoyos a quienes más los necesitan.

Componentes a evaluar:

La cobertura efectiva, considerando el nuevo tamaño de las localidades.

La cobertura efectiva, considerando la población potencial y objetivo que no han sido atendidas.

La capacidad de atención que tiene el programa con el presupuesto asignado anualmente.

Justificación e importancia:

Los retos de la cobertura ante el incremento del tamaño de localidad y la necesidad de

una focalización efectiva para promover el aprovechamiento pleno de los beneficios y

logro de los objetivos del programa.

Las implicaciones operativas y financieras para cubrir el nuevo tamaño de las

localidades.

La necesidad de diseñar una estrategia para las localidades atendidas en las que no se presenta el problema focal, así como de contar con una estrategia de expansión hacia localidades no atendidas.

Insumos necesarios:

Metodologías adecuadas para análisis georreferenciado, de reingeniería de procesos, logístico y financiero.

43

Información de censos, conteos y encuestas nacionales.

Información estadística interna de carácter operativo y financiero, actualizada y confiable.

Estudios y evaluaciones nacionales e internacionales sobre programas similares. Periodo de ejecución: 4-6 meses 3.3.3. 2014: Diseño Objetivos: Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, el diseño del programa. Lo anterior con el fin de que las recomendaciones puedan retroalimentar el diseño y mejorar la gestión del programa.

En particular. o Analizar el diseño del programa. o Identificar y analizar su vinculación con la planeación sectorial y nacional. o Analizar la consistencia entre su diseño y la normatividad aplicable. o Identificar posibles complementariedades y/o coincidencias con otros

programas. Componentes a evaluar:

Características del programa

Contribución a los objetivos estratégicos;

Matriz de indicadores,

Población potencial y objetivo;

Vinculación con las ROP, y

Coincidencias, complementariedades y duplicidades con otros programas. Justificación e importancia:

Valorar la integración del marco conceptual y normativo construido con el Diagnóstico.

Valorar el análisis para la selección de la alternativa de intervención, basado en la revisión de experiencias internacionales y nacionales.

Constatar la correspondencia entre las ROP y la MIR. Insumos necesarios:

Diagnóstico del programa.

Estudios y evaluaciones nacionales e internacionales sobre programas similares.

Información estadística interna actualizada y confiable. Duración o periodo de ejecución: 3 – 4 meses.

44

3.3.4. 2015-2016: Evaluación de impacto Objetivo: Identificar con metodologías rigurosas la contribución, atribuible a la ejecución del programa, en la reducción de la vulnerabilidad de los adultos mayores, así como otras variables asociadas (por ejemplo, ahorro, consumo, salud, alimentación y nutrición). Componentes a evaluar: Valoración sobre los efectos e impactos esperados, incluyendo los indicadores de Fin y Propósito de la MIR, así como otras mediciones complementarias:

Efectos sobre el consumo y ahorro de los hogares

Impactos en la alimentación y nutrición del adulto mayor

Impactos en la salud del adulto mayor Justificación e importancia:

El Programa se sometió a una evaluación de impacto en el período 2007-2009 y durante la implementación se modificaron las ROP para ampliar la cobertura a localidades urbanas, afectando la comparabilidad de los grupos de tratamiento y de control.

Asimismo, al registrar efectos de anticipación en ambos grupos, se considera la influencia de un factor exógeno que no permite establecer con suficiencia el cambio generado por el programa.

Se requiere conocer los efectos en localidades en una población cuyas características son diferentes a las de la originalmente planteada como interés de 70 y Más.

Insumos necesarios:

Metodologías robustas y de probada eficacia para medir las variables de interés.

Levantamiento de información nacional representativo, con líneas basales y de seguimiento.

Análisis cualitativo para entender mejor los procesos mediante los cuales los productos se convierten en resultados.

Información estadística interna actualizada y confiable.

Padrones de localidades beneficiarias. Duración o periodo de ejecución: 18 a 24 meses 3.3.5. 2017: Evaluación de Procesos Objetivo:

Realizar un análisis sistemático, mediante trabajo de campo y de gabinete, sobre la operación del programa con la finalidad de conocer cómo se conducen al logro de la meta a nivel propósito, así como detectar los problemas operativos a los que se enfrenta

45

y las buenas prácticas que se realizan, de manera que se puedan emitir recomendaciones que permitan mejorar su gestión.

Componentes a evaluar

Operación del programa.

Identificación y clasificación de los procesos.

Análisis y medición de atributos de los procesos.

Análisis global de la operación del programa. Justificación e importancia:

Evaluar si la operación del programa favorece el logro de la metas a nivel de Propósito, ya que, de existir un diseño adecuado, la correcta operación del programa permitiría el logro de las metas de cada Componente establecido en la matriz de indicadores del programa y, por lo tanto, el logro del Propósito.

Insumos necesarios:

Metodologías adecuadas para análisis y reingeniería de procesos.

Información estadística interna de carácter operativo y financiero, actualizada y confiable.

Duración o periodo de ejecución: 6- 9 meses 3.3.6. 2018: Evaluación de consistencia y resultados Objetivo:

Evaluar mediante trabajo de gabinete y apoyado en información proporcionada por el programa, la fortaleza del programa en cuanto a su diseño, planeación estratégica, cobertura y focalización, operación, percepción de la población objetivo y resultados. Lo anterior, con el fin de que las recomendaciones de este análisis puedan retroalimentar el diseño y la gestión del programa, para incidir positivamente en su desempeño.

Componentes a evaluar:

Diseño

Planeación Estratégica

Cobertura y Focalización

Operación

Percepción de la Población Objetivo

Resultados

46

Justificación e importancia: Se considera pertinente analizar el programa de forma global y sistemática, al menos una vez durante cada administración, a efecto de valorar la consistencia y los resultados del mismo. Insumos necesarios:

Diagnóstico del programa.

Estudios y evaluaciones nacionales e internacionales sobre programas similares.

Información interna estadística, operativa y financiera actualizada y confiable.

Matrices de indicadores de resultados

Informes de evaluaciones anteriores.

Conocimiento y experiencia en planeación estratégica, metodología de marco lógico, indicadores de desempeño, y diseño de programas y proyectos de desarrollo.

Duración o periodo de ejecución: 6 meses 3.4. Análisis de pertinencia y viabilidad para las evaluaciones de impacto Dada la importancia de corroborar en los hechos los cambios que las intervenciones públicas son capaces de imprimir en la realidad que buscan revertir, este apartado incorpora una propuesta más detallada para someter al programa a una evaluación de impacto. Se describen la metodología y las fuentes de información necesarias para llevar a cabo este tipo de evaluación, de acuerdo con la naturaleza de las variables específicas a medir así como de las características específicas del programa. La propuesta se acompaña de un análisis de pertinencia y de viabilidad técnica y financiera. 3.4.1. Pertinencia de la evaluación de impacto En la década pasada, el programa 70 y Más tuvo una evaluación de efectos e impactos, en particular asociados a los componentes de ingreso, gasto y ahorro; y como complemento cualitativo del estudio se analizó el efecto del programa en la salud, nutrición, empoderamiento, capital social y arreglos domiciliarios en el entorno de los adultos mayores. Sin embargo, en el período de la evaluación se presentaron dos aspectos que resultan centrales para plantear como necesaria una nueva evaluación de impacto. En primer lugar, la modificación del tamaño de localidad durante 2009 al pasar de aplicar los apoyos a adultos mayores residentes en localidades de 2,500 habitantes (rurales) a los ancianos que viven en aquellas de hasta 30 mil habitantes (urbanas) lo que evidentemente plantea un escenario y contexto con características diferentes a las originalmente planteadas en la estrategia de atención del programa y ahora los potenciales beneficiarios estarían en localidades de corte urbano. Durante el estudio, esto tuvo un efecto en la comparabilidad al forzar la conversión de un grupo de control en grupo de tratamiento. Por otro lado, la presencia

47

en 2008 de un efecto de anticipación en ambos grupos puede considerarse como una limitante para conocer en forma efectiva los cambios producidos por el programa. Una razón para impulsar nuevas evaluaciones de impacto radica en los cambios en la referencia de la población objetivo, que tan sólo en esta administración pasó de la pobreza extrema a la pobreza alimentaria, a la línea de bienestar mínimo, de acuerdo con las diversas metodologías aplicables para la medición de la pobreza. De igual modo, los cambios institucionales expresados en la modificación de la norma evidentemente ejercen presión sobre las nuevas formas de plantear la cobertura de 70 y Más, pues la Ley de los Derechos de las Personas Adultas Mayores de 2011, parece alejar al programa de criterios de focalización que garanticen una provisión de apoyos a quienes efectivamente los requieren. Por otro lado, los cambios en el resumen narrativo y los indicadores de la matriz de indicadores para resultados de 2009 a la fecha, pueden requerir estimaciones que no se hayan realizado anteriormente. Es decir, es posible que ante cambios en los niveles de Fin y Propósito las evaluaciones de impacto previas no reflejen de forma precisa las nuevas variables de interés. La inyección anual de recursos es otra razón para plantearse la evaluación de impacto, sobre todo si juzgamos que entre 2007 y 2012 el presupuesto del programa se ha triplicado al pasar de 6 mil a 18 mil millones de pesos. El ejercicio de esos recursos públicos para apoyar a los adultos mayores de 70 años y Más exige la medición de la diferencia que significa en términos de la disminución de la vulnerabilidad. Si bien este argumento por sí mismo podría justificar la realización de una evaluación de resultados o impacto, existen otras razones que también apuntan en esa dirección. Por ejemplo, algunos efectos e impactos deseados no son directamente observables, e incluso pueden darse sólo en el mediano plazo. Además, las condiciones propias y de contexto de los beneficiarios pueden cambiar a lo largo del tiempo; de hecho, se espera que pase por el progreso secular del país, sus regiones y las localidades, al margen del programa. Ello implica que algunos de los cambios puedan incidir sobre la significancia y magnitud de los efectos del programa sobre diversas variables de interés. De hecho, al estar frente a localidades urbanas debe valorarse una repercusión al interior del hogar y no sólo a nivel del beneficiario directo, por lo que sería conveniente plantearse una valoración del efecto redistributivo del ingreso; ello hace pensar que los resultados del programa pueden ser distintos. Finalmente a lo largo de los años se ha dejado de lado la estimación de los efectos e impactos del programa en relación con otras iniciativas federales y estatales para la atención de grupos vulnerables, en particular de adultos mayores. Esto representa un área de oportunidad muy relevante, tanto en el sentido de poder estimar los resultados de la actuación conjunta de los programas, como de comparar el costo-efectividad y las ventajas y desventajas de cada uno de ellos —o al menos de los principales— en ciertos niveles de población y variables de interés. Por lo anterior, y en virtud de la importancia de conocer en qué medida el programa está logrando sus objetivos, así como las condiciones internas y externas que pueden influir en ello, el equipo metaevaluador recomienda que se realice una evaluación de impacto rigurosa, que permita identificar y medir los resultados del programa en los niveles de Fin y Propósito. Es

48

justo reconocer que la propia expansión en la cobertura del programa podría generar una serie de complicaciones metodológicas para realizar las evaluaciones de impacto, en este caso sólo para las localidades de hasta 2,500 habitantes. Si bien los evaluadores han tratado de resolver este problema de diversas formas, varios de ellos han hecho patente las limitaciones que puede acarrear para sus estimaciones, y han recomendado que en adelante se exploren nuevas alternativas técnicas y metodológicas para evaluar los efectos e impactos del programa. 3.4.2. Aspectos a evaluar: En principio, se recomienda que los aspectos a evaluar de forma prioritaria sean aquellos que correspondan con los indicadores a nivel de Fin y Propósito de la MIR; esto es, los impactos sobre la protección social los adultos mayores de 70 años y los efectos en el ingreso, la salud física y mental de los beneficiarios. Asimismo, se pueden considerar mediciones complementarias, tales como el empoderamiento de los adultos mayores o condiciones de vida. Cabe señalar que al centrarse en estas dimensiones e indicadores se busca también alinear mejor las evaluaciones de impacto del programa con el sistema de monitoreo, particularmente en los niveles de Fin y Propósito. Para medir el efecto del programa se recomienda hacer evaluaciones en los principales tipos de beneficiarios (grupos etarios rural y urbano), con una combinación adecuada de métodos y fuentes de información. De manera particular, se propone analizar el efecto del programa sobre tres componentes específicos.

Patrones de ingreso, gasto y ahorro.

Salud. o Uso y efecto de servicios.

Servicios preventivos y de control (visitas). o Enfermedades.

Morbilidad (incidencia). Convalecencia (duración).

Redes de apoyo (social y familiar) y los arreglos residenciales.

De igual forma se proponen los siguientes aspectos que pueden ser complementarios en la evaluación de impacto:

Alimentación y nutrición. o Índice de Masa Corporal y Obesidad. o Prevalencia de anemia.

Condiciones de vida y oportunidades. o Pobreza multidimensional extrema (bienestar y carencias sociales). o Empoderamiento (individual y grupal).

49

3.4.3. Metodología y fuentes de información

Para evaluar un programa con las características de 70 y Más, es necesario combinar métodos, técnicas y fuentes de información diversas. Independientemente de las aproximaciones particulares que se tomen —esto es, cuantitativas y cualitativas, encuestas y entrevistas, levantamientos propios y datos censales, etc.— todas las evaluaciones deberán partir de un diseño de investigación robusto y adecuado para las variables de interés y los grupos de aplicación, que preferentemente hayan sido probadas en estudios similares. La estrategia metodológica propuesta para la evaluación de impacto considera tres elementos clave: la mezcla de métodos cualitativos y cuantitativos, un enfoque cuasi-experimental a lo largo del estudio, y la utilización de estudios de caso. Las características y relevancia de estos elementos de diseño se desarrollan a continuación. Cuantitativo y cualitativo Debido a la cantidad, diversidad y complejidad de los aspectos a estudiar del programa, es necesario establecer una estrategia metodológica compuesta, con procedimientos de acopio de información y técnicas analíticas tanto cuantitativas como cualitativas adecuadas para cada uno de estos aspectos. El propósito es asegurar que se obtengan y examinen apropiadamente todos los datos requeridos, para lograr resultados válidos, generar conclusiones sólidas y proponer recomendaciones útiles. Así, el diseño se debe ubicar dentro de las evaluaciones de métodos mixtos (mixed-methods evaluation), vertiente que consideramos la más rica y adecuada para evaluar al programa 70 y Más.4 Este tipo de investigación evaluativa permite integrar no sólo aquellos datos y observaciones cuantitativas comúnmente utilizadas en la evaluación de programas y proyectos sociales para medir fenómenos relevantes “objetivos” y “regulares”, estimando asimismo su variabilidad y grado de generalización, sino también para otros datos y observaciones cualitativas que reflejan percepciones subjetivas y formas de interacción de los actores, que permiten entender mejor y describir en profundidad dichos fenómenos.5 En la evaluación del programa, los análisis a partir de datos y técnicas tanto cualitativas como cuantitativas se deben diseñar con rigor lógico y metodológico buscando maximizar su validez para hacer inferencias descriptivas y causales en torno a los fenómenos, variables y condiciones que se busca apreciar y entender. La vertiente cuantitativa resulta más adecuada para observaciones relativamente abundantes o con “números grandes”, que normalmente se derivan de censos o encuestas. Por otro lado, la vertiente cualitativa se utiliza para observaciones relativamente escasas o con “números pequeños”, con datos obtenidos a partir de grupos de enfoque, entrevistas y observación en sitio, entre otras técnicas. Estas vertientes

4 Para un mayor desarrollo sobre las características de las evaluaciones de métodos mixtos, véase: Frechtling and

Sharp (1997). En el caso mexicano, entre los ejemplos más relevantes de este acercamiento metodológico son las evaluaciones recientes del Programa de Desarrollo Humano Oportunidades, que combinan diversas metodologías y técnicas tanto cuantitativas como cualitativas. 5 Para un mayor desarrollo de sobre las características básicas, utilización y complementación de las metodologías

cuantitativas y cualitativas, véase: Cortes (2002); y King, Keohane & Verba (1994, pp. 3-7).

50

se encuentran en los extremos opuestos del compromiso —en el sentido de trade-off— que cualquier investigación con tiempo y recursos limitados se ve obligada a que hacer en cuanto a amplitud y profundidad de las observaciones. Se recomienda que la vertiente cuantitativa se oriente principalmente hacia la medición y valoración de las intervenciones y sus efectos, mientras que la cualitativa se utilice para describir los contextos en que dichas intervenciones y efectos ocurren, así como para entender los significados que los diversos actores involucrados les otorgan. Sin pretender simplificar excesivamente sus diferencias, es evidente que la evaluación necesita contar con ambas perspectivas para cumplir con su fin de ser útil para la toma de decisiones y la mejora del programa. Se pretende que las metodologías cuantitativas y cualitativas no sólo se complementen funcionalmente hablando —en el sentido de que lo que no se hiciera o lograra con unas se consiguiera con las otras— sino que además se integraran —en el sentido de que lo que se logre o consiga con unas sirva para informar, extender y refinar lo obtenido a través de las otras. Dicha complementación e integración se debe hacer de manera formal y explícita tanto en los estudios de caso como en los modelos estadísticos. Enfoque cuasi-experimental Con el enfoque cuasi-experimental no sólo se estiman y aprecian los valores de las variables de interés asociados a la intervención del programa, sino también de la comparación con los valores que se hubieran dado en ausencia de la misma —esto es, el escenario contrafactual. La intención es identificar y estimar mejor los cambios y las diferencias que se pueden atribuir propiamente a la intervención del programa, y no confundirlos con aquellos que se pueden derivar de otros factores internos o externos a la problemáticas social, y que son ajenos al programa. Si bien los enfoques cuasi-experimentales y los contrafactuales más en general son comúnmente utilizados para estimaciones de impacto con base en técnicas cuantitativas y bases de datos grandes, en términos metodológicos son igualmente aplicables a los análisis con base en técnicas cualitativas, que normalmente emplean datos obtenidos a partir de grupos de enfoque, entrevistas y observación en sitio. Esto es porque la lógica inferencial del diseño es la que proporciona su validez interna, y no el uso de una técnica de recolección y tratamiento de datos en particular; así, dicha lógica simplemente debe ser explicada y formalizada de manera clara y precisa. En cuanto al detalle de la vertiente cuantitativa, para la evaluación de impacto se sugiere el uso de modelos de estimación por dobles diferencias, ya que es uno de los métodos que suele arrojar resultados más robustos debido a la construcción de los grupos de tratamiento y de comparación, tanto de manera previa a la intervención del programa así como en periodos posteriores a la misma —esto es, un modelo “antes y después” con grupo de comparación. En el caso del programa 70 y Más, en un primer momento, ambos grupos no recibirían el apoyo del

51

programa con base en características sociodemográficas; ya para el segundo levantamiento, el grupo de tratamiento consistiría de personas que reciben el apoyo, y el grupo de comparación estaría integrado con individuos que no reciben el apoyo. Lo anterior permitirá comparar las diferencias que existen antes y después de entre los grupos. La información que se requiere para realizar las estimaciones se puede obtener de encuestas propias con representatividad nacional para la población objetivo, tanto atendida como no atendida. En consideración de la diferenciación que existe en los tipos de localidades que atiende el programa, se recomienda valorar la pertinencia de utilizar la misma estructura de la evaluación de impacto realizada en 2009, tomando en cuenta para la evaluación sólo a la población urbana. Adicionalmente, podría explorarse el uso de un modelo de regresión discontinua para la evaluación de impacto. El propósito de esta técnica es aproximarse a un diseño experimental, por lo que los resultados obtenidos tienen una robustez importante; para el caso del programa, el grupo expuesto al programa es similar al grupo de control, tanto en características observables como en no observables, los grupos de tratamiento y control estarían formados por individuos con una edad inmediatamente por debajo de 70, lo que permitiría observar las diferencias en el margen. Para la selección de los individuos debe tomarse en cuenta las características socio-demográficas por las cuales son comparables, puede tomarse como base la evaluación de impacto realizada en 2009. En lo que toca a los estudios de caso, que implican sustancial trabajo cualitativo, estos pueden diseñarse con un enfoque comparativo —incluyendo casos de tratamiento y casos de comparación— procurando que la lógica y procedimientos de selección de los casos replique en lo posible lo que se haría en la vertiente cuantitativa de la evaluación. Por otro lado, también se alienta a seguir utilizando métodos cualitativos en la evaluación, especialmente para identificar los mecanismos de las relaciones causales así como los factores ambientales relevantes que no pueden ser identificados o especificados a través de los modelos estadísticos. Entre otros aspectos a examinar, se pueden considerar la influencia de las motivaciones y expectativas, aspectos culturales y la inclusión social, entre otros, que pueden incidir sobre los resultados del programa, así como servir para identificar otros no esperados. Estudios de caso La evaluación propuesta para 70 y Más se caracteriza también por un uso amplio de estudios de caso a profundidad. Los estudios de caso se aplican a efecto de obtener una visión más comprensiva y detallada del impacto del programa, así como de las condiciones que afectan su desempeño. Se sugiere que la unidad de análisis, los adultos mayores se seleccionen considerando una variabilidad de circunstancias relevantes tales como el tipo de localidad (rural o urbana), el grupo etario (69 años por ejemplo) condiciones generales de vida de los beneficiarios, entre otras. En la evaluación propuesta, los estudios de caso buscan combinar e integrar diversos métodos y técnicas tanto cualitativas como cuantitativas, a efecto de lograr una apreciación más informada y sólida de los actores, procesos y condiciones a analizar. Entre las herramientas empleadas se

52

puede incluir, por la parte cuantitativa, el análisis de datos de los censos y conteos de población y vivienda, de registros administrativos y de inversión, así como de diversas encuestas propias; por la parte cualitativa, utilizar grupos de enfoque, entrevistas semi-estructuradas con adultos mayores, así como la observación en los diferentes tipos de localidad. En todos los estudios se deben utilizar las mismas herramientas para recolección y análisis de datos, a efecto de asegurar la mayor comparabilidad y aprovechamiento de la información posible, esto con algunas variaciones según lo ameritaron las condiciones particulares y de acuerdo a la metodología sugerida6. El enfoque de los estudios puede ser etnográfico, explicativo, comparativo y contrafactual, para poder hacer inferencias descriptivas y causales relacionadas con el impacto del programa7. Etapas de una evaluación de impacto Las mejores prácticas en materia de evaluaciones de impacto (véase Baker 2000) indican que los pasos para realizar este tipo de proyectos se pueden agrupar en dos rubros: la preparación de la evaluación y su implementación. A continuación se presentan los aspectos de cada rubro:

Preparación de la evaluación 1. Tomar la decisión sobre la realización del evaluación 2. Definir los objetivos de la evaluación 3. Examinar la disponibilidad de datos 4. Diseñar la evaluación 5. Formar el equipo de evaluación 6. Levantar información de campo (en caso de ser necesario)

a. Diseñar y seleccionar la muestra b. Elaborar instrumentos para recopilar datos c. Capacitar al personal de trabajo en campo d. Elaborar pruebas piloto e. Recopilar la información f. Administrar datos

Implementación de la evaluación

7. Recopilar datos (ex-post) a la implementación con una periodicidad alineada a las variables de análisis

8. Analizar los datos 9. Redactar el reporte de resultados y analizarlos con las autoridades y otros

interesados 10. Incorporar los resultados en el diseño del evaluación

6 Para una elaboración sobre el uso de estudios de caso en la investigación evaluativa, véase: Morra y Friedlander,

2001. 7 Para mayores detalles sobre este tipo de aproximaciones metodológicas, véase: Sherman y Strang, 2004.

53

3.4.4. Viabilidad técnica y financiera La viabilidad técnica radica en la capacidad de la institución para generar información y procesarla adecuadamente con propósitos evaluativos. En este sentido, la experiencia en evaluación de programas sociales en México y en otros países, hacen patente que se puede alcanzar este objetivo, desde el punto de vista estrictamente técnico. Existen en el país una variedad de instituciones educativas y de investigación así como empresas consultoras especializadas que pueden llevar a cabo este tipo de trabajos. Además, hay ejemplos de buenas prácticas para el levantamiento y procesamiento de información cuantitativa y cualitativa para la evaluación de programas, buena parte de ellas en la propia Sedesol. Igualmente, se han aplicado exitosamente modelos de evaluación robustos e indicadores apropiados para medir estas mismas variables de interés u otras similares. Es importante insistir que cualquier evaluación de impacto se beneficia si con anterioridad se verifican, actualizan, complementan y sistematizan las bases de datos disponibles. En el caso del Programa 70 y Más, se sugiere revisar y mejorar la información disponible sobre los adultos mayores, tanto apoyados como no apoyados, a efecto de contar con los insumos necesarios para conformar los grupos de tratamiento y comparación. Sobre la viabilidad financiera de la evaluación de impacto propuesta, cabe mencionar que el monto de recursos públicos que se destina anualmente al programa y lo que ya se ha gastado en los últimos años, no solamente justifica sino que además permite realizar una evaluación rigurosa para medir sus resultados. Este tipo de evaluaciones son especialmente valiosas en la medida que permiten saber si el programa está efectivamente cumpliendo con sus objetivos y contribuyendo a resolver el problema focal que justifica su propia existencia. Además, permiten identificar fortalezas y debilidades que brindan información útil para modificar el diseño, la cobertura y la operación del programa, a manera de incrementar sus logros. En el caso del programa 70 y Más como en el de la mayoría de las iniciativas sociales federales, el costo relativo de las evaluaciones de impacto —aun de aquellas que pueden implicar levantamientos de información razonablemente amplios— suele ser muy pequeño en comparación con el presupuesto global de los programas. Así pues, para el programa el costo de una evaluación como la que se propone podría ser bajo en comparación con el costo derivado de las deficiencias de diseño, cobertura, focalización y operación que suelen tener las iniciativas sociales en México y en otros países, respecto de las cuales no hay razón lógica para que el Programa 70 y Más esté exento. Finalmente, también existe un costo intrínseco en no conocer los resultados del programa, pues los tomadores de decisiones no tienen una forma verificable, objetiva y transparente de saber si es conveniente ampliar la cobertura, incrementar el monto de los apoyos, o invertir más en alguna vertiente y recortar otra, entre otras decisiones con implicaciones financieras importantes, cuyos eventuales costos directos y de oportunidad seguramente exceden por mucho los de realizar una evaluación de impacto rigurosa. De tal forma, la evaluación de impacto propuesta se puede considerar ex ante como técnica y financieramente viable, y resulta por demás conveniente. En todo caso lo correcto es buscar

54

diseños apropiados y asegurar los recursos suficientes para el ejercicio cumpla cabalmente su propósito. En complemento a lo anterior, cabe mencionar que el 70 y Más tuvo un presupuesto en 2012 de 18,821.2 millones de pesos. La provisión presupuestal así como la importancia del objetivo general del programa, crean la necesidad y justifican la conveniencia de conocer en que medida estos recursos públicos tienen efectos en las condiciones que dieron origen al programa. Como ya fue mencionado, aunque las evaluaciones de impacto pueden demandar recursos importantes, en ningún caso son comparables con los recursos que se podrían consumir por operar un programa que no presenta efectos y puede ser sujeto de un rediseño para estar alineado con la planeación de la política social. Por el contrario, estos recursos destinados a elaborar evaluaciones de impacto pueden dar indicios para fortalecer dicha política. Como una estimación preliminar, el equipo metaevaluador considera que el rango de costo para una evaluación de impacto del 70 y Más podría ir de 9 a 12 millones de pesos que, comparados con el presupuesto de los dos ejercicios fiscales que comprendería dicha evaluación, representa aproximadamente 0.024% a 0.032% del total. Se reconoce que en las ROP, año con año se incluyen cláusulas que ponen un tope sobre el uso de recursos destinados a la evaluación. No obstante, una evaluación metodológicamente robusta y con una justificación adecuada sobre la decisión de llevarse a cabo, debería tener un canal financiero asegurado. En este caso, el volumen presupuestal del programa facilita una evaluación de esta naturaleza al posibilitar que no se contraponga con la limitante contenida al respecto de las evaluaciones en las ROP. 3.5. Principales fortalezas, oportunidades, debilidades, amenazas y recomendaciones En este apartado se incorpora un resumen de las fortalezas, oportunidades, debilidades y amenazas (FODA) del programa identificadas en cada evaluación analizada, acompañadas de sus recomendaciones y propuestas asociadas. Cabe señalar que sólo se presentan aquellos elementos que, a juicio del metaevaluador, son relevantes, en términos de su importancia e implicaciones para el desempeño del programa, así como vigentes, en el sentido que la situación que les dio origen lo sigue siendo en alguna medida. El FODA completo de forma esquemática se presenta en el Anexo 4.

55

Principales, Fortalezas, Retos y Recomendaciones de 70 Y Más

Tema de evaluación

Aspecto Identificado Referencia Recomendación

Referencia de la recomendación

Fortalezas

Diseño

Existe evidencia a nivel nacional e internacional que prueba que el apoyo económico del Programa es una fuente de ingreso y que tiene impacto en la alimentación, salud y estado de ánimo de los adultos mayores.

ED07-70 y mas- UACh pp. 15

Diseño

Las evaluaciones del Programa y otros documentos relacionados con los resultados de Programas similares indican que las transferencias en efectivo como las que otorga el Programa, tienen resultados favorables en la alimentación, salud y estado de ánimo de los AM.

CR07- 70 y más- UACh- IF-pp. 23

Diseño Establecimiento de medidas para evitar duplicidades con otros programas federales.

EED08- 70 y Más- COLEFN pp. 21

Diseño La Matriz de Indicadores para Resultados y las ROP del programa se encuentran alineados.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 7

Diseño

El Programa cuenta con un diagnóstico en el que se identifican causas y efectos del problema que atiende, además, caracteriza, cuantifica y ubica territorialmente a la población que presenta el problema.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 8

Planeación

El Programa cuenta con planes anuales de trabajo que son resultado de ejercicios de planeación institucionalizados que incluyen metas anuales.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 20

Integrar en un solo documento la estrategia de planeación anual y los planes de trabajo para la producción de los componentes. Dicho documento deberá contener las actividades más importantes, así como las áreas responsables de la ejecución de las actividades, los procedimientos de monitoreo y medios de verificación. El documento deberá incluir los recursos financieros, humanos y técnicos empleados en cada proceso.

Planeación

El Programa utiliza, de manera institucionalizada, los resultados de las evaluaciones externas para mejorar su desempeño.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 22

Planeación

Como resultados de la atención a los Aspectos Susceptibles de Mejora el Programa ha logrado resultados tangibles que mejoran su gestión y resultados.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 24

56

Principales, Fortalezas, Retos y Recomendaciones de 70 Y Más

Tema de evaluación

Aspecto Identificado Referencia Recomendación

Referencia de la recomendación

Planeación Se han fortalecido la participación y capacidades de los gestores voluntarios.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 26

Se recomienda documentar las buenas prácticas de los gestores voluntarios para utilizarlas como referentes para la capacitación y la promoción de la participación comunitaria.

Cobertura y Focalización

El Programa tiene definida y cuantificada su población potencial, objetivo y atendida lo que permite estimar su cobertura actual y la evolución de la misma en los últimos años.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 30

Recomendación del meta evaluador Dado que la definición del problema focal debe incorporar una explicación sobre el concepto de vulnerabilidad es necesario redefinir también las características de la población potencial y la población objetivo, de conformidad con los criterios técnicos establecidos en la metodología de marco lógico y los Lineamientos de Coneval correspondientes. Debe replantear una estrategia de cobertura con base en la modificación del tamaño de localidad a partir de 2012 y hacer nuevamente la cuantificación de las poblaciones potencial y objetivo.

Cobertura y Focalización

El Programa cuenta con procedimientos y mecanismos documentados para atender y dar seguimiento a las solicitudes de apoyo y verificar los procedimientos de selección de beneficiarios.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 34

Operación

Los criterios y procedimientos están incorporados en las Reglas de Operación y son aplicados por todas las instancias ejecutoras por lo que se consideran estandarizados.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 34

Percepción de la población atendida

Percepción de AM positiva al programa. Lo mejor calificado fue el trato recibido por los usuarios tanto de parte del personal de Sedesol como del personal de la liquidadora y la anticipación del aviso.

IMSU11-70 y Más- UIA

Medición de Resultados

Se ha extendido a localidades de mayor número de habitantes con lo que amplia su espectro a un mayor número de AM en condiciones de vulnerabilidad.

EI 07-09- 70 y Más- INSP-

Medición de Resultados

Contribuye a la disminución de la vulnerabilidad, aumenta el empoderamiento, participación en el gasto del hogar, mejora la autoestima y disminución de la dependencia económica y

EI 07-09- 70 y Más- INSP-

57

Principales, Fortalezas, Retos y Recomendaciones de 70 Y Más

Tema de evaluación

Aspecto Identificado Referencia Recomendación

Referencia de la recomendación

en el estado nutricional.

Medición de Resultados

Se reporta un efecto positivo en la salud mental de los beneficiarios.

EI 07-09- 70 y Más- INSP

Medición de Resultados

Las evaluaciones de fin y propósito son favorables por la transferencia que permite reducir el trabajo pagado y aumentar labores del hogar, sin reducir ahorros; ha aumentado el consumo.

EED10-11-70 y Más- C-230- pp. 15

Medición de Resultados

Permanente fortalecimiento de redes sociales promoviendo la figura del gestor voluntario.

EED10-11-70 y Más- C-230- pp. 15

Oportunidades

Recomendación del metaevaluador: No se identificaron oportunidades en las evaluaciones pero se recomienda un análisis de los factores de contexto del programa.

Debilidades

Diseño

El problema focal y los objetivos del programa así como la población potencial y objetivo no están correctamente identificados y claramente definidos, pues subsisten algunas ambigüedades e inconsistencias importantes que se reflejan en las Reglas de Operación 2012 y el Diagnóstico 2010 y la Nota de Actualización de la Población Potencial y Objetivo 2011.

Recomendación del metaevaluador Redefinir el problema focal, el objetivo general, la población potencial y la población objetivo del programa, de forma que éste se centre en la vulnerabilidad, y atienda expresamente a la población de 70 y Más años con ingresos menores a la línea de bienestar, que no recibe jubilación o pensión. Lo anterior, de conformidad con los criterios técnicos establecidos en los lineamientos de Sedesol y Coneval aplicables, así como de la metodología de marco lógico y las buenas prácticas en materia de focalización. Una vez hecho lo anterior, se sugiere establecer las nuevas definiciones en las ROP 2013.

Diseño

Utilización de indicadores de percepción de beneficiarios para medir fin y propósito con alto costo logístico y debilidad metodológica que puede afectar la consistencia.

EED 10-11- 70 y Más- C-230- pp. 15

Mejora gradual de la MIR en indicadores de fin y propósito Identificar mecanismos de seguimiento alternativos para captar información de beneficiarios.

Diseño Si bien el Programa cuenta con la definición del problema a cuya solución está dirigido y, adicionalmente, cuenta con un diagnóstico,

CR11-12- 70 y Más- NIK Beta S.C.- IF

Realizar un diagnóstico complementario de la problemática del Programa, que incluya localidades

58

Principales, Fortalezas, Retos y Recomendaciones de 70 Y Más

Tema de evaluación

Aspecto Identificado Referencia Recomendación

Referencia de la recomendación

la actualización prevista para el presente año deberá orientarse al estudio de la población adulta mayor que habita en localidades urbanas para las cuales no se ha realizado una evaluación de impacto.

pp 2 urbanas, en el que se establezcan las bases para la evaluación futura del impacto que los apoyos del programa puede tener en las condiciones de vida de los adultos mayores de 70 años según tamaño de localidad, condición de marginación y rezago social, y condición de indígenas y no indígenas. Recomendación del Meta evaluador: Se recomienda revisar la definición del problema focal, y a partir de ésta redefinir también las características de la población potencial y la población objetivo, de conformidad con los criterios técnicos establecidos en la metodología de marco lógico y los Lineamientos de Coneval correspondientes. Es necesario aclarar la concepción sobre vulnerabilidad.

Diseño

En el apartado 4.2.5 de las ROP se señala el procedimiento para los beneficiarios que se encuentren enfermos o discapacitados de manera permanente y se dispone el procedimiento para que pueda seguir recibiendo los apoyos, sin embargo, los adultos mayores que se encuentren incapacitados temporal o definitivamente, para SOLICITAR SU REGISTRO en el Programa se encuentran excluidos del mismo y quizás son los que más necesiten de su apoyo.

CR11-12- 70 y Más- NIK Beta S.C. pp 16

Se recomienda incluir un apartado en el que se señale que los adultos mayores de 70 años que se encuentren enfermos o discapacitados de manera permanente puedan SOLICITAR SU REGISTRO en el Programa aplicando el mismo procedimiento establecido en el apartado 4.2.5 de la ROP para quienes no pueden ir a recibir el apoyo, incluyendo la visita del personal de la SEDESOL y la expedición de acreditación de autoridad oficial.

Planeación

Existe un plan estratégico denominado: Planeación Estratégica y Táctica del Programa 70 y Más mismo que se desarrolló de acuerdo a los lineamientos y necesidades establecidas en el “Sistema de Gestión de la Dirección General de Atención a Grupos Prioritarios”. No se hace referencia en este documento, a la necesidad de establecer espacios temporales o metas de mediano y largo plazo.

CR11-12- 70 y Más- NIK Beta S.C. pp 20

Incorporar en la planeación estratégica metas de mediano y largo plazos, señalando las condiciones necesarias: recursos financieros, humanos y técnicos, entre otros, para alcanzarlas. Nota del meta evaluador: El Plan Estratégico deberá considerar el mediano y largo plazo con las nuevas definiciones de la población potencial y objetivo.

59

Principales, Fortalezas, Retos y Recomendaciones de 70 Y Más

Tema de evaluación

Aspecto Identificado Referencia Recomendación

Referencia de la recomendación

Planeación

El Programa amplió su cobertura a localidades de hasta 30 mil habitantes sin un diagnóstico previo sobre las condiciones de vulnerabilidad de los adultos mayores en localidades urbanas.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 26

Se reitera la recomendación de actualizar el diagnóstico y caracterizar y cuantificar a las poblaciones potencial y objetivo de localidades de hasta 30 mil habitantes. Nota del metaevaluador: El programa debe llevar a cabo una evaluación de cobertura en tanto que ha definido ampliarla a localidades de más de 30 mil habitantes.

Cobertura y Focalización

La ampliación de la cobertura a localidades de hasta 30,000 habitantes se ha realizado sin un diagnóstico que permita evaluar posteriormente los cambios en las condiciones de vida de los adultos mayores de localidades urbana

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 29

Recomendaciones del meta evaluador La estrategia de cobertura debe ser analizada a partir de las nuevas definiciones de población potencial y objetivo así como de localidades mayores a 30 mil habitantes. Estudiar el efecto del Programa en localidades urbanas.

Cobertura y Focalización

La estrategia de cobertura del Programa no considera el largo plazo. No se puede estimar cuándo se alcanzará a atender a toda la población potencial del Programa.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 30

Elaborar la estrategia de cobertura a mediano y largo plazos, a partir de los objetivos que deben formularse en la Planeación Estratégica del programa 70 y Más. La estrategia de cobertura debe considerar diferentes escenarios considerando los recursos que serían necesarios en cada uno de ellos. Recomendaciones del meta evaluador Asimismo, se considera que la estrategia de cobertura debe ser analizada a partir de las nuevas definiciones de localidades y población potencial y objetivo.

Operación Coordinación entre Delegaciones y Promotores por fortalecer y entre éstos y los gestores sociales.

EED 09-10- 70 y Más- Col. Mexiquense- IF- pp. 22

Fortalecer la coordinación y planeación entre Delegaciones y Promotores.

Operación

En el apartado: 3.6.3 de las ROP se dice que: En caso de que el beneficiario sea suspendido, el personal del Programa le informará de manera verbal el motivo de sus suspensión la siguiente ocasión que se instalen las Mesas de Atención.

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 42

Se recomienda que se informe a los beneficiarios también por escrito e independientemente de la instalación de las Mesas de Atención, de manera que se evite que el AM que no va a recibir apoyo se traslade al lugar de entrega de los recursos.

60

Principales, Fortalezas, Retos y Recomendaciones de 70 Y Más

Tema de evaluación

Aspecto Identificado Referencia Recomendación

Referencia de la recomendación

Que de la misma forma se informe al AM sobre el procedimiento para recuperar el apoyo.

Percepción de la población atendida

Las variables Aviso y ubicación de la entrega de apoyos, Evento de entrega de apoyos e Ingreso, presentan resultados que pueden ser mejorados.

IMSU11-70 y Más- UIA

Mejorar los resultados de las variables: Aviso y ubicación de la entrega de apoyos, Evento de entrega de apoyos e Ingreso al Programa. Para lo anterior se pueden realizar ulteriores análisis y pruebas para determinar si es necesario rediseñar el modelo o simplemente mejorar la formulación de los reactivos con bajo peso externo.

Medición de Resultados

Es probable que la transferencia esté generando migración lo que podría agudizar las condiciones de vulnerabilidad del AM modificando negativamente el arreglo domiciliario.

EI 07-09- 70 y Más- INSP pp. 18

Medir el efecto del programa en el mediano plazo porque al ampliarlo a localidades de 30 mil habitantes se espera una afectación a la familia entera y se superará el nivel del individuo.

Medición de Resultados

Mecanismos de difusión e inscripción inadecuados para AM y familiares para la incorporación o poco apoyo del Promotor Social Voluntario de la localidad, o en condiciones de discapacidad para asistir a los puntos de reunión a recoger cuota, acudir a los servicios de salud o la presencia de redes sociales débiles o nulas, o por no contar con acta de nacimiento y no conocer la vía para obtenerla.

EI 07-09- 70 y Más- INSP pp. 78

Nota del metaevaluador: Mejorar la atención en los puntos de pago a los AM, el 31 de diciembre de 2012 se concluirá la atención a esta propuesta en tanto que se convirtió en ASM.

Medición de Resultados

Poca información sobre las causas de suspensión a AM suspendidos.

EI 07-09- 70 y Más- INSP pp. 80

Mejorar la difusión del Programa para evitar confusiones con Oportunidades; afinar los mecanismos de incorporación para los AM sin familiares, monolingües de dialecto y dependientes funcionales ASM Nota del metaevaluador: El 31 de diciembre de 2012 se concluirá la atención a esta propuesta en tanto que se convirtió en ASM

Medición de Resultados

Barreras de lenguajes son amenaza para el seguimiento de trámites y cobro oportuno.

EI 07-09- 70 y Más- INSP 82

Mejorar la difusión del Programa para evitar confusiones con Oportunidades; afinar los mecanismos de incorporación para los AM sin familiares, monolingües de dialecto y dependientes funcionales.

61

Principales, Fortalezas, Retos y Recomendaciones de 70 Y Más

Tema de evaluación

Aspecto Identificado Referencia Recomendación

Referencia de la recomendación

Medición de Resultados

No se ha condicionado la entrega de apoyos a la visita recurrente al servicio médico. Si se estableciera la condicionalidad a la asistencia a los servicios médicos, se podría generar un efecto aun más beneficioso para el AM usuario del programa.

Recomendación del meta evaluador La mejora en la focalización como producto de la redefinición de la población potencial y objetivo facilitará la afinación de los procedimientos para identificar la pobreza multidimensional del AM y con ello propiciar su vinculación efectiva a los servicios de salud.

Medición de Resultados

No se ha medido adecuadamente el efecto de la transferencia sobre el ingreso neto disponible de los AM beneficiarios ya que la recepción del apoyo monetario por parte del programa reduce las transferencias, en dinero y en especie de los AM, que reciben por parte de sus familiares.

Recomendaciones del meta evaluador Es conveniente realizar una medición minuciosa de este aspecto y valorar la posibilidad de entregas diferenciadas asumiendo condiciones específicas para cada AM por tipo de localidad y los arreglos domiciliarios que han derivado de la transferencia del apoyo. Asimismo, la Evaluación de impacto 2007-2009 evidenció un efecto de anticipación que debe ser identificado, pues no puede afirmarse en forma concluyente cuál fue el cambio del programa efectivamente en los AM. Es posible que por el año de realización (2008) la crisis jugara como un aspecto influyente en el resultado, dado que tanto el grupo de tratamiento como el de control tuvieron modificaciones en las variables medidas en una primera instancia: cambio en el ingreso y disminución de trabajo por pago e incremento de trabajo familiar.

Amenazas

Operación

El hecho de residir en localidades de más de 10,000 habitantes no necesariamente significa que el adulto mayor cuente con los documentos requeridos. (Credencial de elector, Pasaporte, Cartilla del Servicio Militar Nacional, Credencial del Instituto Nacional de las Personas Adultas Mayores INAPAM) Recibo de pago de energía eléctrica, agua, teléfono o impuesto predial).

CR11-12- 70 y Más- NIK Beta S.C.- IF pp 32

El evaluador no hace recomendación Recomendación del metaevaluador Valorar cuáles son los documentos mínimos adecuados para el registro del AM en el programa así como aquella información que puede indicar su condición de vulnerabilidad.

3.6. Reflexiones y recomendaciones complementarias del metaevaluador En esta sección se desarrollan una serie de reflexiones y recomendaciones complementarias del equipo metaevaluador sobre la situación actual del programa, que si bien construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegan a resultados distintos al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas reflexiones y recomendaciones se enfocan principalmente en aspectos asociados al diseño del programa, y son responsabilidad exclusiva del metaevaluador. La tendencia hacia la universalización y sus implicaciones financieras El rápido crecimiento del Programa 70 y Más plantea una serie de retos que deben valorarse de manera reflexiva y cuidadosa, para asegurar su sustentabilidad y contribución a los objetivos de la política social. En cinco años su presupuesto se ha triplicado, al pasar de 6 mil millones de pesos en 2007 a 18 mil millones en 2012, con un crecimiento igualmente rápido en los beneficiarios, de 1 a 3.5 millones. Los resultados de las diversas evaluaciones analizadas en el presente documento, los cambios recientes en la normatividad del programa así como la experiencia de otros países en materia de programas asistenciales y de pensiones para adultos mayores, así como las experiencias en la propia realidad mexicana—como es el caso del Distrito Federal8--ponen de manifiesto la relevancia y gravedad de pensar bien qué se quiere hacer y lograr a través de 70 y Más en los años por venir. Las ROP 2012 disponen ya la incorporación de adultos mayores en localidades urbanas y rurales, con la única condicionante de no recibir una pensión contributiva. Si bien se propone ampliar la cobertura dando preferencia inicialmente a las localidades y colonias con mayor concentración de pobreza, de acuerdo con los límites de la disponibilidad presupuestal, el programa se plantea de facto como casi universal en vez de focalizado—esto es, como un derecho y no como un apoyo, tal como sucede en algunas entidades federativas. Esta situación abre diversas implicaciones, desafíos y cuestionamientos en el futuro inmediato y mediato del programa. En principio, el enfoque actual obliga al programa a redefinir su diseño, operación y resultados, al alejarse de la condición de pobreza que prevalecía claramente en su origen y acercarse a la de vulnerabilidad, específicamente a la asociada a la carencia de seguridad social. Además, considerando la dinámica poblacional y el crecimiento de la cobertura del programa, es simplemente previsible que se genere un reto financiero mayúsculo, pues en los próximos años se requeriría asegurar un volumen muy cuantioso y creciente de recursos presupuestales para la operación del programa. Por otro lado, se puede también cuestionar desde una perspectiva de eficiencia y de equidad, en qué medida es apropiado otorgar subsidios directos a personas que no presentan un problema de ingresos insuficientes, y que por lo tanto pueden no requerir este

8 La Ley que Establece el Derecho a la Pensión Alimentaria para los Adultos Mayores de Sesenta y Ocho Años,

Residentes en el Distrito Federal, publicada en 2006 establece en su artículo 1 el derecho a recibir una pensión diaria no menor a la mitad del salario mínimo vigente en el DF. Después del último incremento retroactivo al 1 de enero de 2012 el monto de la pensión ha sido fijado en $934.95

63

apoyo específico, especialmente considerando que se trata de recursos escasos destinados al desarrollo social, que también son necesarios para otros grupos prioritarios. El problema focal: ¿vulnerabilidad, pobreza o ambos? En su conformación actual, el programa presenta inconsistencias y ambigüedades muy relevantes. El problema focal se refiere a “adultos mayores de 70 años y Más [que] presentan alta vulnerabilidad”, misma que parece entenderse como la carencia de seguridad social en la forma de pensiones contributivas; lo anterior está asimismo alineado al objetivo general de “contribuir a la protección social de los adultos mayores de 70 años y Más”. Sin embargo, el objetivo específico del programa se refiere a “incrementar el ingreso de los adultos mayores de 70 años y Más, así como aminorar el deterioro de su salud física y mental”, lo cual se liga a la dimensión de la pobreza; más aun, el requisito de incorporación a 70 y Más que implica la renuncia a los beneficios del Programa de Desarrollo Humano Oportunidades, deja ver que existiría duplicidad si se recibieran simultáneamente los beneficios de ambos programas, aunque el segundo claramente busca combatir la pobreza de este grupo poblacional específico a través de transferencias de ingreso, sin tener que ver en absoluto con la carencia de seguridad social. De tal forma, actualmente no queda claro cuál es el verdadero problema que el programa quiere resolver —la vulnerabilidad (ausencia de pensión) o la pobreza (ingresos insuficientes) —ni cuáles deben ser las poblaciones potencial y objetivo que sufren el problema. En opinión del equipo metaevaluador, es este escenario es importante para la Sedesol tomar en cuenta las consideraciones legales y conceptuales asociadas al programa. En particular, la Ley de los Derechos de las Personas Adultas Mayores establece que se deben llevar a cabo “programas compensatorios orientados a beneficiar a las personas adultas mayores en situación de rezago, y poner a su alcance los servicios sociales y asistenciales así como la información sobre los mismos.”

Para cumplir con el precepto legal se requiere interpretar y definir la característica de “situación de rezago” que se busca compensar a los adultos mayores a través de los programas. En términos prácticos para el programa, el rezago se puede referir a tres posibles problemas, con sus respectivas poblaciones: (i) no recibir pensión contributiva, independientemente del nivel de ingresos; (ii) no tener ingresos suficientes, independientemente de recibir pensión contributiva; o (iii) la conjunción de ambas características. Huelga decir que las diferencias entre estos enfoques pueden ser de gran relevancia, tanto para el programa y sus beneficiarios como para la política de desarrollo social y las finanzas públicas. Recomendaciones En función de lo anteriormente expuesto, el equipo metaevaluador recomienda a la Sedesol que defina una posición clara y consistente en torno al problema focal y a las poblaciones potencial y objetivo del Programa 70 y Más, a partir de un análisis de corte conceptual, jurídico y de política, que desarrolle y compare las diversas opciones de forma rigurosa y responsable. Dicho análisis debe además incluir proyecciones actuariales de corto, mediano y largo plazo, así como

64

evaluar las implicaciones financieras y los riesgos previsibles. Una vez hecho lo anterior, se sugiere modificar las ROP y rediseñar el programa conforme al problema focal y las poblaciones potencial y objetivo seleccionadas, así como prever los recursos presupuestales y mecanismos operativos para sostener la progresiva ampliación de la cobertura y el crecimiento en el número de beneficiarios. En línea con lo que se plantea en la agenda de evaluación propuesta para el año 2013, para realizar ambas tareas se recomienda aprovechar el estudio de Diagnóstico y propuestas de atención así como la Evaluación específica de financiamiento, cobertura y focalización. El estudio debería incluir el abordaje explícito y el desarrollo detallado y riguroso de la discusión precedente y las alternativas que de ella se derivan, mientras que la evaluación incluiría las proyecciones actuariales y definiría la estrategia de cobertura y focalización más apropiada. A la luz de la gravedad que tiene la selección del enfoque a seguir así como de la complejidad de sus implicaciones, el equipo metaevaluador recomienda a la Sedesol que valore la pertinencia y factibilidad de tomar una aproximación progresiva, consistente y viable para la definición del problema focal, las poblaciones potencial y objetivo y la ampliación de la cobertura del Programa 70 y Más. Se plantea establecer un orden de prioridad o de fases entre las alternativas, que parta desde el enfoque del maximin —que es el fundamento conceptual y ético de la mayoría de las transferencias focalizadas de ingreso para la población en pobreza— hacia el de los derechos —que es la base de las intervenciones de corte universalista:

Primera prioridad/fase: Garantizar los apoyos a los adultos de 70 y Más años que tienen la doble condición de estar en pobreza patrimonial y no disponer de pensión contributiva (pobres y vulnerables). Segunda prioridad/fase: Extender los apoyos a los adultos de 70 y Más años en pobreza patrimonial, independientemente de que tengan o no pensión contributiva (pobres). Tercera prioridad/fase: Extender los apoyos a los adultos de 70 y Más años que no están en pobreza patrimonial, pero que no tienen pensión contributiva (vulnerables).

A reserva de que se confirme a través del diagnóstico y la evaluación antes señalada, la estrategia de priorización o fases propuesta considera tanto las restricciones presupuestales presentes y futuras como el mayor impacto en el desarrollo social; es una aproximación desde la base de la distribución del ingreso y la concentración de las mayores carencias y vulnerabilidades, hacia los niveles superiores que, por definición, enfrentan menores desventajas. En síntesis, se propone una estrategia de abajo hacia arriba y de lo más estrecho hacia lo más amplio, avanzando de una alternativa y de un estadio a otro conforme se vayan resolviendo los problemas más graves y creando las condiciones que den sustentabilidad al programa en el mediano y largo plazo.

65

4. Monitoreo 4.1. Introducción En 2007, la Sedesol elaboró la Matriz de Indicadores para Resultados de los programas federales a su cargo con la finalidad de mejorar su diseño y de cumplir con los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal9 que establecen que los programas federales deben contar con una MIR. Desde entonces, la MIR es usada por la Sedesol y por otros actores, como la Secretaría de Hacienda y Crédito Público (SHCP), la Secretaría de la Función Pública (SFP), la Auditoría Superior de la Federación (ASF), el Consejo Nacional de Evaluación de la Política de Desarrollo Social (Coneval) e incluso el H. Congreso de la Unión, para dar seguimiento a los resultados alcanzados por los programas federales, lo que la convierte en el principal instrumento para monitorear el desempeño de dichos programas en el Gobierno Federal10. La MIR de los programas federales de la Sedesol se ha ido modificando año con año, principalmente con tres objetivos: 1) mejorar el diseño de los programas, 2) contar con mejores indicadores de resultados y de gestión para monitorear su desempeño, y 3) mejorar su alineación con las Reglas de Operación (ROP). Para ello, la Sedesol ha tomado en consideración los comentarios y propuestas de mejora emitidos por actores como el Coneval, la SHCP y los evaluadores externos que han evaluado los programas. Este documento tiene como objetivo analizar la MIR 2012 del Programa 70 y Más, para generar propuestas de mejora con miras a la elaboración de la MIR 2013, especialmente de los niveles de Fin y Propósito, poniendo especial atención en los indicadores de resultados. Para lo anterior, en la primera parte se hace un análisis de los cambios que se han implementado a la MIR de 2007 a 2012, se parte de la identificación de identifican los comentarios emitidos por diversos a la MIR en el mismo periodo. Posteriormente, se valora el resumen narrativo de la MIR 2012, analizando su correspondencia con las ROP de ese año, y se

9 Diario Oficial de la Federación. 30 de marzo de 2007. 10

La Ley General de Desarrollo Social establece en el Art. 77 que el CONEVAL antes de aprobar los indicadores de resultados, gestión y servicios de los programas sociales, los someterá a la consideración de la SHCP y a la Cámara de Diputados por conducto de la ASF, para que emitan las recomendaciones que en su caso estime pertinentes, para esta aprobación, se toman los indicadores de la MIR. Asimismo, los Lineamientos para la revisión, actualización, calendarización y seguimiento de la Matriz de Indicadores para los programas presupuestarios 2012 establecen en el numeral 13 que la SHCP, la SFP y el CONEVAL, en el ámbito de sus respectivas competencias y considerando las disposiciones aplicables, deberán emitir las recomendaciones a las MIR y sus indicadores que consideran convenientes. También, estos Lineamientos establecen como uno de sus objetivos específicos registrar los avances en la consecución de las metas de los indicadores de los programas presupuestarios durante el ejercicio fiscal 2012 para dar cumplimiento a los informes sobre la Situación Económica, las Finanzas Públicas y la Deuda Pública (informe trimestral a cargo de la SHCP enviado al Congreso de la Unión), de conformidad con el artículo 107 de la Ley de Presupuesto y Responsabilidad Haciendaria.

66

realizan propuestas de mejora. Por último, se hace una valoración de los indicadores de Fin y Propósito de la MIR 2012 y se emiten propuestas de mejora. 4.2. Análisis histórico de la Matriz de Indicadores para Resultados 2007-2012 En este apartado se hace un análisis de la evolución de la Matriz de Indicadores de Resultados (MIR) del programa durante el período 2007-2012. Se identifican los principales cambios en los resúmenes narrativos y en los indicadores asociados a los mismos, surgidos en respuesta a las observaciones y recomendaciones de instancias como la ASF, SHCP, SFP, Coneval y los evaluadores externos del programa. La secuencia de cambio se presenta en los niveles de Fin, Propósito y algunos casos de Componentes, para todos los años comprendidos en el período. Al final de la sección se presenta una propuesta para mejorar los resúmenes narrativos y los indicadores para la MIR del año 2013. Un esquema del análisis histórico de la MIR y de las propuestas de mejora se presenta en el Anexo 5. 4.2.1. Principales cambios de la Matriz de Indicadores 2007-201211 En esta sección se hace un resumen de los principales cambios de la MIR del Programa 70 y Más de 2007 a 2012, enfocándose en el resumen narrativo de los niveles de Fin, Propósito y Componentes y en los indicadores de Fin y de Propósito. Los cambios se presentan primero del resumen narrativo y posteriormente de los indicadores para cada año. 4.2.2. Análisis 2008-2009 Resumen narrativo De 2008 a 2009, se mejoró el resumen narrativo a nivel de Fin, ya que se buscó acotar el objetivo al cual contribuía el programa y evitar tener múltiples objetivos. En 2008 el Fin contaba con cuatro objetivos 1) mejorar condiciones de vida, 2) aumentar posibilidad de alimentación adecuada, 3) aumentar posibilidad de acceso a servicios básicos, y 4) aumentar las posibilidades de integración social. En 2009 el número de objetivos identificados se redujo a dos 1) abatir el rezago, y 2) fomentar la protección social. Si bien esto representó una mejora, aún no era posible identificar cuál de estos dos objetivos buscaba contribuir con el logro del Propósito; además de que no se tenía claridad sobre lo que éstos representaban puesto que ni en la MIR ni en las ROP se estableció una definición para rezago o para protección social. En este periodo no hubo modificaciones a nivel de Propósito. La sintaxis siguió sin ser congruente con lo que establece la Metodología de Marco Lógico (MML) debido a la existencia

11

Al no contar con la MIR 2007, en esta sección el análisis se realiza a partir de 2008.

67

de dos objetivos12, 1) incrementar el ingreso, y 2) mayor integración social. Este último concepto es ambiguo, puesto que ni en la MIR ni en las ROP se estableció su definición. Para 2009, dada la poca claridad de los objetivos de Fin y de Propósito, no era posible determinar si el logro del Propósito contribuía al logro del Fin. Por último, a nivel de Componentes, de 2008 a 2009 se mantuvieron los Componentes 1 y 2 con modificaciones en la sintaxis, y se eliminó el Componente 3 de la MIR 2008, lo cual se consideró correcto, ya que no era claro si se refería a una Actividad o sólo al número de beneficiarios del programa. Se incluye el Componente de “Servicios y apoyos de Coordinación y Concertación Interinstitucional entregados”. Los tres Componentes cumplen con la sintaxis establecida en la MML. Para los Componentes 2 y 3 de la MIR 2009 no era posible identificar a qué bienes y servicios se refieren, debido a que no se determinó en la MIR a qué se referían las acciones de promoción y participación ni los servicios y apoyos de coordinación y concertación. Debido a ello y a la falta de claridad del Propósito no era posible determinar si los Componentes en su conjunto eran los necesarios y suficientes para su logro. Los resúmenes narrativos del fin, propósito y componentes 2008 y 2009 pueden verse en el cuadro 5.

Cuadro 5. Resúmenes narrativos del Fin, Propósito y Componentes de la MIR de 70 y Más 2008-2009

Resumen narrativo

2008 2009

Fin

Contribuir a mejorar las condiciones de vida de los adultos mayores, beneficiarios del programa 70 años y más, aumentando su posibilidad de tener una alimentación adecuada, acceso a servicios básicos y mayor integración social.

Contribuir a abatir el rezago que enfrentan los adultos mayores, beneficiarios del programa 70 años y Más, mediante acciones orientadas a fomentar su protección social.

Propósito Que los adultos mayores, beneficiarios del programa 70 años y Más, cuenten con mayor ingreso e integración social.

Que los adultos mayores, beneficiarios del programa 70 años y Más, cuenten con mayor ingreso e integración social.

Componentes

Apoyos monetarios entregados a los beneficiarios del Programa.

Apoyos económicos directos entregados.

Acciones de promoción y participación social realizadas con la intervención de los beneficiarios para mejorar su entorno social.

Acciones realizadas de promoción y participación social.

12

La MML establece que el Propósito debe ser un objetivo único.

68

Adultos mayores, beneficiarios del programa 70 años y Más.

Servicios y apoyos de Coordinación y Concertación Interinstitucional entregados.

Fuente: MIR 2008 Y 2009 del Programa 70 y Más

Indicadores De 2008 a 2009, a nivel de Fin, se mantuvo un indicador de percepción de mejora de las condiciones de vida. Al respecto debe remarcarse que los indicadores de percepción no son metodológicamente adecuados para medir resultados, debido a que dan cuenta de los atributos de los bienes y servicios que otorga el programa, no de los resultados permanentes alcanzados. A nivel de Propósito, de 2008 a 2009, desaparecieron tres indicadores, lo cual se consideró adecuado por tratarse de indicadores de cobertura que correspondían al nivel de Componentes. Se mantuvieron dos indicadores; uno de variación porcentual del ingreso y otro de inclusión social. El primero era tautológico, debido a que, si el bien entregado al beneficiario es un apoyo económico, es lógico esperar una variación positiva en el ingreso, por lo tanto, su resultado será siempre del 100% y no permitirá ver los resultados permanentes alcanzados por el programa. En cuanto al segundo indicador, no fue posible hacer una valoración pues no se contó con información suficiente sobre su método de cálculo ni sobre las variables consideradas, debido a ello y a la poca claridad del resumen narrativo no era posible determinar si era adecuado para medir el cumplimiento del Propósito. Una visión de los indicadores del fin y propósito del programa para los años 2008 y 2009 se tiene en Cuadro 6.

Cuadro 6. Indicadores de Fin y Propósito de la MIR de 70 y Más 2008-2009

Indicadores 2008 2009

Fin

Porcentaje de adultos mayores que perciben mejoría en sus condiciones de vida (Número de adultos mayores beneficiarios del Programa que perciben mejoría en sus condiciones de vida / Número de adultos mayores entrevistados) *100

Porcentaje de adultos mayores que perciben mejoría en sus condiciones de vida (Número de adultos mayores beneficiarios del Programa que perciben mejoría en sus condiciones de vida / Número de adultos mayores entrevistados) *100

Propósito

Variación porcentual promedio del ingreso de los hogares. (1-Ingreso per cápita promedio de los hogares de los beneficiarios en t1 / Ingreso per cápita promedio de los hogares de los beneficiarios en t0)*100

Índice de variación del ingreso de los adultos mayores. VIP= Variación porcentual promedio del ingreso de los hogares.

Índice de inclusión social IIS = Inclusión social

Índice de inclusión social IIS = Inclusión social

69

Cobertura del Programa respecto de la población potencial en localidades de hasta 30 mil habitantes. (Padrón Activo de Beneficiarios en localidades de hasta 30 mil habitantes / población potencial en localidades de hasta 30 mil habitantes)*100

Cobertura del Programa respecto de las localidades potenciales. (Número de localidades atendidas de hasta 30 mil habitantes / Número de localidades de hasta 30 mil habitantes potenciales )*100

Número de localidades de hasta 30 mil habitantes. Número de localidades atendidas de hasta 30 mil habitantes.

Fuente: MIR 2008 Y 2009 del Programa 70 y Más

4.2.3. Análisis 2009-2010 Resumen narrativo De 2009 a 2010, el Fin y el Propósito se mantuvieron sin cambio. En el Fin se tenían dos objetivos 1) abatir el rezago, y 2) fomentar la protección social, para los cuales no se tenía claridad sobre lo que representaban puesto que ni en la MIR ni en las ROP se estableció una definición. A nivel de Propósito, permanecieron los objetivos 1) incrementar el ingreso, y 2) mayor integración social, lo cual no correspondía con la sintaxis establecida por la MML. Para 2010, dada la poca claridad de los objetivos de Fin y de Propósito, no era posible determinar si el logro del Propósito contribuía al logro del Fin. A nivel de Componentes, se mantuvieron los Componentes 1 y 2 pero se modificó su redacción, por lo que no se cumplía con la sintaxis establecida por la MML que consiste en redactar los Componentes como bienes o servicios ya entregados. Asimismo, en el Componente 2 no era posible determinar a qué bienes y servicios entregados se refería, debido a que en la MIR no se especificó en qué consisten las acciones para aminorar el deterioro de la salud física y mental, ni para la protección social, de modo que era necesario recurrir a las ROP para conocer el quehacer del programa. Debido a lo anterior, y a la falta de claridad del Propósito, no era posible determinar si los Componentes son los necesarios y suficientes para su logro.

70

Los resúmenes narrativos del fin, propósito y componentes para 2010 pueden verse en el cuadro 7.

Cuadro 7. Resúmenes narrativos del Fin, Propósito y Componentes de la MIR de 70 y Más 2010

Resumen narrativo

2010

Fin Contribuir a abatir el rezago que enfrentan los adultos mayores, beneficiarios del programa 70 años y Más, mediante acciones orientadas a fomentar su protección social.

Propósito Que los adultos mayores, beneficiarios del programa 70 años y Más, cuenten con mayor ingreso e integración social.

Componentes

Entrega del apoyo económico directo.

Acciones para aminorar el deterioro de la salud física y mental y para la protección social.

Fuente: MIR 2010 del Programa 70 y Más

Indicadores A nivel de Fin, se mantuvo un indicador de percepción y se modificó su nombre de manera que fuera consistente con la fórmula de cálculo. Como se mencionó anteriormente, los indicadores de percepción no son metodológicamente adecuados para medir resultados pues dan cuenta de atributos de los bienes y servicios que otorga el programa, mas no de los resultados permanentes alcanzados. A nivel de Propósito, se eliminaron los dos indicadores de la MIR 2009 y se incluyeron tres indicadores, dos de percepción y otro absoluto de cobertura. De acuerdo con el comentario del párrafo anterior, los indicadores de percepción no son adecuados para medir resultados permanentes. Por otra parte, el indicador de “localidades atendidas” era un indicador de cobertura que también corresponde al nivel de Componentes debido a que proporciona información de los bienes y servicios entregados a la población objetivo. El indicador era absoluto, por lo que se debe tener en cuenta que por sí mismo el número de localidades atendidas proporcionaba poca información sobre la cobertura alcanzada si no se tiene una variable de referencia con la cual comparar el desempeño del programa; por ejemplo, las localidades atendidas respecto de las localidades potenciales de atender. De acuerdo con lo anterior, los indicadores propuestos a nivel de Propósito no se consideraron adecuados para medir su cumplimiento. Una visión de los indicadores de fin y propósito del programa para 2010 se observa en el cuadro 8

71

Cuadro 8. Indicadores de Fin y Propósito de 70 y Más 2010

Indicadores 2010

Fin

Porcentaje de adultos mayores que perciben mejoría en sus condiciones de vida respecto de los entrevistados. (Número de adultos mayores que perciben mejoría en sus condiciones de vida / Número de adultos mayores entrevistados)*100

Propósito

Número de localidades atendidas. Número de localidades atendidas.

Porcentaje de adultos mayores que perciben mejoría en sus ingresos respecto de los que perciben mejoría en determinados aspectos de sus condiciones de vida. (Número de adultos mayores que perciben mejoría en sus ingresos / Número de adultos mayores que perciben mejoría en algunos aspectos de sus condiciones de vida)*100

Porcentaje de adultos mayores que perciben mejoría en su protección social respecto de los que perciben mejoría en determinados aspectos de sus condiciones de vida. (Número de adultos mayores que perciben mejoría en su protección social / Número de adultos mayores que perciben mejoría en algunos aspectos de sus condiciones de vida)*100

Fuente: MIR 2010 del Programa 70 y Más

4.2.4. Análisis 2010-2011 Resumen narrativo De 2010 a 2011 se modificó el Fin del programa de manera que de los dos objetivos planteados para 2010 1) abatir el rezago y 2) fomentar la protección social, únicamente se conservó el segundo. Este objetivo cumple con la sintaxis de la MML. Si bien se especifica una definición de protección social en las ROP de 2011, ésta no se detalló en la MIR, por lo que el objetivo al cual se contribuye sigue siendo ambiguo, teniendo como referencia que, metodológicamente, la MIR debe ser un instrumento ejecutivo que proporcione información clara y puntual sobre el diseño del programa, tanto de los bienes y servicios que entrega, como de los resultados que busca alcanzar. A nivel de Propósito, se mantuvo el objetivo de 1) incrementar el ingreso, y se sustituyó el de 2) mayor integración social, por el de “aminorar el deterioro de su salud física y mental”. De acuerdo con esto, el Propósito de la MIR 2011 no cumplió con la sintaxis de la MML, debido a que no estaba expresado como un resultado ya logrado en la población objetivo13 y a que

13

Metodológicamente el Propósito debe redactarse como “población objetivo + resultado logrado”.

72

contaba con dos objetivos. Asimismo, en cuanto a los objetivos, como se mencionó anteriormente el primer objetivo era tautológico. Para 2011, la relación causal entre el Fin y el Propósito del programa no era clara, debido a que la definición de protección social especificada en las ROP era muy similar al Propósito de incrementar el ingreso y aminorar el deterioro de la salud física y mental; los dos objetivos planteados en el Propósito son muy similares a los dos componentes que se plantearon en la definición de protección social de 1) aseguramiento y 2) asistencia social. A nivel de Componentes, se mantuvieron los Componentes 1 y 2, pero se modificó su sintaxis para que corresponda con la de la MML. Cabe mencionar que en el Componente 2 no era posible determinar los bienes y servicios entregados debido a que en la MIR no se especificó en qué consistían las acciones para aminorar el deterioro de la salud física y mental o para la protección social. Asimismo, pareciera que se trata de dos Componentes: uno de acciones orientadas a la salud física y mental, y otro de acciones para fomentar la protección social. Debido a esto, se complicó establecer si los Componentes eran los necesarios y suficientes para el logro del Propósito. Los resúmenes narrativos del fin, propósito y componentes para 2011 pueden verse en el cuadro 9. Cuadro 9. Resúmenes narrativos de Fin, Propósito y Componentes de la MIR de 70 y Más 2011 Resumen narrativo

2011

Fin Contribuir a la protección social de los adultos mayores, beneficiarios del programa 70 años y Más.

Propósito Incrementar el ingreso de los adultos mayores, beneficiarios del programa 70 años y Más; así como aminorar el deterioro de su salud física y mental.

Componentes

Apoyos económicos directos entregados.

Acciones realizadas para aminorar el deterioro de la salud física y mental o para la protección social.

Fuente: MIR 2011 del Programa 70 y Más

Indicadores A nivel de Fin se mantuvo un indicador de percepción. Como ya se ha expresado, los indicadores de percepción no son metodológicamente adecuados para medir resultados debido a que dan cuenta de atributos de los bienes y servicios otorgados por el programa, más no de los resultados permanentes alcanzados. A nivel de Propósito, se mantuvieron tres indicadores, dos de percepción y otro absoluto de cobertura. Al igual que en la MIR 2010, los indicadores de percepción medían el porcentaje de

73

adultos mayores que perciben una mejora en sus ingresos y en su salud física y mental, y sólo modificaron la población con respecto de la cual se compara la variable del programa. En 2010 esta variable era el total de adultos mayores que percibían una mejora en sus condiciones de vida, mientras que en 2011, era el total de adultos mayores entrevistados. Se reitera que los indicadores de percepción no son adecuados para medir resultados permanentes. Se mantuvo también el indicador de localidades atendidas, un indicador de cobertura corresponde al nivel de Componentes, pues proporciona información de los bienes y servicios entregados a la población objetivo. El indicador era absoluto, por lo que proporcionaba poca información sobre la cobertura alcanzada al no tener una variable de referencia con la cual comparar el desempeño del programa; por ejemplo, localidades atendidas respecto de las localidades potenciales de atender. De acuerdo con lo anterior, los indicadores de Propósito no se consideraron adecuados para medir su cumplimiento. Una visión de los indicadores de fin, propósito y componente del programa para 2011 se tiene en el cuadro 10

Cuadro 10. Indicadores de Fin y Propósito de la MIR de 70 y Más 2011

Indicadores 2011

Fin

Porcentaje de adultos mayores que perciben mejoría en sus condiciones de vida respecto de los entrevistados (Número de adultos mayores que perciben mejoría en sus condiciones de vida / Número de adultos mayores entrevistados)*100

Propósito

Localidades atendidas. Número de localidades atendidas.

Porcentaje de adultos mayores que perciben mejoría en sus ingresos respecto de los entrevistados. (Número de adultos mayores que perciben mejoría en sus ingresos / Número de adultos mayores entrevistados)*100

Porcentaje de adultos mayores que perciben mejoría en su salud física y mental respecto de los entrevistados. (Número de adultos mayores que perciben mejoría en su salud física y mental / Número de adultos mayores entrevistados) *100

Fuente: MIR 2011 del Programa 70 y Más

4.2.5. Análisis 2011-2012 Resumen narrativo De 2011 a 2012, se mantuvo el Fin del programa de contribuir a la protección social de los adultos mayores. Este objetivo cumple con la sintaxis de la MML. Sin embargo, si bien se

74

especifica una definición de protección social en las ROP de 2012, ésta no se detalló en la MIR, por lo que el objetivo al cual se contribuye sigue siendo ambiguo teniendo como referencia que, metodológicamente, la MIR debe ser un instrumento ejecutivo que proporcione información clara y puntual sobre el diseño del programa, tanto de los bienes y servicios entregados, como de los resultados que busca alcanzar. Asimismo, se debía tener en cuenta que el concepto de protección social es más amplio que el que usa el programa y que está especificado en las ROP. Esto se retomará con mayor detalle en la sección de Análisis del resumen narrativo de la Matriz de Indicadores para Resultados 2012. A nivel de Propósito, se mantuvo el objetivo de 1) incrementar el ingreso y de 2) aminorar el deterioro de su salud física y mental. Este Propósito no cumplía con la sintaxis de la MML, debido a que no estaba expresado como un resultado ya logrado en la población objetivo y a que contaba con dos objetivos. Al igual que en 2011, la relación causal entre el Fin y el Propósito del programa no era clara, debido a que la definición de protección social especificada en las ROP era muy similar al Propósito de incrementar el ingreso y aminorar el deterioro de la salud física y mental. Los dos objetivos planteados en el Propósito eran muy similares a los dos Componentes que se plantean en la definición de protección social de 1) aseguramiento y 2) asistencia social. A nivel de Componentes, se mantuvo el Componente 2 y se modificó el Componente 1 para especificar que el apoyo puede ser también para la incorporación de los beneficiarios a los servicios financieros. Esto último parecía corresponder más bien a una Actividad, debido a que el producto final que se entrega al beneficiario sigue siendo el apoyo económico, ya sea de manera directa o mediante servicios financieros. Asimismo, en el Componente 2 no era posible identificar los bienes y servicios entregados debido a que en la MIR no se especificó en qué consistían las acciones para aminorar el deterioro de la salud física y mental ni para la protección social. Asimismo, parecía que se trataba de dos componentes: uno de acciones orientadas a la salud física y mental, y otro de acciones para la protección social. Derivado de lo anterior, no era posible determinar si los bienes y servicios entregados por el programa son los suficientes y necesarios para el logro del Propósito. Los resúmenes narrativos del fin, propósito y componentes para 2012 pueden verse en el cuadro 11.

Cuadro 11. Resúmenes narrativos del Fin, Propósito y Componentes de la MIR de 70 y Más 2012

Resumen narrativo

2012

75

Fin Contribuir a la protección social de los adultos mayores de 70 años y Más.

Propósito Incrementar el ingreso de los adultos mayores de 70 años y Más, así como aminorar el deterioro de su salud física y mental.

Componentes

Apoyos económicos directos o para la incorporación a los beneficiarios a servicios financieros entregados.

Acciones realizadas para aminorar el deterioro de la salud física y mental o para la protección social.

Fuente: MIR 2012 del Programa 70 y Más

Indicadores A nivel de Fin, se mantuvo un indicador de percepción. Al respecto es necesario reiterar que los indicadores de percepción no son metodológicamente adecuados para medir resultados debido a que dan cuenta de atributos de los bienes y servicios que otorga el programa, no de los resultados permanentes alcanzados. A nivel de Propósito, se mantuvieron los indicadores de la MIR 2011: dos de percepción y otro absoluto de cobertura. De acuerdo con el comentario del párrafo anterior, los indicadores de percepción no son los adecuados para este nivel de la MIR pues no miden resultados permanentes. Se mantuvo también el indicador de localidades atendidas, un indicador de cobertura que correspondía al nivel de Componentes, debido a que proporciona información de los bienes y servicios entregados a la población objetivo. El indicador era absoluto, por lo que por sí mismo el número de localidades atendidas proporcionaba poca información sobre la cobertura alcanzada al no tener una variable de referencia, con la cual comparar el desempeño del programa; por ejemplo, localidades atendidas respecto de las localidades potenciales de atender. De acuerdo con lo anterior, los indicadores de Propósito no se consideran adecuados para medir su cumplimiento. Una visión de los indicadores de fin y propósito del programa para 2012 se tiene en el cuadro 12

Cuadro 12. Indicadores de Fin y Propósito de la MIR de 70 y Más 2012

Indicadores 2012

Fin

Porcentaje de adultos mayores que perciben mejoría en sus condiciones de vida respecto de los entrevistados. (Número de adultos mayores que perciben mejoría en sus condiciones de vida / Número de adultos mayores entrevistados)*100

76

Propósito

Localidades atendidas. Número de localidades atendidas.

Porcentaje de adultos mayores que perciben mejoría en sus ingresos respecto de los entrevistados. (Número de adultos mayores que perciben mejoría en sus ingresos / Número de adultos mayores entrevistados)*100

Porcentaje de adultos mayores que perciben mejoría en su salud física y mental respecto de los entrevistados. (Número de adultos mayores que perciben mejoría en su salud física y mental / Número de adultos mayores entrevistados) *100

Fuente: MIR 2012 del Programa 70 y Más

4.3. Principales comentarios a la Matriz de Indicadores 2007-2012 En esta sección se hace un resumen de los principales comentarios emitidos a la MIR del Programa 70 y Más de 2007 a 2012 por evaluadores externos y por el Coneval, los cuales fueron rescatados de la documentación proporcionada para esta Meta evaluación14. Los comentarios se presentan primero del Fin, posteriormente del Propósito, después de los Componentes y finalmente se presentan los comentarios que se identificaron como generales. Los resultados aquí presentados reflejan lo encontrado en la citada evaluación en el momento en que se llevó a cabo y no necesariamente siguen vigentes o reflejan la opinión del Meta-evaluador. Cuando se establece que “No se cuenta con comentarios”, significa que no se identificaron comentarios realizados por los actores mencionados en los documentos revisados. 4.3.1. Fin A continuación se describirán los principales comentarios de las diversas evaluaciones a nivel Fin de la MIR de 2007 a 2012.

14

Para el Programa 70 y más e revisaron los siguientes documentos proporcionados al metaevaluador:

Comentarios a la MIR emitidos por el CONEVAL

Evaluación de Consistencia y Resultados 2007 del Programa de Atención a Adultos Mayores en Zonas Rurales

Evaluación de Consistencia y Resultados 2011 del Programa 70 y más

Evaluación de Diseño del Programa adultos mayores de 70 años y más en zonas rurales

Evaluación Específica de Desempeño 2008-2009 del Programa 70 y más

Evaluación Específica de Desempeño 2009-2010 del Programa 70 y más

Evaluación Específica de Desempeño 2010-2011 del Programa 70 y más

Histórico de Aspectos Susceptibles de Mejora

Informe de sesiones de mesa técnica de revisión de indicadores del Programa 70 y más

77

Principales comentarios MIR 2007 – Fin Resumen narrativo:

No era claro que el Fin corresponda a la solución del problema, debido a que el problema no estaba claramente identificado y a que el objetivo planteado en el resumen narrativo era ambiguo.

Si el problema se definía, según las ROP, como las escasas posibilidades de contar con una fuente de ingresos, entonces el Fin (“…contribuir a mejorar las condiciones de vida”) era más amplio que el problema a atender. El término “condiciones de vida” es un concepto multidimensional que involucra empleo, vivienda, características del hogar, servicios de salud y condiciones del entorno.

Si el problema se definía, según el árbol de problemas, como “los adultos mayores con dificultades para superar las condiciones precarias de vida”, entonces sí había correspondencia entre el Fin y el problema; aun cuando todavía quedan por resolver las indefiniciones del concepto “condiciones de vida”. En cualquiera de los casos el Fin era una solución parcial.

El supuesto al nivel de Fin no era válido, debido a que los factores externos que incidirían en la sostenibilidad de los beneficios que se esperan del Programa no estaban bien precisados, como consecuencia de la indefinición del Fin.

Indicadores:

El indicador no era relevante debido a que sólo consideraba el gasto en alimentos, lo cual no era suficiente para estimar la contribución del programa a mejorar las condiciones de vida; y por tanto, no era adecuado, ya que no medía un parámetro importante para la evaluación del impacto del programa. El medio de verificación propuesto era la ENAM 2006, que ya no sería levantada; por lo que era necesario establecer otro medio de verificación o bien otro indicador.

Se sugirió que a nivel de Fin, los indicadores de impacto que se propusieran midieran la contribución del programa a la solución del problema de los adultos mayores o a la consecución de los objetivos estratégicos de la Sedesol. Se sugirió definir indicadores de eficacia.

Principales comentarios MIR 2008 – Fin

Resumen narrativo:

El Fin no estaba claramente definido. Indicadores

El indicador era impreciso, ya que se desconoce en qué aspectos los beneficiarios del programa percibían mejoría en sus condiciones de vida.

Se recomendó contar con indicadores que compararan la situación de los beneficiarios con la de la población no atendida por el programa, y de esa forma medir su impacto.

Era necesario que en este nivel se midieran resultados o impacto, y no solamente la percepción de los beneficiarios.

El indicador debía estar asociado a una meta para establecer comparaciones.

78

Se recomendó ser preciso en los medios de verificación y detallar la fuente e institución responsable, donde se pudiera consultar la información.

Principales comentarios MIR 2009 – Fin

Resumen narrativo:

Se recomendó especificar el rezago a que apunta el programa. Indicadores

El indicador era relevante porque captaba la percepción del adulto mayor sobre los aspectos de su vida que han mejorado desde que era beneficiario del Programa (alimentación, salud, relaciones familiares y con otros miembros de la comunidad). Era pertinente y confiable porque medía el impacto del Programa en su población objetivo. Se midió a partir de la Evaluación de Impacto.

En cuanto al objetivo de que el adulto mayor cuente con mayor protección social, se recomendó incluir indicadores que permitan cuantificar en qué ámbitos de su desarrollo se había incidido para promover su protección social (personal, familiar o comunitario).

Principales comentarios MIR 2010 – Fin

Resumen narrativo:

No se cuenta con comentarios. Indicadores:

El indicador de Fin se obtuvo de la Encuesta de Satisfacción de Beneficiarios y permitía reflejar el porcentaje de adultos mayores que perciben mejoría en sus condiciones de vida.

Principales comentarios MIR 2011 – Fin

Resumen narrativo:

Se recomendó analizar la pertinencia del actual objetivo, dado que, en principio, éste parecía estar más relacionado con el sector salud que con el de desarrollo social. Asimismo, se consideró que el objetivo estaba fuera del alcance del programa. Se señaló que la protección social depende de un conjunto de estrategias y de la coordinación con otras dependencias con las que no contaba el programa. Como adecuación, se recomendó establecer el árbol de problemas y objetivos, y definir con mayor precisión los objetivos del programa.

Se invitó al programa a precisar mejor los objetivos actuales de su matriz de indicadores. Una vez definidos con mayor precisión y mejor acotados, se recomendaba analizar cuáles eran los factores importantes de éstos y, con base en ello, establecer los indicadores de desempeño adecuados.

A nivel de resultados, no era posible identificar la forma en que el programa lograba solucionar la problemática central que le dio origen, puesto que los objetivos planteados tanto a nivel de Fin como de Propósito eran ambiguos. Derivado de lo anterior, los indicadores de la matriz no lograban medir la amplitud que tienen los objetivos a nivel de resultados, por lo que no era posible dar seguimiento a los logros y al impacto del programa.

Indicadores:

79

El indicador era pertinente dado que tenía correspondencia con un factor importante del objetivo: la protección social. No obstante, el indicador era de percepción, lo que no se considera apropiado a nivel de resultados, sino de Componentes.

El indicador no era relevante dado que no medía el logro del objetivo. El objetivo que tenía establecido el programa se refería a la protección social, que e una definición amplia y compleja que no puede ser cuantificada por la percepción de las personas. Los indicadores de percepción no se consideran indicadores apropiados a nivel de Fin ni de Propósito; por este motivo se recomendó al programa mejorar el actual indicador o complementarlo con algún otro más objetivo.

El indicador era claro dado que el nombre, la definición y su método de cálculo eran coherentes entre sí. Asimismo, no se presentaban ambigüedades en las definiciones o términos empleados.

El indicador era monitoreable siempre y cuando estuviera disponible la información de los encuestados. Si era así, el indicador podía ser sujeto a una comprobación independiente y apropiada.

El indicador era económico dado que la encuesta formaba parte del proceso de seguimiento necesario que realiza el programa. Por lo anterior, la aplicación de la encuesta y la generación de la información no representaban un costo adicional a la operación del programa.

Los indicadores de percepción no se recomiendan a nivel de Fin, por lo que era necesario que el programa incorporara un indicador más objetivo que éste.

Principales comentarios MIR 2012 – Fin

Resumen narrativo:

No se cuenta con comentarios. Indicadores:

No se cuenta con comentarios.

4.3.2. Propósito

A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel Propósito de la MIR de 2007 a 2012.

Principales comentarios MIR 2007 – Propósito

Resumen narrativo:

No era claro que el Propósito correspondiera a la solución del problema, debido a que el problema no estaba claramente identificado y que el objetivo planteado en el resumen narrativo era ambiguo.

Si el problema eran las escasas posibilidades de una fuente de ingresos, el Propósito era más amplio, porque hacía referencia a recursos, cuya definición iba más allá del ingreso. Si el problema hubiera sido superar las condiciones precarias de vida de los adultos mayores, cabía la posibilidad de que una mayor disponibilidad de recursos pueda

80

contribuir a solucionarlo. No obstante, era necesario especificar cuáles eran los recursos; para saber si éstos tenían impacto en las condiciones de vida. En cualquiera de los casos se trata de una solución parcial.

Para que haya claridad en la forma como el Propósito contribuye al logro del Fin, era necesario precisar los términos "recursos" y "condiciones de vida”.

Se propuso mover el Supuesto "La cámara de Diputados aprueba los recursos económicos suficientes para que el número de beneficiarios del programa se mantenga", a nivel de Actividad.

Indicadores:

El indicador no era relevante, debido a la falta de especificidad en el concepto recursos. Los indicadores deberán permitir que se cuantifique los efectos intermedios y finales de la utilización de los Componentes en la población objetivo. Los indicadores a definir eran de eficacia y eficiencia.

Principales comentarios MIR 2008 – Propósito

Resumen narrativo:

El Propósito no estaba claramente definido. Indicadores:

Variación porcentual promedio del ingreso de los hogares. De acuerdo con su método de cálculo debía llamarse “Variación porcentual promedio del ingreso per cápita de los hogares de los beneficiarios”. Se señaló que el indicador no consideraba factores como la inflación o la disminución o el incremento en los ingresos de los hogares por razones ajenas a la intervención del programa, lo cual podía arrojar una visión distorsionada de su impacto económico.

En lo que se refiere al impacto de los apoyos económicos en el ingreso de los hogares se señaló que era preferible medirlo directamente, es decir, en qué proporción contribuyó el apoyo económico otorgado por el programa al incremento en el ingreso de los hogares en el año t1 respecto del año t0; esto independientemente de que haya aumentado o disminuido el número de miembros o los ingresos totales entre un año y otro. De otra manera habría que considerar estos factores, así como los efectos inflacionarios generados después de 2 años. Otra alternativa era medir el cambio sólo en los ingresos de los beneficiarios.

Índice de inclusión social. No se indicó el método de cálculo y lo que implicarían los valores que pudiera tomar el índice.

Cobertura del Programa respecto de la población potencial en localidades de hasta 30 mil habitantes. Parece ser de nivel de Componente. El concepto utilizado en cada variable debe ser autoexplicativo. Si era necesario, colocar una nota breve aclaratoria.

Cobertura del Programa respecto de las localidades potenciales. Parece ser de nivel de Componente. El concepto utilizado en cada variable debe ser autoexplicativo. Si era necesario, colocar una breve nota aclaratoria.

Número de localidades de hasta 30 mil habitantes. Parece ser de nivel de Componente. El concepto utilizado en cada variable debe ser autoexplicativo. Si era necesario, colocar una breve nota aclaratoria.

81

Principales comentarios MIR 2009 – Propósito

Resumen narrativo:

Era necesario plantear los medios de verificación precisos, y, en su caso, las fuentes adecuadas de acceso para que existiera la posibilidad de replicar las estimaciones.

Indicadores:

Índice de variación del ingreso de los adultos mayores. El indicador era relevante porque mide la eficacia del Programa para cumplir con el Propósito de aumentar el ingreso de los adultos mayores, mediante la entrega de apoyos económicos directos. Con fines de claridad, se recomendó cambiar el nombre para que fuera congruente con su método de cálculo.

Se recomendó que las fichas técnicas incluyeran las variables que intervenían en su

diseño.

Índice de inclusión social. El indicador era relevante y pertinente para medir el nivel de protección social al adulto mayor, por medio de la construcción de redes sociales. Era necesario establecer la fórmula de cálculo. Asimismo, el concepto utilizado en cada variable debía ser autoexplicativo. Si era necesario, colocar una nota breve aclaratoria.

Por último, se sugirió incorporar metas específicas de acuerdo con el objetivo del Propósito.

Principales comentarios MIR 2010 – Propósito

Resumen narrativo:

No se cuenta con comentarios. Indicadores:

Número de localidades atendidas. Se sugirió revisar la pertinencia como indicador de Propósito, ya que no refleja resultados en términos del incremento en el ingreso y protección social de los adultos mayores.

Principales comentarios MIR 2011 – Propósito

Resumen narrativo:

La redacción del objetivo no era apropiada dado que se presentaban dos objetivos: incrementar el ingreso y aminorar el deterioro de la salud. Se recomendó que el programa volviera a analizar el árbol de problemas y el árbol de efectos para la construcción de sus objetivos.

Indicadores:

Localidades atendidas. El indicador no era pertinente dado que no tenía relación con el objetivo establecido en el resumen narrativo (incrementar el ingreso o mejorar la salud). El actual indicador se refería a la cobertura por número de localidades atendidas, y presentaba dos dificultades: 1) los indicadores representan la relación entre dos o más variables (un número no es un indicador dado que no tiene un punto de comparación), y 2) los indicadores de cobertura no se recomiendan a nivel de Propósito.

82

El indicador no era relevante dado que no medía el cumplimiento del objetivo. Si el objetivo era incrementar el ingreso de las personas, no se podía decir que se ha cumplido sólo contabilizando el número de localidades atendidas.

El indicador era claro en su diseño dado que el nombre, la definición y el método de cálculo eran coherentes entre sí. Asimismo, no se presentaban ambigüedades ni términos técnicos que dificulten su construcción.

El indicador era monitoreable dado que podía ser sujeto a una comprobación independiente, siempre y cuando los medios de verificación establecidos fueran los correctos.

El indicador era económico dado que la información necesaria para generar el indicador dependía de la información que el programa recopila como parte del proceso de operación. Por ello, no se consideró que el indicador representara un costo adicional a la operación del programa.

Se señaló que era injusto medir el programa por el número de localidades, dado que, muchas veces, cuestiones relacionadas al presupuesto dificultan el incremento de la atención que se ofrece. Asimismo, se recomendó utilizar indicadores de cobertura a nivel de Componente, no a nivel de resultado.

Porcentaje de adultos mayores que perciben mejoría en sus ingresos respecto de los entrevistados. El indicador era pertinente, dado que tenía correspondencia con el objetivo establecido (incrementar el ingreso de la población objetivo). Cabe señalar que el programa podía implementar un indicador más objetivo sobre la mejora del ingreso en lugar de la percepción.

El indicador no era relevante, dado que el objetivo no permitía medir el cumplimiento del objetivo establecido. Los indicadores de percepción no se recomiendan a nivel de Fin ni de Propósito, ya que no son medidas objetivas que dan solución a problemáticas específicas. El programa debía considerar la utilización de información más concreta sobre la mejora del ingreso, si éste es el problema que pretendía solucionar.

El indicador era claro en su diseño dado que el nombre, la definición y el método de cálculo eran coherentes entre sí. Asimismo, no se presentan ambigüedades ni términos técnicos que dificultaran su construcción.

El indicador era monitoreable, siempre y cuando esté disponible la información de los encuestados. Si era así, el indicador puede ser sujeto a una comprobación independiente apropiada.

El indicador era económico dado que la encuesta forma parte del proceso de seguimiento necesario que realiza el programa. Por lo anterior, la aplicación de la encuesta y la generación de la información no representaban un costo adicional a la operación del programa.

Porcentaje de adultos mayores que perciben mejoría en su salud física y mental respecto de los entrevistados. El indicador no era pertinente dado que no tenía correspondencia con los factores fundamentales del objetivo (incrementar el ingreso de la población objetivo). Sin embargo, el indicador se refería a la percepción en la mejora de la salud física y mental de la población beneficiaria.

83

El indicador no era relevante, dado que no medía el cumplimiento del objetivo. Se recomendó que el programa analizara cuidadosamente la razón de colocar este indicador a nivel de Propósito.

El indicador era claro en su diseño, dado que el nombre, la definición y el método de cálculo eran coherentes entre sí. Asimismo, no se presentaban ambigüedades ni términos técnicos que dificulten su construcción.

El indicador era monitoreable, siempre y cuando estuviera disponible la información de los encuestados. Si era así, el indicador podía ser sujeto a una comprobación independiente y apropiada.

El indicador era económico, dado que la encuesta formaba parte del proceso de seguimiento necesario que realiza el programa. Por lo anterior, la aplicación de la encuesta y la generación de la información no representaban un costo adicional a la operación del programa.

El indicador no se encontraba directamente relacionado con el objetivo. Por lo anterior, y como adecuación al actual indicador, se recomendó mover este indicador a nivel de Componente.

Principales comentarios MIR 2012 – Propósito

Resumen narrativo:

No se cuenta con comentarios. Indicadores:

No se cuenta con comentarios. 4.3.3. Componentes A continuación se describirán los principales comentarios de las distintas evaluaciones a nivel Componentes de la MIR de 2007 a 2012.

Principales comentarios MIR 2007 – Componentes Resumen narrativo:

Aun cuando existía una relación lógica entre dar recursos y mejorar las condiciones de vida, ésta era una respuesta parcial a la solución del problema. Con la entrega del apoyo económico se mejora la alimentación y el acceso a otros satisfactores básicos, pero no se garantiza que se mejoren las condiciones de vida; por lo tanto, no quedaba claro si los Componentes son necesarios y suficientes en el logro del Propósito.

En el contexto señalado, el Componente 1 era necesario para lograr el Propósito, debido a que el incremento en los ingresos de los beneficiarios influye en que cuenten con mayores recursos.

En el Componente 2, la red instalada no era un bien o servicio entregado por el Programa, por lo que no podía ser un Componente. El planteamiento incorrecto del segundo Componente no permitió analizar si los supuestos permitirán el logro del Propósito.

84

Principales comentarios MIR 2008 – Componentes Resumen narrativo:

La falta de una definición clara de Propósito y Fin no permitió conocer si este Componente es necesario y suficiente para el logro del Propósito.

Principales comentarios MIR 2009 – Componentes

Resumen narrativo:

Para todos los Componentes era necesario plantear los medios de verificación precisos y, en su caso, las fuentes adecuadas de acceso para que exista la posibilidad de replicar las estimaciones.

Principales comentarios MIR 2010 – Componentes Resumen narrativo:

No se cuenta con comentarios. Principales comentarios MIR 2011 – Componentes

Resumen narrativo:

No se cuenta con comentarios. Principales comentarios MIR 2012 – Componentes

Resumen narrativo:

No se cuenta con comentarios.

4.3.4. Comentarios generales En esta sección se hace un recuento de los comentarios generales en el resumen narrativo e indicadores que han hecho a la MIR de 2007 a 2012 del Programa 70 y Más, para ello se identifican los comentarios de las diversas evaluaciones para cada periodo. Principales comentarios MIR 2007

Resumen narrativo:

La lógica vertical del programa no era clara y no se podía validar en su totalidad. El Componente 2, el Propósito y el Fin no estaban bien definidos, y el problema que atiende el programa no está claro ni bien definido.

Los cambios sugeridos al programa se enfocaban en definir e identificar claramente el problema que atiende, en elaborar un diagnóstico que sustente la problemática planteada y en definir claramente su Fin y su Propósito.

La lógica horizontal de la MIR no se validó en su totalidad, debido a que no todos los indicadores eran relevantes y adecuados a nivel de Fin, Propósito y Actividades.

Los medios de verificación estaban correctamente expresados; sin embargo, en la ficha técnica faltaba precisión en lo concerniente al tamaño de muestras —en el caso de las fuentes de información que requerían de encuestas—, y en la definición sobre el estudio de línea base.

85

Indicadores:

No todos los indicadores eran claros, relevantes, económicos, adecuados y monitoreables.

Los indicadores aún no contaban con una línea base, pero si se había definido su temporalidad.

Principales comentarios MIR 2008

Resumen narrativo:

Se identificó que en el Mecanismo 2008 de los Aspectos Susceptibles de Mejora (ASM), el programa se comprometió a mejorar el diagnóstico del programa a fin de establecer con claridad el problema que el programa debe contribuir a resolver. Para ello, durante 2008, la Dirección General de Atención a Grupos Prioritarios participó en la elaboración del Diagnóstico del Programa del cual se deriva el árbol de problemas y objetivos, dando origen a la MIR 2009.

En ese mismo Mecanismo, el programa se comprometió a establecer claramente el diseño del programa en las ROP y la MIR, vinculando el diseño con el problema que el programa contribuye a resolver por medio de objetivos claros y alineados; para lo cual, durante el 2008, la MIR fue rediseñada. Asimismo las ROP 2009 se vinculan con la MIR.

Indicadores:

Los indicadores estratégicos no estaban claramente definidos. En general, no permitían valorar adecuadamente los impactos y resultados esperados del programa. Para corregir las imprecisiones de los indicadores era recomendable clarificar los impactos y los resultados esperados. Por ejemplo, qué aspectos de la calidad de vida y de la inclusión social se querían valorar.

Principales comentarios MIR 2009

Resumen narrativo:

La MIR tenía un vínculo congruente con sus objetivos y diseño, aunque aún es posible mejorarlas.

Indicadores:

Los indicadores desarrollados en 2009 daban cuenta correctamente de los avances en los resultados del Programa y tenían un nexo congruente con las ROP del mismo año. Cumplían también con los criterios de comparabilidad, relevancia y economía. Los indicadores de los niveles de Fin y de Propósito eran relevantes y pertinentes.

Todos los indicadores alcanzaron su meta, y algunos la rebasaron ampliamente. Dada la capacidad del Programa para cumplir con sus metas, se recomendó revisar los criterios y la pertinencia de fijar metas con valores más altos.

se recomendó continuar trabajando para mejorar el conjunto de indicadores que reflejen de manera integral y fiel los resultados y avances del programa.

Principales comentarios MIR 2010

Resumen narrativo:

86

Se identificó que en el Mecanismo 2010 de los ASM, el programa se comprometió a continuar con el proceso de mejora de la MIR, documentando la solidez técnica de los indicadores, su relevancia, el establecimiento de líneas de base y metas, para lo cual se iban a realizar las siguientes acciones:

o Fomentar que en las revisiones y comentarios a las MIR, que realicen las instancias correspondientes (SHCP, SFP, Coneval, Inmujeres, ASF, etc.), se considere la documentación técnica disponible, a fin de que las propuestas de mejora sean factibles técnica y económicamente.

o Definir, en coordinación con las áreas involucradas, el proceso interno de mejora de MIR del ejercicio fiscal 2011, a fin de que se lleve a cabo de manera ordenada y conforme a la normatividad.

o Fomentar las mejoras en el diseño de indicadores del ejercicio fiscal correspondiente a través de 1) comentarios y recomendaciones a las fichas técnicas de la MIR, y 2) documentación de aspectos relacionados con la calidad de los indicadores en notas o fichas complementarias, con base en la información disponible.

Indicadores:

Se recomendó seguir trabajando en la mejora gradual de los indicadores de Fin y de Propósito en la MIR, aprovechando la simplificación de los objetivos generales y específicos para 2011. Hasta el momento, los indicadores utilizados eran de percepción de los beneficiarios, lo cual podía representar un reto logístico para obtener la información periódicamente y debilidades metodológicas que podían afectar la consistencia de los indicadores. En este sentido, sería relevante identificar mecanismos de seguimiento alternativos para captar información de los beneficiarios.

Se sugirió buscar indicadores de Fin y de Propósito que reflejaran de manera más concreta los resultados en materia de acceso a la protección social de los adultos mayores.

Principales comentarios MIR 2011

Resumen narrativo:

Se identificó que en el Mecanismo 2011 de los ASM, el programa se comprometió a establecer metas retadoras y factibles de alcanzar para todos los indicadores de la MIR 2011. Se estableció que ya se atendió este ASM.

Algunas de las actividades, todos los Componentes, el Propósito y el Fin de la MIR se identificaron en las ROP o en el documento normativo del programa.

Indicadores:

No se cuenta con comentarios. Principales comentarios MIR 2012

Resumen narrativo: Se identificó que en el Mecanismo 2011 de los ASM, el programa se comprometió a

establecer metas retadoras y factibles de alcanzar para todos los indicadores de la MIR 2012. Se estableció que ya se atendió este ASM.

87

4.4. Análisis de los resúmenes narrativos de la MIR 2012

En esta sección el Metaevaluador hace un análisis de la MIR 2012 y de su correspondencia con las ROP de ese año para los niveles de Fin, Propósito y Componentes. También, se presentan las propuestas de mejora para la MIR 2013 del resumen narrativo y de los indicadores de Fin y de Propósito.

4.4.1. Análisis de la MIR 2012 y vinculación con las ROP Fin En la MIR 2012, el Fin planteado cumple con la sintaxis establecida en la MML y es congruente con el objetivo general de las ROP. Cabe mencionar que, si bien se especifica una definición de protección social en las ROP de 2012, ésta no se detalla en la MIR, por lo que el objetivo al cual se contribuye sigue siendo ambiguo, teniendo como referencia que, metodológicamente, la MIR debe ser un instrumento ejecutivo que proporcione información clara y puntual sobre el diseño del programa, tanto de los bienes y servicios que entrega, como de los resultados que busca alcanzar. Asimismo, es necesario tener en cuenta que el concepto de protección social es más amplio que el que usa el programa y que está especificado en las ROP. Las definiciones comúnmente aceptadas de protección social en la literatura especializada hacen referencia a la cobertura de los riesgos y necesidades asociados con la enfermedad, atención sanitaria, invalidez, discapacidad, vejez, responsabilidades de los padres, muerte, desocupación, vivienda y exclusión social. (Véase ESSPROS 2011 y Núñez y Espinosa, 2005). En esta línea, dado que el programa no contempla acciones de aseguramiento, sino sólo de asistencia social, se recomienda remplazar el concepto de "protección social" por el de "vulnerabilidad", de esta manera, la contribución del programa al logro del Fin será más directa y significativa que al logro de la protección social. Por lo tanto, el resumen narrativo a nivel de Fin debería estar asociado a disminuir la vulnerabilidad de la población objetivo. Propósito A nivel de Propósito, se tienen dos objetivos: 1) incrementar el ingreso, y 2) aminorar el deterioro de su salud física y mental. Este Propósito no cumple con la sintaxis de la MML, debido a que no está expresado como un objetivo único ni como un resultado ya logrado en la población objetivo, por lo cual no es apropiado. Asimismo, la población objetivo definida en el Propósito no es congruente con la población objetivo identificada en las ROP 2012. Mientras que en la MIR se identifica como “adultos mayores de 70 años”, en las ROP se señala como “personas de 70 años de edad o Más que no reciban ingresos por concepto de pago de jubilación o pensión”.

88

Adicionalmente, la aminoración del deterioro físico y mental es propiamente un impacto a nivel de Fin, y no de Propósito; por lo que se sugiere cambiar la variable por la de acceso a servicios y acciones de salud. Por otro lado, desde su creación hasta la fecha, el programa ha dado prioridad a los adultos mayores que viven en localidades de alta concentración de pobreza, primero sólo rurales y luego también urbanas; por lo tanto la definición de la población objetivo debe incluir también la característica de pobreza, además de las que ya contiene. Componentes Si bien los Componentes están alineados con las ROP, en la MIR no es claro cuáles son los bienes y servicios específicos que otorga el programa en el Componente de "acciones realizadas para aminorar el deterioro de la salud física y mental o para la protección social”, sino que es necesario recurrir a las ROP para conocer el quehacer del programa. Esto representa una inconsistencia metodológica, debido a que la MIR debe ser un instrumento ejecutivo que permita identificar de manera clara y puntual, sobre el diseño del programa, tanto los bienes y servicios que entrega, como los resultados que busca alcanzar. Asimismo, Los Lineamientos para la vinculación de la Matriz de Indicadores para Resultados y las Reglas de Operación de los programas correspondientes15, establecen que los tipos de apoyo establecidos en el apartado de “características de los apoyos” de las ROP deberán corresponder en relación uno a uno, a los Componentes de la MIR. Según los comentarios a nivel de Propósito y de Componentes, éstos últimos no se consideran suficientes para lograr el objetivo de “aminorar el deterioro físico y mental”. Los Componentes son suficientes para lograr el objetivo de “incrementar el ingreso”; sin embargo, este objetivo es tautológico, pues el cambio es inmediato al recibir el apoyo del programa.

4.4.2. Propuesta de mejoras para MIR 2013: Fin y Propósito

Con base en el análisis de los resúmenes narrativos de la MIR 2012, a continuación se presentan algunas propuestas de mejora a nivel Fin y Propósito, para la MIR 2013.

Fin “Contribuir a la disminución de la vulnerabilidad y el deterioro de la salud física y mental de los adultos de 70 años y Más que no reciben pago por jubilación o pensión contributiva”.

Propósito “Los adultos mayores de 70 años y más que no reciben pago por jubilación o pensión contributiva incrementan sus ingresos y cuidan mejor su salud física y mental.”

15

Oficio circular No. 307-A.-2009 y No. VQZ.SE.284/08

89

4.5. Análisis de los indicadores de la MIR 2012

En esta sección se valoran los indicadores de Fin y Propósito de la MIR 2012. 4.5.1. Indicadores de la MIR 2012 Fin Los cambios en los indicadores a nivel de Fin que se han hecho de 2007 a 2012 no responden a los comentarios más importantes realizados por las diversas instancias, especialmente a los de Coneval, en el sentido de la falta de pertinencia y relevancia del indicador actual. Por otro lado, el indicador de percepción de la mejoría en las condiciones de vida no mide un factor relevante ni guarda una relación directa con la variable de protección social que aparece en el objetivo general de las ROP y en el resumen narrativo de la MIR ya que no es claro qué considera el indicador por condiciones de vida y si esto significa que las familias realizan un mejor manejo del riesgo. Es decir, en la MIR se rompe la lógica horizontal en este nivel. Además, conforme a la MML y a las buenas prácticas en el diseño de indicadores de resultados, las mediciones de percepción de los beneficiarios se usan mayormente en los niveles de Componentes debido a que corresponden a indicadores de calidad que buscan evaluar atributos de los bienes o servicios producidos respecto a normas o referencias externas.16 Finalmente, dado que el indicador actual no contempla ningún grupo o variable de control, tampoco permite medir el impacto atribuible al programa en la variable de interés, sino que implícitamente se atribuye al programa todo impacto o variación en las condiciones de vida de los beneficiarios, lo cual resulta claramente inadecuado. Propósito Los cambios en los indicadores a nivel de Propósito que se han hecho de 2007 a 2012, en general, no son consistentes con los comentarios realizados por las diversas instancias. El indicador de localidades atendidas que se presenta para el año 2012 no corresponde con el resumen narrativo por lo que no mide un factor relevante de éste y se rompe la lógica horizontal; mientras que los de percepción sobre el ingreso y sobre la salud física y mental no

16

En el documento de Formulación de programas con la metodología de marco lógico (Aldunate y Córdoba, 2011) se establece que en algunos casos es posible usar indicadores de percepción a nivel de Propósito, pero se establece que a nivel de Fin se miden indicadores de eficacia que den cuenta de los impactos y efectos directos de los programas sobre las conductas y las condiciones específicas de dicha población, que no se reflejan normalmente en preguntas de opinión, percepción o satisfacción. En todo caso, el tipo de preguntas antes mencionadas puede proporcionar información útil para la operación —esto es, a nivel de Componentes o Actividades—, pero su utilización para medir resultados suele verse afectada por diversos factores, como sesgos en el diseño de los cuestionarios, respuestas inducidas para recibir un beneficio o por el miedo a perderlo, así como por factores circunstanciales o coyunturales, entre otros.

90

son adecuados para el nivel de Propósito, por las razones ya expuestas para el indicador actual de Fin. Además, debido a que los indicadores actuales asociados con los ingresos y con la salud física y mental no contemplan ningún grupo o variable de control, tampoco permiten medir el impacto atribuible al programa en la variable de interés, sino que implícitamente se le atribuye todo el impacto o variación captada. 4.5.2. Propuesta de mejoras para MIR la 2013: Indicadores

A continuación se emiten algunas propuestas de mejora a los indicadores de nivel Fin y Propósito para la MIR 2013.

Fin Para medir adecuadamente el resultado del programa a nivel de Fin y hacerlo consistente con el resumen narrativo, se sugiere remplazar el indicador actual por dos indicadores. El primero se propone con base en la diferencia en el valor observable de alguna variable relevante asociada al concepto de "vulnerabilidad" entre los beneficiarios y los no beneficiarios comparables. Esto se puede hacer a partir de la medición de las carencias sociales que presentan los individuos de ambos grupos. La metodología de construcción de este indicador debería ser lo más consistente posible con la que utiliza Coneval para la medición de la pobreza multidimensional.17 Para el segundo indicador propuesto, relacionado con la disminución o aminoración del deterioro físico y mental, se propone medir la diferencia en la morbilidad entre beneficiarios y no beneficiarios, específicamente sobre la incidencia de las enfermedades crónico-degenerativas más comunes en la población de referencia. Es probable que para este segundo indicador se requiera un levantamiento específico de información. En cuanto a la medición del impacto del programa sobre la salud física y mental, que actualmente se hace a través del indicador de percepción de los beneficiarios, esto se propone retomar en el nivel de Fin, y no de Propósito, conforme a la metodología de marco lógico, a través de un indicador de morbilidad. En todos los casos, se propone hacer las comparaciones respecto de grupos de control de no beneficiarios, para solucionar el problema de atribución. Los indicadores pueden obtenerse mediante el levantamiento de una encuesta en hogares con preguntas adecuadamente diseñadas.

17

La forma de calcular este indicador puede verse en el anexo de los Lineamientos y criterios para la definición, identificación y medición de la pobreza publicada en el Diario Oficial de la Federación del 16 de junio de 2010. La fuente de datos puede ser la misma empleada por el Coneval para la medición de la pobreza.

91

Propuesta de indicadores:

1. Diferencia en la vulnerabilidad por carencias sociales entre beneficiarios y no beneficiarios.

La fórmula de cálculo de este indicador se propone en los siguientes términos:

Donde: DDVCS: Doble diferencia en valor del índice de vulnerabilidad por carencias sociales entre la población beneficiaria y no beneficiaria VCS: Índice de vulnerabilidad por carencias sociales T: Tratamiento C: Comparación i: Individuo del grupo de tratamiento j: Individuo del grupo de comparación t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de comparación

2. Diferencia en el índice de morbilidad de las principales enfermedades que aquejan a los adultos mayores, entre beneficiarios y no beneficiarios.

La fórmula de cálculo de este indicador se propone en los siguientes términos:

Donde: DDIMAE: Doble diferencia en el índice de morbilidad entre la población beneficiaria y no

beneficiaria al año IMAE: Índice de morbilidad anual de la enfermedad T: Tratamiento C: Control i: Individuo del grupo de tratamiento j: Individuo del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de control

92

Propósito: Para medir el resultado del programa en los beneficiarios, se sugiere construir un conjunto de indicadores de Propósito que permita medir el efecto esperado de los Componentes. El primero se relaciona con el aumento del ingreso disponible de los adultos mayores, medido de forma similar a la que utiliza la ENIGH, que incluye ingreso monetario y no monetario, así como ingresos propios y transferencias gubernamentales y privadas. El indicador se puede construir con base en el ingreso estimado para la medición de la pobreza en México del Coneval. El segundo busca medir el acceso efectivo a los servicios de salud, entendido particularmente como la asistencia a consultas médicas preventivas y de seguimiento. Éste puede construirse a partir de los registros de consultas médicas que ofrezca el INAPAM; los registros de los afiliados al Seguro Popular o con Encuestas propias. El tercero se propone medir la participación en actividades de promoción de la salud física y mental. Éste puede construirse a partir de los registros en los espacios donde se realicen las actividades, registros del INAPAM o con Encuestas propias. Se remarca la importancia de que los indicadores pueden obtenerse mediante el levantamiento de una encuesta en hogares con preguntas adecuadamente diseñadas para comprobar que el cambio en la salud física y mental no sea exclusivamente de percepción. En todos los casos, se propone hacer las comparaciones respecto de grupos de control de no beneficiarios, para solucionar el problema de atribución. En cuanto a la medición del resultado del programa sobre la salud física y mental que actualmente se hace mediante el indicador de percepción de los beneficiarios, se propone retomarlo en el nivel de Fin, y no de Propósito, conforme a la Metodología de Marco Lógico, y redefinirlo como un indicador de morbilidad. Propuesta de indicadores:

1. Diferencia en el ingreso disponible entre beneficiarios y no beneficiarios. La fórmula de cálculo de este indicador se propone en los siguientes términos:

Donde: DDID: Diferencia doble en el ingreso disponible entre la población beneficiaria y no beneficiaria ID: Ingreso disponible de la población de tratamiento/control

93

T: Tratamiento C: Control i: Individuo del grupo de tratamiento j: Individuo del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de control

2. Diferencia en la asistencia a consultas médicas preventivas y de control, y seguimiento entre beneficiarios y no beneficiarios.

La fórmula de cálculo de este indicador se propone en los siguientes términos:

Donde: DDACM: Diferencia doble en la asistencia de consultas médicas entre la población beneficiaria y

no beneficiaria AMA: Asistencias médicas al año de la población beneficiaria y no beneficiaria T: Tratamiento C: Control i: Individuo del grupo de tratamiento j: Individuo del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de control

3. Diferencia en la asistencia a actividades organizadas para la promoción de la salud física y mental entre beneficiarios y no beneficiarios.

La fórmula de cálculo de este indicador se propone en los siguientes términos:

Donde: DDAAS: Diferencia doble en la asistencia anual a actividades organizadas para la promoción de

la salud entre la población beneficiaria y no beneficiaria AAS: Asistencia anual a actividades organizadas para la promoción de la salud

94

T: Tratamiento C: Control i: Individuo del grupo de tratamiento j: Individuo del grupo de control t+1: Periodo actual (con exposición al programa) n: Submuestra del grupo de tratamiento k: Submuestra del grupo de control

95

5. Conclusiones Como se puede apreciar a lo largo del presente trabajo, en periodo de 2007 a 2012 se realizaron un total de ocho evaluaciones externas al programa, en las cuales se analizaron diversos aspectos específicos asociados a su diseño, operación y resultados. Los hallazgos de estas evaluaciones sirvieron para identificar un conjunto de fortalezas, oportunidades, debilidades y amenazas, así como para proponer recomendaciones; a su vez, estos elementos derivaron en aspectos susceptibles de mejora, a los cuales se le dio seguimiento a través de los mecanismos establecidos. La revisión permitió constatar que el programa implementó acciones que resolvieron algunos de los problemas identificados e implicaron diversas mejoras. Con todo, en opinión del equipo metaevaluador y a la fecha de realización este ejercicio, subsisten diversas deficiencias y áreas de oportunidad identificadas en las evaluaciones anteriores que la Sedesol y los responsables del programa deben considerar y retomar, para mejorar su desempeño. Aquellas que se consideraron relevantes y vigentes aparecen en el análisis FODA global, que incluye también las recomendaciones de los evaluadores originales y, en algunos casos, notas y recomendaciones propias del equipo metaevaluador cuando se consideró pertinente hacerlo. Asimismo, en el desarrollo del ejercicio se analizaron evaluaciones hechas a otros programas considerados como similares a 70 y Más, ya fuera en función de sus objetivos, poblaciones atendidas o componentes particulares. El análisis derivó en diversos elementos relevantes, incluyendo la confirmación de que, con un diseño y condiciones adecuadas, programas como el 70 y Más pueden efectivamente mejorar la situación de los adultos mayores mediante la transferencia económica que otorga. Estas evaluaciones sirvieron también para identificar indicadores, metodologías y fuentes de información que puede ser útiles para evaluar el desempeño del programa. En cuanto a la agenda de evaluación 2013-2018, se propuso una secuencia lógica y ordenada de las evaluaciones a realizar al programa, considerando una justificación técnica y empírica sobre la importancia que cada ejercicio podría tener. Se propuso primero elaborar un estudio de Diagnóstico y propuestas de atención, luego una Evaluación de financiamiento, cobertura y focalización y una Evaluación de diseño, posteriormente una Evaluación de impacto, después una Evaluación de procesos, y finalmente una Evaluación de consistencia y resultados. Esta secuencia buscó brindar una base sólida de datos, análisis y estrategia para anclar el diseño, la operación y los resultados del programa durante la siguiente administración federal, de forma tal que cada año se puedan informar los cambios y refinamientos en diversos aspectos relevantes. Dada la importancia de corroborar en los hechos los cambios que el 70 y Más puede generar para revertir el problema que le dio origen, la metaevaluación incorporó una propuesta más detallada para una evaluación de impacto. En ella, se describieron la metodología y las fuentes de información necesarias para llevar a cabo la evaluación, conforme a los estándares y mejores prácticas en la materia, a la naturaleza de las variables específicas a medir así como a las características específicas del programa. La propuesta se acompañó de un análisis de

96

pertinencia y de viabilidad técnica y financiera, que justifica la necesidad de realizar este tipo evaluación al programa. Como un elemento de valor agregado que complementa los análisis previos, se desarrollaron una serie de reflexiones y recomendaciones sobre la situación actual de 70 y Más, que si bien construyen sobre el análisis de las evaluaciones antes revisadas, en algunos casos llegaron a conclusiones distintas al replicar los ejercicios metodológicos de forma más amplia y rigurosa. Estas reflexiones y recomendaciones son responsabilidad exclusiva del metaevaluador, y se enfocaron en aspectos asociados al diseño del programa. Por su importancia, se expuso ampliamente la importancia de analizar el escenario que representa para el programa la disposición legal reciente y el inminente avance hacia la universalización del apoyo que entrega; tomando en consideración una posible interpretación del concepto de “rezago” expuesto en la ley y abordar la cobertura con una aproximación progresiva, consistente y viable. Asimismo, se enfatizó y se elaboró ampliamente sobre la identificación y especificación del problema focal así como sobre la definición de las poblaciones potencial y objetivo. Las reflexiones y recomendaciones de esta sección respetaron los elementos básicos del diseño y la lógica interna actuales del programa, pero adicionando la necesidad de un análisis de corte conceptual, jurídico, de política, económico, financiero y de proyección actuarial, para estas nuevas definiciones. Un análisis más amplio de la adecuación del diseño, operación y resultados del programa queda fuera del alcance de esta metaevaluación, y sería en su caso, objeto de otro estudio. Finalmente, también a lo largo de estos años distintas instancias normativas, fiscalizadoras y evaluadoras hicieron una serie de observaciones y recomendaciones para mejorar las matrices de indicadores de resultados del 70 y Más, tanto en sus resúmenes narrativos como en los indicadores para monitoreo. Cabe señalar que, en opinión del equipo metaevaluador, algunas de estas observaciones y recomendaciones no necesariamente fueron adecuadas ni eran consistentes entre sí; por otro lado, a pesar de los cambios que sí se implementaron, en algunos casos subsisten deficiencias y áreas de oportunidad. Por ello, y considerando la historia de los cambios en la MIR y lo que falta por hacer, el equipo metaevaluador recomendó algunas mejoras y refinamientos en los resúmenes narrativos y los indicadores del programa en los niveles de Fin y Propósito, respetando el diseño básico actual y los resultados que se esperan del mismo.

97

6. Bibliografía básica 6.1. Documentos sobre el programa Abreu, Raúl. Evaluación Específica de Desempeño 2010-2011 del Programa 70 y Más.

(EED10/11) Banegas, Israel. Evaluación Específica de Desempeño 2009-2010 del Programa 70 y Más.

(EED09/10) Consejo Nacional de Evaluación de la Política de Desarrollo Social (2011). Informe de Sesiones

de Mesa Técnica de Revisión de Indicadores: Programa 70 y Más. Instituto Nacional de Salud Pública (2009). Evaluación de Impacto del Programa 70 y Más.

Primer Seguimiento a la Evaluación de Impacto del Programa de Atención a Adultos Mayores de 70 años y Más en Zonas Rurales. (EI08/09)

Instituto Nacional de Salud Pública (2009). Primer Seguimiento a la Evaluación de Impacto del

Programa de Atención a Adultos Mayores de 70 años y Más en Zonas Rurales (Programa 70 y Más). Estudio Cualitativo del impacto Percibido por los Beneficiarios y de los Factores Culturales que Interactúan con el Impacto del Programa. (EI 07-09).

Instituto Nacional de Salud Pública (2009). Primer Seguimiento a la Evaluación de Impacto del

Programa de Atención a Adultos Mayores de 70 años y Más en Zonas Rurales (Programa 70 y Más). Informe final del Estudio de Impacto del Programa de Atención a Adultos Mayores de 70 y Más. (EI 07-09).

Instituto Nacional de Salud Pública (2009). Primer Seguimiento a la Evaluación de Impacto del

Programa de Atención a Adultos Mayores de 70 años y Más en Zonas Rurales (Programa 70 y Más). Recomendaciones de Política Pública. (EI 07-09).

Lobato, Odette; Humberto Rivera; Hugo Serrato; María Elena Gómez; Christian León y Paola

Cervantes (2011). Índice Mexicano de Satisfacción del Usuario (IMSU). Reporte Final del IMSU-Programas Sociales Mexicanos. Programa 70 y Más, Universidad Iberoamericana (IMSU11).

N.I.K. BETA, S.C. (2012). Evaluación de Consistencia y Resultados 2011-2012 del Programa 70 y

Más. (ECR11/12). Secretaría de Desarrollo Social (2008). Evaluación Específica de Desempeño 2008 del Programa

de Atención a los Adultos Mayores de 70 años y Más en Zonas Rurales. Posición Institucional

98

Secretaría de Desarrollo Social (2009). Evaluación Específica de Desempeño 2009 del Programa 70 años y Más. Posición Institucional

Secretaría de Desarrollo Social (2010). Evaluación Específica de Desempeño 2010 del Programa

70 y Más. Opinión Institucional Secretaría de Desarrollo Social. (2012). Evaluación de Consistencia y Resultados 2011-2012 del

Programa 70 y Más: Posición Institucional Secretaría de Desarrollo Social (2007-2012). Matriz de Indicadores de Resultados del Programa

70 y Más. Secretaría de Desarrollo Social (2007-2012). Fichas Técnicas de la Matriz de Indicadores de

Resultados del Programa 70 y Más. Secretaría de Desarrollo Social (2007-2012). Reglas de Operación del Programa 70 y Más. Secretaría de Desarrollo Social (2010). Diagnóstico sobre la Situación de Vulnerabilidad de la

Población de 70 años y Más. Secretaría de Desarrollo Social (2011). Nota de Actualización de la Población Potencial y

Objetivo del Programa 70 y Más. Secretaría de Hacienda y Crédito Público (2007-2012). Aspectos Susceptibles de Mejora

Derivados de Informes y Evaluaciones Externas a los Programas Presupuestarios: Seguimiento Histórico del Programa de 70 y Más.

Universidad Autónoma de Chapingo. (2007). Evaluación Externa de Diseño del Programa de

Atención a Adultos Mayores de 70 años y Más en Zonas Rurales. (ED07) Universidad Autónoma de Chapingo. (2008). Evaluación Externa de Consistencia y Resultados

2007 del Programa de Atención a Adultos Mayores en Zonas Rurales. (ECR07). Washington University in St. Louis & University of California, Berkeley (2009). Primer

Seguimiento a la Evaluación de Impacto del Programa de Atención a Adultos Mayores de 70 años y Más en Zonas Rurales (Programa 70 y Más). Informe Final Sobre los Cambios del Programa 70 y Más. (EI 07-09).

Zenteno, René. Evaluación Específica de Desempeño del 2008-2009. (EED08/09) 6.2. Documentos de otros programas similares

99

Barrientos Armando (2003) What is the impact of non-contributory pensions on poverty? Estimates from Brazil and South Africa, Institute for Development Policy and Management, University of Manchester, Harold Hanking Building, Oxford Road, Manchester M13 9QH, CPRC Working Paper No. 33, Chronic Poverty Research Centre ISBN 1-904049-32-X

Miller Candance et al (2008) Impact Evaluation Report External Evaluation of the Mchinji Social

Cash Transfer Pilot. USAID, Boston University; UNICEF, 53 pp 6.3. Documentos normativos y programáticos Consejo Nacional de Evaluación de la Política de Desarrollo Social. (2007). “ANEXO 02.- Nota

Técnica con los principales conceptos de la Matriz de Indicadores”. Tomado de http://www.coneval.gob.mx/coneval/

-------------- (2007). Normatividad para la Evaluación de los Programas Federales. México. -------------- (2008). Informe de Evaluación de la Política de Desarrollo Social en México. Tomado

de http://www.coneval.gob.mx/coneval/ -------------- (2010). Diagnóstico de Matrices de Indicadores para Resultados 2010. Principales

Hallazgos. México. Coneval, SHCP y SFP (2010). Guía para el Diseño de Indicadores Estratégicos. México, Gobierno

Federal. ------------- (2010) Guía para la Construcción de la Matriz de Indicadores para Resultados. México,

Gobierno Federal. ------------- (2007) Lineamientos Generales para la Evaluación de los Programas Federales de la

Administración Pública Federal. Viernes 30 de marzo de 2007. México, Diario Oficial de la Federación.

Secretaría de Hacienda y Crédito Público (2008). Oficio Circular 307-a.-1593, Lineamientos

Generales para el Proceso de Programación y Presupuestación para el Ejercicio Fiscal 2008, Anexo Dos: Metodología para la Elaboración de la Matriz de Indicadores de los Programas Presupuestarios de la APF. Unidad de Política y Control Presupuestario.

Secretaría de Hacienda y Crédito Público (2007). Circular 307-A-0221. Lineamientos para la

Actualización de la Matriz de Indicadores de los Programas Presupuestarios y la Elaboración de los Calendarios de Metas de los Indicadores del Presupuesto de Egresos de la Federación para el Ejercicio Fiscal 2008. Unidad de Política y Control Presupuestario.

100

6.4. Documentos teóricos y metodológicos Aldunate, Eduardo. (2004). “Metodología del Marco Lógico”. Boletín del Instituto, 15,

Latinoamericano y del Caribe de Planificación Económica y Social (ILPES). Santiago de Chile.

Aldunate, Eduardo y Julio Córdoba. (2011). “Formulación de programas con la metodología de

marco lógico”. Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile. Bonnefoy, Juan y Marianela Armijo. (2005). “Indicadores de desempeño en el sector público”.

Serie Manuales, 45, ILPES-CEPAL, Santiago de Chile. Camacho Hugo, et. al. (2001). El enfoque del Marco Lógico: 10 casos prácticos. Cuaderno para la

identificación y diseño de proyectos de desarrollo. Madrid, Fundación Cideal. Cardozo Brum, Myriam Irma. (2006). La evaluación de políticas y programas públicos. El caso de los programas de desarrollo social en México. México, Miguel Ángel Porrúa. Cohen, Ernesto y Rolando Franco. (2005). Gestión social. Cómo lograr eficiencia e impacto en las políticas públicas sociales. México, D. F., Primera Edición, Siglo XXI Editores. Comisión Económica para América Latina. (2001). El uso de los indicadores socioeconómicos en la formulación y evaluación de proyectos sociales: aplicación metodológica. Manuales, Chile, Santiago, ILPES-CEPAL. ---------------- (2004). Uso de los indicadores socioeconómicos en la evaluación de impacto de proyectos y programas de lucha contra la pobreza. Manuales, Bolivia, La Paz, ILPES-CEPAL. -------------- Frechtling Joy y Sharp Laure (1997): User Friendly Handbook for Mixed Method

Evaluations, National Science Foundation, RED 94-52965, Division of Research, Evaluation and Communication, 131 pp.

Díaz, Luis. (2001). “La metaevaluación y su método”, Revista de Ciencias Sociales, Vol. II-III,

Número 92-93, pp. 171-192, Universidad de Costa Rica. Fernández de Castro, Manuel et al. (2009) El Sistema de Monitoreo y Evaluación (M&E) de México: un salto del nivel sectorial al nacional. Washington, DC: Banco Mundial, Grupo de Evaluación Independiente.

101

Frechtling Joy y Sharp Laure (1997): User Friendly Handbook for Mixed Method Evaluations, National Science Foundation, RED 94-52965, Division of Research, Evaluation and Communication, 131 pp.

Glass, G.V., McGraw, B., & Smith, M. L., (1981). Meta-analysis in social research. Beverly Hills:

Sage Publications. King Gary, Keohane Robert O. & Verba Sidney (1994) Designing Social Inquiry: Scientific

Inference In Qualitative Research, Princeton University Press, 300 pp. Martin, Paula H. (1982). Meta-Analysis, Meta-Evaluation and Secondary Analysis. Washington,

DC: ERIC Clearinghouse. Medina Giopp, Alejandro. (2007). El Sistema Nacional de Monitoreo y Evaluación de la Gestión Pública en México. Washington, Banco Mundial: CLAD. --------------- (2007). México: Análisis de los Lineamientos Generales para la Evaluación de los Programas Federales de la Administración Pública Federal. Washington, D.C., Banco Mundial. (Unidad de Pobreza y Género, Reducción de la Pobreza y Gestión Económica de la Región América Latina y el Caribe). Morra Linda y Friedlander Amy C. (2001) Evaluaciones mediante Estudios de Caso,

Departamento de Evaluación de Operaciones del Banco Mundial, Washington, 25 pp. Nuñez Jairo, Espinosa Silvia (2005) Pobreza y Protección Social, Programa de las Naciones

Unidas para el Desarrollo; Colombia, 19 pp. Palomba Rosella (2003). Recomendaciones para realizar investigaciones sobre redes de apoyo y

calidad de vida: agenda de investigación y métodos e instrumentos para estudios cualitativos y cuantitativos, Notas de Población 77.

Programa de las Naciones Unidas para el Desarrollo, 2000 Ravallion, Martin (2001) The Mystery of the Vanishing Benefits: An Introduction to Impact

Evaluation; The World Bank Economic Review, Vol. 15, No. 1, 115-140. Schwartzmann Laura (2003) Calidad de vida relacionada con la salud: aspectos conceptuales,

Ciencia y Enfermería, vrsión on-line ISSN 0717-9553, Volumen 9, no. 1, Concepción en http://www.scielo.cl/scielo.php?pid=S0717-95532003000200002&script=sci_arttext

Scriven, Michael. (1991). Evaluation Thesaurus. Newbury Park: SAGE Publications.

102

Sherman Lawrence, Strang Heather, et.al. (2004) Victim Evaluations of Face-to Face Restorative Justice Conferences: A Quasi Experimental Analysis, Journal of Social Issues, Vol.62, No. 2, pp. 281-306

Vera Martha (2007) Significado de la calidad de vida del adulto mayor para sí mismo y para su

familia. Artículos Especiales, Anales de la Facultad de Medicina de la Universidad Nacional Mayor de San Marcos, Lima, Perú, ISSN 1025-5583, págs.. 284-290

103

7. Anexos 7.1. Anexo 1 “Síntesis de Evaluaciones 2007-2012”. 7.2. Anexo 2 “Síntesis de Evaluaciones de programas similares internaciones”. 7.3. Anexo 3. “Agenda de evaluación” 7.4. Anexo 4. “FODA” 7.5. Anexo 4.1 7.6. Anexo 5. “Análisis histórico y propuestas de mejora de la MIR”