Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

11
Revista de Políticas Públicas ISSN: 0104-8740 [email protected] Universidade Federal do Maranhão Brasil Bentura Alonso, Jose Pablo; Vecinday Garrido, Maria Laura LA EVALUACiÓN "TAUTOLÓGICA" DE LOS PROGRAMAS DE TRANSFERENCIA DE RENTA CONDICIONADA Revista de Políticas Públicas, vol. 17, núm. 1, enero-junio, 2013, pp. 139-148 Universidade Federal do Maranhão São Luís, Maranhão, Brasil Disponible en: http://www.redalyc.org/articulo.oa?id=321131081013 Cómo citar el artículo Número completo Más información del artículo Página de la revista en redalyc.org Sistema de Información Científica Red de Revistas Científicas de América Latina, el Caribe, España y Portugal Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

Transcript of Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

Page 1: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

Revista de Políticas Públicas

ISSN: 0104-8740

[email protected]

Universidade Federal do Maranhão

Brasil

Bentura Alonso, Jose Pablo; Vecinday Garrido, Maria Laura

LA EVALUACiÓN "TAUTOLÓGICA" DE LOS PROGRAMAS DE TRANSFERENCIA DE RENTA

CONDICIONADA

Revista de Políticas Públicas, vol. 17, núm. 1, enero-junio, 2013, pp. 139-148

Universidade Federal do Maranhão

São Luís, Maranhão, Brasil

Disponible en: http://www.redalyc.org/articulo.oa?id=321131081013

Cómo citar el artículo

Número completo

Más información del artículo

Página de la revista en redalyc.org

Sistema de Información Científica

Red de Revistas Científicas de América Latina, el Caribe, España y Portugal

Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso abierto

Page 2: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

LA EVALUACiÓN "TAUTOLÓGICA" DE LOS PROGRAMAS DE TRANSFERENCIA DERENTA CONDICIONADA'

Jose Pablo Bentura AlonsoUniversidad de la República (UDELAR)

Maria Laura Vecinday GarridoUniversidad de la República (UDELAR)

LA EVALUACiÓN "TAUTOLÓGICA" DE LOS PROGRAMAS DE TRANSFERENCIA DE RENTA CONDICIONADAResumo: El artículo trae reflexiones referidas al modelo de evaluación que ha acompañado, de forma predominante, alos Programas de Transferencia de Renta Condicionada (PTRC) en América Latina. En un primer apartado, el análisisse centra en la relación entre la teoría y la práctica de la evaluación y los modelos de intervención político - ideológicos ,identificando dos tipos predominantes en períodos diversos. En un segundo momento, analiza los principales atributosy características de la jerarquización de una racionalidad gerencial en la intervención social y las formas de evaluaciónasociadas a la luz de lo que acontece con los límites y alcances de la evaluación de los PTRC.Palabras clave: Evaluación, bienestar, mercado, protección, transferencia de renta condicionada.

"TAUTOLOGICAL" EVALUATION OF THE CONDITIONED INCOME TRANSFERS PROGRAMAbstract: The article brings reflections relating to the evaluation model that has accompanied, predominantly, to thePrograms Conditional Cash Transfer (PTRC) in Latin America. In the first section, the analysis has as its objecti ve toanalyze the relationship between theory and practice of the assessment and political - ideological intervention modelsidentifying two predominant types in different periods. In a second step, we analyze the key attributes and characteristics01 the hierarchy 01 managerial rationality and social intervention evaluation lorms associated with the light 01 what ishappening with the limits and scope 01 the evaluation 01 the PTRCKey words: Assessment, welfare, market, protection, conditional cash transfer.

Recebido em:1510212013. Aprovado em : 1410512013

R. Poi. Púbi., Sao Luís, v.17, n.1, p. 139-148, jan./jun. 2013

Page 3: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

140 Jose Pablo Benture Alonso, Maria Laura Vecinday Garrido

1 INTRODUCCiÓN

Los programas de transferencia de rentacondicionada (PTRC) han proliferado en la AméricaLatina de los últimos años constituyéndose en laprincipal respuesta ensayada respecto al problemade la pobreza. Las intervenciones propuestas sonorientadas por una concepción de pobreza entendidacomo insuficiencia de ingresos y déficits de capitalhumano. Consecuentemente, las intervencionesse centran en la transferencia de renta concondicionalidades vinculadas al acceso a servicioseducativos y sanitarios.

El artículo cuenta con dos partes: en la primerase discute la pertinencia de pensar la intervenciónsocial y su evaluación estrechamente vinculadosa los principios, supuestos y orientaciones políticoideológico hegemónicos en una determinadacoyuntura, a través de los cuales se delinean ypriorizan determinados rumbos para la acciónsocial. Se identifican dos "modelos", siendo unorepresentativo de la teoría y práctica de la evaluaciónutilizada en los estados de bienestar, cuyo origense vincula al pensamiento positivista-organicistaexpresado en el pensamiento de Durkheim; elsegundo, propio de la actual coyuntura, identificaal mercado como el gran integrador y proveedorde bienestar, idealiza la racionalidad empresarialcon sus procedimientos, ecualiza ciudadanos conclientes y utiliza mecanismos gerenciales paraorientar y luego evaluar la intervención social.

En la segunda parte se reflexiona acerca delalcancey los límites de la teoría y la práctica evaluativageneralmente adoptada en las evaluaciones de losPTRC analizados. Se adjetiva comotautológica a estetipo de evaluación, pues la medición de indicadoressensibles sobre los que se opera directamente esuna de las acciones privilegiadas para evaluar el"éxito" de los PTRC, descuidando la construcción deindicadores síntesis que deberían ser consideradosaún desde una perspectiva gerencialista sobre laintervención social. En ese sentido, la evaluaciónde los PTRC suele ser pobre y deficitaria cuando setrata de evaluar sus logros en la consecución de susobjetivos estratégicos de mediano y largo plazo.

2 TEORíA SOCIAL, INTERVENCiÓN SOCIAL,EVALUACiÓN: una secuencia obligada

La posibilidad de intervenir sobre losfenómenos y procesos sociales es consecuencia dela emergencia de la teoría social, es decir, nace enel momento en que el hombre piensa a la sociedadcomo un producto de la historia social. Entenderlo social ya no como una construcción natural odivina sino como una construcción humana es lacondición de posibilidad de la intervención decididay orientada hacia su transformación. Y de la manode las intenciones reformadoras de lo social tambiénsurge la evaluación como una necesidad de verificar

R. PoI. públ., Sao Luis, v.17, n.1, p. 139-148, jan./jun. 2013

la coherencia entre las acciones y los resultados dela acción humana sobre lo social.

El alcance y las posibilidades de cualquierevaluación están, entonces, fuertemente vinculadosal nivel de desarrollo del conocimiento sobre losocial y también a las demandas que recaen sobrela producción de conocimiento. Pero también espreciso no olvidar el legado que la teoría socialcritica en todas sus vertientes ha dejado, es decirque, detrás de las mejores intenciones se esconde laideología, que en cualquier proyecto de intervenciónsobre lo social, por más inocente que parezca debeser desmontada con el instrumental de la crítica.Solo de este modo podemos encontrarnos con lasintenciones no expresadas, con los programas yprogramaciones ocultos de toda intervención. Talcomo establece Zizek (2008, p 17)

[...] el objetivo de la crítica es descubrirla tendencia no confesada en el textooficial a través de sus rupturas, susespacios en blanco y sus deslices;descubrir en 'igualdad y libertad' laigualdad y la libertad de los participantesdel intercambio en el mercado que, porsupuesto, privilegia al dueño de losmedios de producción [..,]

En tal sentido, se entiende que toda propuestade intervención sobre lo social tiene implícito unproyecto de sociedad que se quiere impulsar/imponer, y por tanto, una propuesta pedagógica,un programa también explícito o implícito que sepretende llevar adelante, y que, como es natural,tiene en su propia estructura el diseño de individuoal que se quiere apuntar.

Quizás por esto mismo, las evaluacionessuelen descuidar -cuando no decididamente olvidar­la necesaria explicitación del marco ideológicoque soporta la acción política y su relación con elcontexto social y político que la contiene. Grassi(2004, p.6) señala que

[... ] las ciencias sociales [...] quedaronatrapadas en la trampa tendida porun profesionalismo practicista queinterpeló a sus agentes (investigadoresy profesionales del campo) como merossolucionadores de problemas concretosque, sin lugar a dudas, afectan a lagente, Y por el olvido, precisamente,de las relaciones por las cuales losproblemas devienen problemas y sedistribuyen desigualmente entre losagentes que ocupan lugares diferentesen el espacio social.

En palabras de Barón (2006, p 4), en losúltimos años, el sociólogo se ha convertido

[.. ,] en una especie de inocuosocíórnetra, así como los economistas

Page 4: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

LA EVALUACiÓN 'TAUTOLÓGICA" DE LOS PROGRAMAS DE TRANSFERENCIA DE RENTA CONDICIONADA' 141

degeneraron en econometristasarrojando por la borda toda una tradiciónmuy respetable de pensamiento criticoen la economía. Los sociólogos debenseguir el mismo camino y convertirseen prolijos agrimensores sociales, o endiligentes trabajadores sociales.

Estas transformaciones en el papel de lasciencias sociales a la hora de pensar la intervencióny posteriormente evaluarla - con arreglo a la lecturateórica que se realizó y que orientó la intervención- están vinculadas a alteraciones sociopolíticas quehan demostrado ser, si no radicales, al menos conimpactos estructurales sustantivos que definen lascaracterísticas de una época.

El "espíritu de la época", ganado por laconvicción de que el gran integrador y proveedor debienestar es el mercado, dirige sus intervenciones aclientes y emprendedores y delimita, por tanto, conclaridad, las formas y criterios de la evaluación. Valedecir, si las metáforas propias de un estado interventorsobre la sociedad hacían referencia a un médico queaplicaba su terapéutica sobre el organismo social,las propias de nuestra época refieren a gerenteseficientes rindiendo culto a clientes que siempretienen razón.

Allá por 1897, Émile Durkheim en su obra"El suicidio" desplegó el programa de la sociologíapositivista para el capitalismo de los monopolios. Enprimer lugar, como fuera señalado por Lukács (2000),aquel es el momento de la delimitación del objeto dela sociología, proceso en el cual, meticulosamente,se despliega qué aspectos de la vida socialcorresponden al estudio de esta "nueva ciencia"dejando fuera de cualquier explicación "sociológica"los denominados "factores económicos" y, entre ellosy fundamentalmente, la plusvalía.

En segundo lugar, define claramente cuál es lafunción de la sociología positivista que, a diferenciade lo que algún sentido común propio de las cienciassociales cree, no se caracteriza por su neutralidad yexternalidad en relación a su objeto. Por el contrario,la sociología fundada por Durkheim establececlaramente el sentido y el límite de la intervenciónsobre lo social.

De este modo, Durkheim establece quées lo social y cuál es la intervención apropiadasobre esta esfera, extrapolando de las cienciasbiológicas, no sólo su sistema de leyes sino tambiénsu programa, en el que la sociedad es concebidacomo un organismo vivo que precisa de un sistematecnológico que, a semejanza de la medicina, operesobre las patologías emergentes en su desarrollo.

En Durkheim el organicismo es mucho más queuna metáfora pues le permite construir su noción deintegración social sobre la base de la estructuraciónde los organismos vivos y su evolución de sistemassimples a sistemas orgánicos. Para él, la sociedadtransita un camino idéntico evolucionando de

sistemas simples, donde la integración social seprocesa por la identidad - denominadas sociedadesde solidaridad mecánica-, a sistemas complejosdonde la integración se da por complementariedada los que designó como sistemas de solidaridadorgánica (DURKHEIM, 1995).

Es en las sociedades complejas donde laextrapolación de las ciencias biológicas tiene, paraDurkheim, los mayores rendimientos: la sociedadpensada como un organismo biológico precisauna medicina social que construirá un conjunto desíntomas con el objetivo de identificar los males quedeben ser intervenidos cuando se quiere prevenir ladesintegración social.

Las tasas son los síntomas a los que la"medicina social" debe prestar atención. En suobra "El suicidio" demuestra, a través de la tasade suicidios, el carácter social del fenómeno. Aligual que el médico cuando piensa el exceso detemperatura corporal, el sociólogo debe pensar latasa de suicidios como un síntoma. De ahí se derivaque las tasas tienen un valor normal y uno patológico.

Cualquier médico sabe que cuando latemperatura aumenta es necesario intervenir paravolver a un patrón de normalidad . También sabe quelo fundamental es diagnosticar por qué se produjo laalteración térmica de forma de identificar y atacar laenfermedad y no solamente el síntoma.

La respuesta de Durkheim (1991) a lapregunta de qué hacer frente a tasas que expresan la"anormalidad" de un hecho social puede encontrarseen su obra "La educación moral". Allí diseña lo queconsidera como necesarios procesos de controly regulación moral. Su discurso representa unaoposición directa al individualismo liberal -expresadoen la recordada frase de Tatcher (apud HOBSBAWM,1995, P 338), que condensa sintéticamente estepensamiento: "La sociedad no existe, sólo losindividuos" - y en tal sentido, como prediciendo a laprimer ministro británica, dirá Durkheim (1991, p. 23)

Para que el hombre sea un ser moral esnecesario que se atenga a algo más quea sí mismo; es necesario que se sientasolidario con una sociedad, por humildeque sea.

La solución propuesta por el autor frente a ladescomposición moral propia de la sociedad liberalsuponía la (re)construcción de las sociedades quepermitiera la solidaridad mencionada. La familia y lapatria son las sociedades que cuentan con mayorvalor moral (DURKHEIM, 1991). Pero la familia enlas sociedades modernas pierde eficacia moral y lapatria es demasiado lejana al individuo para operaren su regulación moral.

En "La división del Trabajo Social"(DURKHEIM, 1995) establece que la solución esrecuperar una institución del pasado feudal que,adaptada a la sociedad moderna, funcionaría como

R. Poi. Púbi., Sao Luís, v.17, n.1, p. 139-148, jan./jun. 2013

Page 5: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

142 Jose Pablo Benture Alonso, Maria Laura Vecinday Garrido

institución de regulación moral apropiada a losnuevos tiempos',

Durkheim se consagró al estudio dela 'cuestión social' desde los años dela École Normal, por vocación y enel interior de un ambiente animadopor la voluntad politica y moral, Enaquella ocasión, Durkheim situaba lacuestión de manera bastante abstractay filosófica, bajo el título: 'Relacionesentre individualismo y socialismo'. En1883 la definió mejor, y las relacionesentre el individuo y la sociedad setornaron su tema. Fue entonces queconsiguió percibir [...] que la solución delproblema estaba referida a una nuevaciencia: la sociologia [",] (MAUSS apudFRIDMAN, 1993, p. 29),

Durkheimy la tradición positivistadelinean loquepodemos designar como perspectiva conservadoraacerca de la cuestión social, Esta tradición logra unaarticulación inmejorable con el pensamiento liberalaportándole un componente de reforma sin abandonar,en ningún punto, la apología de la sociedad burguesa(HOBSBAWM, 1996, P 156),

Esta regulación social supone un trípode comopauta ideal de integración: política, civil y social, Enotros términos, era viable pensar en la universalidadde un sujeto que participaba activamente de lasociedad (un sujeto político), que era responsablede su libertad (un sujeto integrado) y que participabarazonablemente en la producción y el consumo delos bienes socialmente construidos (un sujeto conderechos sociales),

Pero, y sobre todo, la responsabilidadsocial, que es finalmente responsabilidad delEstado, estaba concentrada en garantizar esossoportes que permitían esa integración, Cuandolos síntomas referidos (ut supra) denuncian laemergencia de problemas de integración social, lareflexión sociológica se concentra en establecer quéreformas deben ser implementadas para resolveresos problemas, Claro que dentro de este modelotambién hay lugar para la responsabilidad individualy la represión opera cuando, supuestamentegarantizadas las posibilidades de integración, elindividuo se resiste a ella,

La evaluación social, mucho más allá deproyectos o programas3, suponía el conjunto de"lo social", es decir, aquella esfera autonomizadapor el pensamiento sociológico que garantizabala integración de los individuos en un "sistemade interdependencia" (CASTEL, 1997, P 20), Lacancelación de esta pauta de integración (mítica ono, pero con una eficacia simbólica indudable) esconsecuencia del recurso al neoliberalismo comoforma de superar la caída de la tasa de lucrosa.

En la base de este pensamiento está presente,en última instancia, la idea de que el individuoen la libre

R PoI, Públ" Sao Luis, v.17, n 1, p. 139-148, janijun 2013

competencia realizará un cálculo estratégico, y quecualquier intervención externa sobre esta competenciaestaría siempre beneficiando a unos y perjudicando aotros, La intervencióngenerará una ventaja estratégicapor parte de los que se benefician de ella,

Sobre esto se basa la permanentedesconfianza acerca de las prestaciones dirigidashacia los sectores más pobres de la población(CASTEL, 1997, P 175) en el entendido de queharán un uso estratégico de cualquier beneficio quereciban y por tanto tendrán una ventaja ilegítimasobre los otros, Para el pensamiento liberal laconstitución de cualquier instancia supraindividualque limite la libertad de los hombres es el riesgo quedebe conjurarse,

El Estado debe limitarse a garantizar lasreglas del mercado sin interferir sobre ellas lo que, ensíntesis, equivale a afirmar la necesidad de proteger lapropiedad privadaó. El neoliberalismo emerge comouna recuperación de las preocupaciones liberalesa partir de que, en el capitalismo monopolista, elEstado comienza a intervenir sobre los mercadospara ampliar los lucros del capital garantizando losmercados e interviniendo sobre la relación capital ­trabajo a fin de superar el subconsumo de la clasetrabejadorañ.

El pensamiento neoliberal surgirá como unaoposición a los recién formados Estados de Bienestaren Europa, Hayek y su sociedad de Mont Pélerin seconstituyeron, en aquel entonces, en los solitariosopositores al desarrollo de la creciente intervencióndel estado sobre "lo social",

La oposición franca y decidida delneoliberalismo es contra cualquier intenciónde promover la igualdad en la sociedad, Elneoliberalismo no se opone a cualquier intervencióndel Estado sobre lo social pues la intervención sobrela indigencia es tolerada, siempre y cuando no seintente promover la igualdad"

En síntesis, para esta perspectiva lo quedebe ser fuertemente limitado es la tendenciadel Estado y otras instituciones (corporaciones ysindicatos) de interferir con la libertad (de mercado)de los individuos y, como solución de compromiso,tolera por razones humanitarias la intervención paragarantizar la vida de aquellos que se encuentran almargen del mercado (indigentes) considerando quelas formas menos riesgosas de esta intervenciónson las realizadas por aquellos hombres de buenavoluntad que la desarrollan movidos por sus valoresreligiosos (caridad) o humanitarios (filantropía) ysolo en última instancia por el Estado,

La evaluación de proyectos y programas cobrasu verdadera dimensión para esta perspectiva, Esesencial y debe ser permanente la desconfianzafrente a cualquier instancia supra individual: elEstado en primer lugar pero también sindicatos,partidos y cualquier organización que interfiera conel mercado, Para esta perspectiva, tales instancias,tendencialmente limitan la libertad individual y por

Page 6: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

LA EVALUACiÓN 'TAUTOLÓGICA" DE LOS PROGRAMAS DE TRANSFERENCIA DE RENTA CONDICIONADA' 143

tanto deben ser permanentemente evaluadas paraque no se conviertan en "camino de servidumbre".

La evaluación sustantiva implica, en primerlugar, generar una lógica de competencia (pseudomercado) a la interna del propio Estado (estoorienta la reforma del Estado) y en segundo lugar,evaluar permanentemente que la intervención esimprescindible, que los dineros del contribuyente­cliente se están cuidando y que no se está interfiriendocon el mercado. En otras palabras, es decir que nose están resolviendo problemas que el mercadoresolvería por si mismo, que no se están transfiriendorecursos de negociación a individuos que participandel mercado (adecuada focalización) y que se estásiendo eficiente, es decir, aplicando los recursosimprescindibles para la resolución del problema.

3 LíMITES Y ALCANCES DE LA EVALUACiÓNDE LOS PROGRAMAS DE TRANSFERENCIADE RENTA CONDICIONADA

La práctica de la evaluación tiene escasosantecedentes en América Latina. Es en los últimosaños ya instancias de los organismos internacionalespromotores de los ajustes estructurales y lasreformas sociales que la práctica de la evaluaciónprolifera por agencias y organismos públicos.

Los Estados Sociales desarrollaronla evaluación para definir rumbos de acciónapropiados al objetivo de mejorar el bienestar social.Solarte Pazos (2002, p. 17) señala que el cambiode paradigma orientador de la acción públicatrajo consigo el predominio de la evaluación deldesempeño del Estado como tal, "I ... ] en cuanto asu funcionamiento como ente al servicio de clienteso usuarios que demandan eficiencia y eficacia en losservicios prestados ."

En el caso uruguayo, el seguimiento de loscomponentes del Plan de Atención Nacional ala Emergencia Social (PANES), primero y luegodel Plan de Equidad se restringieron a valorardesempeño o, en otras palabras, "I...] poder darcuenta del desarrollo de las acciones realizadas enfunción de las acciones previstas [...]" (URUGUAY,[2010l) y, para ello, comprendieron el

[...] estudio del diseño y las metasde los programas, elaboración deuna propuesta de indicadores deseguimiento, discusión de la propuestacon los equipos técnicos, evaluaciónconjunta de viabilidad y pertinencia,recolección de la información, cálculo delos indicadores y redacción de informesperiódicos.

La racionalidad gerencial configura un puntode vista, una perspectiva que privilegia la evaluaciónde desempeño en la administración del Estado. Enese sentido, el autor concluye que "I ... ] la evaluación

deja de concentrarse en la reforma de la sociedad,y se convierte en un mecanismo de reforma delEstado." (URUGUAY, [201Ol)Si el avance de los casiEstados Sociales explicó el lugar preponderante queocupó la evaluación de las acciones tendientes areformar lo social, la jerarquización de su eficienciapermite comprender el creciente énfasis atribuido ala evaluación de los programas sociales.

Fiel al momento histórico que lo vio nacer,el Ministerio de Desarrollo Social (MIDES)uruguayo incorporó la evaluación y el monitoreocomo cometidos sustantivos que merecíaninstitucionalizarse, es decir, nombrarse dentro de suorganigrama dando lugar a la Dirección Nacional deEvaluación y Monitoreo:

Uruguay presentaba insuficiencias ensu tradición en materia de monitoreo,seguimiento y evaluación de políticassociales. Los programas sociales nacíany perduraban sin que su eficacia fueraperiódicamente calibrada. En rigor secarecía de una política sostenida deevaluación y monitoreo de la mayoría desus intervenciones, aunque en la décadade los 90' a impulso de organismosinternacionales se ensayaronmodalidades puntuales de evaluaciónde algunos de los nuevos programassociales. Tampoco se contaba consistemas de información que permitierandiseñar un estrategia de evaluaciónsostenida en el tiempo, planteándosedesde el inicio de la actualAdministraciónno solo la preocupación sino unaestrategia para resolver el vacío en estedominio. (URUGUAY, [2010]).

A los fines del análisis aquí propuestoadjetivamos la evaluación como tautológica cuandoel indicador evaluativo es sobre el que se operamediante la intervención que es evaluada. En elcaso que nos ocupa la evaluación es tautológicapues "transfiero renta y mido renta" para determinarel éxito de los PTRC en el combate a la pobreza.En un estudio que analiza los casos de PTRC delMercosur, Mirza, Lorenzelli e Bango (2010, p. SO)señalan que las evaluaciones

[...] reflejan un impacto altamentepositivoen términos de superación de laindigencia, en razón de un efecto claroy contundente de la transferencia deingresos.

Es decir, la evaluación se vuelve tautológicacuando se propone reducir la pobreza mediantela transferencia de renta y mide el éxito de laintervención observando el incremento en el ingresode los hogares.

Evaluar supone una toma de posición acercade la relevancia de la intervención del Estado sobre

R. Poi. Púbi., Sao Luís, v.17, n.1, p. 139-148, jan./jun. 2013

Page 7: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

144 Jose Pablo Benture Alonso, Maria Laura Vecinday Garrido

cierta esfera de problemas, En ese sentido, los PTRCson una afirmación de la necesidad de intervenirsobre los problemas de la pobreza y la indigenciamediante la implementación de políticas públicas.En este caso, además, se afirma la necesidadde una intervención de carácter asistencial, Estetratamiento de la pobreza y la indigencia a travésde transferencia de renta e inversión en capitalhumano supone una concepción de los pobres y susactitudes comportamentales y su aversión al riesgo,también de la pobreza y sus formas de "superación",de los límites de la intervención del Estado enla provisión de bienestar y del papel asignado almercado y a las formas de protección cercana(familias y comunidades), Supone además que lasformas de tratamiento de la pobreza no pasan porla integración al mundo del trabajo a no ser en susformas "protegidas" como estrategia de inversión encapital humano,

Las evaluaciones "tautológicas" no suelenocuparse de identificar y analizar los supuestos einterpetaciones teórico - ideológicos que sustentanlas acciones públicas, En el caso de los PTRC, Barbay Valencia (2011) identifican claramente cuáles sonlas hipótesis no comprobadas y los espejismos quelos sustentan manifestando cierta sorpresa sobre suexitosa proliferación,

Toda evaluación de programas y políticassociales debe considerar la relación esencialentre sus objetivos, que nos informan acerca dela magnitud del problema que se quiere abordary el sentido de su transformación, y los recursosdestinados a tal fin, La respuesta a la interrroganteacerca de "qué quieres hacer y con qué recursos"permite formular un primer conjunto de apreciacionessobre la magnitud de los problemas a enfrentar y losrecursos disponibles,

Elporcentaje delPBIafectado porlafinanciaciónde los PTRC implementados en el continente nosupera el 1'lo, Puyana (2011, p. 163) señala para elcaso mejicano que ni las transferencias, ni el gastosocial, ni la tributación logran modificar la maladistribución inicial del ingreso, Las transferenciastienen un efecto inmediato sobre el ingreso de loshogares pobres que no es suficiente para afirmarel poder distributivo del gasto social afectado ydisminuir la desigualdad social,

Los PTRC combinan objetivos inmediatos yestratégicos y es, fundamentalmente, sobre estosúltimos donde se identifican importantes dificultadesde evaluación, Los objetivos inmediatos suelen serevaluados através de indicadores tales como ingreso,matriculación y asistencia al sistema educativoformal y número de controles médico pediátricosy/o ginecológicos y el nivel de inmunización segúnpoblación destinataria,

Los resultados obtenidos han servido paralegitimar la respuesta ofrecida por los PTRC, Barbay Valencia (2011, P 200-201) apuntan que estosprogramas han demostrado cierta utilidad para lograr

R PoI, Públ" Sao Luis, v.17, n 1, p. 139-148, janijun 2013

mejoras en ciertos campos: educativo (promociónde la matrícula y la asistencia al sistema educativo,reducción de la deserción), sanitario (reducciónde la desnutrición infantil, incremento de controlesmédicos, disminución de la morbilidad infantily materna), comunitario y familiar (fomentar laformación en capital social e incentivar a las familiaspobres para invertir en capital humano), en la arenade las políticas sociales (focalización eficiente, evitarpaternalismos, mayor transparencia) y en la esferapolítica:

[" ,] para lograr una amplia legitimidadentre los sectores de clase media ylos votantes comunes como mediosadecuados y poco costosos pararedistribuir los ingresos, lo que haredundado en que esta clase de políticassean sostenibles desdeel puntode vistapolítico,

Es en la evaluación de los objetivosclasificados como "estratégicos" donde se registranlas mayores dificultades, Tales objetivos expresanla pretensión de "[",] sacar a los ciudadanos dela pobreza y mejorar su bienestar en cuestionesbásicas [",]" y "[",] atender esa formación de capitalhumano que les permita insertarse más eficazmenteen la sociedad de la que han estados excluidos,"(RUIZ, 2008, p. 125)',

En un reciente trabajo señalábamos que lasevaluaciones de impacto de los principales PTRC deAmérica Latina indicaban que, si bien se ha mejoradoel acceso de sus beneficiarios a los servicios desalud y educación,

[... ] no hay información concluyenteen relación con objetivos finales dedesarrollo humano, como el aprendizaje(REIMERS: DESHANO DA SILVA:TREVINO, 2006) y el estado de salud onutricional de niños y niñas, (CECCHINI:MADARIAGA, 2011, p. 119),

Las investigaciones existentes sobre estetópico coinciden en que los efectos sobre las tasasde repetición, promoción y deserción son "modestos"y en que no producen efectos positivos en cuanto alaprendizaje (ORAlBE; RIESCO, 2009, P 49),

Barba y Valencia (2011) señalan que losdefensores de los PTRC suelen justificar suimplementación y continuidad apelando a supuestosdudosos que no han sido demostrados, Afirman quela capacidad de estos programas como estrategiade combate a la pobreza ha sido cuestionada porestudios que señalan la debilidad de sus efectossobre la reducción de la pobreza a largo plazo,Agregan que también se sospecha de su capacidadpara alterar la reproducción intergeneracionalde la pobreza', Lo mismo señalan respecto a su

Page 8: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

LA EVALUACiÓN 'TAUTOLÓGICA" DE LOS PROGRAMAS DE TRANSFERENCIA DE RENTA CONDICIONADA' 145

impacto sobre el trabajo infantil y adolescente y lainseguridad social.

El reemplazo de la preocupación por la ofertade servicios básicos en favor del incentivo de lademanda es funcional a los principios del mercadoy, por lo tanto, no sorprende que los resultados delos PTRC no permitan extraer conclusiones clarassobre su éxito en el mediano y largo plazo, sobretodo en los aspectos vinculados a sus objetivosestratégicos. El crecimiento de la demanda deservicios, de un lado y la despreocupación por laoferta, del otro, solo pueden resultar en serviciospobres para pobres.

Muchos de los efectos no deseados de laimplementación de los PTRC (DE MARTINO;VECINDAY, 2012) tampoco son objeto de reflexiónen las evaluaciones "oficiales" ni son reutilizadospara modificar cursos de acción. Por ejemplo,hay estudios que señalan el incremento en lamatriculación a nivel secundario pero esos mismosestudios u otros no informan acerca del impactode este fenómeno en la calidad del procesoformativo y en la relación docente - alumno. Esde suponer que el aumento de la matriculaciónpor el reclutamiento de adolescentes pobresen cumplimiento de las contrapartidas afecte elclima educativo en algún sentido, ante lo cualcorresponde interrogarse (y evaluar) sobre ladotación de recursos acordes a la magnitud de losproblemas a ser atendidos.

Algo parecido ocurre con la debilidad de losimpactos en el mundo del trabajo. En la evaluaciónintermedia del Plan de Atención a la EmergenciaSocial (PANES), programa antecesor del actualrégimen de Asignaciones Familiares (Plan deEquidad), se señala que no se observan efectossobre la formalidad laboral para los titulares altiempo que habría indicios de desincentivos a laformalidad en Montevideo y para otros integrantesdel hogar (AMARANTE; BURDíN; VIGORITO2007). '

Aún limitándose a la racionalidad gerencialde la evaluación de desempeño, los PTRC deberíanser evaluados por la adecuación de sus accionesen relación a los objetivos que se proponen.Para cumplir mínimamente con ese cometido sedebería ampliar el listado de indicadores socialesconsiderados. Los programas fueron concebidoscomo estrategia de combate a la pobreza queprivilegia la transferencia de renta y la inversiónen capital humano como forma de interrumpir sureproducción intergeneracional.

La evaluación, por lo tanto, debería trascenderla medición del impacto de los PTRC en la pobrezamedida por ingresos analizando su evolución segúnnecesidades básicas insatisfechas. Si hay acuerdosobre el carácter multidimensional de la pobreza, lasevaluaciones de los PTRC deberían prestar atención asus impactos sobre los indicadores menos sensibles a

la simple transferencia: vivienda, saneamiento, estadosanitario, empleo y condiciones de empleo, etc).

4 CONCLUSIONES

[...] la ciencia puede analizar

reflexivamente el contexto social en elque viene institucional, pero tambiénmetodológicamente, inmersa, y que al

mismo tiempo decide sobre la utilizaciónde las informaciones producidascientíficamente: ésta es tarea deuna crítica material de la ciencia.(HABERMAS, 1971, p. 17).

Los PTRC promueven ciertas formas deintervención social sobre la pobreza coherentescon una particular forma de entender el fenómeno.La transferencia de renta con condicionalidadesvinculadas al acceso a servicios educativos ysanitarios es la propuesta para superar la pobrezaentendida como insuficiencia de ingresos y déficitsde capital humano.

Sin embargo, la mayor parle de lasevaluaciones analizadas se limitan a enumerar loslogros referidos a los objetivos de corlo aliento.Se puede argumentar que se trata de programasrecientes pero algunos sí lo son y otros cuentancon una trayectoria que permitiría profundizar enrelación a los objetivos de mediano y largo alcanceque orientan su intervención. Aún los análisis sobreresultados preliminares llaman la atención sobrelo que Barba y Valencia (2011) designan como"hipótesis no comprobadas y espejismos" de losPTRC pese a lo cual los lineamientos y propuestascentrales no han sufrido alteraciones relevantes.

. La evaluación tautológica de estos programasalimenta los espejismos a los que hacíamosreferencia: el mayor éxito de los PTRC es lasuperación de la pobreza medida por ingreso. Seríarelevante conocer sus resultados cuando la pobrezaes medida en sus dimensiones estructurales a travésde una metodología sensible a los indicadores"duros" de la pobreza.

El índice de necesidades básicas podría serrecuperado como metodología para evaluar si lapobreza también disminuye producto de la acciónde los PTRC. De este modo, se podrían establecerconclusiones acerca del impacto de los PTRC enun conjunto de indicadores vinculados al acceso abienes y servicios sociales tales como educaciónvivienda, infraestructura urbana y servicios públicos:Tal como afirma De los Campos (2000, p. 4) el índicede Necesidades Básicas 1nsatisfechas se trata deuna medida estructural

[... ] en el sentido que considera bienesy servicios esenciales para el desarrollo

R Poi. Púbi., Sao Luís, v.17, n.1, p. 139-148, janJjun 2013

Page 9: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

146 Jase Pablo Benture Alonso, Maria Laura Vecinday Garrido

físico, psíquico y social de la persona, cuyaposesión o noporpartede unhogarresultaestabley dificilmente reversible en el cortoplazo. Si unhogarnotieneacceso a algunode estos bienes y servicios (necesidadesbásicas), se lo considera pobre.

Tampoco se trata de idealizar estametodología, pero, sin lugar a dudas, parece máspertinente para evaluar la superación de la pobreza,aún bajo gobierno de una racionalidad gerencial dela asistencia.

Problematizar los modelos de evaluación quepredominan en el campo social no equivale a minimizarla relevancia de los procesos evaluativos en tanto tales.En la acción de evaluar está contenida la potencialidadde constituirlacomo "[... ] el centro del debate políticoenuna sociedad, revelador de los procesos de acción, delas iniciativasy de las estructuras de poder." (WHOLEYapud SOLARTE PAZOS, 2002, P 3).

Problematizar los modelos de evaluación quese han tornado hegemónicos es problematizar lajerarquización atribuida a una de sus modalidades: laevaluación de desempeño que se contenta con "[... ]dar cuenta del desarrollo de las acciones realizadas enfunción de las acciones previstas." (URUGUAY; [2010]).

Problematizar estos modelos de evaluaciónes colocar en cuestión el uso minimalista de laevaluación cuando se orienta por requerimientos dereforma del Estado privilegiando la maximización dela relación costo / beneficio de las intervenciones.

Problematizar los modelos de evaluacióncentrados en la validación de conocimientopuramente instrumental significa objetar su punto devista, su mirada y los objetos de observación por ellaprivilegiados que deja fuera cualquier referencia a loscontenidos politico - ideológicos de la acción social.

De este modo, se descuida la evaluaciónvalorativa acerca del alcance de la intervenciónpública, las condiciones políticas preponderantes,la construcción política de los problemas sociales,el enfoque de los programas sociales, los soportesteórico - metodológicos que sustentan las acciones,la concepción filosófica acerca de la orientación lasociedad y el Estado (ideas de justicia, igualdad,distribución de la riqueza, integración social, etc).

REFERENCIAS

AMARANTE, Verónica et al. Evaluación intermediadel Plan de Atención a la Emergencia Social(PANES). Montevideo: MIDES, 2007. Disponibleen:<observatoriosocial.mides.gub.uy>. Acceso en:23 mar. 2012.

ANTUNES, R. Trabalho e precarizacáo numaordem neoliberal. In GENTIL!, Pablo; FRIGOTTO,Guadéncio. La ciudadanía negada: políticas deexclusión en la educación y el trabajo. Buenos Aires:CLACSO, set. 2000. cap 2.

R. Poi. públ., Sao Luís, v.17, n.1, p. 139-148, jan./jun. 2013

BARBA, Carlos; VALENCIA, Enrique. Hipótesis nocomprobadas y espejismos de las TransferenciasMonetarias Condicionales. In: SOLANO, Carlos;COHEN, Néstor (Coord). Perspectivas críticas sobrela cohesión social: desigualdad y tentativas fallidasde integración social en América Latina. BuenosAires CLACSO, 2011. (Colección Clacso).

BaRÓN, A. Las ciencias sociales en la era neoliberal:entre la academia y el pensamiento crítico. RevistaTareas, Panamá, n. 122,2006. Disponiblel en:<http://bibliotecavirtual.c1acso.org.ar/ar/libros/panama/cela/tareas/tar122/03boron.pdf>. Acceso en: 20 mayo2010.

CASTEL, R. Las metamorfosis de la cuestiónsocial: una crónica del salariado. Buenos Aires:Paidos, 1997.

CECCHINI, S; MADARIAGA, A. Programas detransferencias condicionadas: balance de laexperiencia reciente en América Latina y el Caribe.Santiago de Chile CEPAL, 2011 .

DE LOS CAMPOS, H. El índice de necesidadesbásicas insatisfechas: crítica de la definiciónoficial y propuesta de una metodología alternativa.Montevideo, 2000. Documento de Trabajo delDepartamento de Trabajo Social de la Facultad deCiencias Sociales da Universidad de la RepúblicaUruguay.

DE MARTINa, M; VECINDAY, L. Los programas detransferencia de renta condicionada bajo la lupa:olvidos, descuidos e invisibilidades. In: LORENTE,B.; LUXAR DO, N.; SEVILLA, L. (Orgs.). ServiciosSociales en Iberoamérica: procesos, tensiones yclaves de fortalecimiento. Buenos Aires, 2012.

DRAIBE, S; RIESCO, M. El Estado de bienestarsocial en América Latina: una nueva estrategia dedesarrollo. Documento de Trabajo, Madrid, n. 31,2009.

DURKHEIM, É. A divisao do trabalho social. SaoPaulo: Martins Fontes, 1995.

1991.

FRIDMAN, L. Émile Durkheim, Max Webersocialismo. Rio de Janeiro: Relume-Dumara, 1993.

GRASSI, E. Problemas de la teoría, problemasde la política, necesidades sociales y estrategiasde política social. Lavboratorio: Estudios sobreCambio Estructural y Desigualdad Social, Argentina,ano 6, n. 16, 2004. Disponible en:<http://www.catedras. fsoc. uba .ar/salvia/lavbo/textos/lavbo16.pdf> . Acceso en: 20 mayo 2010 .

Page 10: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

LA EVALUACiÓN 'TAUTOLÓGICA" DE LOS PROGRAMAS DE TRANSFERENCIA DE RENTA CONDICIONADA' 147

HAYEK, F. Camino de servidumbre. Madrid: AlianzaEditorial. 2006.

HOBSBAWM, E. A era das revolucoes 1789-1848.Rio de Janeiro: Paz e Tetra, 1996.

-,--,--,--,----,,' Era dos extremos o breve século XX 1914­1991. Sao Paulo: Companhia das Letras, 1995.

LUKÁCS, G. La crisis de la filosofia Burguesa. [S.I.]Elaleph.com, 2000.

MIRZA, C; LORENZELLI, M; BANGO, J. ¿Es posibleun nuevo Estado de Bienestar en América Latina?.la reconfiguración de las matrices de bienestar enel MERCOSUR. Madrid Fundación Carolina, 2010.(Serie Avances de Investigación, n. 36).

PUYANA, A. Crecimiento económico, desigualdady pobreza en América Latina. Uma mirada desdela construcción de ciudadanía social. In: BARBA;COHEN (Coord.). Perspectivas críticas sobre lacohesión social: desigualdad y tentativas fallidas deintegración social en América Latina. Buenos Aires:CLACSO, 2011.

RU IZ, L. Cohesión social y lucha contra la pobreza:un balance de las políticas sociales en AméricaLatina. Madrid: Instituto Universitario de InvestigaciónOrtega y Gasset, 2008. Disponible en <http//dialnel.unirioja .es/servletlarticulo?codigo=2787575>.Acceso em: 20 fev. 2013.

SOLARTE PAZOS, L. La evaluación de programassociales en el Estado liberal. In: CONGRESOINTERNACIONAL DEL CLAD SOBRE LA REFORMADEL ESTADO Y DE LA ADMINISTRACiÓNPÚBLICA, 7. 2002, Lisboa. Anais eletrónicos..Lisboa, 2002. Disponible em:<http//gyepro.univalle.edu. col documentos/ponencias/la_evaluacion_de_programas_sociales_en_eLestado_liberaUisboa.pdf>. Acceso en: 23 abr. 2012.

URUGUAY Ministerio de Desarrollo Social.Consejo Nacional de Políticas Sociales. De laemergencia a la equidad social: cuatro años depolíticas sociales. Montevideo, [2010) . Disponibleen:<bservatoriosocial.mides.gub.uy>. Acceso en: 23mar. 2012.

ZIZEK, S. (Comp.). Ideología: un mapa de la cuestión.Buenos Aires: Fondo de Cultura Económica, 2008.

Notas

El trabajo es producto de la investigación, aún encurso, sobre "Programas de transferencia de rentacondicionada en américa latina y el caribe: estudiocomparado - Bolsa Família (Brasil), AsignaciónFamiliardel Plan de Equidad (Uruguay) y Asignación

Universal por Hijo (Argentina)". Proyecto financiadopor la Coordenacáo deAperfeiconarnento de Pessoalno Nivel Superior (CAPES) de Brasil y administradoen Uruguaypor la Agencia Nacionalde Investigacióne Innovación (ANII) (Edital MercosurEducativo)

"Pero si ni toda organización corporativa esnecesariamente un anacronismo histórico, ¿tenemosbase para creer que ella sería llamada a desempeñar,en nuestras sociedades contemporáneas, el papelconsiderable que les atribuimos? Porque, si la juzgamosindispensable, es por causa no de los servicioseconómicos que ella podría tener. Lo que vemosantes que nada en el grupo profesional es un podermoral capaz de contener los egoísmos individuales,de mantener en el corazón de los trabajadores unsentimiento más vivo de sus solidaridad común , deimpedir que la ley del más fuerte se aplique de maneratan brutal en la relaciones industriales y comerciales."(DURKHEIM, 1995, p. 16).

Cabe aclarar que la evaluación como prácticatecnificada y asociada a programas de intervenciónsocial es un fenómeno más bien reciente, siendoresidual su expresión en aquel período donde lavaloraciones centrales se dirigían hacia la orientaciónde los procesos de reforma social.

Que tiene "[... ] de entre otros elementos causales, elaumento del precio de la fuerza de trabajo, conquistadodurante el período pos 45 y por la intensificación de lasluchas sociales de los años 60, que objetivaban el controlsocial de la producción. La conjunción de esos elementosllevó a una reducción de losniveles de productividad delcapital, acentuando latendencia decreciente delatasa delucro [...]"(ANTUNES, 2000, p.29)

"Se ha visto a muchos individuos que, arrestados encircunstancias lamentables, han convenido en que selos había salvado de muchas tentaciones. La falta dedinero anuncia una necesidad excesiva; todo hombre,en esas circunstancias acuciantes, está al borde deconvertirse en estafador o criminal. El gobierno debepor lo tanto prevenir el crimen, y asegurar la tranquilidadde los ciudadanos por todos los medios posibles. Aquelque, sin asilo, sin recursos, no puede ya pagar susubsistencia, deja de estar libre; esta bajo el imperiode la fuerza, no puede dar un paso sin cometer undelito. Finalmente, en una palabra, suponiendo que unhombre privado de todo socorro desde mucho antessólo sea un hombre desdichado, que sería injustoarrestarlo, y bien, habría que cometer esta injusticiapolítica, y no dejar errar en los caminos a quien, pornotenernada, puede atreverse a todo." (LECLERC DEMONTLlNOT apud CASTEL, 1997, p. 107).

"I...] el crecimiento de los cárteles y sindicatos hasido sistemáticamente muy alimentado desde 1878por una deliberada política. No sólo el instrumento dela protección, sino incitaciones directas y, al final, lacoacción, emplearon los gobiernos para favorecer lacreación de monopolios, con miras a la regulación delos precios y las ventas. Fue allí [enAlemania] donde,con la ayuda del Estado, el primergranexperimento de«planificación científica» y «organización explícitade la industria» condujo a la creación de monopolios

R. Poi. Púbi., Sao Luís, v.17,n.1,p. 139-148, jan./jun. 2013

Page 11: Redalyc.LA EVALUACiÓN 'TAUTOLÓGICA' DE LOS PROGRAMAS …

148 Jose Pablo Benture Alonso, Maria Laura Vecinday Garrido

gigantescos que se tuvieron por desarrollos inevitablescincuenta años antes de hacerse lo mismo en GranBretaña." (HAYEK, 2006, p. 76).

"Un resultado necesario, y sólo aparentementeparadójico, de lo dicho es que la igualdad formal antela ley está en pugna y de hecho es incompatible contoda actividad del Estado dirigida deliberadamente ala igualación material o sustantiva de los individuos,y que toda política directamente dirigida por un idealsustantivo de justicia distributiva tiene que conducira la destrucción del Estado de Derecho." (HAYEK,2006, p. 113).

Másadelante, Ruiz (2008, p.128)señala la insuficienciade "evaluar estas intervenciones considerando sólociertos indicadores sociales, ya que tendrían que servalorados en función de su capacidad para disminuirla vulnerabilidad de las familias pobres, objetivocentral declarado por ellos y característica por la quese considera que constituyen una nueva generación,la más avanzada, de programas sociales".

"Las evidencias empíricas muestran que mayorescolaridad no necesariamente equivale aacumulación de capital humano (MORLEY; COADY,2003). Por otra, todo indica que las evaluaciones sobreeste aspecto no han sido suficientemente sólidas, enprimer lugar, porque como lo señala Valencia (2008)los criterios que han empleado dejan de lado dosaspectos cruciales: "[... ] la revisión de los resultadosen el aprendizaje y la calidad de la oferta educativa;y en segundo, porque como señalan Cortés y suscolegas, refiriéndose al programa Oportunídades,aún no se cuenta con información suficiente paraconocer el destino laboral de los jóvenes egresadosy la información disponible en las ENIGH20 no essuficiente para determinar si los hijos de las familiasincluidas en el programa logran escapar de la pobreza[...]" (BARBA; VALENCIA, 2011, p. 202).

Josa Pablo Bentura AlonsoAssistente SocialDoctor en Ciencias Sociales por la FacultadLatinoamericana de Ciencias Sociales (FLACSOInvestigador del Sistema Nacional de Investigadores de laAgencia Nacional de Investigación e Innovación y Profesordel Departamento de Trabajo Social de la Facultad deCiencias Sociales de la Universidad de la República(UDELAR)E-mail: [email protected]

Maria Laura Vecinday GarridoAsssistente SocialDoctora en Ciencias Sociales por la FacultadLatinoamericana de Ciencias Sociales (FLACSO)Investigadora del Sistema Nacional de Investigadoresde la Agencia Nacional de Investigación e Innovacióny Profesora del Departamento de Trabajo Social de laFacultad de Ciencias Sociales de la Universidad de laRepública (UDELAR)E-mail: [email protected]

Universidad de la República (UDELAR)Av. 18 de Julio 1968 - Montevideo, Uruguay

R. Poi. PÚbl., Sao Luis, v.17, n. 1, p. 139-148, jan./jun. 2013