PERCEPCION DE LA CALIDAD SEGÚN USUARIOS DE INSTITUCIONES PRESTADORAS DE SERVICIOS DE SALUD

PROGRAMA DE REORGANIZACIÓN, REDISEÑO Y MODERNIZACIÓN DE REDES PRESTADORAS DE SERVICIOS

MINISTERIO DE LA PROTECCION SOCIAL DE LA REPÚBLICA DE COLOMBIA

LÍNEA DE BASE PARA EVALUAR EL IMPACTO DEL PROGRAMA

INFORME FINAL

Ejecutada por:

Facultad Nacional de Salud Pública “Héctor Abad Gómez” de la Universidad de Antioquia

Según contrato de consultoría 2060685 firmado entre:

Fondo Financiero de Proyectos de Desarrollo-FONADE y la Universidad de Antioquia-UdeA

En el marco de:

Convenio de Gerencia Integral del Proyecto 194045 FONADE-Ministerio de Protección Social-MPS

Contrato Préstamo 1525/OC-CO República de Colombia y Banco Interamericano de Desarrollo-BID

Medellín-Colombia, Viernes 22 de DICIEMBRE de 2006

Institución consultora:

Facultad Nacional de Salud Pública “Héctor Abad Gómez” de la Universidad de Antioquia

Director de la consultoría y autor del informe de línea de base:

Gustavo Alonso Cabrera Arana. Fon. MSP. EspPS. DrSP. Profesor Asociado, FNSP de la Universidad de Antioquia

Equipo de la consultoría:

Jaime León Londoño Pimienta. MD-EspGSO. CoordinadorLeón Darío Bello Parias. Est-EspDU, MEst. Estadístico

Luís Alberto Gutiérrez Mejía, MD-MSP. ConsultorJulián Vargas Jaramillo. MD-EspGP. ConsultorFabio León Rodríguez. GeSIS-MSP. ConsultorHair Darío Holguín Salazar. AdSS. AsistenteJulio César Fabra Arrieta. GeSIS. AsistenteBibiana Margarita Cano Builes. Asistente

Encuestadores:

Eliana María Rico CadavidElvia Ligia Morales Carro

Paula Andrea Arango CastroIsabel Cristina Correa BerríoAstrid Yaneth Naranjo GarcíaGiselle Cristina Bedoya Marín

Lucy del Rosario Muñoz RoldánHernán Alonso Restrepo RojasOscar Julián Moreno Arbeláez

Luís Felipe Gómez BecerraAlexander Valencia García

Juan Guillermo Ferrer

Citación estructurada:Ministerio de la Protección Social de la República de Colombia. Percepción de la calidad según usuarios de IPS`s objeto del Programa de reorganización, rediseño y modernización de redes prestadoras de servicios de salud: línea de base para evaluar el impacto del Programa. Medellín: Facultad Nacional de Salud Publica “Héctor Abad Gómez” Universidad de Antioquia, Octubre, 2006. 90 páginas con adjuntos. Informe final.

Cita breve:Ministerio de la Protección Social. Línea base de la calidad percibida por usuarios de IPS/Programa de reorganización, rediseño y modernización de redes de servicios. Medellín: Universidad de Antioquia, 2006.

2

Equipos institucionales acompañantes de la consultoría:

ALBERTO URIBE CORREARector de la Universidad de Antioquia

OSCAR SIERRA RODRÍGUEZ, hasta julio 24 de 2006

y

GERMÁN GONZÁLEZ ECHEVERRY, desde julio 25 de 2006

Decanos, Facultad Nacional de Salud Pública ¨ Héctor Abad Gómez ¨ UdeA

CARLOS EDUARDO CASTRO HOYOSJefe Centro de Extensión Facultad Nacional de Salud Pública ¨ Héctor Abad Gómez ¨ UdeA

DIEGO PALACIO BETANCOURTMinistro de la Protección Social de la República de Colombia

EDUARDO JOSÉ ALVARADO SANTANDERViceministro de Salud

BLANCA ELVIRA CAJIGAS DE ACOSTADirectora General de Calidad de Servicios Ministerio de la Protección Social

MARIA CRISTINA NIÑO CAPADORCoordinadora Administrativa y Financiera del Programa

ENRIQUETA CUETO VIGILCoordinadora Técnica para Monitoreo y Evaluación del Programa

NIDIA AURORA GIL MORALES y JAIME GUERRERO GUERREROInterventores de la consultoría

LIBARDO CHÁVEZ GUERRERO y JORGE SUÁREZ GÓMEZConsultores Técnicos del Programa

MARCELA GIRALDO SUÁREZCoordinadora Grupo de Calidad del Ministerio de la Protección Social

ALVARO MUNÓZ ESCOBARConsultor Técnico Grupo de Calidad Ministerio de la Protección Social

GERMÁN ARAGÓN OSPINA y MARTHA LUCÍA JIMÉNEZ MEDINAConsultores en Informática y Análisis de Información Dirección de Calidad de Servicios

3

Instituciones y personas facilitadoras de la medición 2006:

HOSPITAL SAN RAFAEL DE MATANZA CLAUDIA PATRICIA JARAMILLO QUIROGAHOSPITAL SAN JOSÉ ESE LA GLORIA RAFAEL GREGORIO CAMACHOESE UNIDAD DE SALUD DE NOBSA ZULMA CRISTINA MONTAÑA MARTINEZESE HOSPITAL SANTO TOMÁS DE VILLANUEVA FRANKLIN FIGUEROA BRITOESE HOSPITAL SANTA TERESITA DE PÁCORA RODRIGO DE JESÚS TOBÓN ROLDÁNESE HOSPITAL SANTA MARTA DE SAMACÁ JIMENA CORTÉS PEÑAESE HOSPITAL SAN VICENTE DE RAMIRIQUÍ LUZ ADRIANA HERNÁNDEZ AGUDELOESE HOSPITAL SAN VICENTE DE PAÚL DE PAIPA ROKREY GIOVANNY BARRERA GAMAESE HOSPITAL SAN LUCAS DE EL MOLINO NAHASLY MERIÑO DÍAZESE HOSPITAL LOCAL DE REMOLINO DIÓGENES ALBERTO ROMERO RODRIGUEZESE HOSPITAL DEL ROSARIO DE CAMPOALEGRE NELSON LEONARDO FIERRO GONZÁLEZESE HOSPITAL SAN JUAN DE DIOS DE LEBRIJA EDGAR LIZCANO MOUREESE CENTRO DE SALUD SAN PEDRO EN SUCRE EDUARDO CASTILLA ANAYAESE CENTRO DE SALUD FÉ Y ESPERANZA DE SORACÁ CARLOS ALBERTO RAMIREZ ARENASCENTRO DE SALUD SAN FÉLIX DE SALAMINA ALONSO CASTAÑO GONZÁLEZESE SALUD AQUITANIA PATRICIA AGUIRRE AGUIRREESE CENTRO DE SALUD DE CÓMBITA CARLOS E. MACHADO J.HOSPITAL NELSON RESTREPO MARTINEZ DE ARMERO JAIME YOANY GALLEGO TEJADAHOSPITAL SAN ANTONIO DE TARAZÁ JOSÉ MIGUEL ZUÑIGA CARRARAESE HOSPITAL GILBERTO MEJÍA MEJÍA DE RIONEGRO HUGO ALBERTO GÓMEZ OTALVAROESE HOSPITAL SAN JOSÉ DE ARACATACA ALVARO ANTONIO SAADE URUETAESE SANTIAGO DE TUNJA LUZ PATRICIA SÁNCHEZ ROJASESE HOSPITAL LOCAL DE SITIONUEVO ALVARO GUTIERREZ MANGAESE HOSPITAL SAN VICENTE DE PAÚL DE BARBOSA EZEQUIEL BENAVIDES SIMANCAESE HOSPITAL CHAPINERO DE BOGOTA GERMÁN DE LA CRUZ ARRIETA VIOLETHOSPITAL ISMAEL ROLDÁN VALENCIA DE QUIBDÓ CARLOS PIÑERES COUTINESE CAMU EL AMPARO DE MONTERÍA JAIME DE JESÚS SALGADO ROSALES

UAE PRESTADORA DE S.S. DE MONTERÍA JOAQUÍN JAIME CARVAJAL CABRALESHOSPITAL NAZARETH ESE DE BARRANQUILLA PIEDAD MANOTAS BERDUGOESE HOSPITAL MARIO GAITÁN YANGUAS, SOACHA CLAUDIA YANETH GONZÁLEZ VALENZUELAHOSPITAL RAFAEL URIBE URIBE ESE DE BOGOTÁ HECTOR JAVIER QUIÑONES ALBARRACINESE INSTITUTO DE SALUD DE BUCARAMANGA SANDRA YANETH SANTOS HIGUERAESE HOSPITAL MATERNO INFANTIL DE SOLEDAD TOMMY MORALES ABDOHOSPITAL SAN ANTONIO DE ARBELÁEZ JOHN CASTILLO MARTINEZESE HOSPITAL PSIQUÍATRICO SAN CAMILO DE BUCARAMANGA LIPSAMIA RENDÓN CROSSHOSPITAL REINA SOFÍA DE ESPAÑA DE LÉRIDA MERYS ALICIA MORENO VARGASHOSPITAL LA CANDELARIA ESE DE EL BANCO MAGDALENA MIREYA MÁRQUEZHOSPITAL DEPARTAMENTAL FELIPE SUÁREZ DE SALAMINA NILSON HURTADO BLANDÓNESE HOSPITAL REGIONAL DE SOGAMOSO CÉSAR MAURICIO BARACALDO BARRERAESE HOSPITAL MENTAL UNIVERSITARIO DE RISARALDA ADRIANA MARÍA PATIÑO GÓMEZESE HOSPITAL MENTAL DE ANTIOQUIA DE BELLO LUIS FERNANDO SUÁREZ VÉLEZESE HOSPITAL MARCO FIDEL SUAREZ DE BELLO ALBERTO ARISTIZABAL OCAMPOESE HOSPITAL GENERAL DE BARRANQUILLA BENJAMIN ARAUJOESE HOSPITAL CENTRO ORIENTE II NIVEL DE BOGOTÁ RICARDO BEIRA SILVAESE HOSPITAL DE DUITAMA LYDA MARCELA PÉREZ RAMIREZESE HOSPITAL UNIVERSITARIO SAN JORGE DE PEREIRA HUGO MAURICIO QUINTERO ZULUAGAESE HOSPITAL UNIVERSITARIO ERASMO MEOZ DE CÚCUTA ERNESTO SNACHEZ RODRIGUEZESE HOSPITAL SAN RAFAEL DE GIRARDOT RAQUEL ROCHA

4

PERCEPCION DE LA CALIDAD SEGÚN USUARIOS DE IPS´s OBJETO DEL PROGRAMA DE REORGANIZACIÓN, REDISEÑO Y MODERNIZACIÓN DE REDES PRESTADORAS DE SERVICIOS/MINISTERIO DE LA PROTECCION SOCIAL REPÚBLICA DE COLOMBIA LÍNEA BASE PARA EVALUAR EL IMPACTO DEL PROGRAMA

CONTENIDO DEL INFORME

Agradecimientos 7

Glosario 8

Prólogo 10

Resumen 11

Introducción 13

2. El Programa objeto de evaluación 14

2.1 Definición, objetivos, beneficiarios y componentes 14

2.2 Seguimiento y evaluación del Programa 15

3. Metodología para la evaluación del impacto del Programa 17

3.1 Supuestos y lineamientos varios 17

3.2 Antecedentes y consideraciones con líneas de base 19

3.3 Teoría para fundamentar la evaluación de impacto del Programa 25

3.4 Universo y diseño muestral para el 2006; los lineamientos al 2008 y 2010 30

3.5 Técnica e instrumento para las evaluaciones base 2006, media 2008 y final 2010 43

3.6 Procedimientos de recolección, procesamiento, control y de análisis de datos colectados 53

4. Resultados de la línea de base 2006 56

4.1 Perfil de usuarios 57

4.2 Aspectos de la calidad de los servicios de salud percibidos por los usuarios en IPS`s públicas Colombia, agosto de 2006. 62

4.3 Estadísticas descriptivas de los aspectos de calidad en los servicios de salud percibidos según variables de identificación e instituciones con convenio y sin convenio. 68

4.4 Análisis Factorial. 69

5. Discusión de la implementación de la metodología 72

5

5.1 Supuestos, limitaciones y proyección de hallazgos al universo 72

5.2 Aprendizajes en la línea de base para uso de la metodología en 2008 y 2010 75

6. Conclusiones 78

7. Estrategia de divulgación de resultados de la línea de base 2006 80

Referencias citadas y consultadas 81

Anexos y adjuntos 86

6

AGRADECIMIENTOS

El director de la consultoría expresa su profunda gratitud:

A los profesores Oscar Sierra Rodríguez y Carlos Eduardo Castro Hoyos por la indicación para dirigirla.

Al administrador en salud Hair Darío Holguín Salazar por su permanente atención y efectiva colaboración en los procesos operativos, de recolección de datos y, en especial, los requeridos para la estructuración del presente informe final de la línea de base.

A las personas del Centro de Extensión y de la Unidad Logística Administrativa y Financiera-ULAF de la FNSP, por el acompañamiento administrativo y financiero, en especial a Martha Uribe, Diana Escudero, Marycel Uribe Restrepo y Luz Marina Moreno. A Jaime León Londoño Pimienta por su entusiasmo y a León Darío Bello Parias por sus aportes.

A los equipos técnicos y consultores, tanto del Programa evaluado como de la Dirección de Calidad de Servicios en el Ministerio de la Protección Social, por la permanente, estrecha e incisiva discusión metodológica que elevó, sin duda, el nivel de los productos de la consultoría y el de este informe.

A los investigadores y profesores universitarios, directores o gerentes, personal asistencial, administrativo o auxiliar de los hospitales, a los responsables de las oficinas de estadística o de atención al usuario en las IPS´s visitadas, a los ex secretarios municipales y departamentales de salud y a los consultores independientes que participaron con su conocimiento y experiencia en alguna o varias fases del proyecto. Gratitud especial a Jorge Héctor Flórez por sus oportunos comentarios según sus experiencias como asesor de calidad de servicios.

A los médicos Alejandro Varela Villegas, Luís Fernando Rendón y Ricardo López, respectivos directores de las Empresas Sociales del Estado Isaías Duarte Cancino del distrito de Aguablanca y Hospital Mario Correa Rengifo del sector de los Chorros en Cali y, E.S.E. Hospital San Antonio de Roldanillo, Valle del Cauca, por su abierta acogida institucional en la fase final de prueba durante la validación del PECASUSS.

A los salubristas Luís Fernando Gómez Gutiérrez y Mauricio Serra Tamayo, por compartir sus valiosas experiencias en diversos proyectos de alcance nacional y por las discusiones formales e informales sobre aspectos teóricos e instrumentales de la medición.

A los epidemiólogos Julio César Mateus Solarte y César Gómes Victora. Al primero por darme a conocer y discutir desde 1999, en varias ocasiones, el modelo de evaluación de desempeño e impacto de intervenciones y programas de salud pública usado aquí como referente. Al segundo, coautor del modelo original, quien generosamente expresó sus invaluables comentarios sobre como se adaptó dicho modelo en el desarrollo de esta consultoría, algunos reflejados de manera sucinta en el prólogo del presente informe.

A los ciudadanos de Colombia, usuarios de los servicios de las IPS´s que son objeto de intervención del Programa, quienes con la expresión de su percepción sobre la calidad de los servicios recibidos permitieron la implementación y ajustes de la metodología diseñada.

Mil gracias.

7

GLOSARIOAtención en salud:

Conjunto de servicios que se prestan a un usuario en el marco de los procesos del aseguramiento así como de las actividades, procedimientos e intervenciones asistenciales en las fases de promoción y prevención, diagnóstico, tratamiento y rehabilitación prestadas a toda la población en Colombia.

Calidad de servicios en salud:

Producto de servicios de salud accesibles y equitativos brindados a usuarios individuales y colectivos a través de un nivel profesional óptimo, teniendo en cuenta el balance entre beneficios, riesgos y costos, con el propósito de lograr la adhesión y satisfacción de tales usuarios.

Evaluación:

Generación de evidencias del valor relativo de un elemento, un conjunto, o un proceso por los resultados que se obtienen del uso de esos elementos frente a estándares explícita y previamente determinados.

Evidencia:

Testimonios, hechos o datos identificables por métodos populares o de una disciplina científica en general o de las sociales en particular, a partir de los cuales se formulan supuestos, hipótesis y conclusiones.

Impacto:

En el ámbito evaluativo, es evidencia confiable del efecto o efectos plausibles de una intervención específica.

Intervención:

Acción o conjunto de acciones ejecutadas con un objetivo explícito definido a priori para obtener un cambio expresable en resultados o impactos; en el ámbito social, por lo general, son políticas, normas, planes, programas o proyectos, de una o múltiples estrategias implementadas secuencial o simultáneamente.

Intervenciones en calidad de servicios de salud:

Acción o conjunto de acciones ejecutadas en alguna institución o en las redes prestadoras de servicios de salud, para obtener un cambio o producir resultados positivos e identificables en la calidad de sus servicios.

Línea de base:

Es el valor de algo, obtenido como referente absoluto contra el cual comparar los resultados de mediciones futuras para identificar la magnitud y dirección de los cambios registrados en dicho valor.

8

Metodología:

Estudio de la forma explícita, objetiva y replicable de llevar a cabo un proceso con un fin determinado.

Percepción:

Proceso sensorial modulado por los motivos, las emociones, los valores, las experiencias, las actitudes y la cognición humana, que puede exteriorizarse motriz, simbólica y lingüísticamente.

Percepción de la calidad de los servicios de salud:

Expresiones de valor, adherencia y satisfacción del usuario ante los servicios de salud recibidos.

9

PRÓLOGO *

El detallado trabajo de evaluación aquí descrito está marcado por el rigor metodológico en sus diversos aspectos, desde la conceptualización del objeto de

estudio, la revisión bibliográfica de diferentes metodologías de evaluación, el amplio proceso de muestreo y la rigurosa estandarización de la recolección de los datos.

El tema escogido es altamente relevante. Gran parte de los estudios de evaluación se concentran en el lado de la oferta

ignorando la demanda de los servicios, las características de los usuarios y, su grado de satisfacción con la atención recibida.

Estos datos de la línea de base serán de gran utilidad para el mejoramiento y la reorganización de los servicios que son brindados a la población. La repetición de la encuesta en un par de años permitirá, sin duda, evidenciar los progresos alcanzados.

Es importante destacar que esta investigación, aunque aborde un aspecto específico que hace parte de una totalidad mayor que engloba a la oferta, a la utilización, la cobertura e impacto

de los servicios, fue desarrollada en un amplio marco conceptual.

Los resultados aquí presentados sirven de estímulo para la ampliación de la recolección de datos cuantitativos y cualitativos, de modo prospectivo, orientada a una evaluación global

del programa de reorganización de redes de servicios.

Los autores demuestran madurez conceptual y metodológica, evidenciando como la elección de una metodología relativamente simple puede contribuir para la optimización de los

servicios asistenciales y, en últimas, de los niveles de salud de la población.

César Gomes VictoraProfesor de Epidemiología

Universidad Federal de PelotasPelotas, Río Grande del Sur, Brasil

*El original del prólogo en Portugués y una breve reseña biográfica de su autor aparecen en la última página del informe.

10

RESUMEN

La República de Colombia y el Banco Interamericano de Desarrollo-BID suscribieron un contrato de cooperación para ejecutar un Programa para la reorganización, rediseño y modernización de las redes de prestación de servicios de salud en el país. Direccionado por el Ministerio de la Protección Social, el Programa tiene como objetivo apoyar la transformación de hospitales públicos para que el mejoramiento de su eficiencia y calidad permitan la viabilidad técnica y financiera de las redes públicas de prestadores así como la extensión del aseguramiento a la población en el marco del Sistema General de Seguridad Social en Salud-SGSSS.

El componente de seguimiento y evaluación del Programa tiene como propósitos: desarrollar la capacidad para generar y analizar información que permita monitorear y evaluar tanto la implementación de la Política Nacional de Prestación de Servicios como la ejecución y el impacto del Programa e, implementar acciones de ajuste de tal modo que se garantice el logro de los propósitos de la Política y del Programa. Para evaluar el impacto del Programa, un equipo consultor de la Facultad Nacional de Salud Pública “Héctor Abad Gómez” de la Universidad de Antioquia diseñó una metodología para levantar una línea de base de la calidad percibida por los usuarios. En agosto de 2006 la implementó y con los aprendizajes de esta primera medición deja planteados los referentes metodológicos para que se efectúen dos evaluaciones, de medio termino en 2008 y la final en 2010. Con los resultados de estas mediciones se establecerá la dirección y magnitud de los cambios ocurridos en la percepción de la calidad de servicios según los usuarios de IPS´s públicas intervenidas respecto de la percepción de calidad según usuarios de IPS`s públicas elegibles no intervenidas. Estos cambios son el referente para las afirmaciones plausibles, conclusiones razonables, del impacto del Programa en esta dimensión de la calidad de los servicios prestados a la población.

La metodología tuvo como referentes de diseño a la Política Nacional de Prestación de Servicios de Salud, a los desarrollos normativos y técnicos del SGSSS, al Programa y a un modelo para la evaluación del desempeño e impacto de programas de salud pública según la inferencia requerida por tomadores de decisión. En un marco de 301 instituciones elegibles se efectuó selección sistemática de 48 IPS´s, 3 del III nivel, 11 del II nivel y las 34 restantes del I nivel de atención, representativas de las instituciones intervenidas y no intervenidas. En estas IPS´s se abordó a usuarios de servicios electivos o urgentes para que, voluntariamente y luego de informados de los propósitos de la medición, respondieran una breve entrevista cara a cara en la que se desarrollaba un instrumento específicamente validado para medir percepción de calidad según usuarios de servicios de salud, el PECASUSS.

En agosto de 2006 una docena de encuestadores se desplazó a las instituciones y, de acuerdo con criterios de representatividad global de los prestadores y particular de servicios electivos, urgentes así como de la afiliación de los usuarios al SGSSS, se encuestó a 4.021 personas. Con una media de 38 años (DE:15), la mayoría fueron mujeres (70%), consultantes en medicina general (53%), del régimen subsidiado (60%), reportando estudios primarios incompletos (22%) o completos (50%), estar dedicada al hogar (35%) o en situación de desempleo (26%) y reportando pertenecer al estrato I (55%) o II (37%). El conjunto de usuarios valoró mayoritariamente como bueno el nivel de las dieciséis subdimensiones de la calidad percibida indagadas; en una escala de cero a cinco, calificaron con 3,98 (DE:0,84) la calidad de los servicios recibidos aunque uno de cada tres hubiese percibido la espera para ser atendido como larga y reportar una espera que varió de 0 hasta 360 minutos con mediana y promedio de 55,3 minutos (DE: 65).

11

La comparación de las percepciones de usuarios de IPS´s intervenidas e IPS´s elegibles aún sin intervención reveló aspectos interesantes. Sin ser concluyentes, las pruebas estadísticas mostraron en general que los usuarios de las instituciones intervenidas valoraban de mejor manera los aspectos de calidad evaluados con respecto a los usuarios de instituciones no intervenidas. El tiempo de espera y el costo fue lo menos satisfactorio en todos los usuarios, mientras que lo más positivo fue: la calidad del servicio y el trato del personal.

12

INTRODUCCIÓN

En enero de 2004 la República de Colombia y el Banco Interamericano de Desarrollo-BID suscribieron el contrato de préstamo 1525/OC-CO para cooperar en la ejecución del Programa para la reorganización, rediseño y modernización de redes de prestación de servicios de salud en el país.

El Ministerio de la Protección Social, ente ejecutor del contrato, suscribió con el Fondo Financiero de Proyectos de Desarrollo-FONADE un convenio ínter administrativo de gerencia integral de proyectos. En este marco, en abril de 2005 se divulgaron los términos de una consultoría a ser contratada para diseñar una metodología y, consecuentemente, implementarla para levantar una línea de base de la evaluación del el impacto del citado Programa en la calidad de los servicios según la percepción de los usuarios. Cerca de treinta firmas manifestaron interés y durante el segundo semestre del 2005 se cumplieron los pasos de precalificación y evaluación de las propuestas que determinaron la adjudicación de la consultoría a la Universidad de Antioquia-UdeA.

Un equipo humano de la Facultad Nacional de Salud Pública “Héctor Abad Gómez” de la UdeA ejecutó entre marzo y octubre de 2006 el diseño, implementación, ajuste y transferencia de la metodología. Se destacan: la revisión de la literatura sobre evaluación de calidad percibida; el uso de un robusto modelo como referente del diseño de la evaluación del impacto; la validación de un instrumento para medición confiable, valida y repetible de calidad percibida de los servicios, un recurso hasta entonces inexistente en Colombia; el levantamiento de los indicadores absolutos de la línea de base y, la incorporación de aprendizajes de la medición 2006 a la metodología aquí descrita para que el Programa tenga referente para ejecutar las evaluaciones media y final de su impacto.

La parte inicial de este informe presenta los elementos de definición, conceptualización y contexto; la descripción del modelo aplicado y la forma en que adaptó para fundamentar el diseño evaluativo del impacto y, los procedimientos, técnica e instrumental para la implementación de la metodología.

La parte final presenta características institucionales, y del proceso de la medición 2006; describe las características personales de los encuestados, los valores absolutos del levantamiento; los elementos para desarrollar las evaluaciones media y final que generaran evidencias de la dirección y magnitud de cambios percibidos por los usuarios en la calidad de servicios de salud de las instituciones intervenidas en comparación con los cambios percibidos por usuarios de instituciones elegibles pero no intervenidas por el Programa.

Adicionalmente, realiza pruebas no paramétricas para determinar diferencias según el tipo de institución y presenta un análisis factorial exploratorio para identificar dimensiones subyacentes en las respuestas obtenidas de los usuarios de las IPSs públicas.

Este informe se divulga un año después de la socialización de la Política Nacional de Prestación de Servicios de Salud de Colombia y apunta a lo que dicha Política se propuso:

“…ser un marco para la acción articulada entre y de los actores de las redes público-privadas con la academia, centros de investigación, entidades territoriales, agentes reguladores, aseguradores e indispensablemente los usuarios para que la información sobre la calidad de la prestación de servicios se convierta en un bien colectivo de naturaleza pública, de tal modo que permita orientar las decisiones de los agentes del sistema, modernizar la forma de su operación y consolidar las redes de prestación de servicios para optimizar recursos, mejorar el acceso y consolidar un sistema de incentivos en el país, reflejando, en últimas, el interés del Gobierno Nacional hacia una efectiva y digna atención en salud para los ciudadanos de la República de Colombia”.

13

2. EL PROGRAMA OBJETO DE EVALUACIÓN2.1 Definición, objetivos, beneficiarios y componentes del Programa

La Definición. El Programa de Reorganización, Rediseño y Modernización de las Redes de Prestación de Servicios de Salud, en adelante el Programa, hace parte de una macro estrategia sectorial de la República de Colombia orientada a que esta dimensión del Sistema General de Seguridad Social en Salud-SGSSS se desarrolle plenamente en el actual marco de ajuste fiscal y modernización de las instituciones públicas en un entorno de competencia. Para dicha modernización el Programa prevé, por un lado, acciones de reorganización y rediseño de una oferta de servicios que responda a la demanda real del país y, por el otro, acciones técnicas de mejoramiento de la capacidad de gestión del Ministerio de la Protección Social-MPS, Direcciones Territoriales de Salud-DTS e Instituciones Públicas Prestadoras de Servicios-IPS. Para desarrollar estas acciones, la Nación, a través del MPS, suscribe convenios de desempeño -con su respectiva matriz de evaluación y seguimiento- con las DTS y las IPS; en estos se definen compromisos de reorganización de la red de prestadores, mejoramiento de la gestión, metas de ajuste, racionalización del gasto, sostenibilidad financiera, aumento de productividad y mejoramiento de calidad de los servicios brindados. Los convenios de desempeño están asociados a empréstitos internos suscritos entre el Ministerio de Hacienda-Crédito Público y los entes territoriales; los empréstitos son condonables mediante la demostración del cumplimiento de los compromisos y metas establecidas en los convenios de desempeño (1).

Los Objetivos. El objetivo general del Programa es apoyar la transformación de los hospitales públicos para que el mejoramiento tanto de su eficiencia como de la calidad de sus servicios permita la viabilidad técnica y financiera de las redes públicas de prestadores así como la extensión del aseguramiento en salud a la población en el marco del SGSSS. Específicamente el Programa pretende, por un lado, mejorar la eficiencia y calidad de los servicios brindados por las IPS`s públicas en un contexto de sostenibilidad financiera de medio plazo en el marco de la competencia regulada establecida por la reforma sectorial mediante: la asistencia técnica al MPS, DTS e IPS`s, la integración funcional de IPS`s en redes, la racionalización del recurso humano y, la modificación del régimen de incentivos en el financiamiento de una operación ligada a metas de producción y calidad. Por el otro lado, implementar un sistema de seguimiento y evaluación del desempeño tanto de las redes prestadoras y de la calidad de sus servicios como de la Política Nacional de Prestación de Servicios (1).

Los Beneficiarios. Son diversos; los primeros, por la naturaleza social y pública del Programa son los ciudadanos de Colombia usuarios directos de los prestadores públicos, en tanto tendrán mayor acceso, oportunidad y continuidad de unos servicios de salud de mejor calidad. Los segundos son las IPS`s públicas que: redefinen un portafolio de servicios y el conjunto de sus recursos de acuerdo a necesidades reales de los usuarios; eliminan la duplicidad de servicios frente a instituciones geográficamente próximas y mejoran su capacidad resolutiva; optimizan su gestión administrativa y financiera, sanean sus pasivos, operan en condición de equilibrio y flexibilizan sus condiciones de contratación; disponen de un mejor sistema de información para el seguimiento de su propio funcionamiento y están incluidas en un régimen de incentivos ligado a metas de producción y calidad para el financiamiento de su operación. Además, en cada IPS se benefician los funcionarios de cargos suprimidos que: aclaran su relación con la institución; reciben una consecuente compensación por todo concepto legal así como asistencia técnica y capacitación en aprestamiento laboral para organizarse y mercadear servicios a la misma IPS u a otras organizaciones de este u otro

14

sector. Los funcionarios de cargos que no se suprimen reciben el pago de dineros adeudados, disfrutan de un mejor clima laboral y de capacitación para aumentar su capacidad resolutiva. El tercer grupo de beneficiarios del Programa son las DTS porque, mediante la asistencia del Programa, contarán con elementos técnicos para: optimizar sus funciones organizacionales de dirección, coordinación y control de la red de prestación de servicios; mejorarán su sistema de información para el seguimiento y evaluación, sea de las redes de servicios o de la gestión individual de las IPS, permitiéndoles modificar el sistema de incentivos de financiación de la operación con metas de productividad y calidad; dispondrán de una oferta de servicios adecuada a las particularidades de sus zonas o regiones. El cuarto grupo son los Gobiernos local, departamental y nacional que se benefician al sanear sus finanzas, reorganizar el subsector y, por efecto de los ahorros fiscales, cumplen con la socialmente inaplazable expansión del régimen subsidiado del SGSS (1).

Los Componentes. Son tres: la reorganización operativa de las redes de hospitales públicos, el seguimiento-evaluación y, la administración del Programa. La reorganización operativa de las redes de IPS`s públicas pasa a su vez por tres subcomponentes. El primero es la asistencia técnica a las DTS para la organización, dirección, coordinación y control de las redes de prestadores; el apoyo en la implementación y evaluación de la política de prestación de servicios en su jurisdicción mediante capacitación y suministro de herramientas de gestión, equipos de cómputo y redes informáticas. El segundo es la asistencia técnica a las IPS`s, de manera que se garantice el diseño y aplicación de las acciones de reorganización operativa que permiten la adecuación de la capacidad instalada a los requerimientos de la demanda y al tipo de red diseñada por la DTS, así como la implementación y mejoramiento de procesos gerenciales, administrativos y asistenciales para la oferta de servicios en condiciones de eficiencia, sostenibilidad y calidad. El tercero es la reorganización operativa de las IPS`s para ajustar la estructura de la planta de recursos humanos y sanear sus pasivos prioritarios que, consecuentemente, les permitan una operación en condiciones de equilibrio (1).

El segundo componente, de seguimiento y evaluación del Programa, es el ámbito en el que se inserta el diseño e implementación de la metodología de evaluación de impacto de esta consultoría. Se reseña a seguir.

2.2 Seguimiento y evaluación del Programa

El componente tiene como propósito desarrollar en el MPS, las DTS y las IPS`s la capacidad para generar y analizar información que permita: a) monitorear y evaluar tanto el proceso de implementación de la Política Nacional de Prestación de Servicios como el de la ejecución e impacto del Programa y, b) implementar acciones de ajuste durante su ejecución de tal modo que se garantice el logro de los propósitos de la Política y de los objetivos del Programa. Este componente, como el anterior, se desglosa en subcomponentes.

El primero es el seguimiento y evaluación de la Política de Prestación de Servicios, dirigido en esencia al MPS para: organizar la prestación de redes en el ámbito territorial; implementar mecanismos de control de la oferta pública de servicios; modificar el régimen de incentivos; transformar subsidios de oferta en demanda; expandir el régimen subsidiado en articulación a la red pública; monitorear los municipios certificados para el manejo de recursos de atención de población pobre no asegurada; ajustar el régimen jurídico aplicable a las Empresas Sociales del Estado - ESE`s; generar información nacional para el monitoreo y evaluación de las situación de la prestación de servicios públicos de salud y, diseñar e implementar un esquema eficaz de liquidación de hospitales inviables.

15

El segundo es el de monitoreo, seguimiento y evaluación del Programa. Este prevé el desarrollo de actividades de: monitoreo, seguimiento y evaluación de la ejecución del Programa en los niveles institucional - IPS, territorial - DTS y nacional – MPS; y el levantamiento de una línea de base en 2006 así como dos evaluaciones del impacto del programa, una de medio termino en 2008 y la final en 2010.

La línea de base 2006 fue prevista, por un lado y por un grupo consultor distinto a la FNSP/UdeA, para establecer el estado inicial de la gestión de las instituciones. Por el otro lado, como objeto central de la consultoría aquí informada, generar los valores absolutos de la calidad percibida por los usuarios de los servicios de salud de las IPS`s objeto de intervención del Programa. Las evaluaciones de 2008 y 2010 están previstas para medir el impacto del Programa tanto en reducción de costos, sostenibilidad financiera y cumplimiento de metas de producción de servicios como en el mejoramiento de la calidad de los mismos (1).

En este marco, la consultoría a cargo de la FNSP/UdeA contempló: diseñar e implementar en el 2006 una metodología de evaluación del impacto del Programa en la calidad percibida por los usuarios atendidos en las instituciones elegibles u objeto de intervención. Describir y analizar la información obtenida en la línea de base 2006. Transferir integralmente a los equipos técnicos del Programa y de la Dirección de Calidad del MPS la metodología implementada y ajustada según aprendizajes del 2006 de modo que sea utilizada en las evaluaciones en los años 2008 y 2010. Con los resultados de estas tres mediciones, de base 2006, de medio termino 2008 y final 2010, se establecerá la dirección y magnitud de los cambios ocurridos en la percepción de calidad de la atención que tienen los usuarios de IPS´s públicas intervenidas y los de un grupo control de IPS`s elegibles aún no intervenidas para -mediante comparación de dicha evidencia generada- determinar la inferencia plausiblemente específica derivada por efecto del Programa (2).

16

3. METODOLOGÍA PARA EVALUAR EL IMPACTO DEL PROGRAMA

3.1 Supuestos y lineamientos diversos

Intervenciones de salud pública, sean políticas, planes o programas, tienden a ser complejas, altamente dependientes del contexto y difíciles de evaluar. Son, por lo general, iniciativas que generan evidencias aún más desafiantes de comparar, transversalmente contra uno o varios grupos control o, longitudinalmente, contra mediciones posteriores del grupo intervenido. La evidencia de la efectividad o impacto de una intervención de salud pública debe, por tanto, ser lo suficientemente comprensiva para responder a su propia complejidad; además, en términos de evaluación de la evidencia del efecto, debe siempre distinguir entre la confiabilidad que el esquema evaluativo propuesto pueda detectar el éxito o fracaso de la intervención y, el relativo éxito o fracaso producto de la debilidad de la intervención en si misma para generar los cambios deseados. Más aún, si una intervención es ¨un fracaso¨, la evidencia generada debería ayudar a determinar que tanto la intervención fue impropia en su naturaleza (esto es una falla del concepto, modelo o teoría de soporte de la intervención) o inadecuada en su implementación (esto es una falla del método, proceso o técnica de la intervención). Así, la apropiada interpretación de la evidencia generada depende, considerablemente, de la descripción de la intervención y su contexto, de modo que el grado de transferencia y replicabilidad futura de la intervención pueda ser determinada con cierta confianza, aceptación o plausibilidad (3).

Niveles de evidencia, como concepto, han sido amplia y originalmente adoptados para determinar el grado de recomendación de una práctica clínica o decisiones con efecto en el pronóstico y diagnóstico en salud. Este concepto, referido a intervenciones de salud pública, genera fuerte controversia al otorgar al diseño del estudio la responsabilidad de ser “el criterio” de credibilidad de la adecuación, plausibilidad y probabilidad de éxito de una iniciativa. El debate se concentra regularmente en la tendencia a proponer ensayos aleatoriamente controlados para evaluar intervenciones sociales -como son las de salud pública- respecto de la dificultad derivada de ejecutar estos ensayos en intervenciones complejas, de la dificultad de interpretar sus resultados y la tendencia a minimizar el aporte de los estudios observacionales. Casi toda intervención de salud pública requiere la implementación de estrategias múltiples, regularmente simultáneas, combinadas o en secuencia; los ensayos aleatorizados son incapaces de acomodarse a la complejidad y flexibilidad que caracterizan este tipo de intervenciones a pesar que se reconozcan estos diseños como un “gold estándar” en evaluación pero, se sabe, son diseños imprácticos para rastrear una relación causa-efecto entre la intervención social en salud y sus resultados imputables. El diseño de metodologías o guías de evaluación para este rastreo o determinación debe, por tanto, ser estratégica y técnicamente coherente a las etapas de desarrollo de un programa; debe ser operativa y presupuestalmente consecuente con los recursos del mismo y debe orientarse a generar evidencias confiables de su efecto en la población o grupo objeto de la intervención (4).

Diseños complejos y costosos, como son los de evaluación de una probabilidad de la relación causa-efecto, deben ser usados solo después que estudios observacionales de adecuación y plausibilidad como el aquí desarrollado, más simples y de menor costo, sean ejecutados y, muy especialmente, socializados masivamente para someterlos al debate en escenarios diversos como son foros, congresos, simposios, medios impresos o electrónicos y revistas científicas del más alto nivel de impacto posible. Así, diseños de evaluación con grupo único pre y pos intervención son la opción inicial para rastrear la adecuación y la plausibilidad del efecto de la implementación de una iniciativa. Estudios observacionales con medición repetida y grupo control, como el aquí propuesto para la evaluación de impacto del Programa en la percepción de calidad, representan el diseño más

17

confiable, aceptable y apropiado para evaluar intervenciones en salud o de salud pública, en especial si se considera que no basta con la credibilidad de la evidencia si no que cuenta con su comprensividad en términos amplios, con su facilidad tanto para ser transferida a los interesados como para ser replicada después por otros evaluadores, tal como está previsto para un mediato futuro (3).

La Política Nacional de Prestación de Servicios de Salud de Colombia, socializada al inicio del 2006, es parte del esfuerzo del MPS por definir un derrotero de mediano y largo plazo para la prestación de los servicios en el sector en todo el territorio de la República. La Política busca ser el marco para la acción articulada entre y, de los actores de redes público-privadas junto a la academia, los centros de investigación, las entidades territoriales, los agentes reguladores, aseguradores e, indispensablemente, los usuarios. En esencia, una apuesta central de la Política es que la información sobre la calidad de la prestación de servicios se convierta en un bien colectivo de naturaleza pública que, a su vez, permita orientar las decisiones de todos los agentes del sistema, modernizar la forma de operación y consolidar redes de servicios para optimizar recursos, mejorar el acceso y consolidar un sistema de incentivos en el país, reflejando, en últimas, el interés del Gobierno Nacional hacia una efectiva y digna atención en salud para los ciudadanos (5).

La problemática general de los prestadores de servicios de salud en Colombia ha sido evidenciada en múltiples diagnósticos. Esta puede ser clasificable en dos grupos: problemas acumulados antes del Sistema General de Seguridad Social-SGSS y, problemas emergentes derivados de las nuevas condiciones del sistema, cambios políticos y administrativos o modificaciones en la situación de salud de la población. Entre los acumulados aparecen la baja capacidad resolutiva, la inflexibilidad del régimen laboral del sector público, el pasivo prestacional de los hospitales, la ausencia de formas de evaluación e incorporación de tecnología, la falta de un sistema integral de información en salud, la ausencia de un sistema de rendición de cuentas, la frágil articulación de departamentos y municipios, debilidad en la gestión y la falta de universalidad de la cobertura en salud. Entre los emergentes se identifican la fragmentación-atomización en la prestación de servicios, el incipiente desarrollo del componente de información del sistema obligatorio de garantía de calidad, el pobre desarrollo de un sistema de incentivos de prestigio, investigación y desarrollo a prestadores-aseguradores, el desequilibrio entre aseguradores y prestadores así como entre la oferta y demanda y, las limitaciones en sistemas de contratación-pago por la compra de servicios de salud (6).

El MPS, conforme a la responsabilidad asignada en la normatividad vigente, a la problemática detectada y a las recomendaciones de los actores sociales del SGSS formuló la política nacional que determina lineamientos estratégicos para regir la prestación de servicios en Colombia (5). Entre los principios orientadores de dicha política están: reconocer que su objetivo principal es mejorar la salud de la población en el marco del SGSS; reconocer la heterogeneidad del país, mayúsculo desafío para organizar la prestación de servicios, especialmente en un escenario descentralizado con definición de competencias, recursos y acciones de control en los territorios, en condiciones de ajuste fiscal, en un entorno de competencia abierta y libertad de aplicación de diversos modelos de prestación; promover enfoques de atención centrados en los usuarios así como el mejoramiento continuo de la calidad como referentes ideales al ofertar servicios de salud y, reconocer las opciones de las comunidades para solucionar sus problemas de salud, entre otros. Por lo tanto, la Política busca como objetivos específicos: 1. Mejorar el acceso. 2. Mejorar la calidad de la atención y, 3. Generar eficiencia en la prestación del servicio y sostenibilidad financiera de las IPS públicas. Así, la calidad de la atención en salud se entiende como la provisión de servicios accesibles, equitativos, con un nivel profesional óptimo que tiene en cuenta los recursos disponibles y logra la adhesión así

18

como la satisfacción del usuario. El eje de la calidad en la política de prestación de servicios se concibe como un elemento estratégico basado en dos principios fundamentales: el mejoramiento continuo y la atención centrada en el usuario (6).

3.2 Antecedentes y consideración temática sobre líneas de base

El levantamiento de una línea de base es el ejercicio indispensable para la evaluación de la adecuación de procesos y de la plausibilidad para interpretar las evidencias del impacto de toda iniciativa o intervención social así como de programas de salud y de salud pública (7,8).

El monitoreo y la evaluación de los servicios de salud en general y, de la calidad de la atención en los hospitales en particular son, hace décadas y por el efecto social que tienen, asuntos relevantes dentro de los sistemas de salud (9). Son particularmente desafiantes por la necesidad de encontrar o desarrollar metodologías válidas y confiables para medir la calidad e interpretar esta mediciones una vez realizadas, especialmente si se considera que la evaluación de la calidad de los servicios ofrecidos en los hospitales puede tener distintos objetivos. Por esto, métodos, procesos, técnicas e instrumentos de evaluación deben guardar correspondencia con los propósitos globales y con los objetivos específicos por los que son propuestos y aplicados en un momento dado a una institución hospitalaria o a un programa implementado en las instituciones; de ser necesario, el evaluador o el programa deben invertir una cantidad considerable de tiempo y dinero en el desarrollo de los métodos y, particularmente en el instrumental más válido, confiable, replicable y práctico que sea posible (10).

Sheps afirmó hace medio siglo con una argumentación aún vigente, que los objetivos de las evaluaciones de la calidad de los servicios hospitalarios son básicamente de tres tipos: primero, objetivos evaluativos de cumplimiento de normas o reglamentos generales de acreditación definidas por un organismo regulador, por lo general el Estado o quien haga sus veces, a partir de mínimos aceptables en recursos, instalaciones, equipos, mantenimiento de los anteriores elementos, trato al paciente, organización administrativa y profesional, entre otros. El segundo tipo es el de los objetivos de estímulo para mejorar los estándares de calidad de las instituciones, particularmente cuando dichas mediciones están asociadas al otorgamiento de reconocimientos por el cumplimiento de mínimos deseables o la superación, inclusive, de estándares máximos esperados; uno de los recursos básicos de esta tipología de evaluaciones ha sido la auditoría medica. El tercer tipo de objetivos de evaluación de la calidad de los servicios de hospitales es el que estudia efectos de determinados programas o intervenciones sobre dicha calidad, tanto la medible por indicadores numéricos como aquella que es percibida cualitativamente por las personas, sean los propios funcionarios prestadores de los servicios o sean los usuarios finales receptores de los mismos (10).

Respecto de los objetivos para evaluar calidad en la atención de los hospitales vale señalar ciertos aspectos. En ciertos casos el propósito es conocer si una determinada institución hospitalaria está o no entregando a la sociedad o a su clientela particular servicios de “buena” calidad; en este enfoque o perspectiva el evaluador compara lo que encuentra contra lo que para él sería deseable o posible. Otros casos buscan diferenciar hospitales con estándares aceptables de hospitales con estándares inaceptables, dependiendo, claro está, de una compleja y no pocas veces difícil de manejar línea divisoria determinada por el organismo regulador. Aquí, los métodos, procesos, técnicas e instrumental de medición son necesariamente más complejos pues no basta, concretamente para el caso de la calidad percibida, que una escala solo diga “suficientemente bueno” o “no suficientemente bueno” pues lo que se demanda es una escala que mida valores contínuos, desde un extremo hasta el otro, de tal modo que los valores absolutos de las mediciones iniciales y los de estas respecto de valores obtenidos en las posteriores dejen ver el comportamiento de los aspectos de la calidad que

19

pueden haber sido modificados por efecto del programa en tal dirección o en que magnitud. Por esto, no dice nada ni será útil que un estudio afirme simplemente que “la calidad es buena”; mejor será algo que hable de “la distribución de la percepción de la calidad y las diferencias encontradas en los ítems de evaluación propuestos son de esta naturaleza o de aquella magnitud si se les compara con…”. Por lo tanto, cualquiera de los tipos de objetivos de evaluación, en resumen, se expresan en comparaciones directas o indirectas contra un explícito valor absoluto o referente que, para las evaluaciones de los efectos de los programas son valores esenciales que deben estar muy bien caracterizados en su naturaleza, tiempo y unidad de medida (10).

En América, desde 1995, la Organización Panamericana de la Salud-OPS recoge datos básicos de la situación de salud de cada país de la región en el propósito de actualizar el perfil de cada uno y mantener una base confiable de comparación en el avance de salud en cada uno de los Estados miembros de la Organización y, de este respecto de los demás. Este seguimiento y actualización anual ha permitido por ejemplo el acompañamiento riguroso y técnico del avance de cada nación y, el de la región como un todo, respecto de las intervenciones que se formulan en cada Estado, por ejemplo, en las metas de salud que son parte de la iniciativa globalmente conocida como Objetivos del Milenio (11). La OPS también produjo y diseminó ampliamente en todas las Américas un material importante para el establecimiento de líneas de base, aplicable en especial en los países que iniciaron procesos de reforma sectorial en los años 90 (12).

En Colombia existen ejemplos de líneas de base obtenidas con fines de evaluación inicial para referenciar posteriormente el desempeño e impacto de intervenciones sociales o sectoriales en salud; de entrada, el equipo consultor señala como un hallazgo relativamente común en estos ejemplos descritos a seguir la falta o limitada descripción o de explícito rigor metodológico, si lo hubo, en la socialización de los procesos y mecanismos de construcción específica de los instrumentos, como sería deseable (13-17).

En 1978, el Instituto SER, diseñó e implementó la primera encuesta para establecer una línea de base sobre actitudes y hábitos en lactancia materna de las mujeres colombianas objetivo del Plan Nacional de Alimentación y Nutrición-PNAN. El propósito fue tener un referente contra el cual evaluar los efectos de una gran campaña a ser implementada en áreas geográficas cubiertas por la iniciativa. Entonces, sin contar con precedentes nacionales específicos, el equipo de investigadores construyó el instrumento de recolección finalmente aplicado a partir de la guía del PNAN y de algunos formularios preliminares derivados de experiencias referidas al tema, unas internacionales desarrolladas por la Organización Mundial de la Salud y otras de la Universidad Javeriana de Bogotá. Con base en esto se dieron discusiones al interior de un grupo técnico interinstitucional, se realizó una sola prueba piloto del instrumento, se hicieron los ajustes pertinentes y se consolidó para uso un cuestionario mixto con preguntas abiertas y cerradas de 38 reactivos que fue aplicado personalmente a una muestra multi etápica y estratificada con probabilidad proporcional (13).

Ya en el siglo actual, varios estudios semejantes a la línea de base objeto de esta consultoría pueden comentarse. En el 2002, investigadores adscritos a la oficina de Bogotá de la División Salud de la Fundación FES Social dieron a conocer los resultados de una iniciativa encomendada contractualmente por la Secretaría de Salud del Distrito Capital. El propósito fue establecer la línea de base para evaluar, mediante indicadores biológicos y demás, el impacto de las acciones de prevención de factores de riesgo cardiovasculares a ser ejecutadas en la localidad de Santa Fe, el área de intervención, teniendo como área control sin intervención a los habitantes de otra localidad con características comparables (14). También en el 2002 se hicieron públicos los resultados de la línea de base del programa Familias en Acción de la Presidencia de la República. La evaluación de su impacto a corto, medio y largo plazo se planteó para facilitar la toma de decisiones en relación a la

20

política social como un todo y respecto del programa como una particularidad de la misma. Esta línea base y su evaluación posterior, teniendo un diseño básico de grupo intervenido comparable a grupo control, aportaron los elementos de información del comportamiento de la población pobre beneficiaria de la iniciativa en cuanto a habilidades de consumo, empleo, uso del tiempo, decisiones económicas y sociales y, lógicamente, de desempeño o funcionamiento del programa mientras los beneficiarios estaban dentro de la iniciativa y después de salir de la condición de beneficiarios de la misma (15).

En el 2003, un grupo multidisciplinario liderado por investigadores sociales de la Universidad Nacional de Colombia reportó la línea de base para evaluar los efectos de una intervención orientada a erradicar y prevenir el trabajo infantil en la minería artesanal colombiana. Se consideraron asuntos como la calidad de vida de las familias, el ejercicio de derechos por parte de niños y niñas y, un concepto relativamente novedoso, el de acumulación de capital social. Señalando la complejidad del fenómeno social de interés de este trabajo, los autores recurrieron a la triangulación de técnicas (guía de registro, entrevistas, talleres y elaboración de mapas preceptúales) y de análisis de información que derivó en el desarrollo de una extensa matriz de información para poder condensar los hallazgos de 65 indicadores de calidad de vida, 60 indicadores en el dominio del ejercicio de derechos infantiles y 19 en capital social (16).

Más recientemente un grupo de investigadores del Instituto CISALVA de la Universidad del Valle lideró una consultoría para el Ministerio de la Protección Social orientada al establecimiento de una línea de base en las tres grandes capitales del país (Bogotá, Medellín y Cali), sobre los conocimientos, actitudes y prácticas de violencia antes del diseño, implementación y evaluación de una estrategia de Información, Educación y Comunicación-IEC dirigida a la modificación de actitudes y comportamientos negativos así como a la promoción de habilidades para resolver conflictos interpersonales. La entrevista personal aplicada en Colombia en dicha línea de base usó un cuestionario estructurado que se ajustó a partir de la versión validada desde 1996 por la OPS para diversos países, conocido internacionalmente como el ACTIVA. La adecuación a Colombia del ACTIVA, para la medición pre y pos intervención a un año, consistió en una prueba piloto con 10 a 13 personas de cada ciudad, a partir de lo cual se consolidaron para discusión técnica los comentarios de encuestados y encuestadores; con esto se hicieron adaptaciones culturales y lingüísticas propias a cada una de las tres ciudades. La recolección se hizo con personas de una muestra estratificada por conglomerados, de ambos sexos, mayores de 15 años, representando en el total a un 60% de personas del régimen contributivo y a 40% dos zonas comparables social y económicamente de cada capital, determinadas estas zonas de común acuerdo con las autoridades de gobierno y de salud de cada una de estas capitales (17).

En el ámbito de servicios de salud en Colombia, varios ejercicios de línea de base y de evaluación de impacto de programas e intervenciones han sido socializados. Frente a sus referenciales metodológicos el grupo consultor identifica también un limitado proceso de diseminación social de tales reportes y, menor aún, de discusión académica, en particular en lo que se refiere al desarrollo, adaptación y validación del paquete metodológico e instrumental aplicado para tales levantamientos en el componente de calidad de los servicios percibida por los usuarios. El Departamento Nacional de Planeación-DNP realizó a finales de la década de los 90 del siglo pasado, un análisis de las encuestas de calidad de vida-ENCV para evaluar el impacto general del SGSSS en Colombia; sin embargo en este, como en el siguiente ejemplo, la descripción del proceso que permitió el uso de ciertas preguntas sobre el asunto de la calidad no es clara o fácilmente identificable (18). Con un alcance apenas institucional, Briceño divulgó un modelo para evaluar la calidad de los servicios de salud en una IPS de alta complejidad, en lo que respecta a su componente de “satisfacción del usuario”; realizó un desarrollo empírico con una muestra de 306 usuarios en el

21

año de 1999 y discutió las implicaciones de su propuesta para el mejoramiento de la calidad (19). Ambos recursos tienen en estricto sentido poca utilidad de aplicación en la metodología de esta consultoría por el propósito central de la ENCV, distinto al de evaluar la calidad de los servicios percibida por los usuarios y, de nuevo, por la falta de validación técnico-instrumental.

La Defensoría del Pueblo de Colombia realizó entre el 17 y el 28 de abril del 2000 la -a juicio del grupo consultor de la UdeA-, inapropiadamente titulada Primera Encuesta Nacional de Calidad en Salud Percibida por los Usuarios-ENCAL I. Esta consideración inicial se deriva de valorar la incoherencia entre la aproximación “teórica” del documento y la argumentación o referentes sobre motivaciones, percepciones, conocimientos, y prácticas consideradas frente a objetivos general-específicos y el título-contenido de la ENCAL I. Además, en la metodología y resultados se identifica un proceso y un instrumental –sin validación como se reseña más tarde- que indagó, más que la percepción de la calidad de los servicios, un conjunto de informaciones, conocimientos y prácticas, muchas de estas últimas de o en las instituciones e incluso de las administradoras del régimen contributivo o subsidiado, estudiables de modo más valido con otros recursos metodológicos e indicadores propios de la calidad técnica, pero no con la percepción de calidad obtenida de usuarios finales de los servicios. De cualquier modo la ENCAL I ha sido -hasta hoy- referente de mediciones nacionales de calidad percibida de servicios de salud, razón por la que se comentan algunos aspectos (20).

La ENCAL I hizo una selección sistemática de 2.365 usuarios, interceptados luego de recibir servicios en 153 IPS´s públicas y privadas del país. El 54% de los encuestados fueron de ciudades de 700.000 o más habitantes y, acumulativamente este porcentaje llegó a 96% de encuestados captados en localidades de 50.000 o más. Por estratos, la muestra se caracterizó por tener un 58% de encuestados de estratos bajos, 28% de estratos medios y el 14% restante asimilable a estratos altos. Según los autores esta muestra fue una submuestra aleatoria de la maestra de población para investigar temas de salud que fuera usada por el entonces Ministerio de Salud en el III Estudio Nacional de Salud Bucal y el II Nacional de Factores de Riesgo para Enfermedades Crónicas -ENSAB III y ENFREC II, respectivamente. Representaba la distribución poblacional del país en sus cinco regiones naturales y que, como total máximo esperable de personas a encuestar, consideró un reajuste del 20% por potencial de no respuestas y permitía estimaciones nacionales con un nivel de confianza del 95% manejando un error de muestreo del 1,1% en el ámbito de nación y del 5% en el de región. Según sus autores, la ENCAL I se estructuró conceptualmente a partir de la descripción de las etapas de atención en salud y de un ajuste de las dimensiones de la calidad propuestas originalmente por Avedis Donabedian según las cuales son componentes de la prestación de servicios de salud tanto los individuos como la interrelación de estos con los elementos necesarios o previstos para producir un servicio; estos elementos, a su vez, se constituyen en una unidad con alta injerencia sobre la calidad de los productos derivados de los servicios. Esta unidad la constituyen las siguientes dimensiones: los elementos de la institución (soporte físico, organización interna y el personal con contacto directo con los usuarios); el elemento que es parte del mercado, el usuario; otro elemento que es resultante de la interacción de los usuarios con la institución: el producto y, como dos elementos adicionales, la existencia de otro cliente y el producto resultante de la interacción de este otro cliente con los elementos de la institución. Según Gronross, citado en la ENCAL I, estos componentes y elementos se materializan en las etapas de la atención en salud. La primera etapa corresponde al proceso, con dos aspectos de calidad: la técnica y la funcional. La técnica se refiere básicamente a la precisión técnica de procedimientos y diagnósticos; la calidad funcional es la forma en la cual los servicios de salud son entregados a los usuarios y, habitualmente la de tipo funcional es la que determina prioritariamente la calidad de los servicios percibidos por los usuarios. La segunda etapa es la correspondiente al resultado que, como la anterior etapa, tiene dos aspectos, el primero de orden técnico en forma de precisión diagnóstica y efectividad del tratamiento

22

y, el segundo se corresponde con la satisfacción del cliente, algo que, por lo general es independiente del aspecto técnico. Íntimamente ligada a las dos etapas descritas está la estructura, el contexto en que ocurre el proceso de atención y, los medios y procedimientos de los que derivan los productos o resultados (20).

Dicho ajuste distingue las siguientes dimensiones: Primero, la técnica, reveladora de los conocimientos y habilidades del prestador de servicios, dispuestos para la aplicación de la ciencia y la tecnología médica de modo que le permitan realizar los procedimientos clínicos adecuados y oportunos de conformidad con las necesidades del usuario para que le rinda máximos beneficios para la salud de estos con mínimo riesgo. La falta de esta capacidad técnica trae consigo riesgos a la salud tales como dolor innecesario, infecciones, complicaciones e incluso la muerte. La segunda dimensión es la interpersonal y, la tercera, la de las comodidades. Fue en referencia a estas consideraciones conceptuales sobre las etapas y el ajuste a las dimensiones de la calidad de la atención que en la ENCAL I se diseñó un formulario que identificaba al informante y a la IPS pública o privada donde era contactado por el estudio; capturaba datos personales y variables socio-demográficas del informante e indagaba por la opinión del usuario respecto de los servicios médicos generales (20 preguntas) y especializados (8 preguntas), servicios de diagnóstico de laboratorio e imágenes (8 preguntas), servicios farmacológicos (7 preguntas), servicios de las EPS/ARS (6 preguntas), servicios de promoción/prevención (5 preguntas) y, por último, para completar los 72 ítems de respuesta, un subgrupo de 5 preguntas que capturaba información de los usuarios sobre experiencias de atención, creencias y calificaciones diferenciales de calidad de atención entre prestadores públicos y privados. Se reportó un promedio de diligenciamiento por encuesta de 20 minutos y que, previamente al proceso de aplicación en el estudio, “…se efectuó un pilotaje a 40 personas en Bogotá DC, con el ánimo de probar el instrumento, la validez de algunas preguntas y el programa de captura de los datos” (20).

Según los hallazgos sobre percepción de los usuarios acerca de costos de la atención médica, estos disminuyeron notoriamente, en particular entre ciudadanos pobres, mas no ocurrió así con la percepción de costos de exámenes de laboratorio y menos con los de las fórmulas médicas aunque el usuario estuviese afiliado al SGSSS. ENCAL I reveló que 44% de encuestados afiliados al régimen subsidiado no recibió todos los medicamentos formulados; dicha queja solo fue reportada por 33% y 35% de cotizantes y beneficiarios del contributivo, respectivamente. Esta aproximación a costos y recepción efectiva de medicamentos formulados, a juicio del consultor es válida en tanto mide percepción en asuntos de interés pero tiene serias limitaciones pues son, como ya se dijo, otros los métodos y técnicas, más confiables y precisas que la opinión del usuario para aproximarse a la variación de costos, desempeño y calidad técnica en los servicios. La medición de la Defensoría -aunque se titula de percepción- reportó que entre el 60% y 70% de los encuestados no pudieron ejercer el derecho de elección del médico o la IPS (práctica de institución y práctica que tiene el usuario de este derecho); que el 50% de los participantes reportaron una oportunidad de servicio para consulta general en menos de 24 horas pero que dicha oportunidad se redujo al 25% al tratarse de consulta especializada (estas, de hecho, son prácticas institucionales y no el usuario cuya información está afectada por diversos sesgos). La calificación promedio a los servicios recibidos por los encuestados de la ENCAL I fue tres punto nueve (3.9), con mejores valoraciones a la atención de los médicos, tanto generales como especialistas (4.3 para ambos) y peores a servicios de promoción-prevención (3.0) y de farmacia (3.6). Con pequeña diferencia, la peor calificación fue asignada por usuarios del régimen contributivo cuyas expectativas de calidad podrían ser superiores a las de usuarios del régimen subsidiado o de población entonces vinculada al SGSSS, por lo que cabe destacar la diferencia en la percepción de acuerdo con la naturaleza privada o pública de las IPS`s. Entre población del régimen contributivo un 26% valoró como mejor la calidad de IPS`s públicas, mientras que el 74% restante opinó que era mejor la calidad de servicios de IPS`s privadas;

23

en los usuarios del régimen subsidiado, 58% apreciaron una mejor calidad de IPS públicas y el 42% restante les pareció mejor el servicio de IPS`s privadas. Entre los impropiamente llamados “vinculados” al SGSSS, la percepción de la calidad fue estadísticamente igual: 51% favorable a IPS públicas y 49% a las IPS privadas (20).

En el 2000 se reportaron resultados del proyecto de evaluación y ajuste de procesos, estrategias y organismos encargados de la operación del sistema de garantía de calidad para IPS`s de Colombia. El proyecto se estructuró bajo premisas como la responsabilidad sectorial frente a los ciudadanos para demostrar que los servicios se prestan con equidad y eficacia técnica en el uso de los recursos; esto hacía necesario que las autoridades sanitarias usaran instrumentos para promover, demostrar y divulgar la mejoría de la calidad de los servicios. Así, el proyecto desarrolló un conjunto armónico e integrado de instrumentos para acompañar el desempeño de roles específicos de diversos actores en el marco de un sistema de incentivos y estrategias que mejoran la calidad de la atención en salud en el SGSSS: requisitos esenciales, acreditación de prestadores y aseguradores, auditoría de la calidad, información a usuarios e incentivos para la calidad (21). El proyecto desarrolló pruebas piloto en marcos demostrativos en las que se reveló que para 2.658 adultos usuarios del SGSSS, y para la submuestra de usuarias de atención al parto había expectativa por servicios con un alto nivel de calidad, mediada esta última por relaciones interpersonales “de buen trato y atención del médico, junto con la buena atención, el buen servicio, la amabilidad y la calidad de las enfermeras”. De igual modo se expresó aprecio a elementos como la rapidez de las citas y la atención inmediata. Entre las razones de desagrado predominaron las dificultades para acceder a los servicios del sistema, las dificultades con el suministro de medicinas y el disgusto con el costo de los servicios. Es de anotar que las personas de estratos bajos, variable asociada a un menor nivel educativo, son sensibles a la facilidad o no de los trámites, lo cual probablemente refleja la mayor dificultad de este grupo de personas para “navegar” en el SGSSS (21).

A comienzos del 2001 se hicieron públicos los resultados de la segunda medición del proyecto Municipios Centinela-MC del Programa Sistemas Municipales de Salud-PSMS del entonces Ministerio de Salud de Colombia. El proyecto MC desarrolló dos mediciones, una en 1998 con 16 municipios, los más pequeños y, la otra en 1999 realizada por un lado para una actualización comparativa de la información de la primera medición y, por el otro, para la complementación de hallazgos al involucrar 4 otros municipios de mayor tamaño. Así, la segunda medición se orientó a la evaluación de resultados y avances en los procesos con la implantación de la reforma del SGSSS hasta 1998 en 20 municipios en 12 departamentos. Se consideró que estos 20 municipios -70% inferiores a 30.000 habitantes y el 30% restante con poblaciones entre 50.000 y 150.000 habitantes-, representaban socio demográfica y económicamente el 85% de municipios del país. La metodología de esta medición comprendió dos partes, una de seguimiento de los procesos y la otra de los resultados y efectos de la reforma, intentando conocer hasta qué punto esta había contribuido al mejoramiento de los sistemas y servicios de salud en términos de equidad, eficiencia y calidad (22).

El seguimiento, el avance de los procesos, se midió con la identificación y valoración de algunas acciones indicativas de la direccionalidad hacia el cumplimiento de los objetivos en aseguramiento, acceso, salud pública, descentralización, desarrollo institucional; en aseguramiento, por ejemplo, se incluyeron aspectos como el porcentaje de población sisbenizada, el comportamiento de la población frente a la afiliación así como las características de sus conocimientos sobre los deberes y derechos y las causas de no afiliación. En acceso, por ejemplo, se incluyeron aspectos de utilización de los servicios y otras asociadas a la atención.

En la evaluación de resultados y efectos de la reforma en el mejoramiento de la equidad, eficiencia y calidad se consideraron los cambios en cobertura, en indicadores de estado de salud así como en la

24

distribución de recursos. La mayor eficiencia se valoró en la distribución de los recursos físicos y financieros y en su gestión, mientras que la calidad se midió, por un lado, a través de los cambios presentados en algunos indicadores de calidad técnica de las IPS`s y, por el otro, mediante encuestas de satisfacción, Es altamente pertinente señalar a este respecto que el reporte general menciona únicamente el rediseño y simplificación de los instrumentos utilizados para la primera recolección de la información del proyecto, sin referirse en ningún otro aparte al mecanismo o proceso de validación seguido ni en la primera ni en la de actualización o revalidación, si la hubo, para la segunda medición que focalizó las necesidades de información sobre el asunto de calidad reportada por los usuarios en un formulario de acceso, oportunidad y utilización de servicios de salud dirigido a hogares. Según el informe, el formulario incluyó parte de las variables consideradas en la primera medición del proyecto MC, focalizada en respuestas de usuarios de las IPS`s, acerca de su satisfacción sobre los servicios de salud recibidos. Como conclusiones se observó que, con la poca información que se dispuso sobre indicadores de calidad técnica, los resultados no revelaron mejoras. De otro lado, la percepción general de la calidad de los servicios fue simple y mayoritariamente calificada como buena sin obtenerse una calificación numérica; aademas se cita que el mayor porcentaje de población satisfecha era del régimen subsidiado (22).

Al respecto de esta experiencia se insiste primero en la limitada discriminación y alcance interpretativo de una calificación como la reportada de tres opciones para valorar la calidad percibida: buena-regular-mala. Segundo, en el uso indiferenciado que se hizo en este reporte, a veces notoriamente equivocado, de los vocablos satisfacción -con los servicios recibidos y percepción -de la calidad de los mismos (22).

3.3 Teoría para fundamentar la metodología de evaluación de impacto del Programa.

En el inicio del siglo XXI, como nunca en la historia de la humanidad, teorías y modelos junto con conceptos y definiciones son en ese orden decreciente de profundidad los referentes ideales para la aproximación científica a los fenómenos. A la teoría solo la superan en plausibilidad y fiabilidad explicativa de los fenómenos las leyes del conocimiento, predominantes estás en las ciencias naturales; en las sociales se recurre frecuentemente a los modelos y a sus conceptos constituyentes expresados por lo general como constructos de variables usadas para iluminar el estudio de la realidad (23), aquí explícita como los efectos plausibles del Programa.

La evaluación del impacto del Programa en la calidad percibida según los usuarios de servicios de IPS objeto de intervención se concreta hasta ahora en el diseño e implementación de una metodología que genera la línea de base 2006, indicadora absoluta de esta percepción en la población de interés. Tomando en cuenta que la consultoría contratada implicaba que la metodología diseñada –y ajustada con los aprendizajes de su implementación en el 2006-, garantizara que los datos absolutos de la línea de base fuesen comparables con los datos relativos de las mediciones en 2008 y 2010, el consultor utilizó como referente un modelo propuesto por Habicht, Victora y Vaughan (8), socializado desde 1999 y usado en varios países para diseñar e implementar metodologías evaluativas de desempeño e impacto de programas o intervenciones en salud pública. Los aspectos nucleares del modelo y como se adaptó para su uso en esta consultoría se reseñan a continuación.

Las evaluaciones de los procesos y efectos de programas o intervenciones de salud pública son de dos tipos, las formativas y las sumativas. Las formativas afinan la implementación de un programa por decisión de quienes tienen la autoridad para ejecutar los cambios sugeridos por las evidencias; las sumativas orientan decisiones en programas ya implementados; éstas van desde continuar o cambiar hasta terminar la intervención. El diseño de la metodología a ser implementada por el grupo

25

consultor de la FNSP/UdeA se apoyó en dos supuestos: que los efectos del Programa en la percepción de calidad son medibles y, que los responsables del Programa requieren de ciertos niveles de inferencia generados por la comparación de hallazgos de las mediciones media del 2008 y final de 2010 contra los valores de base 2006, para la toma de distintas decisiones (8).

Frente a estos supuestos, dos ejes para definir el diseño de metodologías evaluativas de los programas de salud pública son propuestos por Habicht, Victora y Vaughan. El primero es el eje de lo que se quiere medir según indicadores de provisión, uso, cobertura -indicadores PUC- o de su impacto sobre los indicadores comportamentales o de salud. El segundo es el eje del nivel o tipo de inferencia requerida por los interesados en cuanto a adecuación, plausibilidad y probabilidad, según la confianza que buscan los tomadores de decisión en estar seguros de que los cambios observados son debidos realmente al Programa y no a otras variables, a otras iniciativas intervinientes o coexistentes en el contexto de implementación del mismo.

PRIMER EJE: ¿Qué tipo de indicadores quiero medir ?

La tabla 1 presenta preguntas y ejemplos de resultados que son de interés en la mayoría de programas de salud pública, según indicadores PUC e impacto. En negrita e itálica, al final de ésta y las siguientes tablas, el o los asuntos específicos del modelo que son utilizados de esta metodología de evaluación de impacto de Programas.

Tabla 1. Indicadores, preguntas y ejemplos evaluativos de la PUC e impacto de Programas con efectos en Salud Pública *

Indicadores Preguntas Ejemplos

Provisión-P: ¿Hay servicios disponibles? Número de IPS ofreciendo cierto tipo de servicios¿Son servicios accesibles? Proporción poblacional a la distancia y con servicio¿Su calidad técnica es adecuada? Estándares usados o normados para los servicios

Uso-U: ¿Demanda de los servicios? Número de atenciones según tipo de servicioCobertura-C: ¿Se atiende la población objetivo? Proporción de personas del tipo X o Y atendida Impacto: ¿Cambió la calidad del servicio? Calidad según usuarios, en 2008 y 2010 vs 2006

¿Cambió el patrón de morbilidad? Primeras causas de egreso hospitalario por año

* Adaptado del modelo de Habicht, Victora y Vaughan, referencia 8 de las citadas en este documento.

SEGUNDO EJE: ¿Qué tan seguro quiero estar según la inferencia alcanzable ?

Inferencia de adecuación: ¿ Ocurre algún efecto ?

Diseños de evaluación de programas, de este nivel de inferencia, no requieren grupos de control si los resultados son comparables contra criterios pre-establecidos (por ejemplo que el 80% de las instituciones tengan X o Y criterios cumplidos al año de la firma de los convenidos de desempeño); sin embargo, para evaluar la adecuación como cambio en el tiempo, mínimo dos mediciones son requeridas lo que automáticamente incrementa la complejidad del diseño. Evaluaciones que buscan una inferencia de adecuación se limitan a describir que tanto o no los cambios esperados han ocurrido; cuando se evalúa provisión o utilización, el tomador de decisión puede razonablemente asignar un éxito observado al programa o iniciativa evaluada pero cuando se mide cobertura o impacto puede ser difícil y temerario inferir que cualquiera de los cambios observados de mejora fueron debidos al programa ya que no hay un grupo control para asegurar que estos cambios

26

efectivamente son asignables a la intervención pues las mejoras “observadas” pueden haber sido causadas por influencias externas o de contexto de la intervención, desde tendencias seculares no evidentes, avances en condiciones socio económicas o la influencia de otras iniciativas en el área o en las instituciones. Diseños de adecuación tienen, sin embargo, la ventaja que, a menudo, pueden usarse datos secundarios lo que tiene un impacto relevante en los costos de las evaluaciones así diseñadas.

Evaluaciones de adecuación de desempeño mediante seguimiento de indicadores tipo PUC valoran que tanto las actividades del Programa de interés han alcanzado los objetivos esperados; estas evaluaciones pueden ser transversales y llevadas a cabo en una ocasión, durante o al final de la implementación del Programa. También pueden ser longitudinales caso en que se requieren, como se dijo para cobertura e impacto, datos o valores absolutos tipo línea base o, mediciones repetidas cada cierto tiempo para detectar cambios o tendencias.

Evaluaciones del impacto según inferencias de adecuación valoran si los indicadores de, por ejemplo, la calidad de los servicios, del comportamiento o de morbi-mortalidad en salud han mejorado entre los receptores de las actividades de las instituciones o los sujetos del conjunto de la población en los que se persiguen las metas finales del Programa; estas evaluaciones también pueden ser del tipo transversal o longitudinal.

Las evaluaciones de adecuación pueden también mostrar una falta de cambio en los indicadores; en condiciones regulares esto sugiere que el programa no ha sido efectivo. En condiciones especiales –deterioro socio económico o emergencias- la falta de cambio puede mostrar, sin embargo, que el programa o intervención ha sido efectiva al proteger a la población de un deterioro del valor de sus indicadores. A pesar de la incapacidad de las evaluaciones de adecuación para relacionar causalmente las actividades de un programa con los cambios observables, este tipo de diseños de evaluación pueden proveer todos los referentes necesarios para valorar que las metas esperadas están siendo logradas y por lo tanto es pertinente, por ejemplo, continuar dando soporte o apoyo al programa y sus intervenciones.

Para muchos tomadores de decisión diseños y evaluaciones de sus programas que sean más complejas que esto no se requieren, particularmente porque demandan tiempo adicional, recursos humanos, económicos, técnicos y grandes habilidades de sus responsables en cuanto a conocimiento del campo de la evaluación. Ahora, si formulando e implementando un diseño de adecuación se encuentra que las metas del programa o iniciativa de salud pública no son alcanzadas, evaluaciones posteriores pueden ser requeridas para identificar con claridad las causas de las fallas o fracasos del programa y, si es posible, implementar unas estrategias remediales, correctivas o simplemente liquidar la iniciativa (8).

Las inferencias de los resultados previstos o efectivamente logrados para el Programa objeto de evaluación en esta consultoría dependerían, en este eje y nivel de inferencia, de comparar la medición intermedia o final contra la línea base, o sea, los hallazgos relativos de las mediciones en 2008 y 2010 contra criterios establecidos, en este caso, los absolutos generados en la línea de base 2006.

La tabla 2 ilustra mediciones hipotéticas de adecuación, según variaciones relativas, positivos o negativas, que ocurriesen en la percepción de calidad al 2008 y 2010, respecto de datos absolutos de la línea base 2006.

27

Tabla 2. Características de inferencia de adecuación hipotéticamente aplicables a la evaluación de impacto del Programa *

Tipo indicador Medida En quienes Comparado con Inferencias

Desempeño-PUC: Actividades Responsables de Actividades planeadas al inicio CumplimientoIPS´s objetivo

Trasversal por una vez Valor absoluto planeado/previstoLongitudinal para rastrear cambio Valor absoluto e incremental relativo

Impacto: Indicadores En usuarios de La literatura existente y valores Dirección y magnitudIPS`s objetivo absolutos planeados/previstos de los cambios

Trasversal una vez: línea de base 2006 Valor absoluto planeado, si hay Artificiales, de literaturaLongitudinal sin control: media 2008 y final 2010 Valores 2006 y relativos de 2008 Según valor 2006 y 2008

* Adaptado del modelo de Habicht, Victora y Vaughan, referencia 8.

Inferencia de plausibilidad: ¿El Programa parece tener efecto y el efecto observado es por el Programa ?

Lo plausible es aquello aparentemente cierto o razonablemente aceptable. Los tomadores de decisión, a veces o algunos de ellos, pueden requerir con un mayor nivel de confianza que cualquiera de los cambios observados fueron de hecho e, independientemente de otras influencias externas, debidos plausible, cierta o razonablemente al programa o a la iniciativa de salud pública por ellos propuesta o liderada. Evaluaciones de plausibilidad terminan en últimas expresadas como juicios valorativos de un experto en el asunto, de un tomador de decisiones o de un evaluador involucrado en el tema. Este tipo de evaluaciones son, en muchos aspectos, “experimentos naturales” y superan a las de adecuación por tratar explícitamente de regular el influjo de factores externos –también llamados factores de confusión- que pudiesen afectar los efectos de interés en ser observados. Estos intentos de control de otros factores en el marco del diseño de las evaluaciones de plausibilidad se expresan regularmente en escoger un grupo de control al momento de proyectar e implementar la evaluación o, lo que también es viable, durante el análisis de los datos ya levantados. Hay varias alternativas para escoger un grupo control; este, en esencia, debe ser similar al grupo de intervención en todas las características relevantes excepto por la exposición al programa. La elección final del grupo control es a menudo determinada por criterios de oportunidad lo que simplemente significa tomar la mejor ventaja de la situación naturalmente existente en la realidad. Grupos de control incluyen: grupos de control histórico -en los que se trabaja con la misma tipología de instituciones y personas que aquella intervenida; grupos de control interno (áreas, instituciones o personas que debieron haber recibido totalmente la intervención pero por cualquier razón no lo hicieron o rechazaron al inicio o después ser alcanzados por las actividades del programa y en este caso hay relaciones de la intensidad o dosis de la exposición y la respuesta observable en los grupos de interés). En este sentido, el diseño tipo casos y controles tiene espacio para comparar la exposición al programa entre personas con y sin la enfermedad o el evento -calidad percibida; requiere datos transversales colectados al final del programa o en algún momento avanzado de la implementación del Programa con muchos riesgos de sesgos de memoria. Por último tenemos grupos de control externo (áreas, instituciones o personas en las que la intervención o el programa no está previsto); aquí la comparación puede ser con grupo control transversal al final del programa o con control longitudinal para efectos comparativos en el inicio, momentos medios y el final del programa. El uso de cualquiera de los grupos de control resulta en conclusiones mucho más plausibles, ciertas, razonables que cuando no se cuenta con estos.

La plausibilidad, la certeza de las conclusiones, mejora de modo significativo si hay oportunidad de combinar grupos de control. Por ejemplo, como aquí se hace, se puede aprovechar el inicio

28

secuencial en años de una intervención en diferentes áreas o instituciones para la comparación de datos históricos. Tomando en cuenta que las decisiones de mantener, redireccionar o suspender una intervención están en manos de los responsables de la misma, estos pueden requerir un mayor grado de confianza en que los cambios observados fueron -de hecho- debidos a la intervención. La tabla 3 propone los indicadores PUC o de impacto en el ámbito de la inferencia de plausibilidad a ser rastreables según lo que un programa, como el de interés, parece desencadenar con independencia de otras influencias externas o factores de confusión. Afirmaciones, juicios de valor, derivadas del criterio de plausibilidad del impacto del Programa evaluado en esta propuesta metodológica son aceptables en tanto parecen ser observaciones o hallazgos que a juicio de los evaluadores y de los tomadores de decisiones son considerables como evidencias ¨ ciertas o razonables ¨.

La fortaleza de esas afirmaciones variará desde un extremo con juicios débiles hasta el otro con juicios fuertes; los débiles reflejan comparaciones simples realizadas con un grupo control sin identificar, discutir y regular posibles factores de confusión mientras que a los juicios fuertes se puede llegar si los evaluadores dejan evidencia escrita de señalar, comentar, discutir y revisar el control de factores externos diversos identificados o previstos durante el diseño de la evaluación, apoyados en la revisión de la literatura para comparar como se resolvieron en otros estudios e, incluso, recurriendo a simulaciones matemáticas altamente elaboradas.

Aunque alcanzar el máximo nivel de plausibilidad requiere descartar toda clase probable de explicaciones para las mejoras o variaciones observadas, es necesario relativizar ese fin; lograr ese nivel no es posible en la práctica pues señalar y regular todas las explicaciones a las diferencias observadas es un imposible. Desde un punto de vista practico, afirmaciones relativamente conclusivas o juicios de valor moderado son suficientes para tomar decisiones en un programa; el costo y tiempo de una plausibilidad mayor no siempre se justifica.

Tabla 3. Características de inferencia de plausibilidad al evaluar el Programa, según efectos en calidad de servicios *.

Tipo indicador Medida En quienes Comparado con Inferencias

Desempeño-PUC Actividades Responsables en las Grupo control no IPS intervenida pareceIPS´s receptoras aleatorizado/oportuno tener mejor desempeño

Transversal por una vez Un grupo control

Longitudinal sin control para rastrear cambio Antes-después del grupo

Longitudinal con control para rastrear cambio Antes-después entre gruposde intervención y de control

Impacto Indicadores En población objetivo Valores absolutos 2006; Dirección y magnitud delde IPS´s intervenidas relativos 2008 y 2010 cambio es mejor en las

IPS´s intervenidasCaso-control una vez, al final Población objetivo Expuestos y no al ProgramaTransversal una vez: base 2006 Población objetivo Un grupo control de IPS´s Entre grupo con y sinLongitudinal con control: media 2008 y final 2010 Antes-después en usuarios Dirección y magnitud

de IPS´s con y sin del cambio es mejor enintervención las IPS´s intervenidas

* Adaptado del modelo de Habicht, Victora y Vaughan, referencia 8.

Así, la línea de base 2006 genera valores o criterios absolutos de cada sub dominio de la percepción de calidad en usuarios de IPS`s intervenidas y no intervenidas por el Programa; contra estos valores absolutos se compararán los valores de mediciones del 2008 y 2010. Con los resultados de esta comparación y su respectiva interpretación estadística se aceptará o no como cierto o razonable que

29

los cambios en la dirección y magnitud en la percepción de calidad son debidos plausible, razonablemente al Programa.

Inferencia de probabilidad: ¿Cuál es el orígen y la magnitud estadística específica del efecto ?

Inferencias de probabilidad son el “gold estándar” o referente de oro en investigación evaluativa. A diferencia de las de adecuación y plausibilidad, aseguran que hay una probabilidad muy baja que las diferencias observadas entre grupos intervenidos y de control ocurre por factores de confusión, por efecto de sesgos inmanejables o simplemente por el azar. Requieren, indispensablemente, la asignación aleatoria a la intervención y control; contrario a lo que se cree no garantizan -a pesar de su complejidad y sus elevados costos- que los factores de confusión sean controlados, que los sesgos sean manejados ni que los elementos azarosos sean discutidos. Hay razones por la que este tipo de evaluación no era deseable en esta consultoría: el evaluador teóricamente debió estar en la gestación del Programa para introducir la asignación aleatoria de las instituciones al grupo con firma de convenios o a otro de control que no los firmaría, algo no esperable, artificial para la realidad del Programa pues este existe para intervenir a las IPS´s que demuestran durante su acompañamiento en el tiempo situaciones de inviabilidad técnica, financiera u operativa no necesariamente conocidas en el tiempo de levantamiento de la línea de base. Así, la evaluación de probabilidad enfrentaría desarrollos políticos, informativos y de otra naturaleza en las áreas geográficas, contextos sociales o referentes poblacionales, comunitarios o institucionales que contaminarían la dirección y los cambios de percepción a ser medida y que limitarían su validez externa (8).

3.4 Universo y diseño muestral para el 2006; lineamientos para el 2008 y 2010

El universo para medir la percepción de la calidad según los usuarios de las IPS`s objetivo del Programa es:

Para la línea de base 2006: usuarios de cualquier edad, sexo, condición social, procedencia y afiliación al SGSSS que en agosto de 2006 recibieron servicios electivos (consulta médica general, especializada u hospitalización) o de urgencias, en una muestra representativa del conjunto de IPS´s objetivo del Programa.

Para la medición intermedia del 2008: usuarios de cualquier edad, sexo, condición social, procedencia y afiliación al SGSSS que en la semana de recolección de datos definida para agosto de 2008 recibirán servicios electivos o de urgencias en la muestra de IPS`s representativas del grupo objetivo del Programa.

Para la medición final del 2010: usuarios de cualquier edad, sexo, condición social, procedencia y afiliación al SGSSS que en la semana de recolección de datos definida para agosto de 2010 recibirán servicios electivos o de urgencias en la muestra de IPS`s representativas del grupo objetivo del Programa.

La información obtenida de los usuarios del subgrupo de las IPS`s que firmaron convenios en 2004, 2005 y, de las que lo hicieron hasta julio de 2006 inclusive, de las cuales no habría una medición ortodoxa de línea de base antes de la intervención del Programa, debe manejarse con las siguientes consideraciones.

Primero, su participación tiene un valor intrínseco relevante en tanto generan información a tener como el referente absoluto de este subgrupo para comparar sus datos generales de subgrupo y los particulares de cada IPS contra los datos que se obtengan en las mediciones de ese mismo subgrupo

30

y de cada una de sus IPS`s constituyentes en las mediciones intermedia 2008 y final del 2010. Esto, a pesar de no ser ortodoxo, se termina comportando como una medición repetida longitudinal que deberá generar evidencia de la dirección y magnitud de los cambios observables en la calidad percibida de los usuarios a lo largo de estos años.

Segundo, tanto para este subgrupo que está conformado por las que firmaron convenios en 2004, 2005 y hasta julio de 2006 inclusive, como para los otros grupos de IPS`s ya caracterizados arriba que cumplen criterios ortodoxos para plena participación en la medición de línea de base 2006 y su posterior seguimiento, es viable rastrear a todo lo largo del cuatrienio 2006-2010 la asociación entre el tiempo de exposición al programa (contado a partir del mes de firma del convenio) y la dirección-magnitud del cambio en la calidad percibida por los usuarios acerca de los servicios en: cada uno de los subgrupos de IPS`s; en cada una de las IPS`s según la diferenciación de sus mediciones de modo individual y, en la sumatoria de los hallazgos en la totalidad de instituciones participantes en las mediciones 2006, 2008 y 2010, diferenciables por la presencia de convenio si o no, así como por las características de nivel de complejidad de las IPS`s y las demás variables institucionales.

Tercero, en el caso de liquidación, fusión o situación de orden publico o de otra naturaleza hoy imprevisible que impida la continuidad en la evaluación de alguna de las IPS`s que firmaron convenios desde el 2004 o lo firmaron a partir de agosto de 2006, habiendo sido parte de la muestra seleccionada de la medición base de 2006, esta deberá, o ceder su participación proporcional en el número de encuestas al resto de IPS`s que avanzan en el seguimiento longitudinal para efectos de las mediciones a ser realizables en el 2008 y el 2010 o, a juicio de los responsables del programa, ser reemplazada por la IPS del marco muestral, que cumpla con características similares siendo esta a juicio del consultor la opción menos deseable.

En el caso de IPS`s que no continuasen por cualquier causa después de haber estado en la medición del 2008, el grupo consultor sugiere que metodológicamente la opción con el aporte en encuestas de estas IPS´s sea que se distribuya el número de encuestas en IPS`s de estándares semejantes de caracterización institucional, geográfica y demás. En el caso en que la medición del 2008 o la del 2010 no pudiera efectuarse, por cualquier razón, en el mes de agosto del respectivo año, el equipo consultor que entonces sea contratado o, como ya se sugirió, uno propio del Programa entonces a cargo de dicha medición, debe valorar las características de comparabilidad de contexto social, político, económico, cultural y demás que pudiesen tener un efecto en la dimensión perceptual de la calidad de los servicios del mes precedente o, preferentemente, subsiguiente a agosto para efectuar dicha medición media o final.

Teniendo en cuenta la susceptibilidad y variabilidad de los fenómenos preceptúales, en particular los que a ésta consultaría ocupan en relación a la calidad de servicios de salud en IPS`s públicas intervenibles por el Programa, se pueden abordar algunas consideraciones sobre condiciones predecibles y, con mayor riesgo, las impredecibles. Son condiciones predecibles de comparabilidad para orientar a futuro este tipo de reflexión, si fuera el caso, que la población tanto de IPS`s participantes como de usuarios informantes en la medición 2008 y 2010 no estén sometidas a exposiciones legislativas, regulatorias, económicas, culturales, políticas, sociales e informativas muy diferentes en su naturaleza a las que se presentaron en la medición base 2006.

En agosto de 2006 fueron relevantes en el contexto general la continuidad del gobierno nacional (el lunes 7 de agosto ocurrió la posesión del Dr. Álvaro Uribe Vélez para un nuevo cuatrienio, 2006-2010) que recibió un respaldo amplio (más del 70%) en la jornada electoral de mayo correspondiente a la elección presidencial. En el 2008 y 2010 vale la pena contextualizar la medición en el ambiente de respaldo al gobierno y al presidente entonces aún en ejercicio pues la permanencia

31

del respaldo y la aceptación o favoritismo popular al gobierno en general o al presidente Uribe Vélez en particular pueden incidir el nivel de optimismo, confianza y la percepción general de la vida social de la población usuaria de las IPS`s objeto de las mediciones. Asociada con este referente político, para julio y agosto de 2006, ocurrió una evidente expresión de fuerza de los grupos armados ilegales, especialmente manifestaciones terroristas desencadenadas por las Fuerzas Armadas Revolucionarias de Colombia-FARC en la semana precedente a la posesión de reelegido presidente.

Especial atención puede darse hoy a las informaciones problemáticas vehiculadas por medios masivos acerca de la prestación de servicios de salud a usuarios de la EPS del Instituto de los Seguros Sociales-ISS en la costa caribe de Colombia. Como parte del contexto social, largas filas, falta de acceso, incumplimiento de citas y de cirugías electivas, así como los anuncios de liquidación de instituciones, desplazamiento a otras IPS`s existentes de los usuarios del ISS que no logran obtener servicios deben generar algún efecto perceptual en la población colombiana en general como en la población de la región caribe en particular. Pueden ser esperables desarrollos sectoriales en la dinámica institucional-organizacional de la prestación de servicios de salud en el país derivados de la agenda legislativa del Congreso de Colombia instalado el 20 de julio de 2006, particularmente en lo que tiene que ver con las anunciadas reforma tributaria y, en particular, con la, una vez más, radicación de un proyecto de modificación del SGSSS colombiano, popularmente mencionado como la reforma de la Ley 100 de 1993 que tiene como uno de sus referentes de discusión la universalidad de la cobertura del sistema, aún no lograda según las metas originalmente previstas.

Son impredecibles hoy los efectos económicos, políticos, culturales y de otras dimensiones de la vida social global y nacional, por ejemplo, de: la inminente puesta en marcha del tratado de libre comercio-TLC suscrito entre Colombia y los Estados Unidos de América-EUA; la recuperación o no de la enigmática y desinformante situación de salud del vitalicio gobernante del pueblo Cubano, dictador Fidel Castro Ruz; el agudo conflicto en marcha desde comienzo de julio de 2006 entre Israel y el Líbano; la tensión global causada por los avances en el desarrollo y apropiación de la tecnología nuclear por Irán y Corea del Norte así como la tensión regional de la evidente y consistente carrera armamentista de la República Bolivariana de Venezuela, apalancada está desde el punto de vista financiero, como se sabe, por el fenómeno mundial sostenido de los altos costos históricamente alcanzados por los combustibles fósiles desde el 2005 y mantenido en el 2006, que hacen de la hermana república un actor importante en la actual coyuntura geopolítica de la sub región latinoamericana.

Así, para la aproximación progresiva al universo del 2006, de acuerdo con requerimientos generales de la consultoría contratada y otros específicos del Programa a ser evaluado, conocidos por el equipo consultor de la FNSP/UdeA en reuniones preliminares y con el propósito de articular al máximo los referentes geográficos, poblacionales e institucionales de la medición de línea de base de percepción de calidad de servicios con la medición de línea base de gestión institucional –en desarrollo paralelo y a cargo de CENDEX/Universidad Javeriana-, el contratante determinó que tanto la FNSP/UdeA como CENDEX/UJ usaran como marco muestral un listado de IPS`s conformado por elegibles para intervención según análisis técnicos y económicos hechos por el Programa previamente desde el año 2004. De estas ya había IPS`s intervenidas desde 2004 –un grupo minoritario- e IPS`s que a julio de 2006 –el grupo mayoritario- no habían firmado un convenio. Se interpretó que incluir IPS`s ya intervenidas desde el 2004 enriquecería la comparabilidad de la percepción de usuarios de subconjuntos de IPS`s a ser seguidas longitudinalmente al 2008 y al 2010, de acuerdo los momentos evaluación intermedia y final del Programa y el tiempo acumulado de exposición a la intervención. Para avanzar en el diseño muestral se valoraron como referentes en el proceso de definición del tipo y tamaño de la muestra final los siguientes criterios: Definición de objetivos del estudio; determinación de la población objetivo; construcción del marco muestral disponible; formas de

32

desagregar variables objeto de estudio (salidas); selección de un procedimiento específico de muestreo; identificación de estimadores claves (resultados de prueba piloto y literatura) y, recursos económicos, de tiempo y humanos. Según el listado que se adjunta al presente informe en formato xls el marco muestral fueron 301 IPS´s elegibles (100%). De estas, 235 IPS`s (78%) no habían sido intervenidas y 66 IPS`s (22%) habían firmado convenios a partir del 2004.

Tabla 4. Distribución de las IPS`s del marco muestral según firma de convenio y nivel de complejidad

Convenio firmado Subtotal SI NO_________ n %Nivel

I 36 12,1 184 61,1 220 73,2II 26 8,6 46 15,2 72 23,8III 4 1,3 5 1,7 9 3,0

Subtotal 66 22,0 235 78,0 301 100,0

Este marco se distribuía en localidades de 25 departamentos del país tal como lo ilustra la tabla siguiente:

Tabla 5. Distribución de las 301 IPS`s del marco muestral por departamentos y niveles de complejidad.

Departamento Nivel Subtotal I II III n % n % n % n %

Antioquia 16 5 10 3 0 0 26 9Atlántico 11 4 6 2 0 0 17 6Bogotá D.C. 3 1 5 2 0 0 8 3Bolívar 9 3 4 1 0 0 13 4Boyacá 51 17 10 3 1 0 62 21Caldas 14 5 4 1 1 0 19 6Casanare 2 1 1 0 0 0 3 1Cesar 6 2 3 1 0 0 9 3Chocó 8 3 1 0 0 0 9 3Córdoba 12 4 2 1 0 0 14 5Cundinamarca 13 4 4 1 1 0 18 6Guajira 9 3 2 1 0 0 11 4Guaviare 0 0 1 0 0 0 1 0Huila 4 1 2 1 0 0 6 2Magdalena 19 6 1 0 0 0 20 7Meta 2 1 0 0 0 0 2 1Norte de Santander 6 2 3 1 1 0 10 3Quindío 1 0 0 0 1 0 2 1Risaralda 2 1 2 1 1 0 5 2San Andrés y Providencia 1 0 1 0 0 0 2 1Santander 17 6 3 1 2 1 22 7Sucre 5 2 1 0 0 0 6 2Tolima 8 3 5 2 1 0 14 5Vaupés 0 0 1 0 0 0 1 0

33

Vichada 1 0 0 0 0 0 1 0Total 220 73 72 24 9 3 301 100

A partir del marco muestral y la estratificación de IPS`s de acuerdo a su nivel de complejidad y a la característica de tener o no convenio firmado, el equipo consultor exploró tipos de muestreo para orientar discusiones de cuál sería la mejor opción a seleccionar según requerimientos definidos a priori del alcance esperado de la consultoría. Se destacó que la representatividad era un eje básico para determinar la técnica y tamaño de la muestra final. Según el estadístico cubano Luís Carlos Silva Aycaguer, representatividad es que las categorías de la población de estudio estén lo más fielmente presentes en una muestra.

Así, la muestra sería representativa si su composición fuese similar a la del marco muestral en cuanto a la(s) variable(s) relevantes del estudio, en este caso representatividad relativa proporcional de las instituciones con convenio y sin convenio, de los niveles de complejidad de la atención, de los tipos de afiliación de los usuarios y de los servicios más demandados en las IPS`s seleccionadas. Señalando que para cualquiera de las propuestas de muestreo el error esperado aceptable fue menor del 5% en dos de las categorías iniciales de estratificación del objeto de estudio, nivel de complejidad en la prestación de servicios de la IPS`s y existencia de convenio firmado o no, siempre con respecto al resumen de la tabla 4, se discutieron las ventajas y las desventajas de tres alternativas para seleccionar una opción de muestra de IPS`s para levantamiento de datos.

Primera alternativa: Muestreo de IPS´s estratificando por conglomerados

Se utilizó el criterio de estrato para controlar la variable convenio (estructurando dos conglomerados básicos y naturales como son el de las instituciones elegibles que si y las elegibles que no habían firmado convenios de desempeño con el Programa desde el 2004). La muestra obtenida con apoyo del programa estadístico EPIDAT 3.0, presentó una proporción muy similar a la de la población del marco y quedaba distribuida de la siguiente manera: 9 (20%) intervenidas y 36 IPS (80%) no intervenidas, modificando en 2% para abajo y para arriba la representación general de proporcionalidad de las IPS`s:

Tabla 6. Distribución del nivel de complejidad de una muestra estratificada por dos conglomerados naturales de las IPS´s del marco muestral objeto de intervención del Programa

Nivel Convenio Subtotal SI NO n % n % n %

I 7 16,0 27 60,0 34 76,0II 1 2,0 8 18,0 9 20,0III 1 2,0 1 2,0 2 4,0

Total 9 20,0 36 80,0 45 100

Se lograba con este tipo de muestreo un buen nivel de representatividad según la distribución de la complejidad de las IPS´s; sin embargo, se sobre-representaba en un 2,8% al nivel I y en un 1% al III al tiempo que sub-representa hasta en un 3,8% al nivel II, respecto de la distribución de esta característica en el conjunto de IPS´s del marco muestral.

La cobertura geográfica en esta aproximación muestral solo tomaría IPS´s de 14 departamentos y de máximo 43 municipios por lo que era menor que la obtenible en las otras dos alternativas de

34

muestreo que se reseñan a continuación; no quedaban seleccionados por el “azar” algunos departamentos y capitales considerados como relevantes en su participación tanto en la línea de base como en las subsiguientes mediciones intermedia de 2008 y final de 2010.

En total se visitarían máximo 45 instituciones por lo que, a juicio del equipo consultor y respecto de las otras dos formas de cumplir con el muestreo, era la opción menos recomendable observando este número absoluto de IPS`s a ser involucradas. Esta muestra se ilustra, según departamentos y nivel de complejidad, en la tabla siguiente:

Tabla 7. Distribución de IPS´s por departamentos y complejidad según muestreo estratificado por conglomerados

Nivel de Complejidad SubtotalI II III

Departamento n % n % n % n %

Antioquia 5 11 2 4 0 0 7 16Atlántico 3 7 2 4 0 0 5 11Bolívar 2 4 1 2 0 0 3 7Boyacá 6 13 1 2 1 2 8 18Caldas 1 2 0 0 0 0 1 2Casanare 0 0 1 2 0 0 1 2Cesar 1 2 0 0 0 0 1 2Córdoba 4 9 0 0 0 0 4 9Cundinamarca 1 2 0 0 0 0 1 2Magdalena 4 9 0 0 0 0 4 9Norte de Santander 1 2 0 0 0 0 1 2Santander 1 2 0 0 1 2 2 4Sucre 3 7 0 0 0 0 3 7Tolima 2 4 2 4 0 0 4 9

Total 34 76 9 20 2 4 45 100

La tabla de contingencia estándar para la fijación de número de usuarios a ser encuestados en esta opción de muestreo, según tipo de afiliación y el tipo de servicio usado, aplicada a cada una de las 45 IPS de ésta muestra según datos de estadísticas de producción de servicios consolidada al 2004 y desarrollable solo si esta fuese la opción de diseño muestral determinada, era la siguiente:

Tabla 8. Asignación de usuarios por afiliación y servicio en la muestra de IPS´s estratificada por conglomerados

IPS:__________________________________________________

Servicio no electivo Servicios electivos TotalesAfiliación de Urgencia MD Geral MD Esp Hospitalización

n % n % n % n %

Contributivo Subsidiado Sin vínculo

Segunda alternativa: Muestreo sistemático de las IPS´s

35

Dado que la base de datos con las IPS´s del marco muestral se ordenó teniendo en cuenta las variables clave del estudio (firma de convenio si-no, nivel de complejidad I-II-III y secuencia de departamentos del país) se garantizaba con esta opción de muestreo una mejor representatividad en todas las categorías de interés; los porcentajes de proporcionalidad en esta muestra, por la característica nivel de atención, eran muy similares a la distribución original en el marco muestral. Según resultados del Epidat 3.0, el número de instituciones definido para esta muestra sería de 48 IPS´s, distribuidas de la siguiente manera: 34 IPS (71%) no intervenidas por el Programa y el resto, 14 IPS (29%) son del tipo de IPS`s ya intervenidas desde el 2004. El 71% de estas 48 IPS´s serían de nivel I (n: 34); el 23% de nivel II (n: 11) y el 6% restante (n: 3) del nivel III. En cuanto a la cobertura geográfica, se visitarían hasta 17 de los 25 departamentos del marco muestral definido y con colecta de datos en un total de 40 municipios. Veamos la tabla de distribución de IPS´s del marco si este fuese el procedimiento elegido:

Tabla 9. Distribución de IPS`s por departamentos y niveles de complejidad según el muestreo sistemático

Departamento Nivel de Complejidad Subtotal I II III n % n % n % n %

Antioquia 3 6 2 4 0 0 5 10Atlántico 2 4 1 2 0 0 3 6Bogotá D.C. 2 4 1 2 0 0 3 6Boyacá 8 17 2 4 0 0 10 21Caldas 2 4 1 2 0 0 3 6Cesar 1 2 0 0 0 0 1 2Chocó 1 2 0 0 0 0 1 2Córdoba 2 4 0 0 0 0 2 4Cundinamarca 2 4 0 0 1 2 3 6Huila 1 2 0 0 0 0 1 2La Guajira 2 4 0 0 0 0 2 4Magdalena 3 6 1 2 0 0 4 8Norte de Santander 0 0 0 0 1 2 1 2Risaralda 0 0 1 2 1 2 2 4Santander 3 6 1 2 0 0 4 8Sucre 1 2 0 0 0 0 1 2Tolima 1 2 1 2 0 0 2 4Total 34 71 11 23 3 6 48 100

En la siguiente tabla se presenta la distribución de la muestra según la firma o no de convenios desde el 2004:

Tabla 10. Distribución de IPS`s en una muestra sistemática según firma de convenio y nivel de la atención

Firma de convenio Subtotal SI ____NO___________

Nivel n % n % n %

I 8 16,7 26 54,2 34 70,8II 5 10,4 6 12,5 11 22,9II 1 2,1 2 4,1 3 6,3Total 14 29,2 34 70,8 48 100

36

Esta distribución sub representaba en 2,4% al nivel I y en 1,1% al II; sobre representaba en 3,3% al nivel III y modificaba en 7,2% la proporcionalidad de las IPS`s según subgrupos de convenio firmado o no. Con más departamentos y municipios se tendrían que visitar IPS en lugares alejados y de bajo aporte numérico a la recolección, demandando también la revisita en 2008 y 2010. La tabla usar para asignar encuestas sería:

Tabla 11. Asignación de usuarios a encuestar, por afiliación y servicio, en IPS`s seleccionadas sistemáticamente IPS:__________________________________________________

Servicio no electivo Servicios electivos TotalesAfiliación de Urgencia MD Geral MD Esp Hospitalización

n % n % n % n %

Contributivo Subsidiado Sin vínculo

Tercera alternativa: Muestreo por conveniencia

Esta opción generaba la participación de 45 municipios en 19 de los 25 departamentos del marco. Si bien los porcentajes de representatividad no son próximos a los del marco muestral, esto se relativizaba por requerir la visita a más instituciones del nivel III de atención, con o sin convenio, cuya oferta de servicios y cobertura poblacional termina representando en mucho la concentración natural de usuarios del sector público del SGSSS. Criterios adicionales para favorecer la selección potencial de esta tercera opción muestral fueron: la participación de instituciones intervenidas o no; presencia de instituciones de nivel I de complejidad, de IPS en capitales de departamento y de IPS de municipios cercanos a capitales y áreas metropolitanas. Mejoraba la eficiencia de los recursos disponibles para la recolección de datos por reducción de costos de desplazamientos y tiempos muertos de los encuestadores ante desplazamientos. La muestra quedaría con 68 instituciones así:

37

Tabla 12. Distribución de IPS`s por departamentos y niveles de complejidad según muestreo por conveniencia

Departamento Nivel de Complejidad Subtotal I II III n % n % n % n %

Antioquia 3 4 4 6 0 0 7 10Atlántico 3 4 5 7 0 0 8 12Bogotá D.C. 3 4 2 3 0 0 5 7Bolívar 2 3 0 0 0 0 2 3Boyacá 1 1 1 1 1 1 3 4Caldas 2 3 1 1 1 1 4 6Casanare 1 1 1 1 0 0 2 3Cesar 0 0 1 1 0 0 1 1Chocó 2 3 1 1 0 0 3 4Córdoba 4 6 2 3 0 0 6 9Cundinamarca 3 4 2 3 1 1 6 9Guajira 2 3 1 1 0 0 3 4Huila 1 1 1 1 0 0 2 3Magdalena 2 3 0 0 0 0 2 3Norte de Santander 1 1 1 1 1 1 3 4Quindío 1 1 0 0 1 1 2 3Risaralda 1 1 1 1 1 1 3 4Santander 1 1 1 1 1 1 3 4Tolima 1 1 1 1 1 1 3 4Total 34 50 26 38 8 12 68 100

A continuación se presenta la distribución de esta muestra según la firma o no de convenios desde el 2004:

Tabla 13. Distribución de la muestra por conveniencia según nivel de complejidad y firma del convenio

Firma de convenio SubtotalNivel SI NO______

n % n % n %I 4 5,9 30 44,1 34 50,0II 6 8,8 20 29,4 26 38,2III 4 5,9 4 5,9 8 11,8

Total 14 20,6 54 79,4 68 100

Esta distribución sub-representaba en 23,2% al nivel I al tiempo que sobre-representaba en 14,4% al II y en 8,8% al III; modificaba en 1,4% la representación de proporcionalidad de IPS`s según convenio firmado o no.

Ahora bien, con este trío de opciones de muestreo se hicieron otros desarrollos para enriquecer la discusión y los puntos de referencia para la selección final del procedimiento y tamaño de la muestra. Por ejemplo, teniendo en cuenta la fórmula de tamaño de muestra para una población infinita y para proporciones, se despejó el término error, así:

38

Despejando

De la prueba piloto del instrumento de recolección de datos de percepción de la calidad de los servicios, descrita mas tarde, se pudo estimar que al menos 70% de los usuarios participantes estuvieron satisfechos o muy satisfechos con las diferentes dimensiones indagadas; así, con un n de por lo menos 320 sujetos se determinó que se cumpliría con la condición de un error menor del 5%.

Con este otro referente inicial para la definición del tamaño muestral y como el interés primordial -tanto de las mediciones de línea de base 2006 como de las posteriores en el 2008 y 2010- es determinar el impacto del Programa en los promedios de los indicadores de la percepción en la calidad en instituciones intervenidas y no intervenidas, según la dirección y la magnitud de diferencias significativas en un intervalo del 95% de confianza, se utilizó la siguiente fórmula:

En éste caso, se trabajo con los siguientes parámetros:

Confiabilidad=95%S= 1

= 0.7 diferencia máxima a detectar Potencia de la prueba = 90%

Según la fórmula sugerida por Machin y colaboradores, cuando no se conoce la magnitud de la desviación estándar, una aproximación a la misma consiste en dividir por 4 el recorrido (diferencia entre el máximo y el mínimo) de las observaciones, cantidad que suele ser más fácil de estimar o conocer de antemano:

Un análisis de los factores que influyen en un diseño muestral, es decir, objetivos del estudio, resultados esperados, recursos logísticos y económicos, entre otros, indican que con la participación mínima de 43 usuarios por IPS participante se podían realizar inferencias entre IPS`s con y sin convenio frente a los diversos niveles de complejidad y, entre los datos obtenidos de IPS`s de diverso nivel de complejidad y los tres tipos de afiliación de los usuarios. La fórmula usada para esta determinación numérica de un mínimo de usuarios por cada IPS involucrada en el levantamiento fue la siguiente:

Se tuvo en cuenta que un interés básico del estudio es identificar diferencias estadísticamente significativas en mediciones respecto de los valores promedio de las estimaciones obtenidos en la línea de base. Así, se utilizó el Epidat 3.0 y se abordaron distintos tamaños de muestra buscando una potencia del 90% para la comparación de mediciones independientes tomando como base los

39

siguientes referentes: Diferencia de medias estandarizada 0,700; Razón entre muestras (B/A) 1,000; Nivel de confianza 95,0%.

Muestra mínima de usuarios requeridos para encuesta en cada IPS para mediciones repetidas Potencia (%) Población A Población B

--------------- ------------ ------------ 80,0 33 33 82,0 34 34 84,0 36 36 86,0 38 38 88,0 41 41 90,0 43 43

Como se observa, para una potencia del 90%, se ratifica que se requerían mínimo 43 usuarios por IPS en cada medición para identificar diferencias en las categorías de las principales variables objeto de estudio.

Para la definición del total de la muestra de usuarios, retomando las consideraciones antes mencionadas sobre representatividad y de número mínimo de usuarios a entrevistar en cada IPS para garantizar la comparabilidad de promedios, se utilizó el programa EpiInfo. La tabla resume el comportamiento del error estándar, teniendo constantes la proporción mínima esperada de usuarios satisfechos con la calidad de los servicios (0,7) y un nivel de confianza del 95%. El EpiInfo generó un desarrollo progresivo con errores estándar aceptables por el consultor de mínimo 3.600 participantes y un número máximo de 4.095 usuarios a ser involucrados.

Tabla 14. Rango de variación del tamaño muestral total según diferentes valores del error admisible.

Error admisible Tamaño de muestra 2,117 3600 2,102 3650 2,088 3700 2,074 3750 2,061 3800 2,047 3850 2,034 3900 2,021 3950 2,008 4000 2,000 4095

Con base en esta tabla y considerando los demás criterios antes mencionados se determinó, de común acuerdo con el contratante realizar la medición con un número cercano y superior a 4.000 usuarios.Los criterios de representatividad del tipo de afiliación del usuario al SGSSS y la naturaleza electiva o de urgencia de los servicios recibidos por los mismos se aplicaron a la aproximación operativa al universo, a la pre-asignación de número de encuestas requeridas en cada IPS de acuerdo a los datos consolidados de estadísticas de producción de cada IPS finalmente seleccionada, datos que fueron

40

aportados por el MPS según datos consolidados a diciembre de 2004 y que corresponden a un archivo adjunto a este informe.

Tipo de muestreo seleccionado

Luego de múltiples, profundos y diversos análisis en los pro y contra de las tres opciones, tomando en cuenta conceptos tanto de los acompañantes de la consultoría como de expertos del Ministerio -obtenidos estos últimos a petición del contratante acerca de la coherencia, claridad, alcance y validez metodológica de las opciones descritas- se formularon observaciones y comentarios que fueron consolidados en una reunión técnica ocurrida en julio 26 de 2006 en el MPS entre los equipos del Programa, del MPS y del consultor; el resumen de elementos sobre los cuales se focalizaron los referentes de las discusiones están en la tabla siguiente:

Tabla 15. Elementos referenciales para la discusión de las opciones de muestreo propuestas

Elemento Estratificación Sistemático Conveniencia

Tipo de muestra Probabilística Probabilística Intencional

Criterio básico de muestreo Firma o no de convenio Firma y nivel de atención Eficiencia de recursos

Variación de proporción de IPS´s ± 0,020 ± 0,072 ± 0,014por firma versus marco muestral

Variación de proporción de IPS´s + 0,028 nivel I - 0,024 nivel I - 0,232 nivel Ipor nivel versus marco muestral - 0,038 nivel II - 0,011 nivel II + 0,144 nivel II

+ 0,010 nivel III + 0,033 nivel III + 0,088 nivel III

Cobertura 14 departamentos 17 departamentos 19 departamentos43 municipios 40 municipios 45 municipios45 instituciones 48 instituciones 68 instituciones

En dicha reunión se señaló que, para optimizar los resultados de la medición del impacto del Programa en la calidad percibida por los usuarios de las IPS era altamente pertinente: primero, considerar el azar mas que la conveniencia en la selección de la muestra de IPS´s participantes en la selección final; segundo, de las dos opciones muestrales aleatorias probabilísticas tomar la que da mayor representación numérica de municipios y departamentos y la que toma criterios para la inferencia de los hallazgos al resto del universo de interés y, tercero, que permitiera la representación proporcional de las estadísticas consolidadas al año 2004 de la producción general de las IPS y la productividad particular por servicios y el tipo de afiliación de los usuarios que los demandaron en los meses previos a la recolección, de tal modo que esto se expresara proporcional y relativamente en la distribución definitiva del número de encuestas previstas y efectivamente a ser realizadas en cada una de las IPS finalmente seleccionada.

Se definió entonces usar el muestreo sistemático, dado que lograba una representatividad adecuada en las variables claves del estudio, valga decir, firma de convenio o no y el nivel de atención. Además, dado el carácter probabilístico del procedimiento se permitía estimar errores de muestreo e inferir los resultados. La selección final de tres de las cuarenta y ocho IPS´s preliminarmente seleccionadas sistemáticamente se ajustó ante la falta de información consolidada sobre su productividad en 2004; para esto se realizó proceso adicional de muestreo sistemático aplicado exclusivamente al subgrupo de IPS´s de nivel III de complejidad en razón de la necesidad de aumentar su representación relativa en coherencia con criterios acordados.

41

El listado definitivo de IPS´s, con su correspondiente nivel de atención y su participación relativa según el número de encuestas a ser realizadas en cada una de estas según el peso en la muestra de la productividad de sus servicios consolidados del año 2004. Veamos:Tabla 16. Muestra sistemática a partir del marco de IPS`s públicas objeto de intervención de Programa, 2006.

INSTITUCIÓN MUNICIPIO NIVEL Encuestas realizadas

ESE HOSPITAL SAN VICENTE DE PAUL BARBOSA 1 82ESE HOSPITAL MENTAL DE ANTIOQUIA BELLO 2 43ESE HOSPITAL MARCO FIDEL SUAREZ BELLO 2 106ESE HOSPITAL GILBERTO MEJIA MEJÍA RIONEGRO 1 46HOSPITAL SAN ANTONIO TARAZÁ 1 46HOSPITAL NAZARETH ESE BARRANQUILLA 1 153ESE HOSPITAL GENERAL DE BARRANQUILLA BARRANQUILLA 2 144ESE HOSPITAL MATERNO INFANTIL SOLEDAD 1 217HOSPITAL RAFAEL URIBE URIBE ESE BOGOTÁ 1 208ESE HOSPITAL CENTRO ORIENTE II NIVEL BOGOTÁ 2 210ESE HOSPITAL CHAPINERO BOGOTÁ 1 97ESE SALUD AQUITANIA AQUITANIA 1 44ESE CENTRO DE SALUD DE COMBITA CÓMBITA 1 44ESE HOSPITAL REGIONAL DE DUITAMA DUITAMA 2 81ESE UNIDAD DE SALUD NOBSA NOBSA 1 43ESE HOSPITAL SAN VICENTE DE PAUL PAIPA 1 43ESE HOSPITAL SAN VICENTE DE RAMIRIQUI RAMIRIQUÍ 1 43ESE HOSPITAL SANTA MARTA DE SAMACA SAMACÁ 1 43ESE HOSPITAL REGIONAL DE SOGAMOSO SOGAMOSO 2 61ESE CENTRO DE SALUD FE Y ESPERANZA SORACÁ 1 43ESE SANTIAGO DE TUNJA TUNJA 1 58ESE HOSPITAL SANTA TERESITA PÁCORA 1 43CENTRO DE SALUD SAN FELIX SALAMINA 1 43HOSPITAL DEPARTAMENTAL FELIPE SUAREZ SALAMINA 2 53HOSPITAL SAN JOSE ESE LA GLORIA 1 43ESE HOSPITAL UNIVERSITARIO SAN JORGE PEREIRA 3 109HOSPITAL LOCAL ISMAEL ROLDAN VALENCIA QUIBDÓ 1 132ESE CAMU EL AMPARO MONTERÍA 1 135UAE PRESTADORA DE SERVICIOS DE SALUD MONTERÍA 1 150HOSPITAL SAN ANTONIO ARBELÁEZ 1 84ESE HOSPITAL SAN RAFAEL DE GIRARDOT GIRARDOT 3 213ESE HOSPITAL MARIO GAITAN YANGUAS SOACHA 1 167ESE HOSPITAL DEL ROSARIO CAMPOALEGRE 1 43ESE HOSPITAL SAN LUCAS EL MOLINO 1 43ESE HOSPITAL SANTO TOMAS VILLANUEVA 1 43ESE HOSPITAL SAN JOSE ARACATACA 1 49HOSPITAL LA CANDELARIA ESE EL BANCO 2 44ESE HOSPITAL LOCAL DE REMOLINO REMOLINO 1 43ESE HOSPITAL LOCALDE SITIONUEVO SITIONUEVO 1 69ESE HOSPITAL MENTAL UNIVERSITARIO PEREIRA 2 43ESE INSTITUTO DE SALUD BUCARAMANGA 1 211ESE HOSPITAL PSIQUIATRICO SAN CAMILO BUCARAMANGA 2 43ESE HOSPITAL INTEGRADO SAN JUAN DE DIOS LEBRÍJA 1 43HOSPITAL SAN RAFAEL MATANZA 1 43ESE CENTRO DE SALUD SAN PEDRO SUCRE SAN PEDRO 1 43HOSPITAL NELSON RESTREPO MARTINEZ ARMERO 1 45HOSPITAL REINA SOFIA DE ESPAÑA DE LERIDA LÉRIDA 2 56ESE HOSPITAL UNIVERSITARIO ERASMO MEOZ CÚCUTA 3 133

Total mínimo de encuestas previstas 4.021

* Calculado con base en consolidados de productividad general de las IPS para el año 2004.

42

3.5 Técnica e instrumento para la línea base 2006 y las mediciones 2008 y 2010

Técnica de recolección de datos

La literatura y la experiencia de las personas involucradas con los sistemas de salud coinciden en señalar que la evaluación de la calidad de los servicios es una tarea compleja. Según una revisión temática del asunto (24), la calidad del servicio de salud es una realidad objetivamente abordable en dos dimensiones que aunque complementarias son claramente independientes, pero a veces de difícil separación: la de la calidad técnica y la de la calidad percibida por el usuario.

La calidad técnica está relacionada con condiciones específicas de seguridad, efectividad, eficiencia y oportunidad en las que los servicios de salud son estructurados y finalmente brindados; la calidad percibida se relaciona con particularidades de los receptores de dichos servicios como son sus motivos, intenciones, emociones, valores, actitudes, conocimientos, habilidades y experiencias. Esta dimensión de la calidad de servicios en salud, la percibida, es pues un desafío para cualquiera que la aborde sobre todo por la validez tanto de métodos como de procesos, técnicas, instrumental e indicadores requeridos. Hacer una evaluación de calidad percibida es más que aplicar una “encuesta de satisfacción a los usuarios” al momento que estos salen de la institución prestadora de servicios, algo hecho la mayoría de veces mediante un procedimiento e instrumental no validado, usando una lista de preguntas -por lo general- mal formuladas y grupos de respuestas –frecuentemente- poco procesadas o comparadas. Esto ha sido habitual en la mayoría de buenos intentos en ese sentido ejecutados en muchas de las IPS´s en Colombia. La satisfacción reportada de los usuarios es, a su vez, uno de los componentes de la calidad percibida; la satisfacción es uno de los factores con mayor incidencia –pero no el único- en la decisión libre del usuario en la selección de la IPS en la que definitivamente demanda o regresará a demandar un servicio.

En Colombia, el indicador Tasa de Satisfacción Global-TSG ha sido propuesto por la Autoridad Sanitaria Nacional –léase MPS- para identificar el nivel de satisfacción de usuarios en servicios de consulta medica general y especializada y, las características del trato recibido por el usuario tanto en IPS´s como en las empresas administradoras de planes de beneficios (EPS y ARS); se calcula estimando el porcentaje de pacientes que reportan estar satisfechos con los servicios sobre el total de encuestas que con ese fin son realizadas. Es claro que los propósitos, datos, informantes y responsables del reporte de la TSG son diferentes de los del estudio aquí propuesto; los datos o resultados son complementarios. Sin embargo, tanto para la metodología TSG como para la de evaluación del impacto del programa en la percepción de calidad de los servicios según los usuarios, el asunto nuclear es la homologación práctica o la validación en terreno de ambos recursos en esferas de competencia claramente complementarias así como la determinación del estándar, referente, criterios o valores de línea de base; sin esto, la comparación de mediciones longitudinales de la misma IPS o entre instituciones no es posible; cuando menos es un ejercicio espúreo. Los referentes de evidencia nacional e internacional son fundamentales, siempre que exista un claro rigor en los procesos que llevaron a generar los datos a ser usados para determinación de estándares absolutos.

La medición de línea de base 2006 y las intermedia 2008 y final 2010 en las que se aplica la metodología desarrollada aquí, presenta riesgos diversos relacionados particularmente con la objetividad de los resultados pues la percepción de las personas responde a características irrepetibles de cada usuario o del acompañante del mismo -cuando se trata de un menor o de una persona con limitaciones comunicativas-, así como a expectativas absolutamente particulares del usuario-informante frente a los servicios de salud a los que tiene acceso. Una percepción preponderantemente positiva o negativa en uno de los dominios o subdominios que constituyen la

43

percepción de calidad de servicios, como mas adelante se abordará, puede -con una alta probabilidad-, afectar los demás dominios y subdominios, por lo que la prudente interpretación y triangulación de fuentes, hallazgos y análisis sobre satisfacción y calidad en los usuarios finales es pertinente. Es frecuente que la recolección de datos sobre distintas variables o categorías que conforman la opinión final de los usuarios de los servicios de salud se apoye en información de naturaleza primaria. Esta, por lo regular, es directamente capturada en las IPS`s bien con encuestas personalizadas o con la aplicación impersonal de instrumentos -habitualmente cuestionarios auto diligenciables sin acompañamiento- que se realizan o entregan al usuario al egresar de los servicios o las IPS`s- por mano de los más diversos actores institucionales. La técnica de recolección de los datos sobre calidad percibida influye favorable o desfavorablemente en la aproximación muestral a ser decidida, en la redacción de las preguntas, en el formato del cuestionario o instrumento a ser usado, en la ejecución operativa del estudio y en el análisis de los datos, entre otros.

Para implementar en terreno la metodología de evaluación del impacto del Programa, en lo que respecta a la técnica e instrumental para medir la percepción de los usuarios de IPS´s públicas de Colombia sobre la calidad de los servicios recibidos la literatura reporta el uso de diversas entrevistas que, en el fondo, son variantes de la clásica entrevista estructurada personal: la domiciliar, la institucional, la callejera, la impersonal telefónica, la impersonal por correo físico o electrónico, entre otras. Las impersonales fueron descartadas por explicitas limitaciones de potencial de respuesta, diversos sesgos de selección y memoria entre los más relevantes e implícitas dificultades de confiabilidad y de precisión de sus hallazgos. Entre las aproximaciones domiciliar, institucional y callejera, está ultima se descartó por las limitaciones obvias de identificar usuarios pertenecientes al universo de interés en su tránsito extradomiciliar o extrainstitucional.

Respecto de la entrevista domiciliar o institucional valen los siguientes preliminares. Como modalidad, ambas implican que existan entrevistadores calificados y entrenados en la administración de cuestionarios. La entrevista puede ocurrir en las salas de espera de los consultorios u otra área de la institución de salud, o en el hogar del entrevistado; ambas opciones requieren dinero y tiempo, particularmente la domiciliar. Entre las ventajas descritas a la entrevista personal, sea domiciliar o institucional, se destaca que:

Hay certeza de que el entrevistado es la persona indicada mientras que en las entrevistas telefónicas o por correo puede responder cualquier otro miembro de la familia.

Es más difícil omitir preguntas cuando éstas se efectúan personalmente. Es más difícil para el entrevistado negarse a responder una pregunta. El entrevistador puede verificar si el entrevistado tiene dificultades en comprender alguna

pregunta (falla del dominio del lenguaje, limitaciones intelectuales, dificultades de concentración, aburrimiento, etc.).

Es la forma más eficiente para aplicar cuestionarios extensos y complicados así como la más funcional cuando hay una definición preliminar de cierto número y tipología de usuarios a ser involucrada.

Se pueden plantear preguntas abiertas o cerradas. Las abiertas recogen respuestas más amplias verbalmente que por escrito (a veces se recogen respuestas no interpretables ni procesables, con gran riesgo de sesgos del encargado de su registro o trascripción) o por teléfono (los entrevistados suelen sentirse más incómodos con silencios cuando se usa el teléfono y tienden a respuestas más acortadas).

Cuando hay preguntas con tres o más opciones de respuesta, es mejor utilizar la entrevista personal.

44

Cuando debido a la construcción del cuestionario deben saltarse preguntas, el entrevistador puede manejar esto con menor margen de error y sin generar confusión en el entrevistado.

Las desventajas de la entrevista personal son sus costos (dinero, tiempo, personal entrenado). La necesidad de concertación previa de citas (máxime si la encuesta es larga o, si es en la casa) para evitar la negativa a responder. Las características del encuestador pueden modificar las respuestas, sea por atributos físicos (sexo, edad, raza, etc.) o por sesgo del entrevistador, esto es, que los entrevistadores induzcan de alguna manera la respuesta o que generen inexactitudes en las respuestas (por interpretación personal, o error de comprensión).

En marzo de 2006, al inicio de la consultoría, se exploró a priori -por la aparente tranquilidad para el usuario y la comodidad para este y el entrevistador, entre otras razones-, incorporar la entrevista domiciliar de usuarios para la medición base 2006 y su necesaria reiteración en las mediciones 2008 y 2010. Sin embargo, la revisión de la literatura, las opiniones de expertos en los temas de percepción, calidad y servicios, así como las discusiones técnicas dentro y fuera del equipo consultor indicaron varias debilidades y fuertes amenazas de orden informacional, práctico, económico, temporal y espacial de acogerse dicha técnica.

Estas se resumen entre otras en la interacción de las siguientes afirmaciones: las bases de datos o esquemas de registro de las instituciones -que son el medio de aproximación a los usuarios-, no necesariamente tienen adecuados, completos, equiparables o uniformes y accesibles sistemas físicos o subsistemas de registro informático, particularmente si se planeara como el paso necesario para la localización telefónica o personal en una nomenclatura particular y específica de los informantes finales del estudio.

El simple riesgo que los recolectores de datos en terreno tuviesen que asumir la tarea de identificar, en las bases de datos magnéticas o físicas o, en las historias clínicas de cada IPS, una a una características de afiliación, servicio consultado, direcciones de los consultantes en cualquier periodo de tiempo definido como de corte para la medición, fue visualizado impractico en lo técnico, altamente demandante de tiempo e improcedente intra-institucionalmente por la necesidad de encuentros entre los recolectores y el personal de la IPS con ese propósito, asunto que se agrava aún más si se incorporan a este juicio las condiciones de cronograma real que fueron propias de esta consultoría y las que enfrente a futuro, en 2008 y 2010, otro equipo consultor o contratado para replicar esta metodología. El equipo del 2006, como los futuros, se vería abocado a la perdida de tiempo, dinero y esfuerzo para levantar listados de usuarios con informaciones necesarias.

A esta primera gran debilidad y amenaza de la técnica domiciliar, que por cierto son varias limitantes anidadas en una, debe agregarse que las personas, particularmente a medida que se baja en estrato, en razón de condiciones como la no propiedad de vivienda entre otras, tienen una movilidad domiciliar mayor que las de estratos altos lo que haría aún más crítico el éxito de su localización, invitación y final participación. A estas dos grandes observaciones, súmense en concreto riesgos derivados de otras variantes del sesgo de selección y las múltiples del de memoria, que a cada día que pasa entre la atención y la potencial encuesta aumentan por el simple efecto de la temporalidad. Los usuarios, una vez salen de la institución, por el simple paso de las horas presentan en su información reportada variaciones de percepción y memoria. Ahora bien, asumiendo que hay en las IPS completos sistemas de registro de información de usuarios, disponibles inmediatamente, confiables y uniformes en sus datos, que las personas reportan con precisión sus domicilios y que estos no sufren de cambios en el tiempo, aparecen mas situaciones amenazantes de la eficiencia de la recolección para esta técnica como son: la no presencia física del usuario en el domicilio en el momento de visita del encuestador; que el informante calificado o quien fue el acompañante en la

45

atención pasada del usuario menor de edad o con problemas de comunicación no se encuentra en el momento de la visita; que por condiciones especificas de momento el usuario se niega a cooperar.

Por último, para sintetizar, esta técnica tiene además una amenaza derivada de estas limitaciones explicitas y otras que aparecían en terreno por interacción de las ya dichas; se contrapone al interés de la Política Nacional de Prestación de Servicios de Salud por convertir la información del tema en un bien público pues la técnica domiciliar no tendría oportunidad de masificarse para comparabilidad ni interna en el Programa ni externa en el SGSSS por la demanda de recursos de diverso orden que genera a las IPS`s y otros interesados.

La encuesta personal en la institución favorece, como ninguna, el interés de la línea de base y sus mediciones posteriores: la respuesta perceptual inmediata, que es por naturaleza volátil y cambiante en el tiempo. Este es principio mundial por el cual todas las encuestas de percepción abordan inmediatamente, por ejemplo, a los potenciales votantes o asistentes así que termina un debate cerrado o televisado entre candidatos a cargos de elección popular. La respuesta inmediata minimiza el riesgo de los sesgos de memoria, de selección y auto selección del informante derivados de su desplazamiento o localización extra institucional posterior. Además, tal como más tarde se reseña, la metodología contempló que los encuestadores pudieran de modo específico e inmediato controlar el avance de la preasignación numérica de la muestra requerida, según las categorías de interés por servicio electivo-urgencia y tipología de afiliación del usuario al SGSSS.

Como ya se mencionó, esta opción técnica de recolección de datos de la calidad percibida tiene mayores probabilidades de ser adoptada en el medio plazo por las IPS´s en tanto no hay que desplazar funcionarios o contratar personal para hacer desplazamientos externos; esto, sumado a las características finales de simplicidad, exhaustividad, utilidad y facilitad de aplicación, registro e interpretación del instrumento desarrollado por el consultor –presentado a seguir-, favorecen visiblemente la comparabilidad de hallazgos en las instituciones del SGSSS. Toda vez que los riesgos para el usuario son mínimos de acuerdo con criterios legales existentes en Colombia al respecto, se visualizó como innecesario y posiblemente un estímulo al rechazo de potenciales informantes el intentar inducirlos a firmar un formato de consentimiento por escrito.

Con esto, la aceptación informada para responder una encuesta institucional cara a cara con acompañamiento y diligenciamiento de instrumento mayoritariamente cerrado, que expresa una escala de medición arbitraria sometida a validación, fue definida como la técnica de la medición.

Instrumento de recolección de datos

Toda medición está sujeta a error; esto pasa al medir el largo de un objeto o el peso de las personas y, es un asunto aún más crítico al colectar información cualitativa o de naturaleza perceptual reportada por humanos. El error, a su vez, puede ser aleatorio (al azar) o sistemático (sesgo). Para detectar, estimar y controlar o minimizar la presencia de error es indispensable ante todo la validación del método e instrumento a usar (metro, pesa o formulario) y probar en terreno el procedimiento previsto para su uso.

La validación comprende, por lo general, la evaluación de la confiabilidad y la validez del instrumento La confiabilidad (reproducibilidad o repetibilidad) valora la capacidad para obtener el mismo resultado al repetir la medición (en este caso al aplicar repetidamente un formulario). Evalúa hasta qué punto la información obtenida en las respuestas corresponde a variaciones azarosas o aleatorias. Respecto de la validez, esta refleja hasta qué punto existe una desviación sistemática, sesgada, de la verdad en las respuestas recogidas. Para identificar o construir un instrumento válido

46

de recolección de datos, tal como el requerido para la evaluación de impacto en la percepción de la calidad según los usuarios de las IPS´s públicas objeto de intervención del Programa, se hizo desde febrero de 2006 -una vez notificada la escogencia de la Facultad Nacional de Salud Pública de UdeA como grupo consultor para este producto metodológico-, una exhaustiva revisión de literatura, recuperable o no en bases de datos de información técnica y científica (ver referencias). Esta revisión fue efectuada por el equipo consultor, se discutieron los hallazgos, se depuraron las fuentes, se diferenciaron materiales de referencia física o electrónica y se estructuraron para su citación o presentación en el anexo. Lo revisado, mayoritariamente en marzo, llevó a concluir que, muy a pesar de la variedad de mediciones reportadas e instrumentos aplicados en distintos países y en IPS´s públicas o privada del país, no existía en Colombia un instrumento autóctono o uno adaptado del extranjero que, a rigor según lo revisado, hubiese sido sometido a un proceso de validación medianamente formal para medir percepción de calidad según reporte de usuarios de servicios públicos de salud del país. Con este panorama instrumental y según lineamientos propuestos por Sánchez y Echeverri para la validación de escalas de medición en salud (25), útiles para asuntos de medición compleja y de características difusas, el equipo consultor decidió efectuar un proceso sistemático orientado a validar un instrumento. El proceso seguido hasta la consolidación de tal recurso instrumental se describe a continuación.

El primer paso fue identificar definiciones existentes referidas al tema del estudio para luego discutirlas, revisarlas a la luz de la literatura así como de las opiniones de personas relacionadas con el tema o con experiencia en mediciones de calidad en servicios de salud. Esto condujo a sintetizar y obtener un concepto aglutinador compatible con la definición del MPS de lo que se entendería por Percepción de la Calidad de Servicios de Salud: servicios ofertados a un usuario, accesibles y equitativos, brindados con las mejores condiciones científicas, profesionales e institucionales posibles, para satisfacer y adherir al usuario a tales servicios. Esto se corresponde con la aproximación propuesta del glosario.

El segundo paso, casi paralelo al anterior, se orientó a la identificación y determinación de una estructura general de indicadores, dominios o factores propios o constituyentes de la Percepción de Calidad en Usuarios de Servicios de Salud, medibles por una clasificación o categorización dada, construible paso a paso por aproximación conceptual y empírica sucesiva con los aportes de los involucrados a un fenómeno que, como la percepción de calidad, no es medible directamente; la propuesta concreta para dicha medición aparece mas adelante. Así, en ese momento, estuvo claro que dicha clasificación descartaba una aproximación o escalamiento contínuo al fenómeno de interés pues no existía un patrón de oro para su determinación en ese sentido. Se recurrió sistemática y reiterativamente a la revisión de la literatura y a la opinión de académicos o funcionarios de los servicios de salud, con experiencia investigativa o empírica de aproximación al asunto.

Como ya se dijo, la condición que se quería medir, la percepción de calidad en los usuarios, es de delimitación imprecisa y no puede establecerse para esta una medida simple o directa como ocurre en la cuantificación de cierto tipo de atributos. Se identificaron, entre otros, sin orden de importancia o secuencia temporal los siguientes indicadores, dominios o factores que, a su vez, son aglutinadores de una serie de subdominios específicos. Accesibilidad, expresada en la percepción que tienen los usuarios de subdominios o subfactores

que actúan como barreras o facilitadores para acceder a un servicio electivo o de urgencia; incluye subdominios como lo son las condiciones geográficas, culturales, económicas, administrativas, operativas, normativas, entre otras.

47

Algunos de los subdominios de la accesibilidad son medibles más directamente en una perspectiva técnica y otros más en la de la percepción, información o las prácticas del usuario. Es directamente valorable por el usuario -al momento de demandar atención en el contexto del SGSSS- el trámite que debe satisfacer como requerimiento normativo, administrativo, operativo (demostrar su afiliación) o económico (realizar pagos o copagos) que plantean las IPS´s al determinar la elegibilidad en la prestación del servicio. La literatura y las evidencias empíricas señalaban que los usuarios pueden dar sus opiniones sobre la distancia percibida entre su domicilio y la IPS, los costos en especie o en tiempo del desplazamiento en que incurren para superar dichas distancias, la discrepancia cultural, social o lingüística de su ser respecto de la cultura, tipo social y lingüístico de las personas que ofrecen o regulan como administrativos o asistenciales los servicios en la institución. Sin embargo, a la luz del funcionamiento del SGSSS, para la medición pretendida de percepción de la calidad del servicio, estos subdominios se aglutinan en la percepción que tiene el usuario al momento en que efectivamente llega a la institución, cumple o no requerimientos de trámite exigibles, le definen elegibilidad y tiene como pagar para recibir un servicio electivo o de urgencia. Caso contrario fuera el acceso si el SGSSS fuera abierto, sin diferenciación de usuarios por régimen de afiliación, sea contributivo o subsidiado y para la población definida como pobre por atender.

Efectividad, expresada en subdominios o subfactores percibidos por el usuario para mantener o recuperar la salud, satisfacer sus necesidades de atención y el cumplimiento de sus expectativas pre-atención.

Estos subdominios se aglutinan, a la luz del funcionamiento actual del SGSSS y la medición pretendida de la calidad del servicio, en la percepción específica del usuario de la bondad clínica de la solución alcanzada, a modo de satisfacción de expectativas de mejora o recuperación ante su demanda o necesidad de atención directa de servicios de naturaleza electiva o de urgencia.

Oportunidad, expresada en la percepción que el usuario tiene de los tiempos de espera desde el momento en que demanda o llega a la institución -en razón de un día y horario conocido previamente para una cita o, desde el momento que se resuelve positivamente su elegibilidad para recibir el servicio al cumplir trámites para una atención electiva demandada sin cita previa o, desde el momento en que se llega para la atención de urgencia y, en cualquiera de estas tres opciones ocurre la resolución del motivo de consulta.

Continuidad y coordinación percibida por el usuario sobre la unidad temporal, espacial, orgánica y funcional que la organización o las redes de servicios presentan en los distintos momentos en que el servicio debe ser fragmentado para poder operar administrativa o asistencialmente. Tiene la particularidad que la mayoría de usuarios de las IPS`s de interés no demandan el mismo día varios servicios institucionales o varios servicios que, de hecho, requieran la interacción de varios agentes asistenciales de una IPS y, menos aún, de agentes de servicio de redes de prestadores. Esta es la razón por la cual la percepción medible será la que en general percibe el usuario común de dicha continuidad y coordinación en el día a día de los prestadores seleccionados en la muestra final.

Adhesión, expresada como la intención favorable o desfavorable del usuario por demandar de nuevo un servicio o regresar a la institución en la que fue atendido.

Otros: el trato, tanto del personal administrativo como del asistencial; las características estético-funcionales y de aseo de las instalaciones; las características de comunicación con el usuario; el estándar de hotelería en hospitalización (no todos lo viven pero regularmente lo

48

observan, como ya se mencionó en el caso de la continuidad y la coordinación); nivel de confianza generado al usuario para expresar requerimientos e inquietudes y, valoración de la competencia clínica-profesional de los prestadores.

Una vez se tuvo una aproximación coherente a estos dominios y subdominios, con la certeza que estábamos frente a un fenómeno real que debería y podía ser medido, se tuvo un listado de cerca de 80 aspectos de calidad percibida; luego de discusiones del equipo se aglutinaron en unos 40 ítems que se convirtieron en un listado de preguntas o enunciados preliminares, presente más adelante.

Para consolidar la forma de las preguntas se recurrió de nuevo a la literatura y material de uso habitual en las IPS´s, encontrándose por cierto una variedad de formas y contenidos de preguntas, la mayoría, de entrada, con limitaciones de estructura y sentido, entre otras falencias, por no haber obedecido en su momento a propuestas formales de validación instrumental y técnica (24). A seguir se dejan constar dos versiones básicas, como borradores de trabajo, que se tuvieron en discusión preliminar en el mes de marzo de 2006.

PRELIMINAR UNO DE UNA ESCALA TIPO LIKERT PROYECTO FONADE

Favor calificar con el número que mejor refleje que tan fuerte está de acuerdo con cada una de las siguientes afirmaciones relacionada con la percepción de la calidad de los servicios prestados por las IPS públicas

1. Fuertemente de acuerdo 2. De acuerdo 3. Ni a favor ni en contra 4. En desacuerdo 5. Fuertemente en desacuerdo

Edad Sexo Grado de escolaridad Lugar de residencia Tiene seguridad social; cuál régimen Tiempo de uso de servicios

La opinión que tiene la gente sobre el hospital es buena _________La infraestructura que posee el hospital es excelente ____________El hospital cuenta con todos los servicios que requiero ___________La ubicación del hospital es la mejor para toda la comunidad ______Los empleados son muy amables y serviciales _______Las citas se obtienen fácilmente ______La atención es ágil y oportuna ________La calidad de los servicios es excelente ______Atienden a todas las personas sin ninguna limitación _______Tiene contrato con todas las EPS y ARS que cubren la población _____Siempre solucionan oportunamente las quejas y reclamos ___________Los precios por los servicios prestados son adecuados para los usuarios _____Antes de la Ley 100 el hospital prestaba mejores servicios _____Los trabajadores trabajan a gusto en el hospital _____Los médicos son acertados en el diagnóstico y tratamiento de las enfermedades _______Siempre que se le presenta un problema de salud acude inmediatamente al hospital _____Utiliza el hospital porque es la única alternativa en salud que tiene ______Para resolver sus problemas de salud acude a otras instituciones antes que al hospital _______Solamente utiliza el hospital cuando se trata de una urgencia _______Prefiere pagar un médico particular antes que ir al hospital ______Utiliza siempre la red de servicios que tiene su EPS o ARS ________Los programas de promoción y prevención que tiene el hospital le han permitido mejorar su calidad de vida _____Los niños son atendidos con oportunidad en el hospital _____Las mujeres en embarazo son atendidas con calidad en el hospital ______Los ancianos son siempre recibidos sin problema en el hospitalLa atención por el servicio de urgencias es ágil _____Las ambulancias que tiene el hospital son suficientes para atender las necesidades de la comunidad ________La administración siempre atiende las sugerencias de las personas _______Siente que la liga de usuarios del hospital lo representa adecuadamente _____Las enfermeras son siempre amables y atienden con calidez a las personas ____En la farmacia siempre encuentro todos los productos que me receta el médico ____Los medicamentos que me entregan en la farmacia son de buena calidad _____

49

Siempre que me realizo un examen de laboratorio me lo entregan oportunamente _____En cada consulta que me hacen el médico diligencia la historia clínica _____El médico siempre que consulto me explica todo acerca de mi enfermedad ___Las habitaciones del servicio de hospitalización son confortables ______Siempre que alguien tiene un problema de salud acuden a este hospital _____

PRELIMINAR DOS DE LA ENCUESTA DE PERCEPCIÓN DE CALIDAD DE SERVICIOS DE SALUD

Favor calificar con el número que mejor refleje que tan fuerte está de acuerdo con cada una de las siguientes afirmaciones relacionada con su percepción de la calidad de los servicios prestados por las IPS públicas

1. Fuertemente de acuerdo 2. De acuerdo 3. Ni a favor ni en contra 4. En desacuerdo 5. Fuertemente en desacuerdo

Residencia (Municipio) Sexo M F Edad en años 18 a 28 29 a 38 39 a 48 49 a 58 59 a 68 69 y más

Grado de escolaridad Primaria Secundaria Técnico Tecnólogo Universidad Especialización

Nivel de pobreza según SISBEN Nivel I Nivel II Nivel III Nivel IV Nivel V Nivel VI

Tiene seguridad social SI NO

Si tiene seguridad social a que régimen pertenece: Régimen contributivo Régimen subsidiado Subsidios parciales

Cuanto hace que utiliza los servicios del hospital Menos 1 año 2 a 4 años 5 a 9 años 10 a 14 años Más de 15 años

La opinión que tiene la gente sobre el hospital es la mejor 1 2 3 4 5Siempre que se le presenta un problema de salud acude inmediatamente al hospital 1 2 3 4 5 La infraestructura que posee el hospital es excelente 1 2 3 4 5 El hospital está ubicado en un sitio accesible para todos los usuarios 1 2 3 4 5El hospital cuenta con todos los servicios básicos que requiere 1 2 3 4 5 Los empleados son muy amables y serviciales 1 2 3 4 5 Las citas para los servicios se obtienen fácilmente 1 2 3 4 5La atención siempre es ágil y oportuna 1 2 3 4 5 La calidad de los servicios siempre la considera como excelente 1 2 3 4 5Atienden a todas las personas sin ninguna discriminación 1 2 3 4 5Tiene contrato con todas las EPS y ARS que cubren la población 1 2 3 4 5 Atienden oportunamente las quejas y reclamos 1 2 3 4 5Considera que las tarifas son adecuadas para los usuarios 1 2 3 4 5 El hospital presta mejores servicios hoy que hace cinco años 1 2 3 4 5 Los empleados están a gusto trabajando para el hospital 1 2 3 4 5Los médicos son acertados en el diagnóstico y tratamiento de las enfermedades 1 2 3 4 5Utiliza el hospital porque es la única alternativa en salud que tiene SI NOPara resolver sus problemas de salud acude a otras instituciones antes que al hospital SI NOSolamente utiliza el hospital cuando se trata de una urgencia SI NOPrefiere pagar un médico particular antes que ir al hospital SI NOLos servicios de promoción y prevención que tiene el hospital le han permitido tener una mejor salud 1 2 3 4 5Los niños siempre son atendidos con oportunidad en el hospital 1 2 3 4 5 Las mujeres en embarazo son atendidas con calidad en el hospital 1 2 3 4 5Los ancianos son siempre recibidos y atendidos en el hospital 1 2 3 4 5La atención por el servicio de urgencias es ágil SI NOEl hospital cuenta con el servicio de ambulancia SI NOLas ambulancias que tiene el hospital son suficientes para atender las necesidades de la comunidad SI NOLa administración del hospital siempre atiende las sugerencias de las personas 1 2 3 4 5 Conoce si el hospital cuenta con liga de usuarios SI NOSe siente bien representado por la liga de usuarios 1 2 3 4 5Las enfermeras son siempre amables y atienden con calidez a las personas SI NOEn la farmacia siempre encuentra todos los medicamentos que le receta el médico 1 2 3 4 5Los medicamentos que me entregan en la farmacia son de buena calidad 1 2 3 4 5Siempre que me realizo un examen de laboratorio me lo entregan oportunamente 1 2 3 4 5El médico siempre que consulta le explica todo acerca de la enfermedad 1 2 3 4 5

50

Las habitaciones del servicio de hospitalización son confortables SI NOLe recomiendo a todas las personas que tienen problemas de salud acudir al hospital SI NO

Estas versiones preliminares se discutieron en varias rondas al interior del equipo base de la consultoría y con apoyo de opinadores informados sobre si los ítems identificados en las preguntas median lo que se quería, parecía y debían medir –validez de apariencia; si se incluían los dominios y subdominios de la calidad percibida, con un interés particular por que no se traslapaban estos con los de mayor interés para la calidad técnica o por los de satisfacción reportable por las IPS y EPS/ARS –validez preliminar de constructo; si las versiones preliminares sucesivamente actualizadas de la escala de medición en construcción funcionaba como los instrumentos de percepción de calidad usados por otros –validez de criterio; si la escala era capaz de medir cambios en la realidad que mide –potencial de sensibilidad al cambio y, finalmente, si era práctica, amigable, de extensión adecuada, fácil de aplicar y procesar –validez de utilidad (25).

En abril de 2006 se siguieron estas discusiones permanentes semanales de ajuste sucesivo por el equipo consultor con participación de revisores u opinadores informados en la búsqueda de la “certificación” de los ítems o reactivos del instrumento en consolidación. Participaron ocho profesores e investigadores vinculados a escuelas de formación o centro de investigación en salud y salud pública del país, con experiencia en la formulación de cuestionarios y la ejecución de estudios de opciones, conocimientos, actitudes, percepciones, y prácticas en salud, algunos de ellos con afinidad temática por el tema de calidad; ex secretarios departamentales de salud de las zonas occidente, sur y centro del país; ex secretarios de salud de ciudades capitales; ex secretarios de salud de municipios no capitales de departamento y, directores en ejercicio o ex directores de IPS`s públicas de los tres niveles de complejidad de atención. Toda vez que el propósito específico era la percepción de calidad según usuarios de servicios salud, se propuso el acrónimo PECASUSS para identificar en adelante al instrumento -presentado físicamente en su versión final y ajustada después de su uso en la línea base 2006- como el anexo 1. Una versión inicial del PECASUSS, en fase de pre prueba fue remitida a comienzos de mayo para el conocimiento y comentarios de dos grupos técnicos del MPS, el de dirección de calidad de servicios de salud y del Programa a ser evaluado.

En la segunda semana de mayo se hizo una primera prueba del instrumento en terreno por tres encuestadores distintos, asistentes del proyecto y a cargo de actividades operativas que los hacían el mejor recurso disponible para este ejercicio inicial. Cada uno aplicó al menos diez instrumentos en tres IPS´s: dos del I y una del II nivel de atención localizadas en el Valle de Aburrá, área metropolitana de Medellín. La experiencia en terreno de los tres responsables de esta tarea fue socializada y discutida con los integrantes del equipo consultor. Estos elementos hasta aquí descritos permitieron nuevos ajustes del PECASUSS y una aproximación preliminar a observar el funcionamiento de la escala en cuanto a su confiabilidad inter-evaluadores o test-retest, lo que, junto a los otros criterios de la validación ya descritos, se abordaron nuevamente.

Siguiendo con el esquema propuesto por Sánchez y Echeverri, se planteó avanzar a una prueba piloto final de la versión hasta entonces consolidada del PECASUSS. Esto requería efectuar mínimo cinco aplicaciones en terreno por cada uno de los casi 30 ítems o reactivos contemplados en el instrumento a ser probado.

Este paso se llevó a cabo en instituciones públicas del I, II y III nivel de atención en salud ubicadas en Antioquia (ESE Hospital San Vicente de Paúl de Caldas, ESE Venancio Díaz de Sabaneta, Hospital San Rafael de Itagüí, ESE Hospital Santa Margarita de Copacabana, ESE Hospital Marco

51

Fidel Suárez de Bello), Medellín (Hospital Universitario San Vicente de Paúl), del Valle del Cauca (ESE Hospital San Antonio de Roldadillo) y Cali (ESE`s Mario Correa Rengifo e Isaías Duarte Cancino), así como de las ciudades de Barranquilla (Hospital General) y Bogotá (Hospital San José).

Operativamente se instruyó a cada responsable de esta aplicación para que si fuese posible (sin ser indispensable por resultar inviable en la práctica como lo revelaron según los intentos iniciales al respecto) tener contacto con dirección de la institución, advertir de la naturaleza de la prueba del PECASUSS y de la importancia de no generar expectativas institucionales o, peor aún, estimular cualquier clase de cambios en el desempeño habitual de la institución en la prestación de servicios a los usuarios. En esta prueba en terreno se contó con cinco personas vinculadas a la consultoría que aplicaron el PECASUSS dentro, en la portería o fuera de las IPS`s en horarios diurnos matutinos y vespertinos durante los días de la semana comprendida del 16 al 19 de mayo; se aplicaron 275 cuestionarios en subgrupos de 20 a 25 instrumentos para cada IPS.

La prueba piloto reveló que había una muy buena identificación preliminar de dominios de la calidad percibida, respecto de los cuales se agregó un ítem o pregunta sobre las instalaciones y se retiró, por inútil e innecesario, uno que indagaba requerimientos de trámite del usuario para su salida o egreso.

Con base en esta prueba casi final se señaló necesario: replanear el estilo y contenido de algunas preguntas por presentar ambigüedad para que su reformulación fuera lo mas precisa posible y parecida a la forma en que ocurren o se formulan en la realidad cotidiana y discutir como limitar a 5 las opciones de categorización o respuesta. Esto fue particularmente debido al bajo nivel de escolaridad y desempeño comunicativo de la mayoría de las personas indagadas; se observó que entre más directo se preguntara y se enlazara esto con la forma natural en que las personas responden se tendrían una mejor precisión en las respuestas, algo que el formato clásico de las opciones de respuesta tipo likert no lograba. Se destacó la utilidad de la escala construida por el poco tiempo que demanda su aplicación, el bajo entrenamiento para su uso en condiciones reales y la facilidad para procesar los datos colectados (10). No había en la literatura uniformidad de criterio sobre el número de opciones para cada ítem cuando de evaluar percepción se trata, sin embargo, la mayoría de autores coincidían en que las escalas estén entre 3 y 9. También existía consenso en que 3 es poco informativo y 9 discriminaba demasiado, hacía más extenso el interrogatorio y posibilitaba respuestas de fatiga. Luego de realizar la prueba piloto, se observó que 5 era el número adecuado para éste caso. También existen diferentes opiniones sobre si se trabaja un número par o no. Sí es par, generalmente el informante se ve obligado a “tomar partido” en el aspecto evaluado, o dicho de otra manera, no se da la opción de neutralidad. Si la persona no conoce del tema, tiende a no contestar, incrementando la no respuesta. Era pues preferible colocar un opción de neutralidad, máxime si el encuestado tiene criterios actuales para dar una opinión sobre el (los) aspecto(s) evaluado(s). Se debía considerar pues el conocimiento del informante sobre la materia, para evitar el sesgo del valor central de la escala; informando sobre la confidencialidad de sus opiniones y un diligenciamiento de cuestionario sin presiones se garantizaba que el usuario señalara el valor de la escala que mejor le pareciese.

Hacia la hipotética y deseable masificación futura del uso del PECASUSS, en particular por el sistemático y riguroso proceso de diseño y validación que permitió su consolidación, una vez se socialicen los resultados de la medición de línea de base 2006, se re-diseñó el formato integral de tal modo que se tuviera plastificada la pagina para la instrucción y, en hojas independientes de la anterior, impresas por ambos lados, que permiten, con la menor cantidad de papelería diligenciable y archivable, consignar respuestas hasta de 7 usuarios en cada página y un total de 14 respuestas de usuarios por hoja de respuestas. Con esta versión ajustada el director de la consultoría realizó una ultima prueba en terreno, el 25 de mayo, aplicando el PECASUSS a 20 usuarios atendidos en dos

52

IPS`s del Distrito Capital de Bogota, en los hospitales de Kennedy y Galán. Se observó un excelente comportamiento en todas sus dimensiones en cuanto a: tiempo de aplicación requerido que no superaba 5 minutos; estabilidad de la forma de preguntar pues minimizaba la opción de equivocación por la precisión semántica alcanzada en cada pregunta; clara y sistemática comprensión por el usuario de cada ítem y de las opciones de respuesta que se le presentaban. Según una reunión técnica del director del equipo consultor con el equipo interventor y responsable del Programa ocurrida en Bogotá el 1 de junio de 2006 así como sugerencias recibidas en la semana siguiente, se hicieron ajustes menores como la inclusión de hora y día de semana de su aplicación. La versión final del PECASUSS y de su instructivo aquí en anexo tiene ajustes mínimo según experiencias relatadas por los encuestadores y coordinadores en la recolección, digitación y análisis de datos.

Con la versión ajustada aquí anexa se explorará el registro de propiedad intelectual del PECASUSS. Al amparo del interés explicito de la política pública de prestación de servicios para que la información sea un bien público, se considera altamente pertinente efectuar acciones conducentes para que se disemine el uso de esta metodología general y el instrumento específico, de modo que las mediciones 2008 y 2010 se vean enriquecidas por hallazgos que ocurran en manos de otros evaluadores o grupos interesados en el tema de la calidad percibida. Uno de los fines últimos de la validación es que, gracias a la forma en que se desarrolló el PECASUSS, este se convierta en el mediano plazo en el instrumento de referencia para la comparabilidad de la calidad percibida en todas las IPS`s públicas del País, objeto o no de la intervención del Programa. Paralelo al desarrollo del PECASUSS, sin su misma rigurosidad, se diseño un instrumento auxiliar para caracterizar los sub sistemas de información de usuarios de IPS`s participantes, el CASIUSS –anexo tres-; su potencial utilidad estaba centrada en obtener datos actuales del tipo afiliación de usuarios y de la distribución de los servicios demandados en las IPS`s durante el 2006; permitiría, además, un contacto inicial del encuestador con las personas de esa oficina e indirectamente permitirá aproximarse a razones de tramites de registro o las características de la infraestructura informática que soporta asignación de citas, trámites, pagos, entre otros.

3.6 Procedimientos de recolección, procesamiento, control y de análisis de datos

Toda información colectada y procesada por el consultor, la mayoría con el programa SPSS, se consolidó en archivos de Word y Excel, compatibles con la plataforma BD SQL. Se remiten integralmente estos archivos al MPS con sus correspondientes soportes en papel de acuerdo con orientación recibida al inicio de la consultoría de parte de los responsables del área de informática y análisis de información del Programa.

Los procedimientos del levantamiento de la línea de base 2006, repetibles de modo estándar en las mediciones del 2008 y el 2010, según aprendizajes involucrados en todo el informe, involucran actividades tales como:

Actividad Tareas Tiempo en semanas Producto Recolección datos Programación una Propuesta de trabajo de campo

Entrevistas a usuarios una Pecasuss diligenciadosChequeo y depuración una, paralela a la anterior Datos válidos para digitar

Procesamiento Creación base datos una, en la programación Base de datos creadaDigitación y control una, seguida a entrevistas Base de datos válida y cerradaTablas de salida una, paralela a la anterior Salidas uni, bi y multivariadas

Socialización informe Escritura preliminar dos Avance del informeSustentación y ajustesdos Informes 2008 y 2010

Los aspectos operativos que soportan estas actividades generales incluyen:

53

Contratación: El equipo de encuestadores, para el caso de la línea de base 2006, estuvo conformado mayoritariamente por personas residentes en Medellín, de donde partieron hacia las ciudades o municipios asignados para la recolección de datos. En el caso de las mediciones 2008 y 2010, el Programa puede optar por la contratación directa de este personal y coordinar operativamente sus desplazamientos y actividades desde Bogotá; la otra opción es hacerlo dentro del paquete integral de una consultoría que incluya los componentes de análisis de la información y la generación del informe de la medición de impacto del Programa de medio termino y final.

Capacitación y distribución: Los encuestadores deben recibir inducción al proyecto y capacitación para su desempeño técnico-instrumental. Durante este paso ocurre la asignación de ciudades y municipios con sus respectivas instituciones, teniendo en cuenta tiempos necesarios para el desplazamiento interdepartamental, intermunicipal e intramunicipal -reduciendo al máximo los tiempos muertos- así como el número de encuestas por IPS, servicio y tipo de usuario.

Notificación a IPS`s: Las IPS`s del marco muestral participantes en la línea de base, como está descrito más adelante, fueron informadas con cartas de presentación dirigida al gerente(a) o director(a) de la institución, enviada por fax y/o por correo electrónico, del propósito de la visita de los encuestadores.

Recolección de datos: Los encuestadores identificados mediante escarapela del consultor contratado o del Programa y con cartas de presentación (en original y copia para firma de recibido tipo cumplido) dirigida al gerente(a) o director(a) de la institución, que ha sido previamente enviada por fax y/o por correo electrónico, recolectarán información de lunes a domingo en la mañana, tarde y noche, en las áreas e instituciones asignadas y en los tiempos estipulados según la programación realizada por los coordinadores operativos. El encuestador aplicó a la persona responsable de la oficina de archivo, estadística o similar en la IPS visitada, el instrumento CASIUSS, tomado como exploratorio del comportamiento de algunas variables sobre el subsistema de información de usuarios y en especial para realizar los ajustes en las proporciones relativas de las variables de interés según la demanda real de servicios. Cada encuestador se ubicó en un sitio apropiado según el servicio de interés (urgencias ó electivos), de acuerdo a la pre-asignación de sujetos requeridos por la muestra en cada tipología prevista de servicios y de afiliación al SGSSS, de manera que pueda aplicar la encuesta sin dificultades ni interrupciones.

Coordinación: Los coordinadores, si es el caso, estarán a cargo de zonas (norte, centro-Bogotá, oriente, occidente) para efectos de control del proceso; realizarán monitoreo y evaluación de los registros antes de su digitación según estándares e indicadores de desempeño, efectividad y calidad de la colecta de datos.

Procesamiento y Análisis: Se digitaron con supervisión y control de correspondencia entre datos originales de las hojas de respuesta del Pecasuss en papel frente a valores definitivos ingresados de las 4.021 filas de registro de una base de datos creada en el programa SPSS.

El procesamiento de la información se orientó inicialmente a salidas univariadas de las características de las instituciones y las percepciones de los usuarios con respecto a los aspectos de calidad definidos en la encuesta con el fin de realizar el análisis exploratorio de los datos y detectar el comportamiento de los mismos, así como de posibles valores atípicos y/o extremos. Se realizaron las pruebas pertinentes (kolmogorov-Smirnov) para identificar la normalidad o no de los datos, con dicha información se seleccionaron las pruebas para identificar diferencias entre las instituciones con convenio y las que no lo tenian, además, de relacionar esta condición con las diferentes categorías de

54

identificación, como fue: Nivel, tipo de servicio, tipo de afiliación, monopolio de las intituciones de salud y el ITF (Índice de tamaño funcional).

Se realizaron los cruces de 2 y 3 niveles con el fin de identificar el perfil de los usuarios según el tipo de institución (convenio o no), teniendo en cuenta las variables citadas anteriormente, además, de la de educación y ocupación.

Por último se procedió a correr el procedimiento de “Análisis Factorial” con el fin de identificar los factores que se podrían considerar como relevantes para los usuarios.

Para la descripción de los valores absolutos de las dieciséis subdimensiones estudiadas de percepción de calidad se identificó y se presenta en tablas y cuadros de salida la distribución de los promedios de las variables en la escala arbitrariamente desarrollada para la medición y de las proporciones de las categorías de respuesta en dicha escala; se trabajaron medidas resumen y de dispersión básica según la naturaleza de la variable. Vale señalar que por la forma en que arbitrariamente en la investigación se categorizó a las posibles respuestas en catorce de las dieciséis subdimensiones (exceptuando el tiempo en minutos y la calificación en números dada a la calidad de los servicios recibidos) y para favorecer la comunicabilidad de los hallazgos, se les da un manejo semejante al que reciben en estricto sentido las variables de intervalo.

Plan de análisis 2008 y 2010: Para las mediciones futuras, Se deben aplicar pruebas que validan los supuestos de: aleatoriedad (rachas), normalidad (Kolmogorov) y homogeneidad de varianzas (Levene), con el fin de identificar las pruebas adecuadas para cada caso. En el caso de que los datos sean normales en la mayoría de variables, se pueden utilizar pruebas paramétricas en caso de que no se recomienda utilizar las no paramétricas, como en el caso de mediciones del 2006. A continuación se sintetiza el plan de análisis para el futuro.

Datos distribución normal 2008 2010Probar diferencias entre cada nivel.

Nivel I2006 VS Nivel I2008.

Nivel II2006 VS Nivel II2008

Nivel III2006 VS Nivel IIII2008.

Prueba T para muestras independientes.

Nivel I2006 VS Nivel I2008.VS Nivel I2010

Nivel II2006 VS Nivel II2008.VS Nivel II2010

Nivel III2006 VS Nivel III2008.VS Nivel III2010

Prueba F de Anova Paramétrico, muestras independientes.

Probar diferencias según tipo de usuario, tipo de afiliación, monoplio e ITF.

Prueba T.

Igual que la anterior, es decir, urgencias 2006 contra urgencias 2008 y así para todos.

Igual que la anterior, es decir, urgencias 2006 contra urgencias 2008 y urgencias 2010. Así para todos.

Datos distribución no normales

2008 2010

Probar diferencias entre cada nivel.

Nivel I2006 VS Nivel I2008.

Nivel II2006 VS Nivel II2008

Nivel III2006 VS Nivel IIII2008..

Prueba U de Mann-Whitney, muestras independientes

Nivel I2006 VS Nivel I2008.VS Nivel I2010

Nivel II2006 VS Nivel II2008.VS Nivel II2010

Nivel III2006 VS Nivel III2008.VS Nivel III2010

Prueba de Kruskal Wallis.

55

Es claro, además, que el análisis transversal se deberá hacer en cada medición en el tiempo. También es útil realizar el análisis factorial con el fin de establecer si las percepciones de los usuarios se mantienen a través del tiempo, sobre todo, si se mantienen los mismos factores trazadores.

4. RESULTADOS DE LA LINEA BASE 2006

Este aparte del informe se presenta el perfil de los usuarios de las IPSs públicas de interés para la consultoría, además, de realizar las pruebas pertinentes para identificar diferencia en las valoraciones de los usuarios sobre aspectos de calidad según las variables de identificación como son: nivel de atención, tipo de servicio, tipo de afiliación, existencia de monopolio de las instituciones de salud y el índice de tamaño funcional, relacionando estas variables según instituciones intervenidas o no. Por último, se realizó un análisis factorial exploratorio con el fin de identificar relaciones de dependencia entre los aspectos de calidad evaluados según instituciones intervenidas, procurando identificar los factores más influyentes en los usuarios y poder así buscar mejoramiento en esos aspectos.

Los resultados tienen representatividad para la población de usuarios que en agosto de 2006 demandó atención urgente o electiva en una muestra probabilística de 48 IPS´s escogidas de un marco de 301 elegibles distribuidas en 25 departamentos en los que el Programa tiene desarrollos de intervención actuales o futuros.

A partir del 31 de julio de 2006, las directivas de las 48 IPS`s seleccionadas fueron notificadas por correspondencia electrónica y física de su escogencia como centros para la búsqueda de los usuarios a ser entrevistados; algunas instituciones contactaron la dirección de la consultoría para precisar el alcance de la participación en el estudio, la naturaleza y uso de datos a ser colectados o específicamente para ponerse al servicio de los requerimientos del estudio. La primera semana de agosto, en la que se adelantó la aproximación inicial al proceso de recolección de información mediante la presentación de los encuestadores responsables de la recolección de datos en terreno tuvo en Colombia como contexto general dos asuntos destacables.

Primero, la preparación del gobierno y la sociedad de Colombia para la posesión el 7 de agosto del re-electo presidente. Frente a esta, según analistas y tal como los registraron los medios de comunicación masiva, se desencadenó una serie de dispersos pero intimidantes ataques terroristas de la guerrilla contra las fuerzas armadas de la nación en la que se vieron afectados, con muerte y heridas tanto efectivos de las fuerzas del Estado como civiles de distintas edades y condiciones sociales; hubo en relación a estos eventos cuantiosos daños materiales. Específicamente en el sector salud, como segundo asunto, es relevante la liquidación ocurrida de las empresas sociales del estado-ESE`s que en la costa atlántica del país prestaban sus servicios a la empresa promotora de salud-EPS del Instituto de los Seguros Sociales-ISS, desencadenada por las múltiples quejas ciudadanas acerca de la falta de oportunidad, acceso y calidad de los servicios recibidos.

En este contexto general una docena de encuestadores vinculados al proyecto iniciaron su desplazamiento por los departamentos y municipios para visitar cada una de las IPS´s definidas. Desde la primera y hasta la tercera semana del mes de agosto se llevaron a cabo 4.021 encuestas. Los encuestadores encontraron diversos niveles de colaboración del personal administrativo y asistencial para cumplir su propósito; fue frecuente entre los encuestadores la necesidad de ajustar las tablas relativas de distribución en la pre-asignación de encuestas según servicios y tipo de afiliación de los usuarios en cada IPS, como consecuencia de la variación significativamente positiva que ha ocurrido en la proporción de personas afiliadas al régimen subsidiado por iniciativa de las distintas instancias públicas involucradas en esta dinámica.

56

Fue infrecuente, a juicio de los encuestadores, observar fenómenos que afectaran la prestación de los servicios. En un par de municipios, como consecuencia de las actividades y fiestas locales, se alteraron los horarios de atención. En otro municipio, en Quibdo específicamente, se presentó de modo coincidente a la recolección un paro de funcionarios en la IPS pública local; en esta, la totalidad de usuarios que demandaron servicios lo hicieron entrando por urgencias en razón de ser –durante el paro- el único servicio habilitado; vale señalar que aunque fue más lenta de lo deseable, la preasignación según tipo de afiliación y tipo de servicio –electivo o urgente- se cumplió según la tabla con la que el encuestador llegaba a la IPS´s y según la información actualizable obtenida dentro de la misma institución en su oficina de estadística. En otra institución se hizo evidente el influjo de un factor que modificaba según el día de la semana el volumen de usuarios demandando servicios; esto fue consecuencia de la presencia de médicos especialistas en ciertos días de la semana, quienes se desplazan desde otros centros urbanos o capitales de departamento para cumplir compromisos asumidos con la institución pública seleccionada en la recolección.La distribución de realización de la muestra según día y hora se pueden observar en el anexo 6, así como los resultados globales de cada uno de los ítems evaluados, ver anexo 7.

4.1 Perfil de usuarios.

Es importante identificar las características más relevantes de los usuarios de los servicios de salud en Colombia, por ello, se desagrega la información obtenida según algunas características socio demográfico.

57

Tabla 17: Caracterización de los usuarios según: nivel de atención, sexo, servicio de atención y afiliación al SGSSS, agosto de 2006.

10 12 276 197 495

45,5% 33,3% 65,6% 65,7% 63,5%

1 1 10 18 30

4,5% 2,8% 2,4% 6,0% 3,9%

1 1 14 9 25

4,5% 2,8% 3,3% 3,0% 3,2%

10 22 121 76 229

45,5% 61,1% 28,7% 25,3% 29,4%

22 36 421 300 779

100,0% 100,0% 100,0% 100,0% 100,0%

14 30 891 375 1310

42,4% 53,6% 72,7% 63,7% 68,8%

0 5 42 41 88

,0% 8,9% 3,4% 7,0% 4,6%

1 2 41 16 60

3,0% 3,6% 3,3% 2,7% 3,2%

18 19 251 157 445

54,5% 33,9% 20,5% 26,7% 23,4%

33 56 1225 589 1903

100,0% 100,0% 100,0% 100,0% 100,0%

1 1 34 40 76

5,3% 11,1% 25,2% 34,2% 27,1%

1 4 40 31 76

5,3% 44,4% 29,6% 26,5% 27,1%

1 1 21 11 34

5,3% 11,1% 15,6% 9,4% 12,1%

16 3 40 35 94

84,2% 33,3% 29,6% 29,9% 33,6%

19 9 135 117 280

100,0% 100,0% 100,0% 100,0% 100,0%

1 4 99 51 155

4,3% 13,8% 28,1% 25,5% 25,7%

3 6 118 76 203

13,0% 20,7% 33,5% 38,0% 33,6%

3 0 31 13 47

13,0% ,0% 8,8% 6,5% 7,8%

16 19 104 60 199

69,6% 65,5% 29,5% 30,0% 32,9%

23 29 352 200 604

100,0% 100,0% 100,0% 100,0% 100,0%

1 0 14 0 15

11,1% ,0% 17,9% ,0% 10,3%

2 4 21 25 52

22,2% 57,1% 26,9% 48,1% 35,6%

1 0 14 11 26

11,1% ,0% 17,9% 21,2% 17,8%

5 3 29 16 53

55,6% 42,9% 37,2% 30,8% 36,3%

9 7 78 52 146

100,0% 100,0% 100,0% 100,0% 100,0%

4 8 74 0 86

36,4% 44,4% 34,3% ,0% 27,8%

4 5 61 26 96

36,4% 27,8% 28,2% 40,6% 31,1%

1 0 23 10 34

9,1% ,0% 10,6% 15,6% 11,0%

2 5 58 28 93

18,2% 27,8% 26,9% 43,8% 30,1%

11 18 216 64 309

100,0% 100,0% 100,0% 100,0% 100,0%

Servicio de atenciónConsulta general

Consultaespecializada

Hospitalización

Servicio de urgencia

Total

Consulta general

Consultaespecializada

Hospitalización

Servicio de urgencia

Total

Consulta general

Consultaespecializada

Hospitalización

Servicio de urgencia

Total

Consulta general

Consultaespecializada

Hospitalización

Servicio de urgencia

Total

Consulta general

Consultaespecializada

Hospitalización

Servicio de urgencia

Total

Consulta general

Consultaespecializada

Hospitalización

Servicio de urgencia

Total

SexoMasculino

Femenino

Masculino

Femenino

Masculino

Femenino

Nivel deatenciónI

II

III

Contributivocotizante

Contributivobeneficiario Subsidiado

Sinvinculación

Afiliación al SGSS

Total

58

Los resultados obtenidos en la tabla anterior, lleva a la siguiente información: más de la mitad de los usuarios (66.7%) utilizaron el nivel de atención I, mientras que el 22% lo hicieron en el nivel II, por un 11.3% del nivel III. Lo anterior estuvo determinado por el diseño de muestra, no obstante, si es relevante destacar que las mujeres son las que más consultan, tanto es así, que el 70% de los usuarios pertenecen a éste género, esto conlleva a que en todos los niveles de atención se atienden más mujeres que hombres.

De otro lado, analizando los servicios de atención, se encontró que el 53.1% de los usuarios solicitan el servicio de consulta general, seguido de las urgencias que son solicitadas por el 27.7%, la consulta especializada fue requerida por el 13.6%, quedando sólo el 5.6% para los que requieren hospitalización. Esta información es relevante en la medida que podamos desagregarla, es así como se encontró que hay diferencia en la solicitud de servicios teniendo en cuenta el nivel y el sexo.

En el nivel de atención I, tanto en los hombres como en las mujeres los porcentajes de solicitud de consulta general supera el 63%, siendo el servicio de hospitalización el menos requerido por ambos sexos, con un porcentaje de 3.2%. En el nivel de atención II, la situación cambia ostensiblemente. El servicio más solicitado en ambos sexos es el de urgencias, con un porcentaje cercano al 33%. Bajando el requerimiento en la consulta general a valores cercanos a la cuarta parte, tanto en hombres (27.1%) como en mujeres (25.7%).

En el nivel de atención III, los servicios de urgencias y la consulta especializada son los más requeridos, encontrándose porcentajes ligeramente mayores en los hombres. Donde se percibe una diferencia importante en éste nivel es que las mujeres definitivamente realizan más consulta externa (27.8%) que los hombres (10.3%).

Con respecto al régimen de afiliación al SGSSS, no se encontraron diferencias según los niveles de atención y sexo, toda vez que la mayoría de personas que utilizaron los diferentes servicios pertenecen al régimen subsidiado (60.3%), seguido de los sin vinculación (32.9%), quedando el porcentaje restante (6.8%) para los cotizantes y sus beneficiarios.

59

Tabla 18: Caracterización de los usuarios por: nivel de atención, sexo, ocupación y educación del usuario o informante, agosto de 2006.

1 38 18 2 0 0 59,6% 10,2% 8,8% 10,0% ,0% ,0% 7,6%

24 82 51 7 1 0 165

13,3% 22,0% 25,0% 35,0% 50,0% ,0% 21,2%

54 91 48 4 1 1 19930,0% 24,5% 23,5% 20,0% 50,0% 100,0% 25,5%

48 51 38 3 0 0 14026,7% 13,7% 18,6% 15,0% ,0% ,0% 18,0%

0 3 1 0 0 0 4,0% ,8% ,5% ,0% ,0% ,0% ,5%

53 107 48 4 0 0 21229,4% 28,8% 23,5% 20,0% ,0% ,0% 27,2%

180 372 204 20 2 1 779100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100%

1 74 54 3 0 0 132,2% 8,1% 11,3% 5,6% ,0% ,0% 6,9%

28 83 58 15 5 0 189

6,4% 9,1% 12,2% 27,8% 29,4% ,0% 9,9%

26 96 75 11 3 1 2125,9% 10,5% 15,8% 20,4% 17,6% 100,0% 11,1%

104 189 106 11 4 0 41423,6% 20,7% 22,3% 20,4% 23,5% ,0% 21,8%

2 1 0 0 2 0 5,5% ,1% ,0% ,0% 11,8% ,0% ,3%279 472 183 14 3 0 951

63,4% 51,6% 38,4% 25,9% 17,6% ,0% 50,0%440 915 476 54 17 1 1903

100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100%0 4 1 0 0 5

,0% 2,5% 2,0% ,0% ,0% 1,8%3 16 14 2 2 37

5,1% 9,9% 28,0% 40,0% 50,0% 13,2%

10 38 15 1 1 6516,9% 23,5% 30,0% 20,0% 25,0% 23,2%

18 50 10 2 1 8130,5% 30,9% 20,0% 40,0% 25,0% 28,9%

28 54 10 0 0 9247,5% 33,3% 20,0% ,0% ,0% 32,9%

59 162 50 5 4 280100,0% 100,0% 100,0% 100,0% 100,0% 100%

1 15 12 0 0 0 281,0% 4,6% 7,6% ,0% ,0% ,0% 4,6%

1 21 19 7 2 0 50

1,0% 6,4% 12,1% 35,0% 66,7% ,0% 8,3%

4 27 16 4 1 0 524,2% 8,3% 10,2% 20,0% 33,3% ,0% 8,6%

37 118 58 3 0 1 21738,5% 36,1% 36,9% 15,0% ,0% 100,0% 35,9%

0 1 1 0 0 0 2,0% ,3% ,6% ,0% ,0% ,0% ,3%

53 145 51 6 0 0 25555,2% 44,3% 32,5% 30,0% ,0% ,0% 42,2%

96 327 157 20 3 1 604100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100%

0 2 1 0 3,0% 2,6% 3,3% ,0% 2,1%

6 19 9 2 36

16,7% 24,7% 30,0% 66,7% 24,7%

13 25 9 0 4736,1% 32,5% 30,0% ,0% 32,2%

10 23 8 1 4227,8% 29,9% 26,7% 33,3% 28,8%

0 1 1 0 2,0% 1,3% 3,3% ,0% 1,4%

7 7 2 0 1619,4% 9,1% 6,7% ,0% 11,0%

36 77 30 3 146100,0% 100,0% 100,0% 100,0% 100%

0 3 9 1 0 13,0% 1,9% 11,0% 25,0% ,0% 4,2%

9 25 15 2 1 52

13,4% 16,2% 18,3% 50,0% 50,0% 16,8%

4 10 11 0 1 266,0% 6,5% 13,4% ,0% 50,0% 8,4%

33 74 32 1 0 14049,3% 48,1% 39,0% 25,0% ,0% 45,3%

0 1 0 0 0 1,0% ,6% ,0% ,0% ,0% ,3%

21 41 15 0 0 7731,3% 26,6% 18,3% ,0% ,0% 24,9%

67 154 82 4 2 309100,0% 100,0% 100,0% 100,0% 100,0% 100%

Estudiante(E)

Trabajadordependiente(TD)

Trabajadorindependiente(TI)Desempleado(D)

Pensionado(P)

Otra(O)

Ocupacióndel usuarioo informante

Total

Estudiante(E)

Trabajadordependiente(TD)

Trabajadorindependiente(TI)Desempleado(D)

Pensionado(P)

Otra(O)

Ocupacióndel usuarioo informante

Total

Estudiante(E)

Trabajadordependiente(TD)

Trabajadorindependiente(TI)Desempleado(D)

Otra(O)

Ocupacióndel usuarioo informante

Total

Estudiante(E)

Trabajadordependiente(TD)

Trabajadorindependiente(TI)Desempleado(D)

Pensionado(P)

Otra(O)

Ocupacióndel usuarioo informante

Total

Estudiante(E)

Trabajadordependiente(TD)

Trabajadorindependiente(TI)Desempleado(D)

Pensionado(P)

Otra(O)

Ocupacióndel usuarioo informante

Total

Estudiante(E)

Trabajadordependiente(TD)

Trabajadorindependiente(TI)Desempleado(D)

Pensionado(P)

Otra(O)

Ocupacióndel usuarioo informante

Total

SexoMasculino

Femenino

Masculino

Femenino

Masculino

Femenino

Nivel deatenciónI

II

III

Ninguno Primario SecundarioTéc.

-Tecnológ Profesional Postgrado

educación del usuario o informante

Total

60

De manera global, se encontró que una cuarta parte de los usuarios están o estaban desempleados en el momento de aplicar la encuesta, no obstante, la categoría con mayor porcentaje fue la de otra (39.9%). Esta situación se presentó en los niveles I y II, además, de mantenerse la estructura tanto en hombres como en las mujeres. Sin embargo, en el nivel de atención III, la situación cambia, encontrándose el mayor porcentaje de los hombres en trabajadores independientes (32.2%), seguido de los desempleados (28.8%). En las mujeres, la tendencia mayoritaria fue en las desempleadas (45.3%), seguida de otras actividades (24.9%).

Con respecto a la educación, la mitad ha realizado estudios de primaria completa, la cuarta parte estudios de secundaria completa, mientras que estudios universitarios sólo un porcentaje alrededor del 3% lo habían hecho, se destaca además, que un porcentaje importante (21.8%) no tienen estudios terminados de primaria.

Se aprecia también que el sexo no tiene ninguna ingerencia en el alcance de educación de los usuarios, es decir, en todas las categorías de educación se encontraron porcentajes similares de hombres y mujeres, a modo de ejemplo, aproximadamente el 50% tanto de hombres como mujeres han terminado estudios de primaria y en ambos casos, el porcentaje de profesionales no supera el 1%. Por el contrario, el sexo si influye en las ocupaciones desarrolladas por los usuarios, eso se desprende, al determinar que los hombres en mayor proporción que las mujeres se dedican a actividades independientes, mientras que el porcentaje de mujeres dedicadas a la categoría de otras actividades es mucho mayor que los hombres.

De todo lo anterior, se puede afirmar que: las mujeres son las que más consultan, el servicio más requerido es la consulta general y lo hacen los afiliados al régimen subsidiado. No obstante, lo anterior, la composición cambia según el nivel de atención para el caso de los requerimientos de los servicios.

Además, el nivel de educación es relativamente bajo, los usuarios en gran proporción sólo poseen primaria completa, también se detecta que existen otras actividades no descritas como trabajo o estudio al cual se dedica una gran parte de los usuarios, siendo más las mujeres las dedicadas a éste tipo de actividades.

Servicio de urgenciaHospitalizaciónConsulta especializadaConsulta general

Servicio de atención

100

80

60

40

20

edad

de

usua

rio o

info

rman

te e

n añ

os

3.3992.203

859 371

89

706 1.099

3.903

3.625

1.172515

2.6966472.639

1.137

2.360 937

Figura 1: Diagrama de la edad de usuarios a las IPSs con respecto al tipo de servicio, agosto 2006.

El diagrama de caja y sesgo, muestra como la forma de las edades es similar en los servicios demandados por los usuarios, es decir, en todos los servicios, las cajas tienen tamaños similares y la

61

mediana (línea negra) está alrededor de 36 años, también en todos los servicios se encuentran edades atípicas por encima de 80 años. A continuación se presentan estadísticas resumen de la edad según el tipo de servicio.

Tabla 19: Estadísticas descriptivas de la edad según tipo de servicio, agosto 2006. Informe

edad de usuario o informante en años

37,54 2137 15,289 35,0040,99 545 15,577 39,0037,02 226 15,332 34,5037,20 1113 14,924 35,0037,89 4021 15,276 36,00

Servicio de atenciónConsulta generalConsulta especializadaHospitalizaciónServicio de urgenciaTotal

Media N Desv. típ. Mediana

Es claro que las edades no difieren sustancialmente según el servicio solicitado, sin embargo, los usuarios que solicitan consulta especializada son ligeramente mayores que los usuarios del resto de servicios, además, la variabilidad fue similar para cada categoría.

4.2 Aspectos de la calidad de los servicios de salud percibidos por los usuarios en IPS`s públicas Colombia, agosto de 2006.

Con el fin de identificar que pruebas son adecuadas para determinar diferencias entre las valoraciones entregadas por los usuarios en distintas categorías de análisis, es pertinente verificar en primer lugar si los datos tienen un comportamiento aproximadamente normal (acampanado), por ello, se realizaron las pruebas de Kolmogorov Smirnov y Chapiro Wills, la tabla de resultados se encuentra en el anexo 8.

Es útil recordar que el criterio para determinar o no la normalidad es: si el sig (valor p) es menor o igual a 0.05, se concluye que los datos no son normales, por el contrario, si es mayor a dicho valor, se acepta la normalidad de los datos. En éste caso específico, se observa que todos los valores de sig son 0.00 por lo tanto, se concluye que ninguno de los aspectos evaluados se comporta normalmente, eso implica, recomendar pruebas no paramétricas.

Es de interés, identificar diferencias en los 16 aspectos evaluados según si la institución tiene o no convenio. Dado la no normalidad de los datos, se utilizó la prueba de Mann-Whitney, la cual es útil para determinar diferencias en dos variables independientes no normales, como es éste caso. En caso de requerir compara más de dos categorías, la prueba recomendada es Kruskal Wallis.

Comparación de resultados en los aspectos de calidad según convenio.

En el anexo 9 sobre la prueba de Mann-Whitney, dado la no normalidad de los datos y teniendo en cuenta que se detectan diferencias si los sig (valores p) son menores de 0.05, se concluye que solamente en: el costo de servicio, la cooperación entre funcionarios y la capacidad de los profesionales las apreciaciones de los usuarios fueron similares tanto en las IPs con convenio como sin convenio. En todos los demás ítems analizados, se encontraron diferencias. Dado el procedimiento empleado, otro indicador a tener en cuenta es el rango promedio, con ellos, se construyó el gráfico 2. Es útil comentar que el gráfico presenta los rangos promedio de los diferentes aspectos de calidad evaluados, con el fin de apreciar las diferencias en dichos temas.

62

0,00

500,00

1000,00

1500,00

2000,00

2500,00

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Aspecto de Calidad

Rang

o pr

omed

io

Con convenioSin convenio

Figura 2: Comparación de rangos promedios en los aspectos de la calidad de los servicios de salud percibidos por los usuarios en IPS`s públicas según intervención o no. Colombia, agosto de 2006.

La figura confirma los resultados de la prueba al observar que los aspectos: 2 (costo del servicio), 12 (cooperación entre funcionarios) y 13 (capacidad de los profesionales) son similares, mientras que los demás, difieren, siendo mejor evaluados las instituciones intervenidas o con convenio.

Los códigos definidos para todas las figuras son los siguientes: Estadísticos

123456789

10111213141516

Atributos de calidad evaluadosTramite para ser atendidoCosto del servicioTiempo de esperaPercepción del tiempoSolución a la necesidadRespuestas del personalAseo de la InstituciónEstado de la planta físicaMuebles y enseresTrato de personal asistencialTrato de personal administrativoCooperación entre funcionariosCapacidad de los profesionalesCuidados de salud en casaCalidad del servicioAtención general

Codigos

Comparación de resultados en los aspectos de calidad de los servicios de salud percibidos por nivel de atención según instituciones con convenio y sin convenio.

Es de interés comparar los resultados obtenidos teniendo en cuenta no sólo el nivel de atención, sino, si la institución había sido intervenida o no, por ello, se construyó el anexo 10, correspondiente a las diferentes pruebas de Mann-Whitney, convenio vs sin convenio según las diferentes variables de identificación y de interés para el estudio.

Desagregando los resultados por nivel de atención, se encuentran situaciones particulares en cada uno de ellos, valga decir, en el nivel de atención II, se encontró una mayor similitud en las opiniones de los usuarios entre las instituciones intervenidas y las no intervenidas. Hubo similitud en la percepción en éste nivel en los aspectos: Tramite para ser atendido, costo del servicio (como en los otros niveles de atención), tiempo de espera, solución a la necesidad, respuestas del personal, muebles y enseres, cuidados de salud en casa y atención general. Parece claro, que los usuarios del nivel II, tienen opiniones más similares sobre la mayoría de temas abordados diferenciados según convenio o no.

63

De otro lado, los del nivel III, no se diferencian según convenio en los temas de: atención general, cooperación entre funcionarios, respuestas del personal, solución a la necesidad y costo del servicio.

Se concluye, que en el nivel I, se presenta mayor disparidad en las opiniones según intervenidas o no, mientras que los del nivel II, las percepciones son más similares.

Nivel I

0,0

200,0

400,0

600,0

800,0

1000,0

1200,0

1400,0

1600,0

1800,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Aspecto de Calidad

Rang

o pr

omed

io

Con convenioSin convenio

Nivel II

0,0

100,0

200,0

300,0

400,0

500,0

600,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Aspectos de calidadRa

ngo

prom

edio

Con convenio

Sin convenio

Nivel III

0,050,0

100,0150,0200,0250,0

300,0350,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Aspectos de Calidad

Rang

o Pr

omed

io

Con convenio

Sin convenio

Figura 3: Comparación de rangos promedios en los aspectos de la calidad de los servicios de salud percibidos por los usuarios en IPS`s públicas según intervención o no y nivel de atención. Colombia, agosto de 2006.

Con las figuras previas no sólo se confirma lo ya descrito, sino, que se evidencia que en el nivel I, exceptuando el tiempo de espera que es mayor en las IPSs sin convenio y los costos de los servicios y la capacidad de los profesionales que son iguales para las instituciones con convenio y sin convenio, en todos los demás ítems, las mayores valoraciones pertenecen a las instituciones con convenio.

En el nivel II, no existe una tendencia marcada en las diferencias sobre los diferentes aspectos evaluados según instituciones intervenidas o no. En el nivel III, se destaca la gran diferencia de opinión en el tiempo de espera, pareciéndoles menor el tiempo de espera a los usuarios de instituciones sin convenio.

Comparación de resultados en los aspectos de calidad de los servicios de salud percibidos por tipo de servicio según instituciones con convenio y sin convenio.

Siguiendo con el esquema ya definido, se presenta en el anexo correspondiente los resultados encontrados, destacando lo siguiente: En los servicios de hospitalización y consulta especializada, fue donde se detectó mayor homogeneidad entre los usuarios pertenecientes a IPs con convenio o sin convenio, prueba de ello, es que en 9 de los 16 aspectos evaluados no se encontraron diferencias, para el caso de hospitalización estos aspectos fueron: Atención general, calidad del servicio,

64

cuidados de salud en casa, capacidad de los profesionales, cooperación entre funcionarios, respuestas del personal, solución a la necesidad, costo del servicio y tramite para ser atendido. Para la consulta especializada, los temas de calidad con igual percepción entre intervenidas y no intervenidas fueron: costo del servicio, percepción del tiempo, solución a la necesidad, respuestas del personal, trato de personal administrativo, cooperación entre funcionarios, capacidad de los profesionales, cuidados de salud en casa y atención general.

En cuanto al servicio de urgencia, en cuatro aspectos no se encontraron diferencias, ellos son: costo del servicio, trato del personal administrativo, cooperación entre funcionarios y capacidad de los profesionales.

De otro lado, para el caso de consulta general, sólo en dos aspectos no se encontraron diferencias, estos fueron: costo del servicio y capacidad de los profesionales. Lo que quiere decir, que en los demás aspectos evaluados las valoraciones fueron distintas y con mejores ponderaciones para las IPs intervenidas, tal como lo muestra la figura 4.

Consulta general

0,0

200,0

400,0

600,0

800,0

1000,0

1200,0

1400,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Aspectos de Calidad

Rang

o Pr

omed

io

Con convenio

Sin convenio

Hospitalización

0

20

40

60

80

100

120

140

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Aspectos de Calidad

Rang

o Pr

omed

io

Con convenioSin convenio

Consulta especializada

0,0

50,0

100,0

150,0

200,0

250,0

300,0

350,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Aspectos de Calidad

Rang

o Pr

omed

io

Con convenio

Sin convenio

Urgencias

0,0

100,0

200,0

300,0

400,0

500,0

600,0

700,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Aspectos de Calidad

Rang

o Pr

omed

io

Con convenioSin convenio

Figura 4: Comparación de rangos promedios en los aspectos de la calidad de los servicios de salud percibidos por los usuarios en IPS`s públicas según intervención o no y tipo de servicio. Colombia, agosto de 2006.

Es evidente que para todos los usuarios según el tipo de servicio utilizado, el costo es lo que se considera menos favorable, dicho de otra manera, se considera el servicio muy caro o caro. Para los usuarios de consulta general, se observa que la mayoría de aspectos son mirados con mayor inconformidad por los usuarios de instituciones sin convenio. En los de hospitalización, la tendencia es menos evidente, sin embargo, en temas de aseo, infraestructura y trato de personal, (ítems 7,8,9 y 10) las opiniones de los usuarios de instituciones con convenio fue más satisfactoria.

La situación descrita es similar para los usuarios de consulta especializada y urgencias, esto lleva a concluir, que las opiniones de los usuarios según tipo de servicio y si poseen convenio o no, no sufren cambios sustanciales, estando en algunos tópicos ligeramente más conformes los que fueron atendidos en instituciones intervenidas.

Comparación de resultados en los aspectos de calidad de los servicios de salud percibidos por tipo de afiliación al SGSSS según instituciones con convenio y sin convenio.

65

Se encontraron situaciones bien diferentes teniendo en cuenta el tipo de afiliación, valga decir, para los beneficiarios del régimen contributivo, no se observaron diferencias sustanciales en ningún aspecto de calidad evaluado según si existiera en las instituciones convenio o no. Algo similar sucedió con los contributivos cotizantes, donde sólo en la percepción sobre el aseo y el estado de la planta física se encontraron diferencias.

En los subsidiados y sin vinculación, la situación cambió sustancialmente, es decir, en 13 o más aspectos se observaron diferencias. La figura siguiente muestra las diferentes composiciones.

Contributivo Cotizante

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Aspectos de Calidad

Rang

o Pr

omed

io

Con convenio

Sin convenio

Contributivo Beneficiario

0,010,020,030,040,050,060,070,080,090,0

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Aspectos de Calidad

Rang

o Pr

omed

io

Con convenio

Sin convenio

Subsidiado

0200400600800

1000120014001600

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Aspectos de Calidad

Rang

o Pr

omed

io

Con convenio

Sin convenio

Sin Vinculación

0100200300400500600700800900

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Aspectos de Calidad

Rang

o Pr

omed

io

Con convenio

Sin convenio

Figura 5: Comparación de rangos promedios en los aspectos de la calidad de los servicios de salud percibidos por los usuarios en IPS`s públicas según intervención o no y tipo de afiliación. Colombia, agosto de 2006.

Tal como se mencionó anteriormente, para los cotizantes y sus beneficiarios, las diferencias radican en la percepción sobre el aseo, el estado de la planta física y los muebles y enseres, siendo mejor percibidos en las instituciones con convenio. En los usuarios sin vinculación, las diferencias de opiniones son más evidentes a favor de las instituciones que poseen convenios o están intervenidas.

Comparación de resultados en los aspectos de calidad de los servicios de salud percibidos por tipo de oferta (monopolio o no) según instituciones con convenio y sin convenio.

No se presentaron diferencias cuando la oferta es pública y privada entre las instituciones intervenidas o no en los temas de: costo del servicio, cooperación entre funcionarios y capacidad de los profesionales, en los demás temas, los resultados muestran que existen diferencias en las percepciones de las personas usuarias de instituciones con convenio con respecto a las que no lo tienen. En el anexo 10 se presentan las tablas que soportan los resultados de la prueba no paramétrica de Mann- Whitney.

Por el contrario, en aquellos municipios donde sólo se tiene oferta pública, hubo mayor homogeneidad en las opiniones, sin embargo, se encontraron diferencias en: tramite para ser atendido, respuestas del personal, estado de la planta física y muebles y enseres.

66

Oferta Pública y Privada

0200400600800

100012001400160018002000

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16Aspectos de Calidad

Rang

os P

rom

edio

Con convenio Sin Convenio

Oferta Pública

0

100

200

300

400

500

600

1 3 5 7 9 11 13 15Aspectos de Calidad

Rang

o Pr

omed

io

Con convenio

Sin Convenio

Figura 6: Comparación de rangos promedios en los aspectos de la calidad de los servicios de salud percibidos por los usuarios en IPS`s públicas según intervención o no y tipo de oferta. Colombia, agosto de 2006.

Coherente con lo ya descrito, sólo se encontraron similitud en las percepciones en los tres aspectos mencionados antes, en los demás, que se evidencia diferencia, está es a favor de las instituciones intervenidas, es decir, en dichas instituciones se perciben mejor la mayoría de servicios, tanto cuando la oferta es sólo pública o cuando se presenta además ofertas del sector privado.

Comparación de resultados en los aspectos de calidad de los servicios de salud percibidos según el índice de tamaño funcional de los municipios (ITF) e instituciones con convenio y sin convenio.

Es de anotar que en los municipios con índices de tamaño funcional de menos de 3, no se tenían instituciones con convenio, por esa razón, la tabla del anexo correspondiente y las comparaciones sólo es posible para municipios clasificados desde 3. La clasificación tiene la siguiente convención: 1: Metrópoli Nacional, 2: Metrópoli Regional, 3: Centro Regional Mayor, 4: Centro Subregional Mayor, 5: Centro Subregional Intermedio, 6: Centro Regional Intermedio y 7: Centro Local.

Los resultados muestran particularidades importantes, tales como: En los municipios de ITF 3, sólo se encontraron diferencias entre las instituciones intervenidas con respecto a las no en los temas de: tramite para ser atendido, tiempo de espera, percepción del tiempo, muebles y enseres y trato de personal asistencial.

En los municipios con ITF 4, las diferencias de opinión se observaron en: trámite, tiempo de espera, percepción del tiempo, aseo de la institución, estado de la planta física, muebles y enseres, capacidad de los profesionales y calidad del servicio. En los municipios de tamaño 5 y 7 no se presentan diferencias en la opinión de los usuarios sobre el trámite para ser atendidos, situación diferente a los otros municipios. En general en los municipios clasificados como 6, es donde más diferencias se encontraron según la institución estaba intervenida o no.

Se concluye entonces que el ITF si influye en las opiniones de los usuarios.

67

4.3 Estadísticas descriptivas de los aspectos de calidad en los servicios de salud percibidos según variables de identificación e instituciones con convenio y sin convenio.

Si bien es cierto, como ya se mencionó, aunque el promedio no es la medida más representativa en éste caso, si nos da una idea de comparación de las diferentes percepciones de los usuarios según las características más relevantes de ellos. En éste punto, se dará lectura a diferentes tablas con las estadísticas resumen que se encuentran en el anexo 11, teniendo en cuenta todos los aspectos de calidad evaluados y cruzados con dos variables adicionales, siendo una de ellas, el hecho de ser una institución intervenida o no, tal como es de interés en el estudio.

Estadísticas descriptivas de los aspectos de calidad en los servicios de salud percibidos según nivel de atención y convenio.

En general para los usuarios de las instituciones con convenio, independiente del nivel, la atención general se puede afirmar que fue considerada como satisfactoria. También en todos los niveles, se percibió una buena valoración por temas como: calidad del servicio y trato de personal asistencial, encontrando promedios por encima de 4.0. De otro lado, en los niveles I y II, la percepción sobre el tiempo de espera es que no fue ni corto ni largo, mientras que para los usuarios del nivel III, éste tiempo les pareció relativamente corto. El costo del servicio, fue considerado como justo para los usuarios de los niveles I y II y tendiendo a barato para los del nivel III. Otro aspecto con un comportamiento similar por nivel en instituciones con convenio es el trámite para ser atendido, sin embargo, en el nivel III es considerado ligeramente mejor.

En las instituciones sin convenio, los promedios obtenidos son más bajos, tan es así, que sólo se presenta un indicador del promedio con valor de 4.08 y es en la calidad del servicio en usuarios del nivel III, en los otros niveles estuvieron cerca, concluyendo que el servicio es considerado en general bueno. Lo menos valorado fue el tema sobre la oportunidad en el servicio toda vez que, que para usuarios del nivel I y III, el promedio encontrado está por debajo de 3.0 y donde el 50% de las personas consideraron el tiempo sólo preciso.

Estadísticas descriptivas de los aspectos de calidad en los servicios de salud percibidos según tipo de servicio y convenio.

Se marcan algunos resultados importantes en las instituciones intervenidas. La calidad del servicio es considerada buena en todos los servicios, valga decir, en consulta general, especializada, hospitalización y urgencias. Algo similar marca en ítems como: trato de personal asistencial y aseo de la institución, con promedios alrededor o superiores a 4.0. En general los usuarios quedaron en mayor proporción satisfechos. De nuevo, el aspecto menos valorado por los usuarios, sin estar en un estado critico, es sobre el tiempo de espera que si bien no es considerado largo, tampoco se percibe como que sea de corta duración, esto sucedió en todos los tipos de servicios. Una diferencia que se detectó es que en el servicio de hospitalización, la valoración fue menor para el trato de personal administrativo con respecto a los otros servicios.

En las instituciones no intervenidas y como es usual en el estudio, los indicadores son menores que para las instituciones con convenio. Como en las instituciones intervenidas, se reconoce un buen trato del personal asistencial, no así tanto el aseo de la institución. La percepción sobre el tiempo y el trámite para ser atendido son los ítems menos valorados por estos usuarios.

68

Estadísticas descriptivas de los aspectos de calidad en los servicios de salud percibidos según tipo de afiliación y convenio.

Se aprecia una particularidad en ésta clasificación, independiente de si la institución posee convenio o no, la calidad del servicio y el trato del personal asistencial son considerados buenos con promedios por encima de 4.0, excepto en los usuarios sin vinculación, que si bien no son bajos, si son percibidos con menor valoración. También para todos se puede considerar que la atención los dejó satisfechos, siendo los menos satisfechos los usuarios de la categoría sin vinculación de instituciones sin convenio.

Se vuelve recurrente, que lo menos valorado en todos los casos es la percepción sobre el tiempo, que si bien no se puede considerar caótica, si es el punto más bajo en todas las mediciones.

Estadísticas descriptivas de los aspectos de calidad en los servicios de salud percibidos según tipo de oferta (pública o mixta) según instituciones con convenio y sin convenio.

La tendencia es evidente, los indicadores más altos corresponden a las instituciones intervenidas, sin embargo, se sigue manteniendo que para los usuarios en general, perciben de mejor manera los aspectos referentes a: calidad del servicio, trato del personal administrativo y asistencial y como lo menos ponderado la percepción sobre la espera del tiempo para ser atendido, así como el trámite y el costo del servicio.

Con respecto a si el municipio tiene oferta de servicios mixtos o no, se encontraron algunas diferencias en los siguientes aspectos: en las instituciones intervenidas, el tiempo promedio de espera es mucho menor (30.17 minutos) que en las otras categorías, valga decir, con convenio oferta pública solamente (63.33 minutos) y sin convenio tanto para los municipios con oferta mixta (57.83 minutos) y con instituciones públicas (64.39 minutos). El estado de la planta física también es mejor percibida en los municipios con oferta mixta y en instituciones con convenio. En los demás aspectos, son percibidos de mejor manera cuando se tiene doble tipo de instituciones, sin embargo, las diferencias no son determinantes.

Estadísticas descriptivas de los aspectos de calidad en los servicios de salud percibidos según ITF del municipio.

Dado la no presencia de instituciones con convenio en todos los municipios, se analizaron en conjunto los indicadores de calidad. En general los resultados son satisfactorios, destacándose lo siguiente: la calidad del servicio es ponderada adecuadamente en todas las clasificaciones de los municipios, la capacidad de los profesionales fue mayormente reconocida en los municipios clasificados en el ITF 3 (Centro Regional Mayor), lo mismo que el trato de personal asistencial y la atención en general, se deduce entonces, que los usuarios de los municipios con ésta clasificación están más satisfechos.

De nuevo, la percepción sobre el tiempo de espera es lo menos valorado por los usuarios, siendo mayor el inconformismo en los municipios clasificados en ITF 4 (Centro Subregional Mayor) y 5 (Centro Subregional Intermedio).

4.4 Análisis Factorial.

Este procedimiento identifica variables y/o ítems subyacentes, o factores, que expliquen la configuración de las correlaciones dentro de un conjunto de variables observadas. El análisis

69

factorial se utiliza con el fin de disminuir el número de variables logrando identificar un número de factores que representan a la totalidad. En éste caso, se pretende identificar de 15 aspectos de calidad, cuales pueden estar correlacionados, se eliminó de éste análisis el tiempo para ser atendido, dado que presenta una escala muy diferente al resto de los ítems evaluados.

Antes de aplicar el método, es necesario realizar pruebas para validar la conveniencia del mismo, ellas son: la prueba de esfericidad de Bartlett y la de Kaiser-Meyer-Olkin (KMO), unidas con el análisis de la matriz de correlaciones.

En el anexo 12 correspondiente al análisis factorial, se puede observar que la medida de adecuación de la muestra es 0.911, lo cual indica que el método es procedente, toda vez, que la norma dice que si el KMO es mayor de 0.5 la prueba es adecuada, aún más, si el indicador es cercano a 1. La prueba de Bartlet valida la hipótesis de que existe correlación entre las variables de entrada y por lo tanto se puede disminuir el número de ellas, al dar el valor p igual a 0.00, se confirma que el análisis factorial es adecuado para nuestros datos, por lo tanto, amerita el estudio de la matriz de correlaciones. No sobra recordar que para los diversos procedimientos se utilizó el Programa estadístico SPSS versión 14.0.

Matriz de Correlaciones.

Las correlaciones miden cómo están relacionadas las variables y/o ítems evaluados con el fin de identificar comportamientos subyacentes de estas.

La matriz de correlaciones en los usuarios de todas las instituciones muestra como existe un alto grado de asociación en las respuestas entregadas por los usuarios, es decir, el influir en un tema de calidad, esto cambiará la percepción en los otros aspectos existe una alta dependencia entre los aspectos evaluados.

Utilizando el método de componentes principales y la rotación varimax, se obtuvieron tres factores, los cuales se presentan en la tabla 20 y se asignan los nombres de: personal y atención al usuario, infraestructura física y tiempo-costos.

Tabla 20: Factores subyacentes en los aspectos de calidad de los servicios de salud percibidos por los usuarios en IPS`s públicas. Colombia, agosto de 2006.

70

Matriz de componentes rotadosa

,729 ,249 ,160,707 ,096 ,154,706 ,120 ,120,699 ,117 ,137,678 ,241 ,018,671 ,356 ,164,651 ,231 ,079,589 ,147 ,157,521 ,114 ,143

,233 ,808 ,037,311 ,735 ,160,181 ,728 ,172

-,020 -,126 -,859,174 ,199 ,804,221 ,135 ,672,204 -,083 ,224

Atención generalRespuestas del personalCapacidad de los profesionalesSolución a la necesidadTrato de personal asistencialCalidad del servicioCuidados de salud en casaCooperación entre funcionariosTrato de personal administrativoEstado de la planta físicaAseo de la InstituciónSalas y cuartosTiempo de esperaPercepción del tiempoTramite para ser atendidoCosto del servicio

1 2 3Componente

Método de extracción: Análisis de componentes principales. Método de rotación: Normalización Varimax con Kaiser.

La rotación ha convergido en 5 iteraciones.a.

Los aspectos de calidad se pueden agrupar en tres grandes dimensiones; la primera y que explica el 26.71% de la variación total (ver anexo 12) hace referencia a temas sobre la capacidad del personal y en tópicos referentes a la atención al usuario. A esta dimensión o factor, lo que más influye es la atención general, seguida de las respuestas del personal y la capacidad de los profesionales. Por el contrario, los usuarios califican como menos influyente en este factor es la cooperación y trato de personal administrativo.

Los usuarios de las IPSs públicas, también reconocen en la infraestructura física otro gran tema a considerar, siendo lo más relevante el estado de la planta física, por último, se encontró que el tiempo de espera y los costos son otro gran eje a ser considerado, ya que para los usuarios éste forma otra gran categoría de análisis.

Razones de adherencia a la IPS

Un subgrupo mayoritario de 3.904 (97,1%) del total de 4.021 participantes expresó su motivación, su adherencia para volver a demandar servicios en la IPS; los otros 117 (2,9%) esperan no volver. En usuarios que afirmaron tener motivación para volver a usar servicios de la IPS se identificaron múltiples razones, siendo predominante en casi la mitad de estos (n: 1937 o el 49,6%) la buena atención recibida, referida como diferentes expresiones del buen servicio. Esta razón de positiva valoración general de los servicios tiene a su vez múltiples dimensiones e incluye opiniones expresadas acerca de la oportunidad del servicio recibido, el trato del personal administrativo y el asistencial, el reconocimiento específico de la calificación profesional del personal asistencial (n:132 o el 3,3%), la presencia y disponibilidad operativa de equipamientos y, la dotación diversa existente en buenas condiciones operacionales y de uso inmediato.

Otras razones expresadas como motivos para volver a la institución, argumentadas por los usuarios en orden de las más a las menos frecuentes fueron: la necesidad inaplazable de atender su situación particular de salud o de enfermedad por consulta general, de urgencias o para controles y tratamiento de una patología o situación crónica (n: 882 o el 22,6% del total de personas); el 16.9% equivalente a 661 usuarios, argumenta como razón para volver, el hecho de que es la única institución y de paso es la más cercana, no obstante, esta respuesta se encontró en la mayoría de IPS, aún en aquellos Municipios donde se tienen varias ofertas de servicios de salud, por ello, en El párrafo siguiente se

71

Personal y atención al usuario

Infraestructura física

Tiempo y costos

analizan las respuestas obtenidas para aquellos municipios donde sólo se tiene oferta de servicios de salud en instituciones públicas. En porcentajes mucho menores y decrecientes aparecen la evidente mejora del servicio de la institución; la tradición familiar de usar siempre esa institución e, incluso, en forma infrecuente, por considerar que esa es la IPS de las personas pobres o en cierta condición asumida de marginalidad social.

De 978 usuarios de municipios con sólo oferta pública, se encontró: más de la mitad (53.5%) lo hacen por la buena atención, calidad o buen servicio, cerca de una cuarta parte (23.3%) dice volver a la institución por necesidad de ser atendido, mientras que el 16.2% argumentan la cercanía y obviamente ser la única en el municipio. Temas como idoneidad del personal y los costos fueron mencionados por un porcentaje mínimo de usuarios.

Entre los 117 usuarios que expresaron su decisión de no volver a la IPS se identificaron, entre otras, las siguientes razones: mala calidad en general en la atención de la institución revelada en médicos y personal administrativo negligente y deshumano (n:47 o el 35.9%); demora en la atención (n:13 o el 11.1%), particularmente en urgencias; la prestación de tratamientos o servicios incompletos (n:12 o un 10.26%); e, incluso, la total negación a volver específicamente relatada por un usuario por la muerte de un allegado o familiar ocurrida en la institución por problemas, según el, de falta de oportunidad y negligencia del servicio.

En el anexo 13 se colocan los nombres de las 26 IPS donde al menos un usuario dijo no volver, no obstante, en cinco de ellas se encontraron porcentajes importantes.

Sugerencias de mejora en las IPS´s

De 4021 encuestados, 2875 usuarios (71,5%) expresaron asuntos o elementos susceptibles de mejora en las instituciones de esta medición de base. Predominó, mayoritariamente, según 1012 usuarios la sugerencia explícita de agilización de los servicios (25%) expresada en diferentes formas como son: reducción de los tramites administrativos y de papelería exigida; reducción del tiempo para efectuar pagos, para tener alta o para cumplir con cualquier trámite interno similar y, el acortamiento del tiempo que transcurre entre la solicitud de una cita general o especializada o de atención de urgencia o de remisión y, la efectiva recepción de la atención o de la respuesta a lo solicitada. En segunda instancia los usuarios concentraron sus sugerencias en cuatro campos. Primero, la presencia de más personal asistencial en las IPS´s, en especial la disponibilidad de médicos generales y especialistas (n:385 o un 9,6%). Segundo, el aumento de las dimensiones físicas y el enlucimiento de la infraestructura existente (n:283 o el 7%). Tercero, la mayor dotación en general y el incremento en la disponibilidad de ambulancias, de equipos técnicos para la realización de procedimientos clínicos de diagnóstico o terapéuticos y de mueblería básica para la comodidad de los usuarios en silletería, camas, camillas, entre otros (n:158 o el 3,9%). Cuarto, la humanización del trato al usuario bien por personal administrativo o por el asistencial (n:148 o 3,7%). Otras sugerencias identificadas con menor frecuencia fueron: Mejorar el aseo general de las instalaciones, en particular de utensilios y cobijas-toallas-sabanas de hospitalización, de los baños, de áreas de ingreso y de circulación tanto en urgencias como en consulta general (n:110 o 2,7%); en el caso de IPS´s con actividades de hospitales universitarios, se pide reducir la presencia de estudiantes y practicantes (n:22 o 0,5%). Hay sugerencias (n:442 o el 11%) hacia mejorar el cumplimiento de las citas programadas-asignadas en conjunto con más orientación al usuario, agilizar el despacho de fórmulas médicas, la entrega de resultados, la comunicación administración-usuario y entre el personal asistencial con el usuario, la iluminación, la presentación y vestuario del personal de la institución, el orden y respeto por las filas e, incluso, para algunas IPS, se señaló conveniente priorizar la atención de personas del campo quienes para consultar se desplazan más horas y a veces en condiciones de transporte muy precarias.

72

5. DISCUSIÓN DE LA IMPLEMENTACIÓN DE LA METODOLOGÍA

5.1 Supuestos, limitaciones y proyección de hallazgos al universo estudiadoEl levantamiento de la línea de base de la percepción de calidad según los usuarios de los servicios de salud de las IPS´s públicas que conforman el marco de intervención del Programa, la consecuente proyección al universo de los valores absolutos estimados, la replicabilidad de la metodología implementada y, especialmente, la comparabilidad de los valores absolutos de dicha percepción en 2006 respecto de los valores relativos del 2008 y 2010, dependieron y dependen de unos supuestos y tuvieron-tienen unas limitaciones. Para esta discusión se parte de un supuesto y una limitación, determinantes de todo supuesto y de toda limitación comentada o abordable en este aparte del informe.

Se supone que, en el marco de la consultoría contratada con la U de A, la metodología diseñada e implementada en agosto de 2006 representó en su momento la mejor opción para levantar una línea de base contra la cual evaluar, en los años 2008 y 2010, el impacto del Programa en la calidad percibida por los usuarios. Se asume que las estimaciones obtenidas en la línea base 2006 y su consecuente proyección al universo estudiado tienen la limitación de ser solamente una aproximación a los verdaderos valores de la percepción de la calidad. Esa suposición y limitación inicial fueron consideradas sistemáticamente para que la estructuración y ajuste de las definiciones del glosario, los distintos desarrollos históricos, conceptuales y políticos, entre otros, así como la estructuración del referencial para la aplicación del modelo de evaluación usado y de los elementos de la metodología iluminadores del diseño muestral, estuvieron orientados a garantizar la misma probabilidad de selección a cada institución del marco de IPS´s elegibles objeto del Programa y, consecuentemente, la misma probabilidad de participación a cada ciudadano que, en los días de recolección de datos de agosto de 2006, fueron usuarios directos de los servicios de las instituciones seleccionadas. Las etapas cumplidas hacia la definición de la muestra así como las acciones realizadas para enfrentar potenciales sesgos son referentes básicos para discutir la estimación insesgada de los valores absolutos de la medición del 2006 y su proyección al universo. Las fuentes de sesgo en este levantamiento de línea base eran los potenciales errores del muestreo y los errores no muestrales.

Entre los errores propios del muestreo están los referidos al hecho de haber ejecutado el ejercicio probabilístico de entrevistar a una muestra y no al universo de usuarios que demandó servicios en la ventana temporal de la recolección, en un procedimiento que, además, requirió la selección sistemática de un subgrupo representativo de 48 IPS`s del total de las 301 del marco muestral. Como potenciales fuentes de errores no muestrales se señalan los efectos en la medición derivados de los procedimientos definidos en la metodología para recoger, procesar e interpretar datos de las dimensiones de calidad percibida por los usuarios atendidos.

Tenían pues, entre otras, probabilidad de generar error: las características particulares o arbitrarias de definición, proceso, conformación y uso del marco de muestreo del estudio; la cobertura aleatoriamente imperfecta de las características de las IPS´s objeto del Programa que pudo tener la muestra preliminarmente obtenida o la que se usó en definitiva de 48 IPS`s; la cobertura imperfecta de usuarios efectivamente participantes en la encuesta, entre otras razones por inadecuada representación relativa de la tipología de servicios y de afiliación de usuarios por la evolución ocurrida desde 2004 en dichas características, por rechazos a participar de usuarios interceptados o por selección adversa efectuada por el encuestador al momento de decidir a quien interceptar; los errores de formulación, confiabilidad y validez no superados en el instrumento de recolección de

73

datos desarrollado, en el Pecasuss o, los errores introducidos por el encuestador a cargo de su aplicación; las limitaciones del usuario para comprender las demandas del encuestador o comunicar asertivamente la respuesta por el identificada; las potenciales y casi infinitas limitaciones de pertinencia de criterios en el proceso de elaboración de perfil, convocatoria, identificación, selección, y preparación o capacitación técnica especifica del recurso humano contratado para llevar a cabo las entrevistas cara a cara a los usuarios y todos los pasos complementarios de la captura, supervisión y control de la ejecución del trabajo de campo como son la intercepción misma de los usuarios, la recolección de los datos, su registro sistemáticamente correcto, la remisión de formatos de respuesta al supervisor; el consecuente chequeo y aceptación por parte de estos supervisores de los formatos de respuesta del Pecasuss; la preparación y prueba de la base de captura de datos y los procesos de digitación manual con chequeo posterior por confrontación al azar de registros en los formatos de papel frente a los consecutivos de digitación y, hasta la interpretación de las tablas de salida de la información procesada por el responsable del informe.

Los errores no muestrales fueron abordados, minimizados o eliminados con el desarrollo riguroso de un proceso de validación seguido para el instrumento Pecasuss tal como fue relatado previamente en el aparte respectivo de la metodología; con un ejercicio formal de capacitación integral del equipo de encuestadores para la estandarización de los pasos de abordaje, identificación y entrevista de los usuarios; con la anticipada programación, coordinación y supervisión permanente del trabajo de campo; con la preasignación del número mínimo de encuestas para cada IPS según valores del peso relativo de productividad y el ajuste de la representatividad relativa del número de encuestas a ser realizadas en cada IPS según la distribución reciente de la demanda de servicios y de tipología de afiliación de los usuarios al SGSSS; con el diseño de claros instructivos de aplicación de los instrumentos de colecta de datos; con la detallada preparación y prueba preliminar de la base de creada en SPSS para la captura de datos; con el control directo e indirecto a las actividades de digitación para compilar los datos levantados; con el doble control para aceptación de los formatos de registro de respuestas en formato físico antes de su ingreso a la base de datos; con el chequeo posterior al azar de la correspondencia entre registros físicos en formatos de respuesta y registros electrónicos en la base de datos; con la revisión de la coherencia entre las tablas de salida y diferentes valores de control manejados como totales y subtotales en cuanto a IPS´s de la muestra, según convenio, según complejidad, según tipo de servicio y de afiliación de usuarios al SGSS, entre otros ya mencionados previamente.

El error de muestreo fue abordado como la variabilidad esperable que ocurre entre los estimadores que producto de todas las muestras no intencionales, probabilísticas, que se pueden tener de una población o universo y los valores reales de las características de interés. Varios elementos se tomaron en cuenta al respecto. Por esto se establecieron a priori, como ya fue descrito, niveles de precisión o margen de error máximo de 5% para las opciones de muestreo propuestas preliminarmente y, del 2,008% para el tamaño total de la muestra de usuarios a ser encuestados.

Una de las etapas iniciales consideró como eje de representatividad en la muestra a la distribución relativa de las instituciones del marco muestral según una doble característica inherente a su relación con el Programa: la existencia o no de un convenio firmado con el mismo y, la representación por estrato natural en que se agrupan las IPS´s según su nivel de complejidad de atención. Así, el listado final de 48 IPS´s públicas seleccionadas fue uno entre todos los potenciales listados distintos de 48 IPS que pudieran haberse obtenido del marco muestral conformado por las 301 IPS objetivo.

En otro paso de aproximación al universo se buscó la representación de acuerdo al peso relativo de las tipologías tanto de los servicios demandados como de la afiliación al SGSSS de los usuarios. Es obvio que por cuestiones netamente estadísticas estas tipologías de servicios y usuarios variarían en

74

cada uno de los potenciales listados sistemáticos obtenibles razón por la que cualquiera de los así obtenibles sería válido.

Se asume entonces que la muestra de 4.021 usuarios de los servicios de 48 IPS´s públicas de Colombia finalmente participantes en el levantamiento de la línea de base 2006 se consolidó como una muestra válida, probabilística y por etapas que inició con la selección sistemática de un subconjunto de IPS a partir de la lista de 301 instituciones del marco de elegibles del Programa en la que todas y cada una de estas 301 IPS tuvieron la misma probabilidad de ser seleccionadas.

Se supone también que las 48 IPS en la línea de base -a su vez el núcleo de instituciones referenciales para la búsqueda de los informantes de las mediciones del 2008 y 2010-, representa con la mayor precisión la homogeneidad posible de las unidades institucionales públicas de interés para la evaluación de impacto según las dos variables iniciales de clasificación de estas: la firma o no de convenio con el Programa y la distribución de IPS`s según el nivel o complejidad de atención de los servicios de salud.

Esta muestra de 48 IPS´s para la línea de base 2006 representó también la complementaria y necesaria heterogeneidad de productividad consolidada por IPS y por servicios y, de estas variables definidas a priori como altamente correlacionadas con las variables dependientes estudiadas para determinar los valores absolutos de la línea de base: las dieciséis subdimensiones perceptibles de la calidad de la atención indagadas.

Con base en esta heterogeneidad y en la siguiente etapa muestral se procedió a la asignación preliminar del número mínimo de encuestas a ser levantadas en cada IPS`s seleccionada de acuerdo específicamente con valores relativos referentes de productividad de la IPS según los datos consolidados por el MPS para el total de IPS para el 2004. Sin modificarlo en su número mínimo de encuestas a obtener en cada IPS, la proporcionalidad relativa interna de dicho número se ajustó al momento de la recolección en terreno según las otras variables siguientes de estratificación: la naturaleza urgente o electiva de los servicios demandados y, la tipología de la vinculación de los usuarios de los servicios al SGSS, de acuerdo con información obtenida con el instrumento CASIUSS sobre el comportamiento más reciente de la demanda por servicios y tipo de usuarios en la IPS justo en los meses previos al momento de la recolección de datos.

Con estos elementos y tomado en cuenta que ninguna de las 48 IPS finalmente seleccionadas en la muestra rechazó participar en la medición y que el rechazo de los potenciales informantes en el momento de ser abordados por los encuestadores en las instituciones fue casi inexistente, puede afirmarse que la proyección o extrapolación de hallazgos al universo de usuarios de las IPS´s objeto del programa en agosto de 2006 es confiable y válida.

Las estimaciones reflejan así las características de las instituciones del marco muestral y las percepciones de calidad del usuario que demandó servicios en las instituciones en el mes de agosto de 2006.

5.2 Aprendizajes de la implementación y ajustes para uso en 2008 y 2010

Tal como lo prevé la consultoría y, como fue planteado en la descripción ya hecha de cómo se consolidó, implementó y ajustó esta metodología en general, un aprendizaje global señala que la evaluación intermedia 2008 y final 2010 es realizable por cualquier consultor que indique el Programa o, incluso, por personal operativo directamente contratado por el Programa. Los responsables de tal decisión valorarán la oportunidad de preparar y acompañar una medición

75

directamente a su cargo así como la disponibilidad de recursos para contratar un consultor externo que se encargue integralmente del proceso.

La plataforma teórica, procedimental, instrumental, operativa y analítica para mediciones futuras está aquí desarrollada lo que implicará a futuro un ejercicio más corto en el tiempo y de menor costo económico pues, básicamente, debe darse un proceso de recolección y de análisis de los hallazgos 2008 vs 2006 y, 2010 vs 2008 y 2006.

El consultor señala otros lineamientos de aprendizaje y de ajuste para la evaluación para el 2008 y 2010.

En el seguimiento del impacto del Programa se asume que el SGSSS continúa su desarrollo observado en los últimos años, en especial la ampliación de la universalidad del aseguramiento, particularmente en el régimen subsidiado que, como se observó, acoge gran parte de los actuales y futuros usuarios de los servicios. Las IPS objeto del Programa permanecen en el tiempo y se realizan las acciones contempladas en los convenios de desempeño firmado y no ocurren situaciones externas en el contexto social ni en las de las instituciones que afecten o modifiquen las condiciones de es la naturaleza de esta evolución y el influjo del programa esperar una dirección favorable como algunos pocos usuario lo refirieron en la línea de base al señalar evidencias subjetivas de mejora en la calidad de los servicio. La socialización masiva de los resultados de esta línea de base, en medios académicos, técnicos, políticos, gerencias y demás está considerado como un supuesto de validación externa, en especial si otros grupos no relacionados con el Programa utilizan y divulgan el uso del PECASUSS para establecer elementos de discusión de su validez y confiabilidad.

Es mandatario mantener a rigor las definiciones usadas en el glosario, la más fiel caracterización posible de los usuarios tal como se describió y, hasta donde sea posible controlar en el análisis la representación proporcional de las variables de institucionales y de persona hacia la comparación de hallazgos entre mediciones. Se incluyó en las respuestas del Pecasuss la categoría ama de casa para la variable ocupación pues el levantamiento señaló pertinente dicha opción y relativizar el posible efecto esperable que tendrá la expansión sostenida del régimen subsidiado en la tipología de afiliación y el volumen de usuarios que demandan servicios en las IPS´s públicas objeto de interés.Es mandatario usar en la mediciones futuras exclusivamente el marco aplicado en el 2006 para que: las IPS`s con convenio firmado desde el 2004 y las IPS`s hoy denominadas sin intervención mantengan su representación proporcional en las mediciones del 2008 y del 2010. Sus usuarios serán en las mediciones intermedia y final representativos de dos grupos intervenidos seguidos longitudinalmente, uno con intervención previa desde el 2004 y otro con intervención posterior a la medición inicial de junio de 2006; estos elementos son los que garantizan la comparabilidad entre valores absolutos del 2006 y los valores relativos a ser comparados longitudinalmente, con la oportunidad de observar el efecto del tiempo de la firma de convenios.

La percepción reportada de usuarios de IPS`s del marco muestral sin intervención al 2006, al 2008 y al 2010 son el grupo natural de control. Se debe ajustar para futuras mediciones la potencial pérdida de IPS`s del grupo de intervenidas en seguimiento por su no cumplimiento de convenidos de desempeño firmados desde el 2004 o las que desde julio de 2006 vengan a ser intervenidas; es pertinente señalar que en la historia del Programa este hecho es mínimo.

Además, debería explorarse un referente que permita caracterizar de algún modo cierta variabilidad potencial en las intervenciones efectivamente implementadas en cada IPS intervenida por el programa, que sea por tanto de difícil identificación y genere efectos variables en la percepción a ser medida.

76

Replicar en 2008 y 2010 el diseño, la técnica, uso del instrumento, procedimientos, operatividad y el plan análisis desarrollado tal como el informe final de la línea de base 2006 los deja consolidados. Se observaron diferencias, algunas significativas, entre los datos generales de productividad de servicios consolidados para las IPS al 2004 y la distribución actual de las características de los servicios por modificaciones significativas en la afiliación y demás. Las estadísticas de productividad consolidadas por el MPS fueron útiles para la preasignación general de los números relativos de encuestas a necesarias en cada IPS participante; el uso de la primera parte del CASIUSS demostró su utilidad para determinar, con más precisión, la proporcionalidad actualizada al 2006 de los tipos de usuarios según los diferentes servicios demandados y su afiliación al SGSSS. Se observó, en muy pocas IPS´s de la muestra, cierta falta de colaboración para el suministro oportuno de la información actualizada de la tipología de servicios demandados y de la afiliación de los usuarios al SGSS durante los meses previos al levantamiento de la línea de base 2006.

En la mayoría de IPS´s la oportunidad en el suministro de esta información y en la colaboración con el proceso de recolección fue muy satisfactoria, como corresponde a una institución de servicio de naturaleza pública.

Aunque sistemáticamente se veló por preservar la probabilidad de participación de todos los usuarios que posiblemente demandarían atención en la ventana temporal de la recolección de datos y como la magnitud de dicho error no se conoce a priori, este debe y puede estimarse a partir de los datos obtenidos de la muestra utilizada según el diseño probabilístico aplicado pues indicará la precisión de los hallazgos de la muestra.

El error de muestreo se mide por medio del error estándar (ES) calculado de un promedio, de una proporción, de un porcentaje, de una diferencia o de cualquier otra medida estadística calculada con base en los datos de la muestra no intencional obtenida. El ES es la raíz cuadrada de la varianza del promedio, de la proporción o de la medida estadística que hay disponible; mide la variación en todas las posibles muestras probabilísticas potencialmente obtenibles y por lo tanto mide la precisión con la que dicho valor estadístico de referencia, de estimación de valores en la muestra usada, se aproxima o se aleja del resultado o valor real que, para este caso particular, se hubiese obtenido si los datos hipotéticamente se hubiesen obtenido con la participación deseable en teoría pero impráctica en la realidad de todos los usuarios que efectivamente consultaron en agosto de 2006 los servicios de las 301 IPS´s públicas elegibles del Programa.

El error estándar relativo (ES rel) expresa la proporción o tamaño que tiene el ES calculado como valor respecto de la magnitud absoluta del indicador efectivamente estimado; para facilitar su expresión en términos de porcentaje sencillamente esa proporción puede multiplicarse por 100; además, debe tomarse en consideración que para interpretarlos en el diseño de esta metodología en general y de la muestra diseñada en particular, se trabajó con valores aceptables de máximo un ES rel del 5%.

Los intervalos dentro de los cuales encontraremos -con un nivel predefinido de 95% de confianza- el valor real del indicador se generan teniendo el valor del ES y los valores de restar - sumar dos veces su valor a los valores estimados.

La tabla siguiente es el referente visual de la comparación de las tres mediciones, siempre y cuando se cumplan los supuestos de normalidad, en caso contrario, el esquema tendrá que tener en cuenta los indicadores de la estadística no paramétrica como es el caso del Rango Promedio y de los valores P en las pruebas U de Mann-Whitney.

77

Tabla 21. Comparativo de estimaciones entre la base 2006 y la evaluación media de 2008 y final de 2010

Variable Línea base 2006 Con/Sin Medición 2008 Con/Sin Medición 2010 Con/Sin n % X (DE) IC 95% n % X (DE) IC 95% n % X (DE) IC 95%

Trámite para ser atendidoCategoríasCosto de servicio (% de n)CategoríasTiempo esperado CategoríasPercepción de tiempo esperadoCategoríasSolución a la necesidadCategoríasRespuestas del personalCategoríasAseo de la instituciónCategoríasEstado de la planta físicaCategoríasMuebles y enseresCategoríasTrato personal asistencialCategoríasTrato personal administrativoCategoríasCooperación entre funcionariosCategoríasCapacidad de los profesionalesCategoríasOrientación para cuidadosCategoríasCalidad servicio CategoríasSatisfacción generalCategorías

Así, determinar las diferencias generales entre las características institucionales y de persona de las muestras del 2006, 2008 y 2010 y, las específicas, de la dirección-magnitud de cambios en calidad percibida como impacto plausible del Programa es posible por comparaciones dentro y entre las muestras base que permitirá en últimas a los responsables del Programa afirmar con cierto grado de plausibilidad que los cambios observados fueron debidos o no al Programa ejecutado.

78

Sí una vez obtenidos los promedios e intervalos de puntaje dado a las variables medidas en calidad de servicio así como las distribuciones de las proporciones en las sub dimensiones indagadas por el Pecasuss en la mediciones media y final del 2008 y 2010, la diferencia (magnitud) entre estos valores y de estos al compararlos con los valores absolutos e intervalos de 2006 es mayor en dos veces el Error Estándar (dando un valor que cae fuera del IC al 95%) se podrá afirmar, con un 95% de confianza, que dicha diferencia es estadísticamente significativa y que positiva o negativamente (dirección) esto es una inferencia plausible del impacto del Programa. Por el contrario, si la comparación de los valores entre IPS´s con y sin convenio en las mediciones media y final y de estos contra los valores absolutos de 2006 muestra que la diferencia es menor o igual a dos veces el Error Estandar (los valores caen dentro del comparativo de los IC al 95%), esta diferencia se deberá, con una seguridad del 95%, a efecto del azar y no a un impacto del Programa.

6. CONCLUSIONES

6.1 Las iniciativas de los Gobiernos Nacional, Departamental y Local para la ampliación de cobertura de los servicios de atención pública en salud dirigidas a población pobre beneficiaria del régimen subsidiado y de las personas pobres aún sin afiliación pero con acceso a estos servicios, han afectado significativamente la proporcionalidad conocida de la distribución de la afiliación a la seguridad social de los usuarios de los servicios de salud en las IPS´s objeto de intervención del Programa.

6.2 Las diferencias observadas entre las respuestas institucionales obtenidas con las preguntas iniciales del instrumento CASIUSS, respecto de los datos de consolidados de productividad del 2004 de las IPS´s indicarían un incremento relevante de usuarios de condiciones socio-económicas postergadas que son atendidos en IPS´s públicas objeto de la intervención lo que puede afectar en ambas direcciones la calidad percibida.

6.3 El uso del PECASUSS reveló la pertinencia que tuvo el proceso de validación al que fue sometido. El desempeño del instrumento en manos de una docena de encuestadores, en distintas zonas del país y frente a usuarios de las diversas IPS´s seleccionadas mostró consistencia, facilidad y replicabilidad de su uso, aspecto fundamental para las mediciones futuras.

6.4 Según valores absolutos de la medición de línea de base en el 2006, la percepción mayoritaria que los usuarios tienen sobre las sub dimensiones estudiadas de calidad de los servicios públicos de salud en las IPS´s objeto de intervención del Programa es buena o muy buena; esto es ratificado por las opiniones registradas de las razones de adherencia y corroboró los hallazgos preliminares encontrados durante las pruebas del Pecasuss.

Sin embargo, preliminarmente tres elementos básicos deben comentarse como de interés al respecto.

Primero, aunque los hallazgos pueden ofrecer un panorama favorable para el conjunto público de servicios del SGSSS representados en las IPS´s del marco muestral de intervención del Programa, las características de los usuarios (55% estrato 1 y 38% estrato 2, por ejemplo o, 72% del total que reportaron primaria completa o menos o, que de la muestra un 26% estaban desempleados y un porcentaje no menor que este lo conformaron amas de casa) y el fenómeno de expansión de cobertura del régimen subsidiado experimentado en los últimos 3 años posiblemente generan un efecto favorable hacia la aceptación de los servicios recibidos.

79

Segundo, el potencial de mejoramiento de la calidad percibida existe como lo revelan porcentajes de 30-35% de usuarios que valoraron como negativa o apenas neutra su aceptación del estado de planta física o de los elementos existentes en mobiliario de salas de espera y cuartos; otros porcentajes menores, algunos aparentemente insignificantes, de usuarios que optaron por considerar respuestas no favorables a la calidad o las relativamente frecuentas respuestas neutras en los reactivos del instrumento en otras subdimensiones deben ser objeto de la mayor atención de todos los actores responsables de la calidad del servicio.

Tercero, la concentración del 75% de los usuarios entre los días martes a viernes y, del 90% de estos usuarios demandando servicios entre las 7 y las 17 horas del día pueden también generar efectos en dirección y magnitud variable en la calidad percibida de los servicios recibidos.

6.5 Con respecto al perfil de los usuarios de las IPSs públicas, se puede afirmar que: las mujeres son las que más consultan, el servicio más requerido es la consulta general y lo hacen personas subsidiadas. No obstante, lo anterior, la composición cambia según el nivel de atención para el caso de los requerimientos de los servicios.

Además, el nivel de educación es relativamente bajo, los usuarios en gran proporción sólo poseen primaria completa, también se detecta que existen otras actividades no descritas como trabajo o estudio al cual se dedica una gran parte de los usuarios, siendo más las mujeres las dedicadas a éste tipo de actividades.

6.6 En general, las instituciones intervenidas fueron mejor evaluadas por sus usuarios en los aspectos de calidad, si bien existen diferencias en algunos casos debido a causas no asignables al azar, también es cierto, que no se podría identificar como causante al Programa de Reorganización, Rediseño y Modernización de las Redes de Prestación de Servicios de Salud, hasta que se realice un seguimiento más exhaustivo en el tiempo, tal como se tiene previsto.

6.7 En el nivel I, se presenta mayor disparidad en las opiniones según intervenidas o no, mientras que los del nivel II, las percepciones son más similares. En el nivel III, se destaca la gran diferencia de opinión en el tiempo de espera, pareciéndoles menor el tiempo de espera a los usuarios de instituciones sin convenio.

6.8 Las percepciones de los usuarios según tipo de servicio y si poseen convenio o no, no sufren cambios sustanciales, estando en algunos tópicos ligeramente más conformes los que fueron atendidos en instituciones intervenidas.

6.9 Para los cotizantes (contributivo o beneficiario), las diferencias radican en la percepción sobre el aseo, el estado de la planta física y las salas y cuartos (muebles y enseres), siendo mejor percibidos en las instituciones con convenio. En los usuarios sin vinculación al SGSSS, las diferencias de opiniones son más evidentes a favor de las instituciones que poseen convenios o están intervenidas

6.10 Independiente de si existen sólo instituciones públicas o no, las intervenidas poseen mejores indicadores según los usuarios.

6.11 El ITF si influye en las opiniones de los usuarios. En los municipios de Centro Subregional Intermedio y Centro local no se presentan diferencias en la opinión de los usuarios sobre el trámite para ser atendidos, situación diferente a los otros municipios. En general en los municipios de Centro Regional Intermedio, es donde más diferencias se encontraron según la institución estaba intervenida o no.

80

6.12 En general para los usuarios de las instituciones con convenio, independiente del nivel, la atención general, calidad del servicio y trato de personal asistencial fue lo más valorado por los usuarios. Otro aspecto con un comportamiento similar por nivel en instituciones con convenio es el trámite para ser atendido, sin embargo, en el nivel III es considerado ligeramente mejor. En las instituciones sin convenio, los promedios obtenidos son más bajos, tan es así, que sólo se presenta un indicador del promedio con valor de 4.08 y es en la calidad del servicio en usuarios del nivel III.

6.13 La calidad del servicio es considerada buena en todos los tipos de servicios (consulta general, especializada, hospitalización y urgencias), el aspecto menos valorado por los usuarios, sin estar en un estado critico, es sobre el tiempo de espera que si bien no es considerado largo, tampoco se percibe como que sea de corta duración.

6.14 Independiente de la intervención, la calidad del servicio y el trato del personal asistencial son considerados positivamente, mientras que la percepción sobre el tiempo es lo menos positivo. Esto es recurrente en las demás clasificaciones.

6.15 Los aspectos de calidad se pueden agrupar en tres grandes dimensiones; la primera hace referencia a temas sobre la capacidad del personal y en tópicos referentes a la atención al usuario, la segunda se refiera a: la infraestructura física y por último, se encontró que el tiempo de espera y los costos son otro gran eje a ser considerado.

7. DIVULGACIÓN DE RESULTADOS

7.1 En transferencia integral de metodología y resultados al MPS y el Programa, 2 sesiones privadas.

7.2 Presentación pública –dos- convocadas tanto en el Ministerio de Protección Social como en la Facultad Nacional de Salud Pública de la Universidad de Antioquia.

7.3 Elaboración de resumen ejecutivo para guión de difusión general en medios electrónicos y físicos por parte del personal del Programa y la Dirección de Calidad del Ministerio de la Protección Social.

7.4 Publicación (5.000 ejemplares) del informe ejecutivo final, según tope del rubro presupuestal. El formato previsto es de 1/8 y el diseño general debe ser aprobado por el Programa en el Ministerio; se sugiere preliminarmente que tenga correspondencia visual de la carátula externa con el formato aplicado al material de socialización de la Política Nacional de Prestación de Servicios de Salud o, si existe, con otros productos previos o futuros previstos de divulgación del Programa.

7.6 Publicación, con autorización escrita del MPS, de artículos en revistas categoría A1 del publindex nacional o de la misma categoría según homologación de COLCIENCIAS para revistas extranjeras, sobre el ejercicio metodológico para la validación del PECASUSS y resultados de la medición de línea de base 2006.

7.7 Ponencias en: XII Congreso de Investigación en Salud Pública, Cuernavaca-Morelos en marzo de 2007 organizado por el Instituto Nacional de Salud Pública de México (fecha máxima sometimiento de resumen de 250 palabras en octubre 31 de 2006) y, en las jornadas de investigación del V Congreso Internacional de Salud Pública, Medellín-Antioquia en octubre de 2007 organizado por la FNSP de la UdeA.

81

Referencias citadas

1. Programa Reorganización, rediseño y modernización de redes prestadoras de servicios de salud. República de Colombia – Banco Interamericano de Desarrollo BID. Contrato de Préstamo BID 1525/OC-CO. 2. Propuesta de consultoría para el diseño de una metodología y establecimiento de línea de base en la percepción de usuarios sobre la calidad de servicios de IPS públicas. Medellín, Facultad Nacional de Salud Pública ¨ Héctor Abad Gómez ¨ Universidad de Antioquia, 2005.3. Rychetnik L, Frommer M, Hawe P, Shiell A. Criteria for evaluating evidence on public health interventions. J Epidemiol Community Health 2002; 56: 119-27.4. Rychetnik L, Hawe P, Waters E, Barrat A, Frommer M. A glossary on evidence in public health. J Epidemiol Community Health 2004; 58: 538-45.5. Palacio D. Presentación de la Política Nacional de Prestación de Servicios de Salud. Bogotá DC: Ministerio de la Protección Social, 2005.6. República de Colombia. Política Nacional de Prestación de Servicios de Salud. Bogotá DC: Ministerio de la Protección Social, 2005.7. Beaglehole R, Bonita R, Horton R, Adams O, McKee M. Public Health in the new era: improving health through collective action. Lancet 2004; 363: 2084-6.8. Habicht J, Victora C, Vaughan J. Evaluation designs for adequacy, plausibility and probability of public health programme performance and impact. Int J Epidemiol 1999; 28: 10-8.9. Reed L, Clark D. Appraising public medical services. Am J Pub Health 1941; 31: 421-30.10. Sheps M. Methods of evaluation for quality hospital services. Pub Health Reports 1955; 70 (9): 877-86.11. Organización Panamericana de la Salud. Situación de Salud en las Américas: indicadores básicos. Washington DC: Oficina del director adjunto OPS/OMS, 2005.12. Organización Panamericana de la Salud. Línea basal para el seguimiento y evaluación de la reforma sectorial. Washington. D.C.: OPS/OMS, 1998. Serie reforma del sector salud.13. Aldana E, Durán F, Becerra C, Varela J, Vélez E. Línea de base de la encuesta sobre lactancia materna 1978. Bogotá: Instituto SER de investigación, 1979.14. Gómez LF, Gómez LC, Mateus J, Samper B, Cabrera G. Línea de base para la evaluación del impacto de las acciones de prevención de factores de riesgo cardiovasculares en la localidad de Santa fe del Distrito Capital. Bogota: Secretaria Distrital de Salud-Fundación FES Social, 2002.15. República de Colombia. Programa familias en acción: Línea de base. En: SINERGIA-Sistema Nacional de Evaluación de Resultados de la Gestión Pública. Bogotá: Departamento Nacional de Planeación, 2002.16. Niño B, Bello M, Londoño S, Docal M, Torres V, Baquero M. Del socavón a la vida: Línea de base para el acercamiento a la erradicación y prevención del trabajo infantil en la minería artesanal colombiana. Bogotá: Proyecto PEPTIMA-Programa PRIAC, 2003.17. Muñoz E, Gutiérrez M, Arango O, Guerrero R. Conocimientos, actitudes y prácticas sobre violencia en Bogotá, Cali y Medellín: Línea de base. Bogotá: Ministerio de la Protección Social-Instituto CISALVA Universidad del Valle, 2004.18. Departamento Nacional de Planeación. Análisis de las encuestas de calidad de vida para evaluar el impacto del nuevo SGSSS en Colombia 1993-1997. Bogotá, 1998.19. Briceño C. Un modelo para evaluar la calidad del servicio en una IPS de alta complejidad, en su componente de “satisfacción del usuario”. Rev Col Marketing 2001; 2(3): 1-9.20. Defensoría del Pueblo. Primera Encuesta Nacional de Calidad Percibida por los Usuarios de Servicios de Salud. Bogotá, 2000.21. Ministerio de Salud. Programa de Apoyo a la Reforma en Salud-PARS. Proyecto Evaluación y ajuste de los procesos, estrategias y organismos encargados de la operación del sistema de garantía de calidad para las IPS`s. Bogotá: Consorcio Asociación Centro de Gestión Hospitalaria-Canadian Council on Health Services Acreditation-Qualimed, 2000.22. Ministerio de Salud. Programa Sistemas Municipales de Salud-PSMS. Proyecto Municipios Centinela, segunda medición evaluativo de los resultados y avances en los procesos con la implantación de la reforma del SGSSS en 20 municipios del país, 1995-1998. Bogotá, Diciembre de 2000.23. Cabrera G. Teorías y modelos en la salud pública del siglo XX. Colomb Médica 2004; 35(3): 184-8. Accesado el 30 de marzo de 2006 en http://tucanos.udea.edu.co/teoria24. Gómez R. Efectos de la Ley 100 en la institucionalidad de la salud en Colombia. Debates 2005; 41:38-48.25. Sánchez R, Echeverri J. Validación de escalas de medición en salud. Rev Salud Pública 2004; 6(3):302-18.

82

REFERENCIAS CONSULTADAS

Ross A, Zeballos J, Infante A. La calidad y la reforma del sector salud en América Latina y el Caribe. Rev Panam Salud Publica 2000; 8 (1:2): 93-8.

Ardon N, Rubio Z. Sistema de monitoreo de la calidad de la atención en salud por indicadores en los hospitales de I, II y III nivel de atención. Bogotá: Pontifícia Universidad Javeriana, 2005.

Silva L. Diseño razonado de muestras y captación de datos para la investigación sanitaria. Madrid: Diaz de Santos, 2000.

Simone C, Travassos C, Fernandes C. Produção de serviços e qualidade da assistência hospitalar no Estado do Rio de Janeiro, Brasil - 1992 a 1995. Rev Saúde Pública 1997; 31 (6): 601-17.

Silva J, Silver L. Evaluation of pharmaceutical assistance in public primary care in Brasília, Brazil Avaliação da assistência farmacêutica na atenção primária no Distrito Federal. Rev Saúde Pública 2005; 39 (2): 223-30.

Garay A, Íñiguez L, Martínez M, Muñoz J, Pallarès S, Vázquez F. Evaluación cualitativa del sistema de recogida de sangre en Cataluña. Rev Esp Salud Pública 2002; 76 (5): 437-450.

Junqueira V, Catarino U, Kayano J, Nascimento P, Iracema E, Leite J, et al. Equidad en la salud: evaluación de políticas públicas en Belo Horizonte, Minas Gerais, Brasil, 1993-1997. Cad Saúde Pública 2002; 18 (4):1087-1101.

Nabas R, Naspitz Ch, Fiorini R, Edina M. Avaliação do programa de atenção a crianças asmáticas acompanhadas as unidades de saúde do Município do Embu, São Paulo, 1988 a 1993. Cad Saúde Pública 1998; 14 (1):117-128.

Chen X, Wang L, Cai J, Zhou X, Zheng J, Guo J et al. Schistosomiasis control in China: the impact of a 10-year World Bank Loan Project (1992–2001). Bull World Health Organization 2005; 83 (1): 43-48.

Melchior R, Battistella M, Relva C, Lodeiro E, Soares B, Alves M et al. Avaliação da estrutura organizacional da assistência ambulatorial em HIV/Aids no Brasil. Evaluation of the organizational structure of HIV/AIDS outpatient care in Brazil. Rev Saúde Pública 2006; 40 (1): 143-51.

Quigley R, Taylor L. Evaluation as a key part of health impact assessment: the English experience. Bull World Health Organization 2003; 81 (6): 415-19.

Christofides N, Jewkes R, Webster N, Loveday P, Abrahams N, Martin L. “Other patients are really in need of medical attention” - the quality of health services for rape survivors in South Africa. Bull World Health Organization 2005; 83 (7): 495-502.

Gagliardino J, Hera M, Siri F. Grupo de Investigación de la Red QUALIDIAB. Evaluación de la calidad de la asistencia al paciente diabético en América Latina. Rev Panam Salud Pública 2001; 10 (5): 309-316.

Atkinson S, Haran D. Back to basics: does decentralization improve health system performance? Evidence from Ceará in north-east Brazil. Bull World Health Organization 2004; 82 (11): 822-827.

Rojas S, Prieto A, Franklyn E. Impacto de la Jornada Nacional de Vacunación contra la Poliomielitis en Colombia, 2001: una Aproximación Ecológica.

Sauceda A, Durán L, Hernández B. Evaluación de un programa de monitoría de la calidad de los servicios otorgados por una Organización no Gubernamental. Salud Pública de México 2000; 42 (5): 422-430.

83

López M, Fernández J, López S, del Valle M, García J, Cueto A. Evaluación de la implementación del programa Fapacán para prevenir el riesgo conductual de cáncer en usuarios de atención primaria del norte de España. Rev Esp Salud Pública 2003; 77 (6): 681-690.

Petersen E, Bourgeois D, Bratthall D, Ogawa H. Oral health information systems - towards measuring progress in oral health promotion and disease prevention. Bull World Health Organization 2005; 83 (9): 686-693.

Campbell O. Measuring Process in Safe Motherhood Programmes, a paper prepared for the WHO Technical Consultation on Safe Motherhood, held in Colombo, Sri Lanka, October 18–23, 1997; together with other PAHO documents. Safe Motherhood 2000 programs: Objective, design, and evaluation. Rev Panam Salud Pública 1998; 4 (4): 287-9.

Bronfman M, López S, Magis C, Moreno A, Rutstein S. Atención prenatal en el primer nivel de atención: características de los proveedores que influyen en la satisfacción de las usuarias. Salud Pública de México 2003; 45 (6): 445-454.

Martínez A, Van M, Nápoles F, Robles J, Ramos A, Villaseñor I. Hacia una estrategia de garantía de calidad: satisfacción en la utilización de los servicios médicos. Cad Saúde Pública 1996; 12 (3): 399-403.

Ramírez A, García J, Fraustro S. Definición del Problema de la Calidad de la Atención Médica y su Abordaje Científico: Un Modelo para la Realidad Mexicana. Cad Saúde Pública 1995; 11 (3): 456-462.

Gómez M., Arcosa P, Rubiera G, Rigueira. A. Comparación de dos modelos de indicadores de la calidad de la prescripción farmacéutica en atención primaria. Gac Sanit 2003; 17 (5): 375-83

Arifeen S, Bryce J, Gouws E, Baqui A, Black R, Hoque D, et al. Quality of care for under-fives in first-level health facilities in one district of Bangladesh. Bull World Health Organization 2005; 83 (4): 260-267.

Boller C, Wyss K, Mtasiwa D, Tanner M. Quality and comparison of antenatal care in public and private providers in the United Republic of Tanzania. Bull World Health Organization 2003; 81 (2): 116-122.

Kerssens J, Groenewegen P, Sixma H, Boerma W, Van I. Comparison of patient evaluations of health care quality in relation to WHO measures of achievement in 12 European countries. Bull World Health Organization 2004; 82 (2): 106-114.

Tangcharoensathien V, Wibulpholprasert S, Nitayaramphong S. Knowledge-based changes to health systems: the Thai experience in policy development. Bull World Health Organization 2004; 82 (10): 750-756.

Ramírez T, Nájera P, Nigenda G. Percepción de la calidad de la atención de los servicios de salud en México: perspectiva de los usuarios. ENSA-II. Bases conceptuales y metodológicas de la Encuesta Nacional de Salud II, México, 1994: México: Grupo Coordinador y de Diseño Conceptual de la ENSA-II. Salud Pública de México 1998; 40 (1): 1-10. Seclen J, Benavides B, Jacob E, Velásquez Aníbal, Watanabe E. ¿Existe una relación entre los programas de mejora de la calidad y la satisfacción de usuarias de atención prenatal?: experiencia en hospitales del Perú. Rev Panam Salud Pública 2004; 16 (3): 149–57.

Retamal A, Monge V. Calidad percibida por dos poblaciones adscritas a dos centros de salud de la provincia de Cuenca. Rev Esp Salud Pública 2000; 74 (3): 275-286.

Lavadenz F, Schwab N, Straatman H. Redes públicas, descentralizadas y comunitarias de salud en Bolivia. Rev Panam Salud Pública 2001; 9 (3): 182-189.

Ortiz R, Muñoz S, Torres E. Satisfacción de los usuarios de 15 hospitales de hidalgo, México. Rev Esp Salud Pública 2004; 78 (4): 527-537.

84

Mugisha F, Bocar K, Dong H, Chepng’eno G, Sauerborn R. The two faces of enhancing utilization of health-care services: determinants of patient initiation and retention in rural Burkina Faso. Bull World Health Organization 2004; 82 (8): 572-579.

Rodríguez G. Aspectos prácticos en el diseño y conducción de encuestas de salud. Vigilancia de Enfermedades No Transmisibles y Factores de Riesgo. Documento Técnico: Nº 1. SE, SF.

Maceiras L. Encuestas de satisfacción de usuarios. Salud Pública 2002; 2 (1): 28-33

Velandia F, Ardón N, Cárdenas J, Jara M, Pérez N. Oportunidad, satisfacción y razones de no uso de los servicios de salud en Colombia, según la encuesta de calidad de vida del DANE. Col Méd 2001; 32 (1): 4-9.

Gutiérrez R. La satisfacción del paciente como medida de la evaluación de la calidad percibida. En: Curso de Verano de la UCLM: “Evaluación de la calidad, satisfacción del paciente y gasto sanitario”. Toledo: Sescam; 2003. p. 1-30.

López J, Ariza R, Rodríguez J, Murguía C. Construcción y validación inicial de un instrumento para medir el estilo de vida en pacientes con diabetes mellitus tipo 2. Salud Pública de México 2003; 45 (4): 259-268.

Silveira K, Evandro C. Escala de apoio social aplicada a uma população de gestantes: confiabilidade teste-reteste e estrutura de concordância dos itens. Cad Saúde Pública 2005; 21 (3): 979-983.

Dragunsky E, Tatsuji N, Karpinski K, Furesz J, Wood D, Pervikov Y, et al. Transgenic mice as an alternative to monkeys for neurovirulence testing of live oral poliovirus vaccine: validation by a WHO collaborative study. Bull World Health Organization 2003; 81 (4): 251-260.

Garcia D, Maciel C, Oppermann V. Validity of the Community Periodontal Index of Treatment Needs’ (CPITN) for population periodontitis screening. Cad Saúde Pública 2006; 22 (2): 277-283.

Florindo A, Dias M, Morandi E, Negrão C, Ferreira L, Cotrim A. Validity and reliability of the Baecke questionnaire for the valuation of habitual physical activity among people living with HIV/AIDS. Cad Saúde Pública 2006; 22 (3): 535-541.

Majdalani M, Alemán M, Fayanás R, Guedes A, Mejía R. Validación de un cuestionario breve para detectar situaciones de violencia de género en las consultas clínicas. Rev Panam Salud Pública 2005; 17 (2): 79–83.

Torres H, Hortale A, Schall V. Validação dos questionários de conhecimento (DKN-A) e atitude (ATT-19) de Diabetes Mellitus. Rev Saúde Pública 2005; 39 (6): 906-11.

Zupiria G, Uranga I, Alberdi E, M. Barandiaran L. KEZKAK: cuestionario bilingüe de estresores de los estudiantes de enfermería en las prácticas clínicas. Gac Sanit 2003; 17 (1): 37-51.

Hidalgo A, Caballero R, Celis A, Rasmussen B. Validación de un cuestionario para el estudio del comportamiento sexual, social y corporal, de adolescentes escolares. Salud Pública de México 2003; 45 (S1): 58-S72.

Granero R, Ortiz R, Gómez O, Isaacura C, Goyo A, Rodríguez J. Validación de “infarto de miocardio” como causa de muerte en certificados de defunción, Barquisimeto, Estado Lara, Venezuela. Cad Saúde Pública 1997; 13 (3): 383-387.

Nunes J, Dambros M, Levi C, Rodrigues P, Rodrigues N. Validação para o português do “International Consultation on Incontinence Questionnaire-Short Form” (ICIQ-SF). Rev Saúde Pública 2004; 38 (3): 438-44.

Paganini J. La cobertura de la atención de salud en América Latina y el Caribe. Rev Panam Salud Publica 1998; 4 (5): 305-310.

85

Asch S, Kerr E, Keesey J, Adams J, Setodji C, Malik S, McGlynn E. Who Is at Greatest Risk for Receiving Poor-Quality Health Care ?. New England J Medicine 2006; 354 (11): 1147-1156.

García A, Artells J. Organización, funcionamiento y expectativas de las organizaciones representativas de pacientes. Encuesta a informadores clave. Gac Sanit 2005; 19 (2): 120-6.

Kelley E, Hurst J. Health Care Quality Indicators Project Conceptual Framework Paper. Paris: DELSA/HEA/WD/HWP; 09-Mar-2006.

Shaw V. Round Table. Health information system reform in South Africa: developing an essential data set. Bull World Health Organization 2005; 83 (8): 632-636.

Guevara C, Henao D, Herrera J. Síndrome de desgaste profesional en médicos internos y residentes del Hospital Universitario del Valle en Cali, 2002. Col Méd 2004; 35 (4): 173-178.

López M, Serrano A. Dimensiones y medición de la calidad de servicio en empresas hoteleras. Rev Col de Marketing 2001; 2 (3): 1-13.

Otalvaro G. Fatiga y accidentes de transito en una empresa de transporte urbano de la ciudad de Cali. [Trabajo final de especialización]. Cali: Grupo de Investigación Competitividad y Productividad Empresarial GICPE, Universidad Autónoma de Occidente.

Orjuela N, Ortegón M.. Premio a la gestión y calidad: desarrollo de una metodología de evaluación para las ESE adscritas a la red de la secretaria de salud del distrito. Bogotá. p. 1-17.

Colombia. Superintendencia de Servicios Públicos. Despacho y la Oficina Asesora de Planeación. Colección documentos SSPD. Encuesta de Percepción Ciudadana Sobre Servicios Públicos Domiciliarios. Encuesta – Centro Nacional de Consultoria. Bogotá: Imprenta Nacional.

Ruiz F, Peñaloza E, Garavito L. Modelo teórico y análisis empírico para la exportación en servicios de salud. Bogotá: Cendex/Pontificia Universidad Javeriana; Documento de Trabajo ASS /DT 012B- 04

Canaval G, González M, Martínez L, Tovar M, Valencia C. Depresión postparto, apoyo social y calidad de vida en mujeres de Cali, Colombia. Col Med 2000; 31 (1): 4-10.

Patiño J, Lugo L, García L, Paternina I, Guzmán J. Calidad de vida de pacientes con obstrucción maligna del esófago, la vía biliar y la vía urinaria sometidos a intervencionismo radiológico paliativo. Informe preliminar Medellín, Colombia. IATREIA 2005; 18 (2): 141-159.

Briceño C. Un modelo para evaluar la calidad del servicio de una IPS de alta complejidad, en su componente “satisfacción del usuario”. Rev Col Marketing 2001; 2 (3): 1-9.

Tovar M. Dolor en niños. Col Médica 2005; 36 (4 supl 3): 62-68.

Rodríguez A. Calidad de los servicios de salud en Colombia desde la perspectiva del consumidor: propuesta de construcción de una escala de medida. Fotocopia SF. p. 1-12.

Colombia. Observatorio ciudadano del Régimen Subsidiado. Comisión de calidad de la provisión de los servicios de salud. Veeduría distrital. Encuesta de la calidad percibida de la provisión del Régimen Subsidiado en la localidad de Usme. Informe preliminar. Bogotá: 2003.

86

ANEXOS (a este texto de Word) y ADJUNTOS (en otros formatos de archivo)

ANEXOS

Anexo 1 PECASUSS Hoja A-de instrucciones y hoja B-de respuestas

Anexo 2 Instructivo general para aplicación del PECASUSS

Anexo 3 CASIUSS

Anexo 4 Instructivo general para aplicación del CASIUSS

Anexo 5 Cartas de presentación y formato de cumplido para encuestadores

Anexo 6 Días y horas de aplicación de las encuestas a usuarios de 48 IPS`s públicas de Colombia 2006.

Anexo 7 Características de los usuarios entrevistados en agosto de 2006, resultados globales

Anexo 8 Pruebas de normalidad para los aspectos de percepción de calidad en los servicios de salud. Colombia agosto 2006.

Anexo 9 Pruebas de Mann-Whitney con convenio VS sin convenio

Anexo 10 Pruebas de Mann-Whitney con convenio VS sin convenio según nivel de atención

Anexo 11 Archivo con tablas de medidas resumen para cada variable de identificación según tipo de institución

Anexo 12 Resultados análisis factorial global

Anexo 13 Nombres IPS donde no volverían algunos usuarios.

ADJUNTOS

Adjunto 1 IPS del marco muestral de la línea de base 2006

Adjunto 2 Estadísticas de producción 2004 de IPS`s en las tres opciones de muestra

87

Anexo 1 PECASUSS Ministerio de la Protección Social - República de Colombia Facultad Nacional de Salud Pública” Héctor Abad Gómez” - Universidad de Antioquia

Percepción de Calidad Según Usuarios de Servicios de Salud – PECASUSS ©A- PAGINA DE INSTRUCCIONES, plastificada

Escriba en el encabezado de la hoja de respuesta la fecha y datos de: 1. IPS 2. Nivel de atención y 3. Municipio.

Una vez este seguro que el usuario comprendió el asunto, pregúntele y marque en la hoja B, de respuestas, los datos de:

Hora global y día de semana de entrevista. 4. Servicio demandado. 5. Afiliación al SGSSS. 6. Sexo.

7. Edad del usuario o informante, según. 8. Educación. 9. Ocupación. 10. Estrato.

Dígale al encuestado: “para cada pregunta escoja sólo una respuesta”.

11. El trámite que hizo para ser atendido(a), hoy o el día qué ingresó a la institución, le pareció:1. muy complicado 2. complicado 3. ni complicado ni sencillo 4. sencillo 5. muy sencillo

12. Si tuvo que pagar algo para ser atendido(a), este pago le pareció: (si no tuvo que pagar, pase a la 13).1. muy caro 2. caro 3. ni caro ni barato 4. barato 5. muy barato

13. El tiempo desde que llegó a urgencias, a cumplir o pedir una cita, hasta que lo(a) atendieron fue de: en min.

14. Este tiempo que tuvo que esperar hasta que lo(a) atendieron, le pareció:1. muy largo 2. largo 3. ni largo ni corto 4. corto 5. muy corto

15. La solución que le dieron a la necesidad de salud por la que consultó esta institución u hospital le pareció:1. muy mala 2. mala 3. ni mala ni buena 4. buena 5. muy buena

16. Las respuestas del personal de la institución ante sus inquietudes o preguntas le parecieron:1. muy inapropiadas 2. inapropiadas 3. ni inapropiadas ni apropiadas 4. apropiadas 5. muy apropiadas

17. El aseo de la institución le pareció:1. muy malo 2. malo 3. ni malo ni bueno 4. bueno 5. muy bueno

18. La planta física o sea el edificio de la institución le pareció:1. muy descuidado 2. descuidado 3. ni descuidado ni cuidado 4. cuidado 5. muy cuidado

19. Las salas de espera, la silletería, las camas y camillas, si las vió o las usó, le parecieron:1. muy incómodas 2. incómodas 3. ni incómodas ni cómodas 4. cómodas 5. muy cómodas

20. El trato que recibió de médicos, enfermeras y otros profesionales de salud le pareció:1. muy malo 2. malo 3. ni malo ni bueno 4. bueno 5. muy bueno

21. El trato que le dieron porteros, cajeros, auxiliares y otro personal administrativo le pareció:1. muy malo 2. malo 3. ni malo ni bueno 4. bueno 5. muy bueno

22. La cooperación entre funcionarios de la institución (o de instituciones) ante su necesidad de atención fue: 1. muy mala 2. mala 3. ni mala ni buena 4. buena 5. muy buena

23. La capacidad de los profesionales para solucionar su necesidad de salud le pareció:1. muy baja 2. baja 3. ni baja ni alta 4. alta 5. muy alta

24. La orientación que recibió en la institución para efectuar cuidados de su salud en casa le pareció:1. muy insuficiente 2. insuficiente 3. ni insuficiente ni suficiente 4. suficiente 5. muy suficiente

25. Desde cero (pésimo) hasta cinco (excelente), con cuanto calificaría la calidad del servicio recibido ?

26. La atención recibida en la institución lo dejó en general ?1. muy insatisfecho 2. insatisfecho 3. ni insatisfecho ni satisfecho 4. satisfecho 5. muy satisfecho

27. Volvería al hospital ?: Marque 28. Por qué ?: Anote 29. Que debe mejorar el hospital ?: Anote

88

Anote toda situación o información que le parezca o que conozca que pueda tener un efecto positivo o negativo en el volumen de la demanda de servicios o en la percepción de la calidad de servicios prestados por la institución.

Déle al usuario y/o informante el mayor agradecimiento posible por el tiempo y colaboración con la encuesta realizada.Ministerio de la Protección Social - República de Colombia Facultad Nacional de Salud Pública “Héctor Abad Gómez” - Universidad de Antioquia

Percepción de Calidad Según Usuarios de Servicios de Salud - PECASUSS ©B-RESPUESTAS, impresa tanto por el frente como por el reverso de la hoja Fecha: _ _ / _ _ /_ _

dd mm aa 1. IPS:______________________________________ 2. Nivel: ___ 3. Municipio:_______________________

Hr:_ _ Día: _ Hr:_ _ Día: _ Hr:_ _ Día: _ Hr:_ _ Día: _ Hr:_ _ Día: _ Hr:_ _Día:_ Hr:__ Día:_4.________________ 4. _______________ 4.________________ 4.______________ 4.________________ 4.____________ 4._________

5.Con __c_b_ 5.Con __c_b_ 5.Con __c_b_ 5.Con __c_b_ 5.Con __c_b_ 5.Con__c_b_ 5.Con_c_b_Sub __ Sub __ Sub __ Sub __ Sub __ Sub __ Sub __Sin __ Sin __ Sin __ Sin __ Sin __ Sin __ Sin __

6. M_ F_ 6. M_ F_ 6. M_ F_ 6. M_ F_ 6. M_ F_ 6. M_ F_ 6. M_ F_

7. __ __ 7. __ __ 7. __ __ 7. __ __ 7. __ __ 7. __ __ 7. __ __

8. ___ 8. ___ 8. ___ 8. ___ 8. ___ 8. ___ 8. ___

9. ____ 9. ____ 9. ____ 9. ____ 9. ____ 9. ____ 9. ___

10. __ 10. __ 10. __ 10. __ 10. __ 10. __ 10. __

11. __ 11. __ 11. __ 11. __ 11. __ 11. __ 11. __

12. __ 12. __ 12. __ 12. __ 12. __ 12. __ 12. __

13. _ _ _ 13. _ _ _ 13. _ _ _ 13. _ _ _ 13. _ _ _ 13. _ _ _ 13. _ _ _

14. __ 14. __ 14. __ 14. __ 14. __ 14. __ 14. __

15. __ 15. __ 15. __ 15. __ 15. __ 15. __ 15. __

16. __ 16. __ 16. __ 16. __ 16. __ 16. __ 16. __

17. __ 17. __ 17. __ 17. __ 17. __ 17. __ 17. __

18. __ 18. __ 18. __ 18. __ 18. __ 18. __ 18. __

19. __ 19. __ 19. __ 19. __ 19. __ 19. __ 19. __

20. __ 20. __ 20. __ 20. __ 20. __ 20. __ 20. __

21. __ 21. __ 21. __ 21. __ 21. __ 21. __ 21. __

22. __ 22. __ 22. __ 22. __ 22. __ 22. __ 22. __

23. __ 23. __ 23. __ 23. __ 23. __ 23. __ 23. __

24: __ 24: __ 24: __ 24: __ 24: __ 24: __ 24: __

25: __ __ 25: __ __ 25: __ __ 25: __ __ 25: __ __ 25: __ __ 25: __ __

26: __ 26: __ 26: __ 26: __ 26: __ 26: __ 26: __

27.Sí__ No__ 27.Sí__ No__ 27.Sí__ No__ 27.Sí__ No__ 27.Sí__ No__ 27.Sí__ No__ 27.Sí__No__

28. Usuario _________________________________________________________________________________________Usuario ____________________________________________________________________________________________Usuario ____________________________________________________________________________________________Usuario ____________________________________________________________________________________________Usuario ____________________________________________________________________________________________Usuario ____________________________________________________________________________________________Usuario ____________________________________________________________________________________________

29. Usuario _________________________________________________________________________________________Usuario ____________________________________________________________________________________________Usuario ____________________________________________________________________________________________Usuario ____________________________________________________________________________________________Usuario ____________________________________________________________________________________________

89

Usuario ____________________________________________________________________________________________Usuario ____________________________________________________________________________________________Anexo 2 INSTRUCTIVO GENERAL PARA APLICACIÓN DEL PECASUSS

Identifique el punto de circulación final o salida de los usuarios que, según la tabla de asignación numérica de encuestas a efectuar en cada IPS, le permitan la identificación de potenciales informantes. Salude al usuario y al acompañante, si lo tiene. Si se trata de un niño, un paciente en recuperación o una persona con una discapacidad tal que le impida responder a las preguntas, utilice como fuente de información al acompañante, siempre y cuando este estuvo durante el proceso de esta atención junto al infante o el paciente incapaz de responder. En caso de dudas al respecto, prefiera despedir cordialmente estas personas sin diligenciar nada y aborde a otro usuario atendido en el servicio pre-asignado para encuesta.

Explíquele de que se trata el estudio y la importancia de que las respuestas sean ciertas y precisas. Explíquele que para la mayoría de preguntas sólo debe escoger una respuesta según la percepción del servicio o atención en salud recibida.

ENCABEZADO

1. IPS: Corresponde al nombre de la institución u hospital público donde usted está aplicando el PECASUSS, HOY.

2. Nivel de atención: Corresponde al nivel de complejidad de la institución en la que se está aplicando la encuesta; puede ser nivel I, II o III ; está predefinido en el listado del marco muestral o en la muestra de IPS´s del estudio.

3. Municipio: Se trata del municipio o ciudad donde está ubicada geográfica y administrativamente la IPS visitada.

4. Servicio: Anote sobre la línea el servicio electivo (consulta medica general, especializada u hospitalización) que se usó o, escriba la palabra urgencias en el caso de: usuarios que entraron exclusivamente por urgencias ese día o, usuarios que entraron por urgencias en días anteriores, tienen salida exclusiva de dicho servicio y no estuvieron en hospitalización. En el caso de usuarios con alta o salida que estuvieron en urgencias y tuvieron un día o más de hospitalización o, que por su necesidad de atención ambulatoria requirieron de más de un servicio en una misma IPS o de una red de IPS`s, anote el nombre del servicio clave que estuvo más relacionado en esta oportunidad a la necesidad específica de atención del usuario. SIEMPRE, antes de anotar, tenga absoluta certeza de lo que registrará; podría presentarse un sesgo de asignación, de su responsabilidad.

DATOS DEL USUARIO Cuídese de no inducir la respuesta, y anote sólo lo que el usuario responda.

Marque hora global (1 a 24, sin fracción) y letra inicial del día (Lunes a Domingo; Mc- miércoles) de la encuesta.

5. Afiliación al SGSSS: Tipo de afiliación del usuario a la seguridad social. Puede estar afiliado al régimen contributivo o a régimen especial (magisterio, fuerzas militares, ECOPETROL, entre otros, pero por alguna razón fue atendido en la IPS); todos estos - contributivos y especiales- los debe clasifican como régimen contributivo (Con) y debe sub clasificarlos como usuario cotizante (c) o usuario beneficiario (b). Los demás usuarios son clasificables en régimen subsidiado (Sub) o son usuarios sin afiliación al SGSSS (Sin).

6. Sexo: Si las características visibles del usuario son bien definidas no es necesario preguntar verbalmente. Si son infantes cuyas características no son visibles o son confusas, ratifique el sexo del bebé mediante su acompañante.

7. Edad: Años cumplidos de la persona que reporta la información, sea directamente el usuario o de informantes calificados que son acompañantes de un infante o de personas incapacitadas de responder directamente.

8. Educación: Nivel educativo completo que alcanzó la persona que da la información. Las opciones son:

Ninguno-N Primario-P Secundario-S Técnico-tecnológico-T Profesional-Pr Postgrado-Po

9. Ocupación: Actividad del usuario o, la del informante SOLO en el caso de infantes no escolarizados. En el caso de adultos incapacitados, registre la ocupación de ese adulto atendido, no la del informante que lo acompaña. Opciones son:

Ama de casa-A Estudiante-E Trabajador dependiente-TD Trabajador independiente-TI

Desempleado-D Pensionado-P Otra-O

90

10. Estrato: Estrato socioeconómico del usuario de los servicios; en caso de duda del usuario o del informante calificado, consulte si se lo permiten los documentos portados al respecto. El estrato solo puede variar de 1 hasta 6; en caso de usuarios sin estratificación municipal, marque 9.

CUERPO DE LA ENCUESTA

Pregunta 11. Corresponde a la percepción que el usuario tuvo sobre dificultades presentadas para acceder al servicio este día o el día que ingresó por urgencias u otro servicio. Por ejemplo: exigencia de documentos no requeridos habitualmente; que como usuario no aparece en la agenda de citas o que no aparece en la base de datos u otras dificultades semejantes.

12. Pregúntele a la persona encuestada si tuvo que realizar algún pago para obtener el servicio requerido; en caso de que la respuesta sea negativa, pase a la pregunta 13. En el caso de pago, la pregunta se refiere a la percepción que el usuario tiene del monto que canceló para acceder al servicio en la institución; en ningún caso anote el monto o valor que el usuario diga.

13. Trate que el usuario precise cuánto tiempo en minutos esperó entre su llegada a la institución por el servicio de urgencias, o desde su llegada a pedir o a cumplir la cita que le habían asignado para atención electiva hasta el momento en que fue atendido. Recuerde convertir, por ejemplo, media hora en 30 min; una hora en 60 min.; hora y media son 90 min.

14. Es la percepción que el usuario tiene de la magnitud de la espera que hizo en su ingreso inicial o en el día de hoy.

15. Percepción que el usuario tiene sobre la solución dada al problema de salud que motivó su llegada a la institución.

16. Corresponde a la apreciación que el usuario tiene sobre la(s) respuesta(s) recibida(s) a inquietudes que tuvo sobre su situación, su enfermedad, exámenes o procedimientos a realizar, diligencias en su EPS, ARS o cualquier pregunta similar.

17. Apreciación que el usuario tiene sobre el aseo o la limpieza de las instalaciones de la institución en que fue atendido.

18. Percepción que tiene el usuario del estado físico y visible de las instalaciones de la institución donde fue atendido.

19. Corresponde a la percepción que tiene el usuario de la dotación de la institución en cuanto a la comodidad de camas, camillas, muebles, sillas y equipos en habitaciones, consultorios y salas de espera.

20. Apreciación que el usuario tiene sobre el trato recibido del personal responsable de la atención (médicos, enfermeras, auxiliares, bacteriólogas) el día o en los días en que, si fue el caso, permaneció hospitalizado.

21. Corresponde a la apreciación que el usuario manifiesta sobre la forma como el personal administrativo o auxiliar de la institución (porteros, secretarias, cajeros, auxiliares, entre otros) lo trató.

22. Identifica como percibe el usuario la coordinación entre personas de uno o varios hospitales con atención en red.

23. Identifica como percibió el usuario la idoneidad de los profesionales médicos, enfermeras, auxiliares, entre otros, para solucionar el problema que motivó su demanda de atención en salud.

24. Corresponde a la percepción que el usuario tiene sobre la suficiencia de las indicaciones que recibió -adicionales a las acciones médicas o de enfermería específicas- para continuar con el manejo de su motivo de atención en su domicilio.

25. Corresponde a la calificación que el usuario da a la atención recibida hasta hoy, al momento de la encuesta. El usuario puede dar enteros como 0, 1, 3, o 5; también vale respuesta con decimal como 2.5 (dos y medio o dos con cinco).

26. Corresponde al grado de satisfacción global del usuario con el servicio recibido hasta la hora de la encuesta.

27. Corresponde a la decisión que el usuario tomaría al momento de requerir una nueva atención para solucionar algún problema relacionado con su salud o la de un allegado.

28. Anote, resumiendo, los comentarios del usuario de por qué volvería o no a utilizar los servicios de la institución.

29. Anote, sintéticamente, las recomendaciones que según la apreciación del usuario debe ejecutar la institución.

En sus notas, escriba cualquier situación extraordinaria o anormal que llegue a conocer en su interacción con el personal de la IPS que ha ocurrido ese día, que pueda generar una mayor o menor demanda de servicios o que influya la percepción o directamente modifique la

91

calidad de los mismos por la ocurrencia de situaciones extraordinarias tales como: calamidades, accidentes múltiples, paros, festividades, etc. También, notas del día a día de recolección de datos escriba observaciones a la técnica, instrumento y la aplicación del PECASUSS.

Anexo 3 CASIUSS

Ministerio de la Protección Social - República de Colombia Facultad Nacional de Salud Pública “Héctor Abad Gómez” - Universidad de Antioquia

Caracterizador de Subsistemas de Información de Usuarios de Servicios de Salud CASIUSS ©

IPS: _______________________________Nivel : __________ De:______________ Fecha:_ _ /_ _ /0_ dd mm aa

Encuesta para el responsable de la oficina de archivo, estadística o similar en la IPS visitada. Salude muy bien, pregunte, corrobore si es posible y después marque o anote la respuesta según sea el caso:

1. El número promedio de usuarios atendidos cada mes en la institución es ? ___ ___ ___.

2. La distribución porcentual de estos usuarios según servicios es : tanto ___ % en el servicio __________________________;

___% en ________________; ___% en_________________; ___% en___________________; ___% en_____________; ___% Otros.

3. Cuál es la distribución de los usuarios según su afiliación al SGSSS:

___% del Régimen contributivo (incluya los de régimen especial; ___% del subsidiado; ___% Usuarios Sin afiliación

4. Donde toman por primera vez los datos de identificación general de sus usuarios ?

__ En admisiones __ En la caja __En otro lugar o lugares, cuál(es):_______________________; ________________________.

5. El recurso físico o de personal para registrar información sus usuarios es suficiente ? ___Si ___No, porqué__________________________________________________________________________________________________________________ .

6. Hace cuantos años toman o registran información de los usuarios que son atendidos en la institución ? __________(años).

7. Por cuánto tiempo se guarda la información registrada de los usuarios ? __________(años).

8. Donde almacenan los datos de los usuarios ?: __En cuadernos o registros en papel __En archivo o disco magnético

__En un software, cual: _____________________________. __En otro medio, cuál: ________________________________

9. La información de los usuarios la procesan ?: __ Manual __Con sistemas __ De forma mixta __No se procesa

10. Que uso dan a esta información ? __ Reportes __Controles __Otros, cuales: _____________ , ___________________

11. Si son reportes, Anote en orden de importancia hasta cinco tipos de reportes que obtienen de la información de sus usuarios,

_____________________, ____________________, _____________________, ___________________, ___________________

12. Si son controles, Anote en orden de importancia hasta cinco tipos de controles que hacen con la información de sus usuarios _____________________, ____________________, _____________________, ___________________, ___________________

13. Quienes usan en su institución la información que registran de los usuarios ? Anote hasta cinco en orden de importancia _____________________, ____________________, _____________________, ___________________, ___________________

14. Escriba el nombre de la oficina a cargo de la información de los usuarios:_________________________________

15. Esta oficina aparece en el organigrama institucional ? ___Si ___No Favor corroborar directamente en un organigrama

16. Si está en el organigrama, de quien depende jerárquicamente?: ___________________________Corroborar en un organigrama

17. El cargo del responsable de la información de los usuarios es:_______________________________________

18. Este cargo está en el manual de funciones de la institución: ___Si ___No ____No sabe

19. Cual es su mayor nivel de formación ?: __primaria __secundaria __ técnica __ profesional __otra, Cual _________________

20. Cuantos años lleva en este cargo ?: __ __ años

21. Antes de este, qué otros cargos a ocupado en la institución ?: __________________, ___________________, _____________

22. Ha ocupado algún cargo similar en otra institución ? Si___ cuál: ________________________________________ No___

23. El acceso a la información de usuarios tiene restricciones ? __ Sí __ No; Porqué tiene restricciones ?; _____________________________________________________________________________________________________________________________

24. Describa el Software de su dependencia, si lo hay, para registrar la información de los usuarios de esta IPS: ________

92

_________________________________________________________________________________________________________ .25. Que más cree usted que podría hacerse con la información de los usuarios de esta institución ? ___________________________________________________________________________________________________________________________________

Anexo 4 INSTRUCTIVO GENERAL PARA APLICACIÓN DEL CASIUSSEn el primer contacto que establezca con la persona que lo recibe en la institución (Gerente, Administrador, Jefe de Calidad, Jefe de atención al usuario u otro) y luego de presentarse, consulte cuál es el área donde se maneja la información de los usuarios (estadística, archivo o similar) y quién está a cargo de ésta.

Solicite autorización para aplicar el CASIUSS al funcionario específico. Explíquele en que consiste el instrumento y cual es su propósito, y posteriormente concrete el lugar y la hora para realizarlo; clarifique que sólo se aplica una vez.

Anote el nombre de la IPS (institución u hospital público) donde está aplicando el CASIUSS, nivel de complejidad (puede ser I, II o III, que está predefinido) y la ciudad o municipio donde está ubicada geográfica y administrativamente.

Pregunte, corrobore cuando sea necesario y luego marque o anote la(s) respuesta(s) según sea el caso:

1. Cantidad de usuarios atendidos, en promedio, mensualmente en la institución.

2. Según la distribución de usuarios por servicios de la institución, escriba el porcentaje promedio de usuarios para cada uno de los servicios más relevantes y descríbalos.

3. Según la distribución de usuarios por tipo de afiliación al SGSSS de la institución, escriba el porcentaje de usuarios para cada una de las categorías señaladas.

4. Área de la institución encargada de solicitar los datos de los usuarios, al momento de su admisión, para registrarlos en el medio destinado para tal fin.

5. Defina si existe o no suficiencia de recursos físicos y de talento humano para registrar al información los usuarios y argumente la respuesta.

6. Precise el tiempo en años desde que la institución solicita y registra los datos de los usuarios que atiende.

7. Precise el tiempo en años, durante el cual, se guarda la información de los usuarios de la institución.

8. Medio en el cual, la institución almacena los datos de los usuarios.

9. Método que utiliza la institución para procesar la información de los usuarios.

10. Seleccione y describa si es el caso, para qué utiliza la institución la información de los usuarios.

11. Si la respuesta a la pregunta anterior fue reportes, anote en orden de importancia hasta cinco tipos de reportes que la institución puede obtener de la información de los usuarios.

12. Si la respuesta a la pregunta 9 fue controles, anote en orden de importancia hasta cinco tipos de controles que la institución puede realizar con la información de los usuarios.

13. Anote en orden de importancia, hasta cinco cargos de funcionarios de la institución, que utilizan la información de los usuarios.

14. Área o dependencia responsable del manejo de la información de usuarios de la institución.

15. Defina y corrobore si la dependencia responsable de la información de usuarios aparece en el organigrama institucional.

16. Si la respuesta a la pregunta anterior es si, identifique de qué área depende jerárquicamente.

17. Cargo del funcionario responsable de la información de los usuarios de la institución.

18. Verifique si el cargo del funcionario responsable de la información de los usuarios está en el manual de funciones de la institución.

19. Nivel educativo formal máximo alcanzado por la persona responsable de la información de los usuarios de la institución.

20. Tiempo en años, que la persona responsable de la información de los usuarios de la institución, lleva desempeñando este cargo.

21. Cargos que la persona responsable de la información de los usuarios, ha desempeñado en la institución antes de ocupar el cargo actual.

22. Identifique si la persona responsable de la información de los usuarios, ha desempeñado algún cargo similar en otra institución, en caso de que así sea, descríbalo.

93

23. Restricción en cuanto al acceso a la información de los usuarios de la institución.

24. Si en la dependencia a cargo de la información de los usuarios existe un Software para registrar esta información, descríbalo.

25. Posibles usos adicionales, que a juicio del entrevistado, podría tener la información de los usuarios de la institución.Anexo 5

CARTAS DE PRESENTACION y CUMPLIDO DE VISITA

Medellín, Julio 31 de 2006.

Doctor(Nombre y Apellidos)Gerente – DirectorESE XXXXXCiudad – Municipio

Asunto: Encuesta de percepción de calidad según usuarios de IPS´s públicas

Respetado Doctor (Apellido)

El Ministerio de la Protección Social, a través del Fondo Financiero de Proyectos de Desarrollo-FONADE, contrató a la Facultad Nacional de Salud Pública “Héctor Abad Gómez” de la Universidad de Antioquia para: Diseñar una metodología de evaluación del impacto del programa de reorganización, rediseño y modernización de redes prestadoras de servicios de salud según la calidad percibida por los usuarios de las IPS públicas e, implementar dicha metodología en el levantamiento de una línea de base en el año 2006, referente para las comparaciones al 2008 y 2010.

La IPS que usted dirige hace parte de una muestra de 48 IPS`s, seleccionadas al azar entre 301, para la aplicación de encuestas. Esta actividad se desarrollará durante el mes de Agosto de 2006.

La persona asignada para la recolección de datos se presentará ante usted portando una escarapela y una carta de que lo identificará como encuestador del proyecto

Le agradecemos de antemano toda la colaboración que usted y su equipo de trabajo le pueda brindar para que esta persona realice su labor sin dificultades.

Atentamente,

Oscar Sierra Rodríguez Gustavo Alonso Cabrera AranaDecano Facultad Nacional de Salud Pública Profesor asociado

94

Universidad de Antioquia Director proyecto línea de base 2006

Copia: Dirección de Calidad del Ministerio de la Protección Social.Programa República de Colombia-BID.

95

Medellín, Agosto 1 de 2006

Doctor(Nombre y Apellidos)Gerente – DirectorESE XXXXXCiudad – Municipio

Asunto: Presentación del encuestador del estudio de percepción de calidad 2006

Respetado Doctor (Apellido)

La Universidad de Antioquia - Facultad Nacional de Salud Pública “Héctor Abad Gómez” fue contratada por el Ministerio de la Protección Social - Fondo Financiero de Proyectos de Desarrollo-FONADE, para diseñar una metodología de evaluación del impacto del programa de reorganización, rediseño y modernización de redes prestadoras de servicios de salud según la calidad percibida por los usuarios de las IPS públicas e, implementar dicha metodología en el levantamiento de una línea de base en el año 2006, referente para las comparaciones al 2008 y 2010.

El portador de la presente: XXXXXXX XXXXX XXXXX, identificado con la cédula de ciudadanía No. XXXXXXXX es la persona que encargada de aplicar XXXX encuestas a usuarios de la IPS que usted dirige, a partir de la fecha.

Agradecemos toda la colaboración de le pueda brindar.

Atentamente

Carlos Eduardo Castro Hoyos Gustavo Alonso Cabrera AranaJefe Centro de Extensión Profesor asociadoFacultad Nacional de Salud Pública Director proyecto línea de base 2006Universidad de Antioquia

Copia: Dirección de Calidad del Ministerio de la Protección Social.Programa República de Colombia-BID.

96

Consultoría 2060685

Contratada por el Ministerio de la Protección Social a través del Fondo Financiero de Proyectos de Desarrollo-FONADE con la Universidad de Antioquia-UdeA

Proyecto para el diseño de una metodología de evaluación del impacto del Programa de Reorganización, Rediseño y Modernización de las redes de prestación de servicios de salud, en la

percepción de los usuarios sobre la calidad de los servicios prestados por las IPS públicas, e implementación de la metodología diseñada para el levantamiento de la línea de base 2006

CERTIFICADO DE COMISIÓN

ESE HOSPITAL ____________________________________________________

MUNICIPIO___________________ DEPARTAMENTO _____________________

Yo _____________________________________ con Cédula de Ciudadanía No.

_________________________ en calidad de ___________________________ de la ESE

Hospital__________________ certifico que el señor (a)

_______________________________________________ encuestador al servicio de la

Universidad de Antioquia - Facultad Nacional de Salud Pública, estuvo aplicando las encuestas del

Proyecto sobre Percepción de la Calidad de los Servicios de Salud objeto de la consultoría citada,

durante los días __________ del mes de _____

Para Constancia se firma a los ____ días del mes de ______ de 2006

______________________________________________________ FIRMA

97

Texto original del prólogo:

O detalhado trabalho de avaliação aqui descrito é marcado pelo rigor metodológico em seus diversos aspectos, desde a conceptualização do objeto do estudo, a pesquisa bibliográfica de diferentes metodologias de avaliação, o amplo processo amostral e a rigorosa padronização da coleta de dados. O tema escolhido é altamente relevante. Grande parte dos estudos de avaliação se concentram no lado da oferta, ignorando a demanda de serviços, as características dos usuários e seu grau de satisfação com o atendimento recebido. Estes dados de linha de base serão de grande utilidade para o aperfeiçoamento e reorganização dos serviços sendo prestados à população. A repetição do inquérito dentro de um par de anos permitirá, sem dúvidas, evidenciar os progressos atingidos. É importante salientar que esta investigação, embora aborde um aspecto especifico de uma totalidade maior que engloba a oferta, utilização, cobertura e impacto dos serviços, foi delineada dentro de um marco conceitual abrangente. Os resultados aqui apresentados servem como estímulo para a ampliação da coleta de dados quantitativos e qualitativos, de forma prospectiva, visando a uma avaliação global do programa de reorganização. Os autores demonstram maturidade conceitual e metodológica, evidenciando como a escolha de uma metodologia relativamente simples pode contribuir para o aprimoramento dos serviços assistenciais e, em última instância, dos níveis de saúde da população. Islândia, outubro de 2006.

Reseña biográfica de C.G.Victora:

Brasilero, es médico graduado en 1976 de la Universidad Federal de Rio Grande do Sul. Desde 1977 es docente en la Universidad Federal de Pelotas-UFPEL, ciudad del sureño Estado ya citado. En 1983 obtuvo un PhD en epidemiología de la atención en salud, de la Escuela de Higiene y Medicina Tropical de la Universidad de Londres-EHMTL y, desde entonces, realizó una extensa actividad investigativa en salud materna e infantil, nutrición, equidad y evaluación de servicios de salud, frecuentemente articulada como asesor o consultor que es de iniciativas del Fondo de la Naciones Unidas para la Infancia-UNICEF, de la Organización Mundial de la Salud-OMS y centros colaborativos de OMS. Desde 1998 es el asesor senior para la evaluación multi céntrica de la estrategia AIEPI.

Hoy, además de sus actividades de docencia de posgrado en epidemiología en la UFPEL y liderazgo técnico en la evaluación de AIEPI, es profesor honorario de la EHMTL, miembro del comité de investigación en salud de la OMS, editor asociado del American Journal of Public Health y miembro o asesor editorial de publicaciones como Cadernos de Saúde Pública de la FIOCRUZ, Revista Brasilera de Epidemiología y Revista de Saúde Pública editadas estas dos por la Facultad de Salud Pública de la Universidad de Sao Paulo. Además del clásico publicado en 1999 junto a Habicht y Vaughan, para quien desee conocer sus extensas contribuciones al área de evaluación de programas de salud pública, entre mas de 50 textos publicados en revistas de alto impacto científico, se destacan por sus aportes metodológicos:

Bryce J, Victora C & the MCE-IMCI technical advisors. Tem methodological lessons from the Multi-Country Evaluation of Integrated Management of Childhood Illness. Health Policy Planning 2005; 20 (ss1):i94-105.

Victora C, Habicht J, Bryce J. Evidence-based public health: moving beyond randomized trials. Am J Public Health 2004; 94 (3): 400-405.

Haines A, Victora C. Evidence-based action needed on health systems. The Lancet 2004; 364: 1557-8.

Habicht J, Victora C, Vaughan J. Evaluation for adequacy, plausibility and probability of public health programme performance and impact. Int J Epidemiology 1999; 28: 10-8.

Kirwood B, Cousens S, Victora G, Zoysa I. Issues in the design and interpretation of studies to evaluate the impact of community-based interventions. Trop Med Int Health 1997; 2: 1022-9.

98