Retos y errores en el análisis de las bases de datos clínicos procedentes de estudios observacionales

Julia del AmoProfesora de Investigación

Centro Nacional de EpidemiologíaInstituto de Salud Carlos III

Conflictos de interés

• Julia del Amo ha recibido financiación para proyectos de investigación en farmaco-epidemiología de BMS, Gilead, ViiV, MSD y para colaboraciones docentes de Gilead, MSD y ViiV

¿Qué retos tiene un investigador clínico

para minimizar errores en el análisis de las bases de datos de

estudios observacionales?

Guión

• ¿Por qué hacemos investigación observacional?

• ¿Cuáles son “algunos de los errores” al abordar la investigación observacional?

• ¿Cuál es el papel del análisis estadístico/epidemiológico en la investigación observacional?

• ¿Qué pueden hacer los investigadores clínicos para minimizar los errores en el análisis de las bases de datos?

La ciencia y el método científico

Ciencia (del latín scientia, “conocimiento”) es el “conjunto deconocimientos obtenidos mediante la observación y elrazonamiento, sistemáticamente estructurados y de los que sededucen principios y leyes generales”.

El método científico se basa tanto en la observación ycontrastación empírica, como en los procesos de razonamientológico, inductivos y deductivos.

La ciencia viene definida por el uso del método científico y no por el sujeto de estudio ni por las técnicas utilizadas

4

El objeto de estudio depende de la pregunta de investigación

El abordaje puede ser experimental u observacional en función de la pregunta de investigación

La ciencia y el método científico

¿Cuál es la pregunta de investigación?

• Clave para ver si se necesita de un diseño o de otro y de si precisa de un diseño experimental o de un diseño observacional

• ¿ Cuál es la eficacia de la monoterapia con AZT en la reducción de la incidencia de SIDA en pacientes VIH-positivos?

• ¿Cuál es la efectividad de la monoterapia con AZT en la reducción de la incidencia de SIDA en pacientes VIH-positivos?

Investigación experimental

Investigación observacional

Investigación causal … experimental, casi siempre

• Busca saber si una exposición, por ejemplo un fármaco, causala aparición de un efecto, por ejemplo, curación de unaenfermedad

• La investigación experimental se asienta en la aleatoriedad dela asignación de la exposición – recibir (o no) la intervencióndepende del azar

• El paradigma de la investigación causal en salud en humanosson los ensayos clínicos

Poblaciónde referencia Muestra

Tto 1

Tto2

No curación

Curación

No curación

Curación

tiempo

Ensayos clínicos: estudios experimentales

azar

Exposición aleatoria

Selección voluntarios

Muestra no aleatoria

Poblaciónde referencia Muestra

Tto 1

Tto 2

tiempo

Estudios observacionales

Exposición NO aleatoriaMuestra aleatoria … o al menos

representativa

indicación

Azar No curación

Curación

No curación

Curación

¿ Es siempre posible realizar investigación experimental?

Hay exposiciones que no podemos aleatorizar

– Comportamientos individuales• sexo no seguro, consumo de drogas

– Fármacos teratogénicos

– Efecto de las exposiciones medio-ambientales• contaminación atmosférica

– Características individuales & contextuales• pobreza, la raza, el género, estigma y

discriminación

¿Queremos siempre realizar investigación experimental?

• Queremos medir una práctica sanitaria, ie: factores que afectan la implantación de un programa de mejora de la adherencia a TAR

• Queremos medir efectividad de TAR; es decir, el impacto poblacional de los tratamientos

• Queremos medir el riesgo de transmisión de VIH por pinchazo accidental en el ámbito sanitario

• Describir la distribución de los subtipos de VIH en una población, lugar y tiempo

• Necesitamos una respuesta causal y no tenemos tiempo para desarrollar un ensayo clínico

• Podemos obtener una respuesta causal con datos observaciones bajo una serie de premisas

¿Cuál es la pregunta de investigación?

• Clave para ver qué diseño necesitas: experimental u observacional

• Si tenemos claro que necesitamos un diseño observacional

– ¡¡¡ La exposición de interés no se asigna de manera aleatoria !!!

• Conceptualizar la exposición y la variable respuesta con claridad

• Pregúntate qué factores pueden confundir la relación entre exposición y la variable respuesta (confusores) y si el efecto puede ser tan diferente por grupo que requiera análisis separados (interacción o modificación )

– ¿Vas a diseñar un estudio ad-hoc?

– ¿Vas a utilizar una base de datos de estudio “multi-función”?

Investigación observacional en estudios “ad-hoc” y en estudios “multi-función”

• Estudios observacionales que diseñamos ad-hoc con una pregunta clara en mente – Tenemos más control sobre las variables que vamos a

definir y recoger, sobre todo en lo referente a las variables de confusión

– Piensa en el diseño: caso-control o estudio de cohortes si hay dimensión temporal

• Estudios observacionales que hacemos en el marco de estudios “multi-función” … Cohorte de la Red de SIDA, (CoRIS), CMBD, la Encuesta Nacional de Salud…– Tenemos menos control sobre las variables que vamos a

definir y recoger, sobre todo en lo referente a las variables de confusión

Pregunta de investigación

• ¿Cuál es la efectividad de AZT en la reducción de la mortalidad en sujetos VIH-positivos?

– Exposición: Toma o no AZT

– Resultado/Respuesta: Muerto o vivo

• ¿De qué depende el que unos individuos estén expuestos al factor de exposición de interés? Por ejemplo, que recibieran monoterapia con AZT en 1990

Identificar posible confusión

• Identifica a priori cuáles son los potenciales factores de confusión que tienes y no tienes medidos

– “Gravedad clínica” medida por valores de CD4

– Nivel socio-económico

• Los factores de confusión son aquellas variables que “enmascaran” la asociación que intentamos establecer entre la exposición y la enfermedad

– Se prescribe más AZT a las personas más graves, que son las que más mueren

– Se prescribe más AZT a las personas de mayor nivel socio-económico, que son las que menos mueren

Caracteriza tu confusión

• ¿ Son las variables de confusión “fijas en el tiempo” o son “tiempo-dependientes” ?

– Fijas en el tiempo (sexo) ajusta con métodos clásicos a nivel basal

– Tiempo dependientes (número de cigarros, CD4), ¿ está la confusión tiempo-dependiente afectada por la exposición ?

• No: utiliza métodos clásicos para confusión tiempo-dependiente

– Número de cigarros fumados a lo largo del tiempo

• Sí: los métodos clásicos de regresión no sirven: MMS

Modelos marginales estructurales (MME)

Error en “jerga epidemiológica”

• Errores aleatorios

– Tamaño es importante

• Errores sistemáticos: sesgo (bias)

– Tamaño no es importante

Un SESGO es un error sistemático que ocurre generalmente en el diseño o ejecución del estudio y no se puede corregir fácilmente en el análisis. Es debido a errores en la selección de la población o en la recogida de la información y da lugar a interpretaciones erróneas.

Error sistemático: Sesgo (Bias)

• Sesgo de selección

El paciente que se selecciona o “auto-selecciona” en el estudio tiene características diferentes del que no se selecciona.

i.e. en CoRIS se pierden de manera selectiva los pacientes de África Sub-Sahariana, sin estudios, UDIs : Sesgo de participación, pérdidas al seguimiento

• Sesgo de información

La cantidad y la calidad de lainformación se recoge demanera diferente en función dela exposición (fármacos) o de lavariable resultado (muerte).

i.e. medimos más veces yrecogemos con “más celo” lacarga viral de un paciente con unfármaco nuevo …puede queencontremos más “blips” : Sesgode detección o de vigilancia

Podemos corregir en análisismirando las características de losperdidos al seguimiento y de losno perdidos y haciendocorrecciones a las pérdidas… sipodemos

“Mentimos” en una encuesta … contestamos algo porque queremos parecer “mejores” o “peores” o porque lo recordamos diferente

Podemos corregir en análisismirando el número dedeterminaciones de carga viralen los pacientes con elfármaco nuevo y con elfármaco antiguo

Tiempo 0

Entrada

6 meses después

2/10

12 meses después

Sesgo de selección por pérdidas al seguimiento

4/8

Sesgo de selección por pérdidas al seguimiento

Tiempo 0

Entrada

6 meses después

12 meses después

4/10

Sesgo de selección por pérdidas al seguimiento

Tiempo 0

Entrada

6 meses después

12 meses después

6/10

Sesgo de información

Confusión en “jerga epidemiológica”

La CONFUSIÓN que se produce por la complejidad de “la vida misma” y que “enmascara” la realidad. El resultado no es “falso” sino que no tiene una interpretación causal ya que “está confundido” “enmascarado”

SÓLO si tenemos recogida la información del confusor que sospechamos, podemos corregir en

la fase de análisis

Channelling bias o Confusión por indicación

• ¿Los individuos con más riesgo cardiovascular son los que reciben Abacavir con mayor frecuencia?

Los individuos que reciben Abacavir

HombresMayoresDiabetesHipertensiónDislipemiaAntecedentes familiares enfermedad CV

Población a estudio

Abacavir

No Abacavir

Riesgo CV

Riesgo CV

Seguimiento

NO Intercambiables

Necesario “ajustar” por las variables de confusión que hacen que los grupos de exposición no sean comparables

Channelling bias o Confusión por indicación

Una misma persona no puede estar“expuesta” y estar “no expuesta” al mismotiempo

Por eso tenemos que comparar grupos de personas lo más comparables posibles y que difieran sólo en el factor de exposición que estamos estudiando

Lo único que podemos hacer es comparar “la proporción con dolor de estómago” en un grupo de personas expuestas con el personas no expuestas y calcular la diferencia entre ambas y atribuirlo al factor de exposición

Intercambiabilidad de las poblaciones

• En un ensayo clínico viene dada por la aleatorización de la exposición : queremos que los expuestos y no expuestos sean intercambiables en todo menos en la asignación del fármaco

– Características medidas, i.e proporción de mujeres

– Características no medidas/medibles , i.e proporción de gente que desconfía de la ciencia

• En un estudio observacional “reajustamos” mediante análisis:

– Características medidas, i.e proporción de mujeres

– Características no medidas/medibles , i.e proporción de gente que desconfía de la ciencia : confusión

Representatividad de la población

• Los estudios observacionales permiten que busquemos una muestra más representativa de la población sobre la que queremos sacar una conclusión y cuya salud aspiramos a mejorar

• En los ensayos clínicos, esta representatividad no se busca

Errores _ I : ¿Cuáles son los más frecuentes?

• El título … “base de datos” … Clave saber qué diseño subyace

• Pensar que “de alguna manera” un estudio observacional es igual que un ensayo clínico y que la exposición de interés es aleatoria

• Buscar causalidad … desconocer los principios de los análisis observacionales

• Si no lo piensas, funcionar como si lo estuvieras pensando …

• Pensar que un estudio observacional es por definición de peor calidad y que “lo puede hacer cualquiera” … sin dedicarle el tiempo que precisa

– “Los estudios observacionales están más expuestos a sesgos derivados de confusión” …

– Los ensayos clínicos … sobre todo cuando el seguimiento es largo, dejan de estar “libres de mancha”

• “Tengo una base de datos” … “ a ver qué puedes hacer con ella”… No tener una pregunta de investigación conceptualizada

Errores_II: Menosprecio …

Errores_ III: Exceso de “ambición”

• Hacerlo “todo” … ajustar por “todo” sin saber muy bien por qué … – “respuesta al tratamiento” en un

estudio de cohortes en el que hay un grupo tratado y otro no tratado …

• Nunca se lo pediríamos a un ensayo clínico … conceptualiza tu pregunta como lo harías en un ensayo clínico en el que sabes que la exposición no se asigna de manera aleatoria

Errores_ IV: Análisis estadístico

• El análisis no es algo que hace un estadístico al final del proceso tortuoso…

• El análisis estadístico precisa de haber hecho bien las cosas antes ya que hay cosas que no son solucionables

• Si el estadístico/a ha estado implicado/a en todo el proceso, resultará más fácil ajustar

¿Qué retos tiene un clínico para minimizar errores en el análisis de las bases de datos de estudios observacionales?

• Implicar al estadístico/a desde el primer momento del estudio

• Conocer los principios epidemiológicos básicos de los estudios observacionales

• Trabajar en convertir la pregunta de investigación en un objetivo analizable

• Piensa en qué diseño epidemiológico necesitas

• Identificar qué fuente de información es la que hay disponible en función de ambición, presupuesto, factibilidad

• Pensar con calma en posibles confusores que deben ser medidos

• Identificar los posibles sesgos de selección e información

• Asegurar que la recogida de datos es tan buena como en un ensayo clínico (o intentarlo …)

Muchas gracias

Agradecimientos a Inma Jarrín y a Francisco Bolúmar