SesiSesióónn VIIVIIMuestreoMuestreo y y PoderPoder
Christel Vermeersch
Noviembre 2006
2WBIFPSILACHDN
Introducción
p Objetivo: evaluar programas y/o intervenciones ( ¿Tiene efecto o no?)
p Necesitamos suficientes datos para detectar cambiosdebidos a la intervención:→parte 1: discusión sobre poder
p Necesitamos datos representativos:→parte 2: discusión sobre muestreo
3WBIFPSILACHDN
PARTE 1: Evaluar el efecto
p Evaluar una intervención es una prueba de significanciap Ejemplo: y es el resultado de una prueba de logro. Estimamos el
efecto de doblar el presupuesto de la escuela en el resultado promedio de la prueba de logro.
H0: E(y|Tratamiento) = E(y|Control)
H1: E(y|Tratamiento) > E(y|Control)
Prueba
estadística Error tipo IIOKNo rechazamos H0
OKError tipo IRechazamos H0
SiNo
Intervención tiene efecto (en realidad)
4WBIFPSILACHDN
Error de tipo I
5WBIFPSILACHDN
Error de tipo II y poder
6WBIFPSILACHDN
Errores tipo I y tipo II
p Error tipo I = αn probabilidad de rechazar la hipótesis nula cuando ésta es verdaderan probabilidad de concluir que la intervención tiene efecto si no tiene
efecto n Valores típicos: 0.01, 0.05, 0.1
p Error tipo II = βn probabilidad de no rechazar la hipótesis nula cuando está falsa
p Poder = 1 - βn probabilidad de rechazar la hipótesis nula cuando una hipótesis
alternativa es verdadera n probabilidad de concluir que la intervención tiene efecto si
realmente tiene efecto
p Queremos maximizar el poder de la muestra, dado el nivel α
7WBIFPSILACHDN
Qué afecta el poder de una prueba?
El poder de la prueba aumenta cuando…p Aumenta a (el error de tipo I)p Aumenta el tamaño del efecto esperadop Disminuye la varianza del indicador… como???n La varianza del promedio es proporcional a 1/n, donde n es
el tamaño de la muestra à aumentar el tamaño de la muestra
? Para detectar un cambio de indicador dado con un error de tipo a dado, hay que aumentar el tamaño de la muestra.
? En la practica, se calcula el tamaño de muestra necesario para detectar un cambio X en el indicador, con un alpha de 5 % y un poder de 80/90 %.
8WBIFPSILACHDN
Algunas simulaciones en Stata*computar el tamaño de la muestra;
sampsi 130 135, alpha (0.05) power(0.8) sd1(15) sd2(18) onesided;
*aumentamos el efecto esperado del programa==> se necesita una muestra mas pequeña;
sampsi 130 145, alpha(0.05) power(0.8) sd1(15) sd2(18) onesided;
*aumentamos el poder requerido ==> se necesita una muestra mas grande;
sampsi 130 135, alpha (0.05) power(0.9) sd1(15) sd2(18) onesided;
9WBIFPSILACHDN
Algunas simulaciones en Stata*computar el poder de una prueba;
sampsi 130 135, alpha (0.05) sd1(15) sd2(18) n1(100) n2(100) onesided;
*aumentamos el efecto esperado del programa==> poder aumenta;
sampsi 130 145, alpha (0.05) sd1(15) sd2(18) n1(100) n2(100) onesided;
*aumentamos el tamaño de la muestra => poder aumenta;
sampsi 130 135, alpha (0.05) sd1(15) sd2(18) n1(200) n2(200) onesided;
10WBIFPSILACHDN
Parte 2: Muestreo (? Datos representativos)
p Encuestas representativasn Meta: aprender acerca de la población
p (p.ej. ENCOVI: encuesta nacional)n Muestra: representativa de toda la población
p Evaluación de impacton Meta: medir los cambios de indicadores claves en la
población objetiva/ grupo de interésn En la práctica: medir la diferencia entre los grupos de
tratamiento y de controln Concentrar estratégicamente la muestran Importancia del presupuesto
11WBIFPSILACHDN
Definicionesp Unidad de análisis: El tipo de entidad para la cual
buscamos datos (personas, sitios, escuelas,…)p Población: El conjunto de todas las unidades de análisis
sobre las cuales queremos inferir conclusionesp Marco muestral: El listado de unidades de análisis utilizado
para sacar la muestra (?Cual es la situación ideal?)p Muestra: las unidades de análisis sacadas del marco
muestral, para las cuales intentamos recollectar datosp Encuestados: las unidades de análisis de la muestra para las
cuales conseguimos datos.p Fracción muestral: proporción de casos del marco muestral
seleccionada para la muestra (n/N)p Tasa de respuesta: proporción de unidades de análisis de la
muestra para las cuales recollectamos datos.
12WBIFPSILACHDN
Gráficamente…
Población
Marco muestral
Muestra
Encuestados
13WBIFPSILACHDN
Validez interna del experimento
n i.e. dentro del experimenton Pregunta: ?El grupo control es válido?n No hay diferencia sistemática entre el grupo control y el
grupo tratamiento en ausencia de la intervención.
14WBIFPSILACHDN
Validez externa del experimento
p ?Se pueden generalizar los resultados del experimento a beneficiarios fueradel experimento?
p Eso depende del marco muestral del experimento y del método de muestreop Necesitamos representatividad al nivel de la población meta
n Si no vamos a implementar la intervención nunca para personas de tipoX, no tiene sentido incluirlas en el marco muestral del experimento.
p Representatividad para una población más diversa implica que necesitamosuna muestra más granden Por qué? La inclusión de población menos “sensible” a la intervención
diluye el efecto de la intervenciónn Ejemplo: efecto de intervenciones de salud en diarrhea – concentrar la
muestra en los hogares con niños de menos de 5 años.p El presupuesto limita el tamaño de la muestra.p “Nunca arriesga su hipótesis central”p Balance entre el poder dentro de la población de interés y la representación
de la población.
15WBIFPSILACHDN
Métodos de muestreo
p Muestreo aleatorion Simple: cada unidad en el marco muestral tiene la misma probabilidad
de ser seleccionadan Estratificado: el marco muestral se divide en dos o mas estratas, en
dónde se hace un muestreo simplen de conglomerados (“clusters”): se muestrean conglomerados de
unidades, ej. pueblosn Multi-etapa – combina dos o más de los métodos anteriores, ej. muestro
aleatorio (estratificado o simple) de pueblos, y muestreo aleatorio simple de personas dentro de cada pueblo
p Muestreo sistemáticon Ej. Estudio de caso “típico”– no es correcto hacer análisis estadistico
sobre este típo de muestra!!!
16WBIFPSILACHDN
El muestreo multi-etapa cambia la varianza del indicador
p Los individuos en un cluster tienden a ser más parecidos entre ellos que con los de otros clusters:n 10 hogares del mismo cluster nos dan menos información que 10
hogares de clusters diferentesp Consecuencia: errores estándar mayores que con un muestreo
aleatorio simple (MAS)
n ρ es una medida del grado de homogeneidad entre los sujetos del cluster para la medida de interés
n k=numero de observaciones dentro de cada clustern deff puede ser estimado tanto para medidas de asociación como para
medidas de prevalencia (o medias)
44 344 21deff
kVarVarMASConCluster
))1(*1(* −+= ρ
17WBIFPSILACHDN
Ajuste de la muestra para compensarel efecto de diseño
p Varianza mas grande à poder de la prueba menor para un tamaño de muestra fijo !!!
p La pérdida de poder debida al efecto de diseño puede ser compensada por incrementar el tamaño de muestra
p Por cuanto tenemos que aumentar el tamaño de la muestra cuando hay conglomerados en la muestra?
18WBIFPSILACHDN
Tamaño de muestra con efecto de diseño
p Utilizamos métodos estándares para determinar el tamaño de muestra necesario bajo el método de muestreo aleatorio simple, .
p Calculamos el tamaño de muestra necesaria para el muestreo multi-etapas, con la formula siguiente:
p Se necesita el tamaño estimado del cluster y un valor de ρ -que es una característica de la población estudiada
p Utilizar Stata!
))1(*1(** −+== knefdinnMASMASConCluster
ρ
MASn
19WBIFPSILACHDN
Después de que tengamos la muestra… …
Población
Marco muestral
Muestra
Encuestados
20WBIFPSILACHDN
La tasa de respuesta …p Idealmente es 100 por cientop Cuando es baja, hay un riesgo de sesgo debido a la selección de los
encuestados, p.ej. cuando los “control” no quieren participar en la encuesta de seguimiento.
p Debe de ser más de 70 por ciento en ambos grupos (control y tratamiento)p No puede ser significativamente diferente entre grupos control y
tratamientop ?Que hacemos cuando la tasa de respuesta es baja?
n Mala solución: aumentar el tamaño de muestra para “compensar”n Buenas soluciones:
p hacer esfuerzos suplementarios para recolectar información sobre los non-respondientes.
p Sub-muestrar los non-respondientes para investigar si son diferentes de los respondientes.
p Comparar las características línea base de los respondientes y non-respondientes.
p Es imperativo informar sobre la tasa de respuesta en el informe de evaluación
Top Related