Aspectos generales de la investigación educativa en el SNIT

LA ENCUESTA

Descripción general• El método de la encuesta se rige, en términos generales, por los mismos principios

aplicables a los enfoques de la investigación cuantitativa• Se pueden mencionar como características distintivas de otros métodos:

– Uso extenso en la aplicación de cuestionarios, en distintos formatos y en distintas formas de aplicación

– La utilización de métodos relativamente sofisticados de análisis de datos– La generación de reportes con diferentes niveles de agregación y para

audiencias diversas– Una marcada tendencia a utilizar los resultados para la toma de decisiones

ejecutivas– Nivel muy bajo en la publicación de los resultados en revistas de corte

académico– Marcado énfasis es procesos de estimación estadística

Diseño– Definición de los propósitos, fines y objetivos de la encuesta– Definición de la población de estudio– Definición de la muestra

• Determinación del tipo de muestreo• Determinación del tamaño de la muestra, tomando en cuenta el

error de muestreo y los niveles de confianza de las estimaciones– Selección de los mecanismos para la obtención de información– Selección y/o construcción de los cuestionarios– Definición de los métodos de análisis de datos– Aplicación de instrumentos– Análisis de resultados– Generación y difusión de reportes

Población y Muestra• Términos

– Elemento: Unidad que proporciona o de la cual se busca información (Unidad de Análisis)

– Universo: Conglomerado teórico o hipotético de todos los elementos definidos

– Población: Agregado teórico específico de elementos

Universo

Población Hipotética

Población

Muestra

Elementos

Población y Muestra• Marco Muestral

– Conjunto o listado de todos los elementos del cual se extraen los elementos que conformarán la muestra

• Parámetro– Medida descriptiva o sumaria de una variable determinada

de una población (q)

• Estadístico– Medida descriptiva o sumaria de la misma variable

determinada sobre el conjunto de los elementos de una muestra (T)

Población y Muestra• Muestreo Aleatorio Simple

– Todos los elementos de una población tienen la misma probabilidad de ser incluidos en la muestra

• Muestreo Sistemático– Se selecciona el k-ésimo elemento de la lista

• Muestreo Estratificado– Estrato es un conjunto homogéneo de elementos– Los k estratos definidos son mutuamente excluyentes y

exhaustivos– Los elementos de cada estrato se seleccionan

aleatoriamente

Mecanismos para obtención de información

• Cuestionarios autoadministrados• Cuestionarios aplicados cara a cara• Cuestionarios aplicados vía telefónica (CATI)• Grupos de Enfoque (Focus-Group)

ComparativoAuto Cara CATI Focus

Profundidad +/- - - +

Muestreo de contenido + + + -

Validez +/- +/- +/- +

Costo por unidad - +/- - +

Objetividad +/- +/- + -

Tamaño de la muestra + +/- +/- -

Registro de datos +/- +/- + -

Sesgo del entrevistador - +/- - +Variedad en métpdos de análisis + + + -

Facilidad en diseño +/- + + -Diversidad del diseño muestral + + + -Disponibilidad del marco muestral +/- +/- - +

Tasa de retorno - + +/- +Alta experiencia del entrevistador +/- - +

El cuestionario

El modelo IEA(International Association for the

Evaluation of Educational Achievement)

11

PREGUNTAS DE INVESTIGACIÓN

Indicadores• Simples• Derivados• Compuestos

Instrumentación• Cuestionarios• Actitudes

Muestreo• Tamaño• Tipo

Medición• Niveles• Confiabilidad• Validez

Recolección de datos

Datos burdosProceso de datos• Inspección• Datos perdidos

Estadísticos• Descriptivos• Univariados• Multivariados• Estimación• P de Hipótesis

Escalas• Análisis Factorial• Confiabilidad

Tablas Dummy

Reportes• Audiencias• Tipos

Diseño

Datos• Depuración• Archivos

El modelo IEA

12

Preguntas de investigación

Descriptivo– Preguntas que típicamente requieren datos para

describir sistemas educativos, insumos, procesos, resultados o productos

• Ejemplos– ¿Cuál es la razón profesor-alumno en los cursos impartidos en

las carreras de ingeniería?– ¿Qué porcentaje de alumnos fueron aprobados en el curso X?– ¿Qué cantidad de alumnos fueron aceptados en la carrera de

Ingeniería de sistemas?– ¿Cuál es el nivel de aprendizaje en la materia de Mate I?

13

Preguntas de investigaciónRelacional

– Preguntas que plantean la relación o correlación entre variables. Generalmente se plantean con la intención de establecer una relación causal.

• Ejemplos– ¿Las escuelas con menores recursos tienen niveles de

aprendizaje más bajo que las escuelas con mayores recursos?– ¿Las escuelas particulares tienen un rendimiento académico

mayor que las escuelas públicas?

14

Preguntas de investigaciónCausal

– Este tipo de preguntas plantean un relación causa-efecto entre variables. Generalmente toman la forma de “Si A, entonces B”. Son las preguntas más importantes en la toma de decisiones educacionales.

• Ejemplos– Considerando que los otros factores permanecen

constantes, ¿los estudiantes expuestos al método A de enseñanza aprenden mejor que los estudiantes expuestos al método B?

– ¿Cuál es el efecto relativo sobre el aprendizaje de los siguientes factores?: Antecedentes académicos de los alumnos, nivel socioeconómico de los alumnos, métodos de enseñanza.

15

Tipos de variables• Independiente (predictor, tratamiento, antecedente)

– Es la variable que se presume es la causa. También se consideran ser los factores que el educador manipula para generar un resultado.

– La variable predictor es una variable antecedente que ocurre antes del proceso. Se diferencia de la variable independiente en que la VI está bajo el control del educador mientras que la variable predictor no lo está.

• Dependiente (respuesta, criterio)– Es la variable que se presume ser el efecto de una variable dependiente.

También se le conoce como variable de respuesta.– Estrictamente, el término dependiente se aplica solamente en casos en que

hay una variable independiente siendo manipulada.• Control

– Son las variables que el investigador asume que están relacionadas con la variable dependiente, de respuesta o criterio pero sobre las cuales no tiene control alguno, excepto aquel que puede ejercer a través del diseño del experimento. En términos generales, estas variables se controlan por medio de la aleatorización o el análisis de covarianza.

16

Niveles de Medición• Término empleado para describir la cantidad

de información que proporcionan las medidas obtenidas mediante una escala de medición.

17

Escala nominal– Es el nivel más bajo de medición– No existe un orden subyacente en los objetos– Representan categorías pero no existe un ordenamiento a

lo largo de un continuo– A las categorías se les puede asignar un numeral pero el

número no representa cantidad de atributo– Los estadísticos asociados son frecuencias y porcentajes de

casos de cada categoría.

18

Escala ordinal– La escala ordinal asigna numerales a sujetos u objetos para

representar un ordenamiento con respecto a una característica.

– Las diferencias en los números asignados no representan diferencias en el rasgo que subyace.

– Los estadísticos empleados son la mediana para medida de tendencia central y el rango intercuartilar como medida de dispersión.

– Si se desea establecer la relación entre dos ordenamientos se puede emplear la correlación de Spearman.

19

Escala intervalar– La escala o medida intervalar define la unidad de medida

de tal forma que las diferencias entre unidades son iguales. Esto es, la diferencia entre 7 y 12 es la misma que entre 21 y 26.

– La ubicación del Cero en la escala es arbitrario y puede no significar la carencia absoluta del atributo.

– Los estadísticos apropiados para estas medidas son la media y la desviación estándar.

20

Escala de razón– Es el nivel más elevado de medición– Las unidades de medición son de la misma longitud a lo

largo de todo el continuo– El cociente de diferencias es igual para intervalos iguales– El cero es absoluto y representa la carencia del atributo

siendo medido– Permite la construcción de razones y proporciones. Por

ejemplo, un individuo que mide 1.60 es el doble en altura que uno que mide 0.80

– Los estadísticos más apropiados son la media y desviación estándar

21

Indicadores• Un indicador es una variable que se emplea

para “indicar” la presencia o ausencia de un atributo siendo medido (Babbie)

• Un indicador es una variable que refleja una condición o situación particular (IEA)

22

Indicadores• Simples

– Indicadores que usualmente requieren una sola pregunta o variable del cuestionario

• Derivados– Indicadores que se construyen a partir de dos o más variables o

preguntas.– Estrictamente, son variables compuestas.– Generalmente para su construcción se requieren transformaciones

simples sobre variables o indicadores existentes.• Compuestos

– Se derivan a partir de dos o más variables o preguntas.– Se diferencian de los indicadores derivados en que para su

construcción se recurre a métodos multivariados complejos o técnicas de reducción de datos, tales como el análisis factorial, análisis de conglomerados o análisis discriminantes.

Confiabilidad y validez

24

Confiabilidad

• La confiabilidad de los puntajes de un instrumento refleja la precisión con la cual se mide un rasgo.

• La confiabilidad está asociada con los puntajes del generados a partir del instrumento.

• La confiabilidad es una característica necesaria pero no suficiente para que un instrumento sea válido.

• La confiabilidad de un instrumento se expresa mediante el coeficiente de confiabilidad que tiene un rango de 0 a 1.

25

Tipos de Confiabilidad

• Equivalencia (formas paralelas)– Mide el grado en que los puntajes generados por una forma son

equivalentes a los generados por otra forma del instrumento midiendo los mismos rasgos.

• Consistencia (test-retest)– Mide el grado en que los puntajes generados a partir de una forma

son estables en el tiempo.

• Consistencia interna– Mide el grado en que los componentes de un instrumento se

relacionan entre sí.– Método de partición por mitades– Kuder-Richardson KR-20 y KR-21– Coeficiente Alfa de Cronbach

26

Validez• En términos generales, la validez de un

instrumento se refiere al grado en el cual el instrumento mide lo que se dice que mide.

27

Tipos de Validez• Validez de contenido cuando…

– La estructura del instrumento mapea la estructura subyacente de los rasgos medidos

– Las preguntas que componen el instrumento son una muestra representativa de todas las preguntas que se podrían generar para medir un rasgo.

• Validez de criterio cuando…– Los puntajes generados por el instrumento se correlacionan alto con

los puntajes de una variable externa, llamada variable criterio.• Validez predictiva• Validez concurrente

• Validez de constructo cuando…– El comportamiento de los puntajes de un instrumento responde al

comportamiento teórico que subyace al constructo (construcción teórica) siendo medido.

Análisis de datos

29

Procedimientos estadísticos• Permiten sumarizar información de una

manera compacta• Describen información en una forma suscinta• Permiten responder a Preguntas de

Investigación

30

Consideraciones necesarias• Tipo de variable• Número de variables• Nivel de medición

31

Estadísticos descriptivos• Se usa para traducir datos a información• En enfoque central es describir la información

que se obtuvo• No se pretende extrapolar a otros grupos más

allá del cual se obtuvo la información• Permiten identificar tendencias y posibles

líneas para el análisis inferencial

32

Tipos de estadísticos descriptivos• Univariados• Bivariados• Multivariados

33

Estadísticos inferenciales• Es el conjunto de estadísticos que se usan para hacer

extrapolaciones (inferencias) a grupos más amplios de los cuales el grupo utilizado es una muestra.– Estimación:

• Determinar un valor puntual de un parámetro de interés o rango de valores dentro del cuál se encuentra el parámetro de interés

– Prueba de Hipótesis• Tomar una decisión respecto a la aceptación o rechazo

de hipótesis estadísticas

34

Tipos de estadísticos inferenciales• Univariados• Bivariados• Multivariados

35

Mapa de procedimientos estadísticos

Nominal Ordinal Intervalar Nominal Ordinal Intervalar

Nominal

Chi-cuadradaContingencia

Q-testTest de Fisher

Prueba de los Signos

Prueba de Mediana

Mann-WhitneyKruskal-Wallis

ANOVAARM con variables dummy

Análisis discriminante

Ordinal

Correlación Spearman

Coeffieciente Kendall

ANOVA(ANCOVA)

Intervalar

ANOVA(ANCOVA)

ARM con var. dummy

Corr. Pearson

ANOVA(ANCOVA)

ARM con var. dummy

ARM

Nominal

ANOVA de dos vías de Fridman

ANOVA(ANCOVA)

MANOVAMANCOVA

Corr. canónica con var. dummy

Ordinal

IntervalarAnálisis

discriminanteARM ARM con

variables dummy

Análisis discriminante

múltipleFuente: Richard Wolf, Choosing an Appropiate Statistical Procedure

Variable Dependiente

VariableIndependiente

Una

Muchas

Una Muchas