VALIDEZ DE INSTRUMENTOS DE MEDICIN EDUCATIVAConceptualizacin

Cuando se analiz en el captulo anterior la confiabilidad, se dijo que sta determina si los puntajes provenientes de la aplicacin de un instrumento son estables en el tiempo si se aplica el instrumento dos veces; son equivalentes si se aplican dos versiones de un mismo instrumento; y consistentes, si quienes responden un instrumento lo hacen homogneamente. La confiabilidad determina si los puntajes de un instrumento son los mismos en el tiempo y en situaciones similares; pero no determina si lo que est midiendo es lo que realmente se quiere medir. Puede ocurrir que un instrumento sea estable, equivalente y homogneo; pero no mide la variable que se desea medir, ejemplo, una balanza puede medir en repetidas mediciones un peso de un objeto o sujeto en forma consistente. Las veces que se pesa, ste es el mismo. Esto determina por lo tanto confiabilidad; pero puede ser que ste no sea el peso del objeto o sujeto, es decir, mide algo en forma consistente, pero no lo que realmente queremos medir.

La validez tiene como propsito determinar si el instrumento mide exactamente lo que se quiere medir. Es por esta razn que suele afirmarse que la confiabilidad de un instrumento es una condicin necesaria para evaluarlo, pero no suficiente; porque un instrumento puede ser confiable, sin ser vlido; pero al ser vlido es necesariamente confiable.

El lector puede preguntar, si un instrumento que es vlido, tambin es confiable Por qu no concentrar la evaluacin del instrumento en la validez y nos olvidamos de la confiabilidad?. La respuesta a la pregunta, es que hallar evidencias de validez es ms difcil que calcular la confiabilidad, la cual se reduce a un mero tecnicismo, a calcular un coeficiente de confiabilidad. La validez tambin aplica coeficientes, pero requiere la presencia de evidencias que determinan la validez del instrumento, las cuales en la mayora de las veces es muy difcil de obtenerlas, porque las mismas implica determinar aspectos tericos de lo que se quiere medir y relacionarlos con evidencias empricas; las cuales no siempre son accesibles en el proceso de validacin de instrumento.

Mtodos de Validez

Los mtodos para determinar la validez son: Validez de contenido (a travs de la tcnica de Juicio de expertos), Validez de criterio (la cual se subdivide en validez concurrente y predictiva) y la validez de constructo (a travs de sus dos clases: convergente y discriminante, aunque adems de stas hay otras evidencias de validez de constructo, las cuales tambin se analizarn). A continuacin se explican los diferentes mtodos de validez:

Validez de Contenido

La validez de contenido es la ms usual entre los tipos de validez. Esto se explica, porque se le puede aplicar a cualquier instrumento independiente de la escala de medicin. Los otros tipos de validez exigen como mnimo una escala de medicin ordinal. El otro aspecto que favorece la aplicacin de este mtodo, es que la tcnica empleada para obtener la validez de contenido es la tcnica de Juicio de Experto, la cual consiste en la revisin del instrumento por expertos en la variable en estudio, quienes en la mayora de los casos se localizan fcilmente.

Para la evaluacin del contenido del instrumento, el investigador o diseador del instrumento, debe proporcionarle al experto un formato para evaluar el instrumento, donde ste realiza las observaciones y recomendaciones sobre el contenido del instrumento.

A continuacin se presentan algunos modelos de formato

MODELO 1.-FORMATO PARA EVALUAR EL INSTRUMENTO

temCongruencia

S ----- No -----Claridad

S------ No -----Tendenciosidad

S ------ No -----Observaciones

1

2

3

.

.

.

.

.

.

.

.

.

.

n

MODELO 2.- FORMATO PARA EVALUAR EL INSTRUMENTO

temEsencialtil pero no esencial No necesario

1

2

3

.

.

.

.

.

n

A continuacin se presenta y ejemplifica la razn de validez de contenido, la cual se puede aplicar cuando el formato de evaluacin es el modelo 2:

Razn de Validez de Contenido

CVR = razn de validez de contenido

Ne = Nmero de expertos que indican "Esencial"

N = Nmero total de expertos.

Ejemplo1.- CVR negativo: cuando menos de la mitad de expertos indica esencial. Supngase que cuatro (4) de once (11) expertos indicaron esencial.

2.- CVR cero = Cuando exactamente la mitad de los expertos indican "esencial" . Supngase que cinco (5) de diez (10) expertos indican que es esencial

3.-CVR positivo = cuando ms de la mitad; pero no todos los expertos indican

"esencial". Supngase que nueve (9) de once (11) expertos indican que es esencial.

Para interpretar los resultados debe consultarse la tabla que se presenta a continuacin:

Valores mnimos de la razn de validez de contenido para asegurar que es improbables que el acuerdo se debe al azar.

Nmero de expertosValor mnimo

50.99

60.99

70.99

80.75

90.78

100.62

110.59

120.56

130.54

140.51

150.49

200.42

250.37

300.33

350.31

400.29

Fuente: Cohen, R y Swerdlik, M. (2.000). Pruebas y Evaluacin Psicolgicas, 4 edicin: Mc Graw Hill, pg. 189.

Al consultar en esta tabla los resultados de los tres ejemplos desarrollados, los mismos se interpretan de la manera siguiente: en el primer ejemplo, el resultado es negativo por lo tanto se rechaza el tem; ya que la tabla no tiene valores mnimos negativos. En el segundo ejemplo es cero, al consultar la tabla, se observa que tampoco tiene valores mnimos de cero, lo cual debe llevar a tomar como decisin excluir el tem del instrumento. En el tercer ejemplo el resultado es mayor a cero; para interpretar el resultado consultamos la tabla, procediendo de la manera siguiente: se consulta en la tabla el valor mnimo cuando hay 11 expertos, el cual es 0,59. Se compara con el valor calculado que es 0,64. Este valor est por encima del valor mnimo exigido, por lo tanto, se acepta el tem.

Adems del Formato de evaluacin del instrumento, es recomendable anexar al instrumento, el cuadro de operacionalizacin de la variable, los objetivos de la investigacin y las bases tericas de la variable en estudio. Esta informacin ampliar el conocimiento del experto sobre la variable que se quiere medir y le permitir proporcione mejores observaciones y recomendaciones sobre el instrumento evaluado.

Validez de Criterio

Determina la relacin existente entre las puntuaciones de un instrumento de medicin y una variable (conocida como criterio).

Qu es un criterio?

Para Hurtado (2.000) un criterio es: ... una medida externa, independiente al instrumento (en evaluacin), con el cual se supone que ste est correlacionado y que en definitiva es la caracterstica o conducta que el instrumento intenta predecir... [pretende medir] (p. 435).

Un ejemplo es predecir el rendimiento que tendr un estudiante en su futura carrera universitaria (criterio) a travs de una prueba de aptitud acadmica (instrumento en evaluacin). Para validar el instrumento, se aplica a un grupo de estudiantes que aspiran ingresar a la Universidad, se espera que haya transcurrido un semestre o un ao acadmico para correlacionar las puntuaciones obtenidas en el instrumento con la calificaciones promedio del mismo grupo despus de finalizar el semestre o ao acadmico.

El estadstico que se emplea es el coeficiente de correlacin de Pearson (si la escala de medicin de las puntaciones se considera como mnimo en intervalo) o el coeficiente de correlacin de Spearman (si la escala de medicin es ordinal). Para conocer el procedimiento exigido en el clculo de ambos coeficientes puede consultar las secciones de la Unidad sobre confiabilidad de instrumento de medicin educativa (Unidad anterior) que aborda el mtodo de confiabilidad de reaplicacin de la prueba.

Caractersticas que debe reunir un criterio

1. Pertinencia: debe juzgarse si el criterio representa realmente un rendimiento adecuado de la variable que se desea medir.

2. Debe ser confiable.

3. Debe estar libre de tendenciosidad.

4. Debe poseer validez.

Coeficiente de validez de criterio.

El coeficiente de validez de criterio se determina correlacionando los puntajes del instrumento en evaluacin con los puntajes del criterio. La interpretacin de los resultados es similar a la del coeficiente de confiabilidad. A continuacin se presenta los valores para su interpretacin:

RangoInterpretacin

0.81 ----------- 1Muy alta

0.61 ----------- 0.80Alta

0.41 ----------- 0.60Moderada

0.21 ----------- 0.40Baja

0.00 ----------- 0,20Muy baja

Clase de validez de criterio

Se conocen dos clases de validez de criterio:

Validez concurrente. Cuando las puntuaciones del instrumento en evaluacin se obtienen ms o menos al mismo tiempo que las medidas del criterio. Ejemplo: cuando se utilizan los resultados de una prueba de habilidades numricas y verbales (instrumento en evaluacin) para determinar el rendimiento acadmico (criterio).Validez predictiva. Cuando el criterio est en tiempo futuro. Ejemplo: cuando se utilizan los resultados de una prueba de aptitud acadmica (instrumento en evaluacin) para predecir el desempeo acadmico (criterio) del alumno en un curso.

Validez de construccin (o de constructo)

Definicin de constructo

Se est en presencia de un constructo cuando la variable a investigar no se puede medir directamente; pero muchas de las conductas que se consideran como aspecto de ella son descriptibles y medibles.

Definicin de validez de constructo

Grado en que un instrumento es una medida de un constructo en particular.Clases de validez de constructo

Validez Convergente. Se determina correlacionando los puntajes del instrumento que mide el constructo en estudio con los puntajes de otro instrumento que mide el mismo constructo u otro con el cual debera correlacionarse positivamente. La correlacin para que exista validez de constructo convergente debe ser alta o muy alta y la aplicacin de ambos instrumentos debe ser a la misma muestra de sujetos.

Validez Discriminante. Se determina correlacionando las puntuaciones del instrumento que mide el constructo en estudio con las puntuaciones de otro instrumento que mide otro constructo o variables, con la cual el constructo en estudio no debera correlacionarse. El coeficiente de correlacin en la medida que se aproxime a cero (0) indica mayor validez discriminante.

Etapas para Calcular la Validez de Constructo

1. Establecer la relacin terica entre los conceptos, basndose en el marco terico, en que se fundamentan ambos instrumentos.

2. Correlacionar los puntajes de los sujetos en ambos instrumentos.

3. Determinar qu clase de validez de constructo posee el instrumento.

Otras Evidencias de Validez de Constructo

Adems de las evidencias obtenidas por la validez convergente y discriminante, hay otras evidencias de validez de constructo, las cuales se explican a continuacin:

1. Evidencia de homogeneidad o consistencia interna: se refiere a lo bien que mide un instrumento un solo concepto. Se puede determinar a travs de: (a) Correlacin item-test: se determina la correlacin existente entre cada tem que conforma el instrumento con el total de puntajes del instrumento. El programa SPSS dispone de este indicador. Se debe rechazar todos aquellos temes con un coeficiente de correlacin tem-test inferior o igual a 0,25; (b) Capacidad de discriminacin de los temes: mide el grado en que los sujetos de altas calificaciones y los sujetos de bajas calificaciones responden en forma diferenciada los temes.

2. Evidencias de cambios con la edad: Se somete un instrumento a este indicador cuando cuanto hay certeza que la edad influye en su comportamiento. Ejemplo: se puede aplicar una prueba de rapidez en la lectura a escolares de grupos de edades diferentes. La prueba evidenciar validez de constructo si los grupos de grados superiores obtienen calificaciones ms altas que los grupos de grados inferiores. Esto debe ser de esta manera, porque est demostrado que el incremento de la escolaridad mejora la rapidez en la lectura.

3. Evidencias de cambios preprueba-posprueba: Si se aplica una estrategia instruccional, la cual ha demostrado eficacia para incrementar el rendimiento acadmico, los puntajes de un instrumento que mide el rendimiento acadmico, deben tener diferencias significativas al comparar los resultados de la preprueba, aplicada antes de comenzar la estrategia instruccional, con los resultados de la posprueba, aplicada despus de concluir el curso sometido a la estrategia. Si las diferencias entre la preprueba y posprueba son significativas, se puede asegurar que el instrumento tiene validez de construccin.

4. Evidencia de grupos distintos: Si se disea un instrumento que mide la actitud del estudiante hacia la matemtica y se aplica el instrumento a dos grupos claramente diferenciados: grupo de alumnos que aprobaron la asignatura matemtica y grupo de alumnos reprobados en esa asignatura, un instrumento con validez de constructo debe presentar como resultado estudiantes que aprobaron la asignatura con una actitud hacia las matemticas ms favorable y los estudiantes reprobados con una actitud menos favorable.

5. Anlisis Factorial: El anlisis factorial es una tcnica que a travs de un procedimiento matemtico y estadstico complejo, determina si los temes de un instrumento miden solamente un aspecto de la variable en estudio. Asimismo identifica aquellos temes que no miden ningn aspecto de la variable en estudio, los cuales deben excluirse del instrumento. El anlisis factorial es un indicador tan importante en el proceso de validacin de un instrumento que se dedicar la prxima unidad a desarrollar paso a paso su procedimiento.

Ejercicios Propuestos

Actividad 1

1. Revise un trabajo de grado, evale los temes del instrumento aplicado para la recoleccin de datos; y llene el formato presentado a continuacin:

Formato para Evaluar el InstrumentotemAspectos a evaluar del InstrumentoObservaciones (4)

Congruencia (1)Claridad (2)Tendenciosidad (3)

SiNoSiNoSiNo

1

2

3

Fecha:

Nombre del Experto:Firma:

Institucin donde trabaja:Cargo que desempea:

(1) Congruencia: S el tem se relaciona con el indicador, subdimensin, dimensin y variable que se pretender medir o describir.

(2) Claridad: Redaccin del tem (3) Tendenciosidad: Si induce a responder en forma favorable, indecisa o desfavorable.(4) Observaciones: Recomendaciones sobre el tem que es evaluado desfavorablemente: modificarlo, sustituirlo por otro, excluirlo del instrumento, etc. Actividad 2

Determine la razn de validez de contenido:

Un Jurado lo integran nueve (9) expertos.

Qu decisin debe tomarse con respecto al tem?

1. Siete (7) expertos indican que el tem es "esencial".

2. Tres (3) expertos indican que el tem es "esencial".

3. Tres (3) expertos indican que el tem "no es necesario" y dos que es " til pero no esencial", el resto respondieron que es "esencial".

4. Cinco (5) expertos indican que el tem es "til pero no esencial ", uno (1) que "no es necesario" y el resto que es "esencial".

5. Todos los expertos indicaron que no es esencial.

6. Slo un (1) experto indic que es esencial.

Actividad 3

Determine el coeficiente de validez de criterio e interprete el resultado.

sujetosInstrumento en evaluacin

(puntajes)Criterio

(puntajes)

11919

21817

31515

42020

51615

61714

71818

82019

92019

101415

111414

121414

131615

141617

151514

161819

171414

181717

192020

201818

211413

221516

231818

241919

251516

ACTIVIDAD 4

Determine en los siguientes ejercicios si existe validez convergente o discriminante:

Situacin 1

Se ha demostrado tericamente que la actitud hacia las innovaciones educativas y la motivacin al logra se correlacionan positivamente. Tomando en cuenta esta relacin el Constructor de una escala de actitud hacia las innovaciones educativas desea determinar si el instrumento diseado tiene validez de constructo. En este sentido aplica a una misma muestra de sujeto este instrumento, conjuntamente con otro instrumento que mide la motivacin al logro; el cual tiene debidamente comprobado validez. Calcule el coeficiente de validez e interprete los resultados que se muestran en la siguiente tabla:

SujetosActitud hacia las innovaciones educativas

(Puntajes)Motivacin al logro

(Puntajes)

133

254

355

422

545

612

722

833

955

1055

1155

1245

1322

1422

1511

1612

1745

1845

1955

2012

Situacin 2

Se ha demostrado tericamente que el coeficiente de inteligencia y el nivel de ingreso no se correlacionan; tomando en cuenta esta afirmacin el constructor de una prueba de inteligencia, correlaciona los puntaje de un test de inteligencia aplicado a un grupo de sujetos con el nivel de ingreso que posee cada uno de ellos. Calcule e interprete el coeficiente de validez.

sujetosCoef. de Inteligencia

(C.I)Ingreso/mensual

(Bs.)

198100.000

2120700.000

3111990.000

41151.200.000

51253.500.000

6851.100.000

7951.090.000

899900.000

91151.100.000

101001.100.000

111151.300.000

121301.040.000

13125900.000

141141.200.000

151051.500.000

16100905.500

171001.300.000

1898900.000

19951.000.000

20652.290.000

2180800.000

2275800.000

23982.500.000

2495900.000

25891.100.000

26110970.000

27952.700.000

281003.000.000

Referencias

Cohen, R., Y Swerdlik, M. (2.001). Pruebas y Evaluacin Psicolgicas. Mxico: Mc Graw Hill.

Hurtado, J. (2.000). Metodologa de la investigacin holstica. (Tercera edicin) Caracas. Sypal.

Lecturas Sugeridas

Aiken, L. (1.996). Test psicolgicos y evaluacin. Mxico: Prentice Hall. Se recomienda el Captulo 4: Estandarizacin, confiabilidad y validez. Punto: Validez.

Ary, D., Jacobs, L.., Y Razavieh, A. (1.994). Investigacin pedaggica. (Segunda Edicin). Mxico: Mc Graw Hill. Se recomienda el Captulo 8: Validez y confiabilidad. Punto: Validez.

Cohen, R., Y Swerdlik, M. (2.001). Pruebas y Evaluacin Psicolgicas. Mxico: Mc Graw Hill.

Hurtado, J. (2.000). Metodologa de la Investigacin Holstica. (Tercera edicin). Caracas: Sipal. Se recomienda el Captulo 24: Construccin y validacin de instrumentos. Seccin 24.3: Validez de instrumentos.

Kerlinger, F. (1.988). Investigacin del comportamiento (Segunda edicin en espaol): Mxico: Mc Graw Hill. Se recomienda el Captulo 27: Validez.

Ruiz, B (2001) Instrumento de Investigacin Educativa. Barquisimeto: Ediciones CIDEG. C.A.

EMBED Equation.3

EMBED Equation.3

EMBED Equation.3

EMBED Equation.3

_1177443041.unknown

_1177443365.unknown

_1177443378.unknown

_1136525868.unknown