10/26/2014
1
1
TEMA 4. La construccin del test
Introduccin Finalidad del test Aspectos adicionales en la construccin del test1. Contexto2. Caractersticas internas3. Proceso tras la redaccin de los tems4. Manual del test y sus revisiones5. Criterios para la valoracin del test6. Medicin del desempeo
2
1. Introduccin
La construccin de un test es un arte.Para la redaccin de los tems
Pero tambin hay que establecer un marco metodolgico
Se requiere
-Perspicacia-Tino-Concisin-Ingenio
10/26/2014
2
3
1. Introduccin
La forma de definir el objeto de la psicometra ha dado lugar a dos
escuelas psicomtricas:
ENFOQUEFUNCIONALISTA
ENFOQUEDE LOS RASGOS
4
1. Introduccin
Pronosticar criterios
socialmente relevantes
ENFOQUE FUNCIONALISTA
La construccin del test viene determinada por el uso pragmtico que deseemos hacer de l
Entiende la psicometra como una tecnologa aplicada a la construccin de tests tiles para
Evaluar los conocimientos acadmicos de
los sujetos
Clasificar a las personas en
distintas categoras
10/26/2014
3
5
1. Introduccin
ENFOQUE FUNCIONALISTA
El diseo del test consiste en
Identificar la utilidad que se desea lograr con el test
Especificar las reas de contenido relevantes
Desarrollar un esquema detallado que nos gue en la construccin de
los tems
6
1. Introduccin
ENFOQUE DE LOS RASGOS Surge del intento de situar la psicometra en el
campo de la ciencia. Tuvo su origen en el acercamiento cientfico a
nociones ingenuas o de sentido comn sobrela personalidad.
Las teoras factorialistas de la inteligencia sonotra corriente importante de este enfoque.
Los tests se disean para medir rasgos queson manifestaciones de la varianza biolgicaen aptitudes o personalidad.
10/26/2014
4
7
1. Introduccin
El desarrollo tecnolgico propiciado por el funcionalismo
La extensa metodologa de validacin de constructo propiciado por el enfoque
de los rasgos
Debemos aprovechar
8
2. Finalidad del test
Para qu se utilizar el test?
Objetivos
Medicin de un constructo terico
Evaluacin acadmica o conductual
Seleccin de
personal
Clasificacin diagnstica
10/26/2014
5
9
2. Finalidad del test
A partir de los objetivos, decisiones a tomar:
Relativas al nivel de instruccin
De diagnstico
De seleccinDe asignacin
De clasificacin
De orientacin
De screening
Si el sujeto domina o no ciertas destrezas
Identificar deficiencias para corregirlas
Admitir o excluir sujetos
Deteccin rpida
Comportamiento futuro
En qu lugar situar a un sujeto en una jerarqua (nivel)
Asignacin de tipo (grupo)
10
10/26/2014
6
11
2. Finalidad del test
Por ejemplo, destreza par el clculo aritmtico puede significar:
Ambas cosas pueden constituir atributos notablemente diferentes y una persona que
sobresaliente en una puede ser normal en la otra
Velocidad y exactitud con clculos simples con nmeros enteros
Habilidad para llevar a cabo de principio a fin
clculos largos y complejos con empleo de fracciones,
decimales y parntesis
12
3. Aspectos adicionales
Caractersticas de la poblacin
Restricciones temporales
Aplicacin individual o
colectiva
Contexto en el que se aplicar el test
10/26/2014
7
13
3. Aspectos adicionales
Caractersticas de la poblacin
Restricciones temporales
Aplicacin individual o
colectiva
EdadNivel educativo y culturalClase socialLengua maternaMedio rural/urbano
Contexto en el que se aplicar el test
14
3. Aspectos adicionales
Caractersticas de la poblacin
Restricciones temporales
Aplicacin individual o
colectiva
Por ejemplo, para nios debe ser ms corto
Contexto en el que se aplicar el test
10/26/2014
8
15
3. Aspectos adicionales
Caractersticas de la poblacin
Restricciones temporales
Aplicacin individual o
colectiva
Atencin a las instrucciones
Contexto en el que se aplicar el test
16
3. Aspectos adicionales
Anlisis de contenido
Revisin de lo publicado
Incidentes crticos
Observacin directa
Juicio de expertos
Objetivos instruccionales
10/26/2014
9
17
3. Aspectos adicionales: formato
Para tests de ejecucin mxima
tem abierto tem cerrado
Se prefieren, porque:
1. La valoracin de los abiertos es ms subjetiva2. Su tratamiento es ms sencillo3. Ofrecen mejor ratio coste/beneficio
18
3. Aspectos adicionales: formato
Eleccin mltiple
Seleccin o identificacin
Ordenacin del material estimular
Sustitucin/correcin
Completar
Construccin
Presentacin
Ms o menos adecuados en funcin de la complejidad
de los procesos
cognitivos a evaluar
10/26/2014
10
19
AERA (Taxonoma de Bloom):Jerarqua de procesos cognitivos (de < a > dificultad)
Conocimiento
Comprensin
Aplicacin
Anlisis
Sntesis
Evaluacin
Importante considerar qu porcentaje de tems de cada tipo
debera tener el test
20
3. Aspectos adicionales: formato
Sinnimos/Antnimos
Marque la palabra que significa casi lo opuesto quelocuaz
SecoTaciturnoHostilRaroAbsurdo
ELECCIN MLTIPLE
10/26/2014
11
21
3. Aspectos adicionales: formato
Analogas
Locuaz es a taciturno como amistoso es a:
VivazHostilOcupadoParlanchnSilencioso
ELECCIN MLTIPLE
22
3. Aspectos adicionales: formato
Analogas
: : : :
a)
ELECCIN MLTIPLE
10/26/2014
12
23
3. Aspectos adicionales: formato
Clasificacin
Cul corresponde a las 3 palabras: naranja, lima, taronjaa) Duraznob) Perac) Tomated) Limne) Manzana
ELECCIN MLTIPLE
24
3. Aspectos adicionales: formato
Serie
Cul sigue a continuacin en la serie 3 6 9 12:
a) 13b) 14c) 15d) 16e) 17
ELECCIN MLTIPLE
10/26/2014
13
25
3. Aspectos adicionales: formato
Multimental
Cul no pertenece al resto del conjunto:
a) 4 a) Lanudob) 6 b) Salchichac) 7 c) Pequinsd) 10 d) Barcinoe) 12 e) Galgo
ELECCIN MLTIPLE
26
3. Aspectos adicionales: formato
El sujeto eligen entre respuestas posibles, pero el nmero es ms grande que en
eleccin mltiple
EJEMPLO: eliminar palabras redundantes en un texto
SELECCIN O IDENTIFICACIN
10/26/2014
14
27
3. Aspectos adicionales: formato
Ordene las siguientes palabras para formar una oracin correcta
respuesta poda Juan saba no recordar la pero la
ORDENACIN DEL MATERIAL ESTIMULAR
Reordene las siguientes letras de modo que hagan una palabra inteligente: A C O N D U
Reordene los nmeros y smbolos de modo que formen una ecuacin: 2 2 3 4 ( ) + / =
28
3. Aspectos adicionales: formato
Indique la palabra que completa la oracin:La joven _________ en su bicicleta hacia la aldeaa)Persigueb)Manejac)Fued)Dej
COMPLETAR
10/26/2014
15
29
3. Aspectos adicionales
Cmo seleccionar las alternativas incorrectas
Nmero de alternativas:
Ensayar cada tem en forma de ejercicios para completar y
despus identificar los errores ms comunes
Preguntarse si yo fuera caballo a dnde ira?
3
Muy laborioso
Habilidad del
redactor
30
3. Aspectos adicionales
Una alternativa incorrecta no ser til si:
Es demasiado parecida a la correcta
Es demasiado inconexa o inverosmil
La funcin de las alternativas incorrectas es disminuir la probabilidad de acertar por azar
10/26/2014
16
31
Recomendaciones para redactar tems de ejecucin mxima
Usar un planteamiento redactado como una pregunta completa
Si se alarga al doble
un test con rxx=0,8qu coeficiente se puede esperar?a) 0,85b) 0,90c) 0,95
La fiabilidad de un test:a)Aumenta conforme se alarga el testb)No puede ser mayor que la validezc)Disminuye con la homogeneidad del grupo
32
El planteamiento debe contener tanto del tem como sea posible, y las opciones de respuesta cortas
Durante el reinado de qu rey se produjo el descubrimiento de Amrica:a)Carlos Ib)Reyes Catlicosc)Felipe II
El descubrimiento de Amrica:a)Se produjo durante el reinado de Carlos Ib)Se produjo durante el reinado de los reyes catlicosc)Se produjo durante el reinado de Felipe II
Recomendaciones para redactar tems de ejecucin mxima
10/26/2014
17
33
El planteamiento se expresa en forma afirmativa
De menor a mayor cul de los siguientes nmeros es el ms pequeo?a)2b)-3c)4
De menor a mayor cul de los siguientes nmeros no es el ms pequeo?a)2b)-3c)4
Recomendaciones para redactar tems de ejecucin mxima
34
La respuesta correcta debe ajustar claramente; las incorrectas verosmiles, pero no tan parecidas a la
correcta como para confundir
Cul de los siguientes autores escribi El Quijotea)Caldern de la Barcab)Miguel de Cervantesc)Miguel de Unamuno
Recomendaciones para redactar tems de ejecucin mxima
Cul de los siguientes autores escribi El Quijotea)Caldern de la Barcab)Miguel de Cervantesc)Francisco de Quevedo
10/26/2014
18
35
La respuesta correcta debe ser aproximadamente de la misma longitud que las incorrectas
Cul de los siguientes autores escribi El Quijotea)Caldern de la Barcab)Miguel de Cervantesc)Francisco de Quevedo
Recomendaciones para redactar tems de ejecucin mxima
Cul de los siguientes autores escribi El Quijotea)Caldernb)Miguel de Cervantesc)Quevedo
36
Los trminos absolutos deben utilizarse espordicamente en las incorrectas
En pacientes que padecen demencia avanzada, tipo Alzheimer, el defecto de memoria:a)Nunca es severob)Puede tratarse con lecitinac)Posiblemente compromete al sistemacolinrgico
Recomendaciones para redactar tems de ejecucin mxima
10/26/2014
19
37
Las alternativas deben ser gramaticalmente correctas y enunciadas de forma similar
Un hombre es trasladado a urgencias inconsciente. Despus de determinar que la va area est abierta, el primer paso en el tratamiento debera ser la administracin intravenosa de:a)Diazepamb)Examen del lquido cefalorraqudeoc)Glucosa con vitamina B1
Recomendaciones para redactar tems de ejecucin mxima
38
Evitar que respuesta correcta incluya una palabra clave del planteamiento que pueda ser indicio de la correcta
Un hombre con antecedentes de alcoholismo e ingreso repetido en psiquiatra presenta confusin y agitacin. Dice que siente que el mundo es algo irreal. El sntoma se llama:a)Despersonalizacinb)Dficit focal de memoriac)Desrealizacin
Recomendaciones para redactar tems de ejecucin mxima
10/26/2014
20
39
Usar la opcin ninguna de las anteriores slo para tems que tienen una respuesta correcta y no una
respuesta mejor
La funcin principal de la hormona adrenocorticotrfica es:
a)Regular la actividad de lacorteza de las glndulas suprarrenales
b)Producir la pigmentacin de lapiel
c)Provocar un descenso en la glucemia
La funcin principal de la hormona adrenocorticotrfica es:
a)Provocar un descenso en laglucemia
b)Producir la pigmentacin dela piel
c)Ninguna de las anteriores
Recomendaciones para redactar tems de ejecucin mxima
40
Evitar la opcin todas las anteriores, suele ser inclusiva
Cuntos euros son setecientas cuarenta y ocho pesetas? a)3,5b)4c)4,5
Cuntos euros son setecientas cuarenta y ocho pesetas?a)4b)3c)Todas las anteriores son incorrectas
Recomendaciones para redactar tems de ejecucin mxima
10/26/2014
21
41
Orden de las alternativas aleatorizado, pero respetando el orden creciente en nmero y el
cronolgico en fechas
Recomendaciones para redactar tems de ejecucin mxima
Cuntas pesetas son sesenta y tres duros y medio? a)126,5b)317,5c)630,5
Cuntas pesetas son sesenta y tres duros y medio?a)317,5b)126,5c) 630,5
42
Algo sobre preguntas abiertas?Ms fciles de plantear pero ms laboriosas para corregir y subjetivas al puntuar
* En tems de respuesta corta (o completar cuando hayms de una opcin)
* En tems de respuesta abierta ms elaborada (ensayos),es esencial considerar la subjetividad que introduce el calificador
Nombra dos de los presidentes del Parlamento Espaol___________________ y ____________________
Ej. Christen et al (1994). Evaluacin del Pensamiento crtico (escala de 1 a 5)
50% acuerdo completoCada ensayo: 45% diferencias de hasta un puntodos evaluadores 5% diferencias de + de 1 punto 3er ev
10/26/2014
22
43
3. Aspectos adicionales: formato
Para tests de ejecucin tpica
Respuestas dicotmicas
Respuestas tipo Likert
Listas de adjetivos bipolares
Expresin de la gradacin mediante nmero o palabras
Definir todos los grados, slo los extremos, extremos ms categora central, manteniendo la simetra
No ms de 7
Alternativas pares o impares
44
3. Aspectos adicionales: formato
Problema en los tests de ejecucin tpica
Muy sensibles a los estilos o tendencias de respuesta
Propensin a responder de una forma peculiar en algunos formatos, independientemente de
contenido
AquiescenciaDiferencias individuales en la interpretacin de
expresiones indefinidas
10/26/2014
23
45
Evitar los enunciados que puedan ser interpretados de varias formas
Las caractersticas del candidato demcrata a la presidencia de EEUU le dan ventaja sobre el republicanoa)Totalmente de acuerdob)De acuerdoc)En descuerdod)Totalmente en desacuerdo
Recomendaciones para redactar tems de ejecucin tpica
46
Limitar cada frase a una sola idea
Ninguna mujer debe tener un hijo no deseadoa)Totalmente de acuerdob)De acuerdoc)En desacuerdod)Totalmente en desacuerdo
La vida humana es sagrada, pero ninguna mujer debe tener un hijo no deseadoa)Totalmente de acuerdob)De acuerdoc)En desacuerdod)Totalmente en desacuerdo
Recomendaciones para redactar tems de ejecucin tpica
10/26/2014
24
47
Las frases expresan sentimientos, preferencias, actitudes o creencias, no aserveracines de hechos
Cada vez ms mujeres estn accediendo a la universidada)Totalmente de acuerdob)De acuerdoc)En desacuerdod)Totalmente en desacuerdo
Recomendaciones para redactar tems de ejecucin tpica
48
Evitar las frases que puedan ser aceptadas o rechazadas por la mayora de las personas
Las personas con problemas mentales deberan ser internadas en centros especiales para siemprea)De acuerdob)Trmino medioc)En desacuerdo
Recomendaciones para redactar tems de ejecucin tpica
10/26/2014
25
49
Las frases deben ser cortas y de estructura gramatical simple
Es gratificante poder expresar pblicamente las propias opinionesa)SIb)NO
No es gratificante el no poder expresar pblicamente las propias opinionesa)SIb)NO
Recomendaciones para redactar tems de ejecucin tpica
50
Incluir en el test tantos enunciados positivos como negativos, para evitar la aquiescencia
Recomendaciones para redactar tems de ejecucin tpica
MD MAEn la escuela aprendo cosas tiles 1 2 3 4 5 6 7En la escuela pierdo el tiempo 1 2 3 4 5 6 7
10/26/2011
26
51
Evitar los vocablos de significado universal o indefinido
Leo los peridicosa)Todos los dasb) Una vez a la semanac) Una vez al mesd) Menos de una vez al mes
Leo los peridicosa) Siempreb) Frecuentementec) Ocasionalmented) Casi nunca
Recomendaciones para redactar tems de ejecucin tpica
52
Usar un vocabulario que pueda ser comprendido por la poblacin a la que va dirigido el test
En una encuesta dirigida a nios de 10 aos sobre las drogas, se incluye este tem:Las sustancias narcotrpicas producen un estado de somnolenciaa)De acuerdob)Trmino medioc)En desacuerdo
Recomendaciones para redactar tems de ejecucin tpica
10/26/2014
27
53
Evitar la terminologa sexista y trminos que puedan resultar ofensivos o excluyentes
Las mujeres conducen peor que los hombresa)De acuerdob)Trmino medioc)En descuerdo
Recomendaciones para redactar tems de ejecucin tpica
54
Medicin de aptitud
3. Aspectos adicionales
Medicin de personalidad
1. Se extiende en unadireccin, desdepoca hasta mucha
2. Se pide al sujeto larespuesta que sea elmejor desempeode que es capaz
1. Se concibe comobipolar
Se pide al sujeto unarespuesta franca ysincera
=
10/26/2014
28
55
Revisin de los tems
4. Proceso tras la redaccin de los tems
Estudio piloto
Participan:1. Expertos en el contenido2. Expertos en psicometra3. Sujetos de la poblacin
Estudio de campo
Prueba de funcionamiento del test: anlisis de tems
Anlisis del test y baremos Tests normativos Tests criteriales
56
5. Manual del test y sus revisiones
Fundamentacin terica del constructo
Usos a los que se puede destinar
Poblaciones a las que va dirigido
Instrucciones completas de administracin
Datos de precisin, muestras y procedimientos
Evidencias de validez, muestras y estimacin
Sugerencias sobre posibles usos puntuaciones
Baremos (muestras usadas para su obtencin)
10/26/2014
29
57
5. Manual del test y sus revisiones
1. Teora delconstructo medido
2. Contexto social3. Tcnicas de anlisis4. Uso del test
Tras cierto tiempo pueden
dejar el test obsoleto
REVISARLO Y ACTUALIZARLOUn test obsoleto puede comprometer seriamente la
informacin que obtengamos con l
AVANCESEN
5858
6. Criterios para la valoracin del test
Procede de una teora que define operativamente el atributo que mide el test?
Posee instrucciones estandarizadas y adecuadas a la poblacin a que se dirige, incluyendo breve y exacta explicacin y
ejemplos?
Si contiene tems de diferente dificutal estn ordenados por dificultad creciente?
Se hacen explcitos los procedimientos usados para el muestreo de tems?
10/26/2014
30
5959
6. Criterios para la valoracin del test
Tiene instrucciones claras sobre cmo tratar las respuestas basadas en conjeturas, azar?
Si es de personalidad e incluye la opcin ?,especifica el significado de esa opcin?
Presenta pruebas de sesgo?
Tiene acogida favorable en cuanto a presentacin, material, etc.?
Est claro que no provoca recelos ni suspicacias entre los sujetos?
6060
6. Criterios para la valoracin del test
Existe informacin suficiente en el manual sobre sus propiedades estadsticas? En caso
de la TRI estn calibrados sus tems?
Si es el test es de tiempo limitado,est especificado?
Es sencilla y fiable la forma de aplicacin y puntuacin?
Es suficientemente clara y sencilla la hoja de respuestas?
10/26/2014
31
6161
6. Criterios para la valoracin del test
Especifica las diferentes muestras y el diseo muestral seguido en la tipificacin?
Refleja el manual la bibliografa utilizada en relacin con el constructo que mide el test?
62
7. Medicin del desempeo
En algunas reas es ms adecuado evaluar al sujeto en condiciones reales o simuladas
Hay quedecidir
- Qu aspectos de la habilidad es importante medir
- Si el desempeo es1. un proceso2. un producto
Que se va a evaluar conforme ocurra
La atencin se centra en el resultado final tangible
10/26/2014
32
63
7. Medicin del desempeo
COMO UN PROCESO
Depende del criterio de los evaluadores
1. Dividirlo en actividades elementalesorganizadas en una lista paraverificar
2. Identificar aspectos definidos decada actividad
3. Preparar a los evaluadores medianteobservacin
64
7. Medicin del desempeo
COMO UN PRODUCTO
Elaborar la prueba
teniendo en cuenta
1. Qu actividadrepresentar mejor ladestreza que se deseacuantificar
2. Qu aspectos delresultado debenevaluarse
3. Cmo deben ponderarseesos aspectos en laevaluacin total
Velocidad
Calidad
Top Related