UnidaddeDesarrolloyAnálisisDepartamentodeEvaluación,MediciónyRegistroEducacional―UniversidaddeChileSeptiembrede2016

Prueba de Selección Universitaria Informe Técnico

Volumen III

Pilotaje de Instrumentos PSU, aplicaciones hasta 2015

CONTENIDO 1. MuestradelapruebaPiloto.......................................................................................................3

1.1 Procedimientogeneraldemuestreo..................................................................................4

1.1.1 Tamañomuestral.......................................................................................................4

2. Aplicacióndelaspruebaspiloto.................................................................................................6

2.1 Controldecalidad..............................................................................................................6

2.2 EquipodeAplicacióndePruebasPiloto.............................................................................7

3. AnálisisdelosresultadosdelaPruebaPiloto............................................................................8

3.1 TeoríaClásicadelTest(TCT)...............................................................................................9

3.1.1 ÍndicedeDificultad...................................................................................................10

3.1.2 ÍndicedeDiscriminación...........................................................................................11

3.1.3 AnálisisdelasOpcionesIncorrectasoDistractores.................................................12

3.2 AnálisisDiferencialdelosÍtems(DIF)..............................................................................13

3.2.1 Mantel-Haenszel.......................................................................................................14

3.2.2 CaracterísticasdeunítemDIF..................................................................................16

3.2.3 Breslow-Day..............................................................................................................17

3.2.4 ValoresentregadosporelprogramaDIFAS.............................................................18

3.3 FinalizacióndelProceso...................................................................................................19

4. Bibliografía...............................................................................................................................20

5. Anexos......................................................................................................................................22

1

GLOSARIO BDEstadísticoBreslow-Day

CDRReglacombinadadedecisión,porsussiglaseninglés:CombinedDecisionRule

CRUCHConsejodeRectoresdelasUniversidadesChilenas

DIFFuncionamientodiferencialdelItem,porsussiglaseninglés:DifferentialItemFunctioning

DEMREDepartamentodeEvaluación,MediciónyRegistroEducacional

ETSEducationalTestingService

MHEstadísticoMantel-Haenszel

PSUPruebadeSelecciónUniversitaria

TCTTeoríaClásicadelTest

TRITeoríadeRespuestaalItem

UCPUnidaddeConstruccióndePruebasdelDEMRE

UDAUnidaddeDesarrolloyAnálisisdelDEMRE

UEIUnidaddeEstudioseInvestigacióndelDEMRE,actualUDA

UIUnidaddeInformáticadelDEMRE

2

PRESENTACIÓN El pilotaje de una prueba, es el procedimiento experimental mediante el cual se obtiene lavalidaciónestadísticadelosítems.Elobjetivodelaaplicaciónpilotodeunapruebaesdeterminarlaspropiedadespsicométricasdelosítemsysuadecuaciónparamedirloquesedeseaevaluar.Decumplirconlosestándaresestablecidos,losítemspasaránaformarpartedefinitivadelBancodeítemsypodránserutilizadosenfuturaspruebasoficiales.

Enel casode laPruebadeSelecciónUniversitaria (PSU), los ítemsvalidadosen losprocesosdepilotajenuncaseutilizanenlaaplicaciónoficialdelmismoañoenqueseaplicóelpilotaje.Estosítems quedan disponibles para el ensamblaje de una prueba oficial a partir del Proceso deAdmisiónsiguiente.

A su vez, el Consejo de Rectores (CRUCH) en la SesiónN°544 del 30 demayo de 2013, acordóincluir ítemsdepilotajedentrode lasPSUoficialesapartirdelProcesodeAdmisión2014.Estosítemsnosonconsideradosparalaasignacióndepuntajedelossujetosypuedenserutilizadosenfuturasaplicacionesoficiales.Dada lacomplejidadentérminosde lacombinacióndecontenidosdediferentesdisciplinas,desdeeliniciodeestamedida,seoptópornoincluirítemsdepilotajeenCiencias.ParaelProcesodeAdmisión2016,laspruebasdeLenguajeyComunicación,Matemática,eHistoria,GeografíayCienciasSocialesincluyeron5ítemsdepilotajeencadaunadesusformas.

Consecuentemente, el presente volumen presenta las características principales del Piloto PSUrealizado hasta el año 20151. Se presentan los criterios para seleccionar una muestrarepresentativadelapoblaciónquerendirálaPSU, losaspectosrelevantesdelaaplicacióndelasPruebas Piloto, los recursos humanos ymateriales involucrados, elementos operacionales y losanálisispsicométricosrealizados.

1Desdeelaño2016,elDEMREhamodificadosumetodologíadepilotajedeítemsPSU.

3

1. Muestra de la prueba Piloto Elobjetivode laaplicaciónpilotoesvalidarempíricamente los ítemselaboradosduranteelaño.Con el fin de obtener resultados fiables, esta validación debe hacerse en una muestra lo mássimilarposiblealapoblaciónobjetivoquerindelaPSUcadaaño.

Lapoblaciónobjetivoestácompuestaprincipalmenteportodosaquellosindividuosegresadosdela educación media que desean rendir la PSU. Según datos históricos, la mayor parte de lapoblaciónquerinde laPSUestácompuestaporestudiantesqueegresande IV°medioelmismoañoenqueseaplicalaprueba.Aestosestudiantesselesidentificacomo“promocióndelaño”yenelProcesodeAdmisión2015(aplicadoendiciembrede2014)fueronel71,35%,mientrasqueel28,65%provinodepromocionesanteriores(DEMRE,2015).

Porrazonesoperativasyprácticas,paralasaplicacionespilotoelDEMREhadefinidolapoblaciónobjetivo solo considerando a los sujetos pertenecientes a la “promoción del año”. Así, para lospilotajes realizados hasta el año 2015, se seleccionó unamuestra representativa, considerandocomomarcomuestralalosestudiantesquecursabanIV°medioduranteeseañolectivo.Debidoalasdiferenciasdecomportamientodelasdistintaspruebasseseleccionabaunamuestraparalasdos pruebas obligatorias y una muestra para cada prueba electiva. Estas muestras no sonexcluyentesentresí.

LosestudiantespertenecientesalapromocióndelañofueronseleccionadosaleatoriamenteporelDEMREparaparticiparenlaaplicacióndeestaspruebasexperimentales.Laparticipaciónenestetipo de instancias es de carácter voluntario. Una vez que el estudiante decide participar, debecumplir estrictamente las normas del proceso, especialmente las referidas al resguardo de laseguridaddelosítems,puesseaplicalamismanormativaqueenlaPSUoficial.

Con la finalidad de resguardar la representatividad de la muestra elegida se consideraron lassiguientesvariables:

• Regiónycomuna.

• Dependencia del Establecimiento Educacional: Municipal, Particular Subvencionado yParticularPagado.

• Modalidad educacional: Humanístico – Científica (solo diurno), Técnico- Profesional (ramasComercial,IndustrialyServicios).

• Sexo:Masculino,Femenino.

• RendimientoPSU:promediodelpuntajePSUenlaaplicacióninmediatamenteanteriorsegúnlasvariablesdescritasacontinuación.

Lamuestrapilotoseseleccionaapartirdeunmuestreomultietápico,conuntamañodemuestradefinido según requerimientos técnicos, tomando en cuenta las variables mencionadasanteriormente.

4

1.1 Procedimiento general de muestreo Elprocedimientoparadeterminarlamuestraconstadelassiguientesetapas

1. Definir el tamaño muestral (n) según las formas que se quieren probar. En el caso de laspruebas de Lenguaje, Matemática e Historia se determina un tamaño muestral de 2500estudiantesporforma.EnelcasodelaspruebasdeCiencias,sedeterminaunnde2000.

2. Seleccionar la fuentede informaciónparagenerarelmarcomuestral,yaqueestapuedesermatricula,inscripciónounacombinacióndeambas.

Enelcasodelprimerprocesopilotodelaño,realizadoenel1°semestre,setrabajaconeltotaldematriculados.Paraelsegundoprocesopiloto(2°semestre),yasedisponedeinformaciónrespectodelossujetosinscritosenelsistemadeadmisión.

3. Determinar las características por prueba (promedio y desviación estándar), por región,comuna,dependencia,modalidad,sexoyestablecimientoparaestablecerestratosycalcularsustamaños.

En una primera etapa se calcula el tamañomuestral por región mediante afijación óptima. Sedecide seleccionar todas las regiones del país con el fin mejorar la representatividad de lamuestra2. Dentro de cada región del país se seleccionan comunas al azar, acorde a criterios deinclusión basados en rendimiento. Una vez escogidas, se calcula su tamañomuestralmedianteafijaciónóptimaalinteriordeellas.

Luego, se determinan los tamaños muestrales por dependencia y modalidad, con el mismoprocedimiento utilizado para las regiones. Posteriormente, se seleccionan establecimientos condistinta probabilidad según su rendimiento, en cada grupo de dependencia y modalidad.Finalmente, dentro de cada establecimiento, se selecciona a los estudiantes mediante unmuestreoaleatoriosimple.

1.1.1 Tamañomuestral

El cálculo del tamaño muestral en las regiones, comunas, dependencia, modalidad yestablecimientoserealizamediantelaafijaciónóptimadeunmuestreoestratificado.

Conestemétodoprobabilísticoseestratificaporvariable.Deesemodo,elcálculodeltamañodela muestra se realiza primero por región, después por comuna, dependencia y después porestablecimiento.Paradefinirelnúmerodesujetosporestrato(n)seaplicalafórmuladeafijaciónóptimaquesemuestraenlaEcuación1.

2 No obstante, una región puede quedar fuera del proceso por razones administrativas, como la falta de locales,problemaspresupuestarios,odifícilacceso.

5

Ecuación1.

𝑛" = 𝑛$%&(&%&)

&*+ (&

• ni=Totaldeseleccionadosenlamuestraenelestratoi.

• Si=Desviaciónestándardelpuntajeenlapruebadelañoanterior,enelestratoi.

• Ni=Númerodeindividuosquepertenecenalestratoi(promocióndeIV°medio).

• nm=Tamañomuestraldefinidoencadaetapa.

• Para iniciarelproceso (primermuestreo;por región), sedeterminaun tamañomuestralde2500porformaenelcasodelaspruebasdeLenguaje,MatemáticaeHistoria.EnelcasodelaspruebasdeCiencias,sedeterminaunnde2000.

• Cuandoseobtieneel tamañopor región (nm), secalculanuevamenteun tamañoen lascomunasseleccionadas, obteniéndose un nuevo valor nm. Este proceso se repite hasta llegar a losestablecimientosyobtenerelnúmerodeestudiantesaseleccionar.

En este punto, se debe cuidar que las agrupaciones realizadas se hagan bajo el criterio derendimiento escolar equivalente, para así mantener la representatividad de la muestra. Porejemplo, si no se eligiera la Primera Región, la cantidad de estudiantes que le corresponde sedebenagregaraotraregiónelegidaquetengaunrendimientosimilar.

6

2. Aplicación de las pruebas piloto La aplicación de las pruebas experimentales requiere de la coordinación de los distintosdepartamentosdelDEMRE,enconjuntoconelEquipoexternodeaplicacióndepruebas.

En la RegiónMetropolitana, se realizan reuniones en elDEMRE con los encargados (Delegados,Jefes de Local y Coordinadores Técnicos), donde se detallan las normas del proceso, lascaracterísticasyfuncionesdelequipo,losdocumentosasociados,ylasconsideracionestécnicasyprotocolares. Es responsabilidad de los encargados transmitir esta información a su equipo detrabajo. Los encargados o delegados, según sea el caso, recogen el material de aplicación delDEMRE,elqueestrasladadoasurespectivolocalderendición.

Enelcasoderegiones,lasreunionesinformativassondirigidasporlasSecretaríasdeAdmisión3,oelDelegadodesignadoparaellugar.ElmaterialsetrasladadesdeelDEMREhacialasSecretarías,quienescontactanalosdistintosdelegadosyJefesdeLocalparacoordinarlaentregayeltrasladodelosmateriales,hacialoslocalesderendición.

Alfinalizarlajornada,todoelmaterialesreintegradoensutotalidadalDEMRE,asegurandoasí,laseguridad y organización del proceso. En el caso de la aplicación en regiones, los delegadosdeberántomarcontactoconlasSecretaríasdeAdmisiónparalaentregadelmaterialdeaplicaciónysuposteriorretornoalDEMRE.

2.1 Control de calidad Paralaejecucióndelaspruebaspiloto,seutilizanunconjuntosdedocumentosdeaplicación,quesirven para tener en orden y controlar los detalles del proceso. Estos documentos son físicos yelectrónicosysegestionanporelDEMREparaelcontroldecalidaddelpilotaje.

Dentrodeestosdocumentosfísicosdestacan:elActadeAplicación,elListadodeAplicación¸yelFormulariodeAsistenciadePostulantesporSala.Elprimero,registralosdatosdelaaplicacióndelas pruebas en cada sala, documentando todos los detalles del proceso, además de cualquieranomalía que ocurra durante la aplicación. El segundo documento es el registro oficial de lossujetos que rinden el piloto, individualizando a todos quienes participan del proceso y susrespectivaspruebasarendir.Porúltimo,elFormulariodeAsistencia,complementalainformaciónconsignadaenelListadodeAplicación,consignandolainformaciónderendiciónaniveldeLocal.

3 Las Secretarías de Admisión son representantes del DEMRE en todo el país. La nómina completa de secretarías,encargadosydatosdecontacto,ordenadasporregiónpuedenencontrarseen:DEMRE.“SecretaríasdeAdmisión”.Enlínea, disponible en: http://psu.demre.cl/proceso-admision/secretarias-admision/ [Consultado el 4 de septiembre de2016].

7

A su vez, se hace uso de un Acta Electrónica, la cual debe ser llenada por el Jefe de Local,señalandotodalainformaciónanterior,yotrasdeinterés.Estoconelfindeagilizarlarecepcióndeinformación,optimizarloscontrolesyresultadosdelaaplicación.

2.2 Equipo de Aplicación de Pruebas Piloto4 El equipo que aplica las pruebas está compuesto preferentemente por profesores titulados, sinperjuicio del nombramiento de otros funcionarios. Para formar los equipos, se invita a lostrabajadoresde losestablecimientoseducacionalesqueparticiparándelpiloto, como tambiénaotrosinvitadosdesdeelDEMRE,lasSecretaríasdeAdmisiónoUniversidades.Aunasí,haycriteriosexcluyentesparaformarpartedelequipo,enningúncasopodránserparte,menoresde21añosopersonasobjetadasporsudesempeñoenprocesosanteriores.

Lacomposicióndelequipoenorden jerárquico,dependiendodelnúmerode localesy salasquetengalasede,serálasiguiente(sedetallanademássusprincipalesfuncionesenelAnexo1.

1. Delegadode lasUniversidadesChilenas: funcionariouniversitario,designadoporelDEMRE,que actúa como representante directo de las Universidades Chilenas en las sedes deaplicación.

2. JefedeLocal:responsabledelfuncionamientodelLocaldeaplicacióndepruebaspiloto.

3. Coordinador Técnico: colaborador directo del Jefe de Local en todas las actividades delprocesodeaplicacióndepruebaspiloto.

4. CoordinadordeLocal:apoyaensuslaboresalJefedeLocalyalCoordinadorTécnico.

5. Examinadores (Jefe de Sala, Coexaminador, suplente): directamente responsables de laaplicacióndelaspruebaspilotoensala.

6. Auxiliares:encargadosdelaseo,ordenenlosLocalesdeaplicación.Ademásprestanapoyoeneltrasladodematerialesenellocal.

Paratodoslosefectospenales,civilesyadministrativos,elJefedeLocal,elCoordinadorTécnico,elCoordinadorde Local y losExaminadores son los responsablesde la custodia ybuenusode losmaterialesde laaplicación. Losprocedimientosde seguridady resguardode laprueba sonmuyimportantesenesteproceso,porloquehayciertosprotocolosquedebencumplirseporpartedelequipo de aplicación de pruebas, como por ejemplo: no romper los sellos de las pruebas, noreproducir por ningún medio el contenido de las pruebas, y no ingresar a la sala con bolsos,carteras,celularesodispositivoselectrónicos.

4Estainformaciónfueextraídaysintetizadadel“ManualdeAplicacióndePruebasExperimentales.ProcesodeAdmisión2016”.

8

3. Análisis de los resultados de la Prueba Piloto5

LaUnidaddeInformática(UI)proporcionalosdatosylosresultadosdelaspruebas laUnidaddeEstudioseInvestigación(UEI)delDEMRE(ActualUnidaddeDesarrolloyAnálisis–UDA-).Conestainformación, se realizan los análisis psicométricos para determinar la calidadde los ítems y portanto,lafactibilidaddeserensambladosenpruebasoficiales.

Acontinuación,sedescribenlosdistintosanálisispsicométricosrealizadosalasPruebasPiloto.Seexponenlosanálisis,lasformulasyprocedimientosparallevarlosacabo.Asuvez,semuestranloscriteriosdefinidosporelDEMREqueaseguranquelosítemsdelaPSUcumplenconlosestándaresmínimosdecalidadparaunapruebaestandarizadadealtasconsecuencias.

En laevaluacióndecalidadde los ítems seutiliza laTeoríaClásicadelTest (TCT)queestablecemodelos capaces de evaluar las propiedades psicométricas de los instrumentos de medición.Específicamente,estudiaaquellos factoresque influyen sobre laspuntuacionesobtenidasen lostestysus ítems,proponiendomodelosquepermitancontrolaryminimizar losfactoresdeerror.Estos factores de error inciden en las estimaciones realizadas a partir del instrumento demedición.

El conceptopropiedadespsicométricas refierealanálisisde lascaracterísticasmétricasdel ítem,quedancuentadelaidoneidaddelinstrumentoparamedirloquesedeseamedir,minimizandoelerror.Enunsentidoamplio, loanteriorpuedeserdefinidocomounprocesoquesecentraenelanálisisdelinstrumento,enlossiguientestresniveles(Kramp,2006;MuñizJ.,Psicometría,1996):

1. Respectodesucomportamientoentantoescala:refierealestudiodelaconfiabilidadyvalidezdelinstrumento6.

2. Respecto de las características de sus ítems: se orienta a los análisis de las característicaspropiasde cada ítem, tales como sudificultad, discriminación,omisión, comportamientodelosdistractoresyfuncionamientodiferencialdelítem(DIF,porsussiglaseninglés,DifferentialItemFunctioning).

3. Unacombinacióndeambas.

En el análisis de la prueba piloto del año correspondiente, así como de la prueba oficial, loscriteriosestadísticosconsideradoscorrespondenalaTCT.DesdeelProcesodeAdmisión2017,el

5Todalainformacióndeesteapartadofueextraídaysintetizadade:Contreras,Hernández,&Kramp.(2011).DirectricesPsicométricasparaelAnálisisdeÍtemesPSU.DocumentodeTrabajo.DEMRE,UniversidaddeChile.6LosanálisisdeconfiabilidadyvalidezserealizanalosresultadosdelaPruebaOficial.

9

análisis de los ítems y su comportamiento en la prueba oficial, será realizado con TCT,complementadoconelmodelodeTeoríadeRespuestaalÍtem(TRI)7.

Laevaluacióndelosítems,tieneporobjetivoapoyarelprocesodeensamblajedelaspruebasPSU,que se realiza con ítemspreviamente validadosenunamuestra representativade la población.Este proceso de pilotaje asegura que los ítems utilizados cumplen los estándares mínimos ysuficientesparaasegurarlacalidadtécnicadelinstrumento.

3.1 Teoría Clásica del Test (TCT) Encuantoasuformulacióngeneral, laTCTproponeunmodelo linealenelqueseasumequelapuntuación obtenida por el sujeto i en un test (X o puntuación empírica) se compone de doselementos aditivos: la puntuación verdadera obtenida por el sujeto (V) y el error de medidapresente en las puntuaciones observadas (e). Formalmente, lo anterior queda definido en laEcuación2.

Ecuación2.

𝑋" = 𝑉" + 𝑒"

Idealmente,en laTCTdebenexistircomomínimodosformasparalelas8(jyk)deunmismotestparacomprobarelmodelo.Dosformasdeuntestsonconsideradasparalelassilavarianza(σ2)delos errores (e) es la misma9 para las dos formas (j y k) y si las puntuaciones verdaderas (V)obtenidastraslaaplicacióndelasdosformasesigual[Vj=Vk].

La TCT ha formulado distintos criterios de valoración de la calidad de los ítems, entre los quedestacanporsuutilidad lossiguientes: índicededificultad, índicedediscriminaciónyanálisisdelosdistractores.

7ParamayorinformaciónrespectodelasdiferenciasycomplementariedadesdelosmodelosTCTyTRI,véase:Navas,M.J.(1994).TeoríaClásicadelosTestversusTeoríadeRespuestaalÍtem.Psicológica15.175-2088Elparalelismoenestecasoseentiendecomolosítemscomunesodeanclajeentrelasdistintasformasquecomponenuntest.9Laexpresión:[𝜎2(𝑒4) = 𝜎2(𝑒6)]implicaqueladistribucióndeloserroreseshomogénea.

10

3.1.1 ÍndicedeDificultad

El índice de dificultad de un ítem (p) se define como la proporción de sujetos que respondecorrectamentealmismo,enfuncióndeltotaldeindividuosqueabordaronelítem.DefinidoenlaEcuación3.

Ecuación3.

𝑝" =9&(

• pi=dificultaddelítem.

• Ai=personasqueacertaronelítem.

• N=númerodeindividuosqueintentaronresponderelítem.

Elíndicededificultaddeunítem(p)admitevaloresdentrodeunintervaloquevade0a1.Cuandopseacercaalvalor1,indicaquemuchosindividuoshancontestadocorrectamenteelítem,porloqueesteresultafácil.Porelcontrario,amedidaquepseaproximaoalcanzaelvalor0,indicaqueelítemencuestiónresultadifícilparalossujetosdelamuestraopoblaciónenquefueaplicado.

Es posible transformar el valor p a una escala basada en puntuaciones Z10. La escala detransformaciónmásdifundidaeslaescaladelta(D),propuestaporelEducationalTestingService(ETS)(Martínez-Arias,1996),señaladaenlaEcuación4:

Ecuación4.

∆= 13 + 4𝑧• z=elvalorenladistribuciónnormaldeunporcentajederespuestascorrectas(ETS,2010).

Adiferenciadep,unDaltoindicalapresenciadeunítemdifícil.LaTabla1,resumelospuntosdecorteutilizadosporelDEMREparavalorarunítemcomofácil,medianoodifícil,segúnlosíndicespyD.

10LapuntuaciónZestandarizaladistribucióndeunconjuntodevaloresnuméricosquedescribenalgunacaracterísticade una población. A su vez, permite determinar a cuantas unidades de desviaciones estándar esta un puntaje de lamediapoblacional.

11

Tabla1.Parámetrosdedificultad

p D Clasificación

0,00–0,39 25,0–14,1 Difícil

0,40-0,59 14,0–12,1 Mediano

0,60–1,00 12,0–1,0 Fácil

ParaefectosdelosítemsquecomponenlabateríadepruebasPSU,elíndicededificultadutilizadoporelDEMREseencuentraenlosrangos:

• Expresadoenp:0,10≤p≤0,80

• Expresadoenescaladelta:9,6≤D≤18,1

3.1.2 ÍndicedeDiscriminación

De manera amplia, el índice de discriminación puede ser definido como la correlación que seestableceentre laspuntuacionesqueobtienen los sujetosenun ítemparticulary lapuntuacióntotaleneltest(Muñiz,Fidalgo,Cueto,Martinez,&Moreno,2005).

Segúnlosautores,unapreguntatienepoderdediscriminaciónsiescapazdedistinguirentrelossujetosquepuntúanaltoenunapruebadeaquellosquepuntúanbajo.Porlotanto,“escondiciónde calidad de un ítem el que sea contestado correctamente por los estudiantes con mayorpuntuación”(2005,pág.61).

ElDEMREestablecelosíndicesdediscriminacióndelosítemsquecomponenlosinstrumentosdelabateríadepruebasPSU,pormediodecorrelaciones.Específicamente,dadaslascaracterísticasdelosítemsdeselecciónmúltipleylosrequerimientosdelaTCT,seutilizaelíndicedecorrelaciónbiserial(𝑟@).Estepermiterelacionarrespuestasdetipodicotómicasydiscretas(aciertoversusnoacierto),conunaescaladetipocontinua(puntuacióntotalsobrelaescalaoprueba),evaluandoasíelgradodeasociacióny,porextensión,dediscriminacióndelosítems.

Ecuación5.

𝑟@ = 𝑥B −𝑥D𝑠D

∗ 𝑝𝑦

• 𝑥B=promedioenlapruebadelgrupoquecontestacorrectamenteelítem.

• 𝑥D=promediodelgrupototalenlaprueba.

• 𝑠D=desviaciónestándardelgrupototal.

• p=proporcióndesujetosquecontestacorrectamentelapregunta.

12

• y=ordenadacorrespondientealvalordelapuntuacióntípica(z)quedejapordebajounáreaigualap.

Los criterios internacionales para clasificar un índice de correlación biserial, son expuestos porMuñiz, et al. (2005). En la Tabla 2 semuestran los puntos de corte utilizados para clasificar elíndice de correlación biserial (𝑟@). Para efectos de los ítems utilizados en los instrumentos quecomponenlabateríaPSU,elíndicedecorrelaciónbiserialmínimoaceptadoporelDEMREesde𝑟@≥0,250.

Tabla2.Clasificacióndelíndicedecorrelaciónbiserial

rb Clasificacióndelítem

Igualomayorque0,40 Discriminamuybien

Entre0,30y0,39 Discriminabien

Entre0,20y0,29 Discriminapoco

Entre0,10y0,19 Limite.Sedebemejorar

Menorde0,10 Carecedeutilidadparadiscriminar

3.1.3 AnálisisdelasOpcionesIncorrectasoDistractores

Enun ítem,sedenominaopción incorrectaodistractorasusopciones incorrectasderespuesta.ComoseñalanMuñizetal.(2005),esfundamentalquetodaslasopcionesincorrectasincluidas,entanto opciones de respuesta al ítem, resulten “(…) igualmente atractivas para las personasevaluadas que desconocieren la respuesta correcta” (pág. 70). Analizar la distribución de lasrespuestasdelosexaminados,explicaelfuncionamientodelosdistractores.

Porejemplo,enunítem,uníndicedediscriminaciónbajopuedeexplicarseporquealgunodelosdistractores fue elegido tanto por los individuos con bajo desempeño como por los de altodesempeño.Enestecaso,esconvenientecambiardichodistractorporunomásadecuadoyvolverapilotearel ítem.Además,esposiblequealgúndistractornoseaelegidoporlosexaminados(loquesedenominadistractorvacío).Esotambiénafectaelpoderdiscriminativodelítem.

Paraefectosde los ítemsutilizadosen laspruebasquecomponen labateríadepruebasPSU,elDEMREutilizalossiguientescriteriosparavalorarelcomportamientodelosdistractores:

1. Debenserelegidosporalmenos2%omásdelossujetosqueabordaronlapregunta.

2. Debenpresentaruncoeficientedecorrelaciónbiserial(𝑟@)negativo.

3. Elpromediodelgrupoqueeligeeldistractordebesermenorqueelpromediodelgrupoquecontestalaclave(respuestacorrecta)ymenorqueelpromedio(derespuestascorrectas)delgrupototal.

13

3.2 Análisis Diferencial de los Ítems (DIF) En adición al análisis del comportamiento de los ítems en los instrumentos que componen labateríaPSUdescritoanteriormente,enDEMREserealizaunanálisisdefuncionamientodiferencialdelosítems(DIF).

ElanálisisDIFbuscadetectarposiblessesgos,analizandolaequivalenciaentregruposcomparablesdeindividuosquerindenlaprueba.Dadoqueuninstrumentodemediciónnodebeestarafectadoporlascaracterísticasdelobjetomedido.

Desde laperspectivaTCT,sedicequeun ítemfuncionadiferencialmentecuando losestudiantesquetienenigualnivelenlavariablemedidaporeltest,pertenecientesadiferentesgrupos,tienendistintaprobabilidadderesolverlocorrectamente.SiunítemnopresentaDIF,implicaquenohaysesgo, pero si el ítem presenta DIF existen dos posibles causas. Esto puede ocurrir por lasdiferenciasrealesqueexistenentrelosgruposenelrasgosubyacente,llamadoimpacto,oporqueel ítemestásesgado.Unade las investigacionesante lapresenciadeDIFdebeserunanálisisdecontenido por parte de expertos en la materia, ya que es imprescindible estudiar las causas yencontrarunaexplicaciónteóricadelaocurrenciadelmismo.

El proceso inicial para analizar el funcionamiento diferencial de los ítems toma como punto dereferencialasvariablesqueseconsideransusceptiblesdediferencias.Cadavariablesecategorizaendosgruposdiferentes:grupofocalygruporeferencial.Esarbitrarioestablecerlacategorizacióndecadagrupo,perosuelereservarseeltérminofocalparaelgrupominoritariooque,apriori,seconsideraposiblementeperjudicadoporalgunodelosítems

ParaelcasodelaPSU,enlaTabla3semuestranlasvariablesygruposanalizadosporelDEMREque,basadosenlarealidadnacional,podríanpresentarDIF.

14

Tabla3.VariablesygruposconsideradosparaelanálisisDIF

Variable GrupoFocal GrupoReferencial

Sexo Femenino Masculino

Dependencia

Municipal ParticularSubvencionado

ParticularSubvencionado ParticularPagado

Municipal ParticularPagado

Modalidad Técnico-Profesional Humanista-Científico

Zona

Norte(regiones:XV,IaVI) Metropolitana

Sur(regionesVIIaXIV) Norte(regiones:XV,IaVI)

Sur(regionesVIIaXIV) Metropolitana

Para el análisis, se utilizan métodos para detectar comportamiento diferencial uniforme y nouniforme.Esdecir,paraevidenciarsiexistendiferenciasdeprobabilidadderespuestacorrecta,ysiestaprobabilidadesconstanteonoentrelosgruposestudiados.

ConelfindedetectarDIFuniforme,seempleaelmétododeMantel-Haenszel.Estemétodoutilizatablas de contingencias para estudiar diferencias entre grupos comparables a través de unestadístico.Secalculan,además,estimadoresquedeterminansielítemfavorecealgrupofocaloreferencial,eindicanlamagnituddelasdiferenciasentreellos.Enloquerespectaamagnitud,seutilizalaclasificaciónDIFpromovidaporelETS.Finalmente,seentregaelestadísticodeBreslow-Day, quees efectivo cuando existendiferenciasnouniformesen losnivelesdehabilidadde losgrupos.

Hastaelaño2015,losestimadoresfueroncalculadosatravésdelosprogramasestadísticosSPSS23 y DIFAS 5.0. A continuación se indican los criterios de análisis para determinar elfuncionamientodiferencialdeunítem.

3.2.1 Mantel-Haenszel

El método de Mantel-Haenszel (1959), distribuye los datos de los grupos en tantas tablas decontingencia como niveles de habilidad de los sujetos, con el propósito de comparar lasprobabilidadesdeaciertodeunítem(verTabla4).

15

Tabla4.Frecuenciasabsolutasymarginalesdegruposenelnivelj

GruposTipoderespuesta

Aciertos(1) Errores(0) Marginales

GrupodeReferencia(R) Aj Bj nRj

GrupoFocal(F) Cj Dj nFj

Marginales n1j n0j Nj

• Aj:Eslafrecuenciaabsolutadelgruporeferencialqueaciertaelítemparaelnivelj.

• Bj:Eslafrecuenciaabsolutadelgruporeferencialquenoaciertaelítemparalanivelj.

• Cj:Eslafrecuenciaabsolutadelgrupofocalqueaciertaelítemparaelnivelj.

• Dj:Eslafrecuenciaabsolutadelgrupofocalquenoaciertaelítemparaelnivelj.

• nRj:Cantidaddeindividuosdelgruporeferencialparaelnivelj.

• nFj:Cantidaddeindividuosdelgrupofocalparaelnivelj.

• n1j:Cantidaddeindividuosqueaciertaelítemparaelnivelj.

• n0j:Cantidaddeindividuosquenoaciertaelítemparaelnivelj.

• Nj:Númerototaldelamuestra.

Porlotanto,lahipótesisnula,correspondientealaausenciadeDIF,postulaquelaproporciónderespuesta correcta del grupo referencial y focal es el mismo para cada nivel de habilidad j.Mientras,lahipótesisalternativaindicaquesondistintosyportanto,haypresenciadeDIF.

Lahipótesisnula se someteapruebamedianteelestadísticoMantel-Haenszel (MH),asociadoaunapruebadesignificación,quedistribuyesegúnunac2(Chi-cuadrado)conungradodelibertaddescritoenlaEcuación6.

16

Ecuación6.

𝜒IJ2 =𝐴4 − 𝐸 𝐴4 44 − 0,5

2

𝑉𝑎𝑟 𝐴4 4

• 𝐴44 =eslasumadelosaciertosdelgruporeferencialdecadaunadelosnivelesj.

• 𝐸 𝐴4 4 =eslasumadelasesperanzasmatemáticasdeAeiguala𝑛Q4𝑛R4 𝑁4.

• 𝑉𝑎𝑟 𝐴4 4 =eslasumadelasvarianzasdeAeiguala𝑛Q4𝑛T4𝑛R4𝑛U4

𝑁42 𝑁4 − 1

Para rechazar o no la hipótesis nula, el DEMRE utiliza un nivel de significación (a) al 2,5%.Específicamente,sielestadísticodeMH(c2

MH)esmayorqueunac20.975,1equivalentea5,02389,serechazalahipótesisnula.Porconsiguiente,existeevidenciaestadísticasignificativaparaafirmarqueelítemanalizadoposeeDIF.

3.2.2 CaracterísticasdeunítemDIF

ElmétodoMantel-Haenszel,además,proporcionaunestimadornuméricoqueindicaladirecciónde las diferencias encontradas, es decir, cuál es el grupo favorecido cuando existe unfuncionamientodiferencial.UtilizandolainformacióndelaTabla4,elestimadoreselseñaladoenlaEcuación7.

Ecuación7.

𝛼IJ =WXYXZX

X

[X\XZX

X

Los valores de 𝛼IJ oscilan entre cero e infinito. Valores mayores que 1 indican que el ítemfavorecealgruporeferencial,mientrasquevaloresmenoresfavorecenalfocal.

Conel findeobtenerunaformamásprácticade interpretación,seproponeunatransformaciónlogarítmica del coeficiente𝛼IJ (Holland& Thayer, 1985) a una escala simétrica con origen encero,señaladaenlaEcuación8.

Ecuación8.

∆IJ= −2,35 ln(𝛼IJ)

Enestaescala,unvalornegativoindicaqueelítemfavorecealgrupodereferencia,mientrasqueunvalorpositivo,algrupofocal.Deigualmanera,unvalorigualaceroindicaausenciadeDIF.

Complementariamente a lo señalado, el ETS propuso una escala jerárquica para los distintosvaloresdelcoeficiente∆MHelcualindicalamagnituddelasdiferencias.

17

• │∆MH│<1:esunítemCategoríaA,consideradoconDIFDespreciableoIrrelevante.

• 1≤│∆MH│<1,5:esunítemCategoríaB,consideradoconDIFModerado.

• │∆MH│≥1,5:esunítemCategoríaC,consideradoconDIFSevero.

Segúnestascategorizaciones,sesugierenciertasdecisionesasociadasalvalordelestadísticos, loquesegraficaenlaFigura1.

Figura1.Rangosdelamagnitud∆MHdeunítemDIF

3.2.3 Breslow-Day

LapruebadeBreslow-Day(BD)(Penfield,2003),determinasilaasociaciónentrelarespuestadelítemylosgruposeshomogéneasobreelrangodevaloresdeltotaldelospuntajes.BasadoenunadistribuciónChi-cuadradoconungradodelibertadyconlamismanotaciónusadaenelmétodoMantel-Haenszel,elestadísticoeselseñaladoenlaEcuación9.

CategoríaC

Noutilizar

CategoríaB

Evaluar

CategoríaA

Aceptar

CategoríaB

Evaluar

CategoríaC

Noutilizar

-2,0 -1,5 -1,0 0 1,0 1,5 2,0

18

Ecuación9.

𝐵𝐷 =𝑋4(𝐴4 − 𝑎44

2

𝑋4𝑉𝑎𝑟 𝐴44 −𝑋4𝑉𝑎𝑟 𝐴44

2

𝑉𝑎𝑟(𝐴4)

Donde,

• 𝑎4 =bcXdbeXdf bcXgbhX ± beXdbcXgfbcXgfbcX

jgk Rdf bhXbcXf

2 Rdf

• 𝜓 = mX beXdbcXgmXbhXdmX bcXdmX

• 𝑉𝑎𝑟 𝐴4 = RmX+ R

bhXdmX+ R

b+XdmX+ R

beXdb+XgmX

dR

Del mismo modo que para el estadístico Mantel-Haenszel, el DEMRE utiliza un nivel designificación (a) al 2,5%. Específicamente, si el estadístico BD es mayor que una c 20.975,1equivalente a 5,02389, se rechaza la hipótesis nula. Es por eso que existe evidencia estadísticasignificativaparaafirmarqueelítemanalizadoposeeDIFnouniforme.

3.2.4 ValoresentregadosporelprogramaDIFAS

ElprogramautilizadoparaelcálculodelDIFesDIFAS5.0yentregalosvaloresdelosestadísticosMH y BD (ver ecuaciones 6 y 9). Además, entrega los siguientes estadísticos, presentados acontinuación.

Una transformacióndel estadísticodeMantel-Haenszel eselMHLOR,quees la transformaciónlogarítmica(ln)delcoeficiente𝛼IJ ,elcualpermiteobtenerunaescalasimétricaparaelanálisis.

LosvalorespositivosdeésteindicanDIFafavordelgrupodereferencia,ylosvaloresnegativosalgrupofocal.Encuantoamagnitud,laclasificaciónparaelDIFdelETSestransformadaa

• Irrelevante:si|MHLOR|≤0,425

• Moderado:si0,425≤|MHLOR|≤0,638

• Severo:si|MHLOR|≥0,638

OtroindicadoreselLORZ,quesecalculamedianteelcocienteentrelaestimaciónlogarítmicadeMantel-Haenszel(MHLOR)ylaestimacióndelerrorestándar.Esteestimadorindicaqueunvalorsuperiora2,0omenorque-2,0puedeserconsideradoevidenciadelapresenciadeDIF.

ElMH es conocido por ser el testmás potente para el DIF uniforme (Cox, 1988), pero ha sidodemostrado ser relativamente ineficiente al momento de detectar DIF no uniforme,especialmente en ítems de dificultad media (Narayanan & Swaminathan, 1996). Además,simulaciones piloto indican que el poder de BD para detectar DIF no uniforme tiende a ser

19

relativamentealtocuandoelítemestudiadoesdedificultadmedia(Penfield,2003).Así,unareglacombinada de decisión (CDR) basada enMH y BD podríamantener la potencia y un adecuadoerror tipo I a través de los niveles de dificultad de los ítems. Bajo ésta hipótesis, la CDR delprogramamuestra:

• OK:siaceptalahipótesisnuladenopresenciadeDIFenMHyDB.Esdecir, ningunodeestosestadísticosessignificativoal2,5%.

• Flag:sirechazaunadelashipótesisdenoDIF.Esdecir,elítemposeeDIFenalmenosunodelosdosestadísticos.

3.3 Finalización del Proceso Traslaidentificacióndelosítemsconcaracterísticasestadísticasóptimasparaserensambladas,laUEI informabaa laUnidaddeConstruccióndePruebasdelDEMRE (UCP)de sus resultados. Losejes de análisis y las recomendaciones incluyen una mirada extensiva, considerando losparámetrosmencionadosanteriormente.Esdecir,elanálisisdeun ítem incluyenecesariamenteunavisiónconjuntasobresudificultad,discriminación,distractoresysesgos.

Enúltimainstancia,eslaUCPconsusrespectivosComitésquienesdecidenlainclusiónoexclusiónde ítems, tras las recomendacionesentregadaspor laUEI.Laaceptaciónde los ítemsbajoestosparámetros, implica que éstos son óptimos según los criterios y pueden ensamblarse en unapruebadefinitiva.

20

4. Bibliografía Camilli, G., & Shepard, L. A. (1994).Methods for identifying biased test items. Thousand Oaks:

Sage.

Contreras, P., Hernández, J., & Kramp, U. (2011). Directrices Psicométricas para el Análisis deÍtemesPSU.DEMRE.

Cox,D.(1988).Analysisofbinarydata.London:Methuen.

DEMRE.(2015).CompendioEstadísticoProcesodeAdmisiónAñoAcadémico2015.Recuperadoel10 de diciembre de 2015, de Departamento de Evaluación, Medición y RegistroEducacional. Universidad de Chile:http://psu.demre.cl/estadisticas/documentos/p2015/2015-compendio-estadistico.pdf

ETS.(2010).EducationalTestingService.Recuperadoel4deseptiembrede2016,deComparisonof Content, Item Statistics and Test-Taker Performance for the Redesigned and ClassicTOEIC Listening and Reading Tests: https://www.ets.org/Media/Research/pdf/TC-10-04.pdf

Holland,P.,&Thayer,D.(1985).AnalternativedefinitionoftheETSdeltascaleof itemdifficulty.EducationalTestingService,ResearchReport.NJ:Princeton.

Kramp,U.(2006).Efectodelnúmerodeopcionesderespuestasobrelaspropiedadespsicométricasde los cuestionarios de personalidad [Effects of the number of response on thepsychometricpropertiesofpersonality rating scales].PhDoctor. Barcelona:UniversityofBarcelona.

Mantel,N.,&Haenszel,W. (1959). Statistical aspects of the analysis of data from retrospectivestudiesofdisease.JournaloftheNationalCancerInstitute.

Martínez-Arias, R. (1996). Psicometría: Teoría de los tests psicológicos y educativos. Madrid:Síntesis.

Moreno,R.,Martínez,R.,&Muñiz,J.(2005).Análisisdelosítems.Madrid:LaMuralla.

Muñiz,J.(1996).Psicometría.Madrid:EditorialUniversitaria.

Muñiz,J.(2003).TeoríaClásicadelosTest.Madrid:EdicionesPirámide.

Muñiz, J., Fidalgo, A. M., Cueto, E., Martinez, R., & Moreno, R. (2005). Análisis de los ítems.Madrid:LaMuralla.

Narayanan, P., & Swaminathan, H. (1996). Identification of items that show nonuniform DIF.AppliedPsychologicalMeasurement,257-274.

Navas,M.J.(1994).TeoríaClásicadelosTestversusTeoríadeRespuestaalÍtem.Psicológica,175-208.

21

Penfield, R. (2003). Applying the Breslow-Day test of trend in Odds Ratio heterogeneity to theanalysisofnonuniformDIF.TheAlbertaJournalofEducationalResearch.

22

5. Anexos Anexo 1. Composición y principales funciones del equipo deaplicacióndepruebasDelegadodelasUniversidadesChilenas(soloenaplicacionesdepruebaoficial)

FuncionariouniversitarioconjornadacompletaoundocentedeEnseñanzaMedia,designadoporelDEMRE,queactúa como representantedirectode lasUniversidadesChilenasen las sedesdeaplicación.Eselresponsabledirectodelaaplicaciónenel(los)local(es)deunaSede.DependedelaDireccióndelDEMRE,durantelaaplicación.

Debe coordinarse activamente con los Jefes de Local y Coordinadores Técnicos. En ese sentido,debe responderpor el funcionamientodel equipoquedirige y coordina, cautelando la correctaaplicacióndelaspruebasy launiformidaddelprocedimiento.Debevisitarperiódicamentetodosloslocalesdeaplicaciónduranteeldesarrollodelaspruebas

Dentrodesusfunciones,lasmásdestacadasson:

• Conocer íntegramente las funciones, responsabilidades y atribuciones de todo elpersonaldeaplicación.

• Retirar diariamente, desde la custodia de Carabineros, el material de aplicacióncorrespondienteacadadíay,posteriormente,devolverloalmismolugar.

• Desempeñar,paralelamente,lasfuncionesdeJefedeLocalyCoordinadorTécnico,enaquellassedesconmenosde300inscritos.

• Responder consultas de los medios de comunicación, si fuese necesario, con lainformaciónoficialqueelDEMREproporcionasobreelproceso.

• ElaboraruninformeescritosobreeldesarrollodelprocesoenlaSededelaqueestuvoacargo.

JefedeLocal

ElJefedeLocaleslapersonaresponsabledelfuncionamientodelLocaldeAplicacióndepruebas.Esta funciónpuede serejercidaporunacadémicooprofesionaldeEducaciónSuperioro, en sudefecto, un docente directivo de Educación Media, con experiencia previa en los Procesos deSelecciónyAdmisión.LosJefesdeLocalsondesignadosporlosSecretariosdeAdmisióny/(o)porlosRectoresdelasUniversidadesparticipantes.

Dentrodesusfuncionesestán:

• Conocer íntegramente las funciones, responsabilidades y atribuciones de todo elpersonaldeaplicación.

23

• Nominar,conlaautorizacióndelSecretariodeAdmisión,aunCoordinadordeLocalyal50%delosexaminadores.

• Reemplazar al personal de aplicación que se ausenta en los días de aplicación depruebas.

• Controlarlaaplicacióndelaspruebasencadaunadelassalasdellocal.

• Resolverlosproblemasdeidentificaciónosituacionesespecialesquesepresentenenellocal.

• Preocuparse de que la señalización de servicios higiénicos y zonas de seguridad alinteriordellocal,seaclarayestébiendestacada.

Altérminodelaaplicacióndelaspruebas,elJefedeLocaldebeelaboraruninformecompletoydetallado, evaluando las condicionesdel localdeaplicaciónasí comodelpersonalparticipante.Este informe es utilizado para considerar el uso de los locales y participación del personal deaplicaciónenfuturosprocesos.

CoordinadorTécnico

ElCoordinadorTécnicoeselcolaboradordirectodelJefedeLocalentodaslasactividadestécnicasdel examen. Este cargopuede ser ejercidoporunprofesional de la educacióno un funcionariouniversitario. La selección es realizada por el Secretario de Admisión, de acuerdo a losantecedentesenprocesosanteriores.

Dentrodesusfuncionesestán:

• Conocer íntegramente las funciones, responsabilidades y atribuciones de todo elpersonaldeaplicación.

• Instruiralosexaminadoresrespectoaltrabajoquedebenrealizarenlasala.

• Recibir,custodiar,distribuirycontrolarelmaterialdeaplicacióndepruebasdellocal.

• Recibir, contabilizar y entregar al Examinador Jefe de Sala, elmaterial de aplicación(folletos,actas,listados,hojasderespuestaymaterialdeescritorio).

• Mantener,bajosucontrol,losfolletosdereservaylosnoutilizados.

• ReemplazarensusfuncionesalJefedeLocalsifueranecesario.

• Controlar,juntoalJefedeLocal,lacorrectaaplicacióndelaspruebasencadaunadelassalasdellocal.

• Al término de la aplicación de cada prueba, debe recibir y contabilizar el materialutilizadoencadasala.

CoordinadordeLocal

ElCoordinadordeLocaleslapersonaqueapoyaensuslaboresaldelegadodelasUniversidades,alJefedeLocalyalCoordinadorTécnico.Paraejercerestafunción,lapersonacontratadapuede

24

serunprofesionalde laeducación,un funcionariouniversitarioounestudianteuniversitariodecursossuperiores.

Dentrodesustareasestán:

• Apoyar en sus funciones al Delegado de las Universidades, al Jefe de Local y alCoordinadorTécnico.

• ColaborarenlaseñalizacióndelLocal.

• AsumirlasfuncionesylaboresqueleasigneelJefedeLocal.

Examinadores(JefedeSala,Coexaminador,suplente)

LosExaminadoressonlaspersonasresponsablesdelaaplicacióndelaspruebasalosestudiantesen cada una de las salas. Para ejercer este cargo, las personas contratadas pueden serprofesionalesdelaeducaciónoestudiantesuniversitariosdecursossuperiores.

Encadasaladebehaberunmínimodedosexaminadores,unodeloscualesseráExaminadorJefedeSalayelotro,Coexaminador,deacuerdoaladesignaciónrealizadaporelJefedeLocal.

Lasprincipalesobligacionesdeestafunciónson:

• Custodiarelmaterialdeaplicaciónrecibido.

• Verificarlaidentidaddelosinscritosasignadosalasala.

• Entregaralestudianteelmaterialdepruebas.

• Retirarelmaterialalosexaminadosunavezconcluidalaprueba.

• Completar los documentos asociados a la aplicación: acta de aplicación y listado deaplicación.

• EntregarelmaterialrecibidoalCoordinadorTécnico.

Auxiliares

Son las personas encargadas de preparar las salas de aplicación,mantener el aseo y orden dellocal,transportarelmaterialdesdelosvehículoshastalasaladondeseguardará,vigilarlapuerta,transportarelmaterialhastaelvehículoqueloretirarádellocalydejarellocalencondicionesdedevolverlounavezterminadalaetapadeaplicacióndepruebas.

Serán los mismos funcionarios de servicio del establecimiento, salvo que exista algúnimpedimento.

Deben ponerse a disposición del Jefe de Local y Coordinador Técnico en todo momento paraapoyarelproceso,finalizandosulaborunavezqueelmaterialestéenelvehículodetransporteyellocaldeaplicaciónquedelimpioyordenado.