(M) 5. ValidaciÃ³n de contenidoEl Índice de Validez de Contenido (IVC) hallado para las...

Artículo

Validez de contenido de una Entrevista ConductualEstructurada*

Content validity of a Structured Behavioral Interview

BEATA CHORAGWICKA1

SILVIA MOSCOSO1

RESUMEN

Este trabajo presenta un examen empírico de la validez de contenido de una EntrevistaConductual Estructurada (ECE), realizado a partir de las valoraciones de un panel de 11expertos, utilizando el método sugerido por Lawshe (1975). Se encontró la Razón de Vali-dez de Contenido (RVC) significativa para 4 de las 14 preguntas y 4 de las 10 dimensiones.El Índice de Validez de Contenido (IVC) hallado para las dimensiones significativas era de.86 y para las preguntas significativas .68. También se estimó la fiabilidad del instrumentomediante un coeficiente de acuerdo entre 6 ó 12 evaluadores, obteniendo un valor promediode .78, semejante al resultado .75 proveniente de los meta-análisis de Conway, Jako yGoodman (1995) y de Salgado y Moscoso (1995).

ABSTRACT

This paper reports on an empirical study of the content validity of a Structured Beha-vioural Interview (SBI). The study was based on 11 experts’ ratings, using a method pro-posed by Lawshe (1975). A significant Content Validity Ratio (CVR) was found for 4 outof 14 questions and for 4 out of 10 general dimensions. A Content Validity Index (CVI) of.86 was obtained for the significant dimensions as a whole and of .68 for the questions.

Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1 75

Revista de Psicología del Trabajo y de las Organizaciones - 2007Volumen 23, n.º 1 - Págs. 75-92. ISSN: 1576-5962

Fecha de Recepción: 10-10-2006 Fecha de Aceptación: 19-02-2007

* La investigación que se incluye este artículo ha sido parcialmente subvencionada por el Ministerio de Educa-ción y Ciencia con cargo al proyecto SEJ2005-03842/PSIC en el que figura como investigadora Silvia Moscoso.Toda la correspondencia referida al contenido del presente trabajo debe dirigirse a Beata Choragwicka([email protected]) o bien a Silvia Moscoso ([email protected]), Departamento de Psicología, Universidad Santiagode Compostela, Campus Sur, 15872 Santiago, A Coruña, España.

1 Universidad de Santiago de Compostela.

Additionally, reliability was estimated by using the coefficient of agreement between raters(6 or 12) and the result was .78, similar to the .75 value obtained in meta-analyses by Con-way, Jako and Goodman (1995) and by Salgado and Moscoso (1995).

PALABRAS CLAVE

Entrevista conductual estructurada, Validez de conteni-do, Propiedades psicométricas.

KEY WORDS

Structured behavioral interview, Content validity, Psy-chometric properties.

Validez de contenido de una Entrevista Conductual Estructurada

76 Revista de Psicología del Trabajo y de las Organizaciones, 2007, vol. 23 n.º 1

Varios estudios han confirmado que,independientemente del país del que setrate, las entrevistas son un núcleo centralde cualquier proceso selectivo, siendomuchas veces la única base para tomar lasdecisiones de contratación. Su flexibilidadcomo método y su relativamente bajo costede ejecución, comparando con otras técni-cas de selección, permite su amplio uso: seestima que, dependiendo de los autores delestudio, el 90% de empresas europeas yentre el 80 y 99% de empresas americanasutilizan este instrumento en los procesos deselección [Harris (1989); Salgado y Mosco-so (2001); Moscoso y Salgado (2001);McDaniel et. al (1994)]. Desde este puntode vista resulta sorprendente que los datosacumulados a través de numerosas investi-gaciones tanto cuantitativas (meta-análisis)como cualitativas sobre las propiedadespsicométricas de las entrevistas de selec-ción convencionales muestran que éstasposeen una fiabilidad de moderada a baja yuna validez de criterio muy pequeña (Wag-ner, 1949; Mayfield, 1964; Urlich y Trum-bo, 1965; Wright, 1969; Schmitt, 1976;Arvey y Campion, 1982; Reilly y Chao,1982; y Hunter y Hunter, 1984).

Aunque pudiera tener un base real loanteriormente dicho, hoy en día existe unagran bibliografía que indiscutiblementedemuestra que las propiedades psicométri-cas de la entrevista aumentan cuanto másestructurado es su formato (Wiesner yCronshaw, 1988; Harris, 1989; Anderson1992; Mc Daniel et al., 1994; Huffcutt yArthur, 1994, Salgado y Moscoso, 1995;Campion, Palmer y Campion, 1997; Sal-gado, Ones y Viswesvaran, 2001). Tantolos estudios meta-analíticos como los estu-dios primarios ponen de manifiesto quelas entrevistas pueden alcanzar unos nive-les de validez y fiabilidad similares a losde los mejores instrumentos selectivos

(tests de habilidades cognitivas y tests demuestras de trabajo), siempre y cuando suformato convencional (es decir no estruc-turado) se sustituya por el formato de lasentrevistas conductuales estructuradas(ECE) en las que se controlan e inclusoeliminan varios de los sesgos existentescuando un proceso de selección se basa enlas entrevistas convencionales (Salgado,1995).

La ECE es un modelo de entrevistarelativamente reciente ya que se desarrollóa lo largo de los años 80 del siglo XX.Bajo la denominación de las ECE estánincluidas la “entrevista de descripción deconducta” (Janz, 1977, 1982, 1989), la“entrevista desarrollada a partir de un aná-lisis del puesto” (Campion, Pursell yBrown, 1988; Wright, Lichtenfels y Pur-sell, 1989), la “entrevista situacional”(Latham, Saari, Pursell, y Campion, 1980;Latham, 1989), la “entrevista multimodal”(Schüler y Funke, 1989), “entrevista con-ductual” (Green y Hogan, 1882), y la“entrevista conductual estructurada”(Motowidlo et al., 1992). Todas ellas unenuna serie de condiciones, que permite quesu denominación genérica sea igual (Sal-gado y Moscoso, 2001): (a) Las preguntasde la entrevista parten de un análisis depuestos; (b) a todos los candidatos se leshacen las mismas preguntas; (c) se utilizanlas escalas de valoración basadas en laconducta; (d) Se realiza el mismo procesocon todos los entrevistados; (e) los entre-vistadores son previamente formadossobre la ECE; (f) la decisión sobre la con-tratación se toma una vez terminadastodas las entrevistas.

A lo largo de los años, se han llevado acabo múltiples estudios primarios y meta-analíticos que investigaban el tema devalidez y de fiabilidad de las ECE, llegan-

B. Choragwicka, S. Moscoso


do a conclusiones diferentes que en casode los estudios dedicados a la entrevistaconvencional (Wagner, 1949; Mayfield,1964; Urlich y Trumbo, 1965; Wright,1969; Schmitt, 1976; Arvey y Campion,1982; Reilly y Chao, 1982; y Hunter yHunter, 1984).

Con respecto a la validez, en 1988Wiesner y Cronshaw en una investigaciónque incluía no solamente los estudios nor-teamericanos sino también de otros países(Australia, Alemania, Francia, Holanda,Inglaterra, Israel, Suecia), encontraron unvalor de validez de criterio de la entrevistaigual a .26 (no corregido) y .47 (corregi-do) (N=51.459). Descubrieron tambiénque la validez de entrevista depende engran medida del nivel de estructuración dela misma; la validez promedio corregidade las entrevistas individuales no estructu-radas fue de .20, para las entrevistas depanel no estructuradas de .37 y para lasentrevistas estructuradas individuales y depanel .63 y .60 respectivamente. A pesarde las limitaciones de este meta-análisis,cabe enfatizar que fue el primer estudioque de algún modo demostró que lasentrevistas de selección podían ser unbuen predictor del rendimiento. En elsiguiente meta-análisis sobre la entrevistade empleo, McDaniel, Whetzel, Schmidt yMaurer (1994), al dividir las entrevistas enestructuradas y no estructuradas, hallaronque las primeras mostraban una validezcorregida de .44 y las segundas de .33. El mismo año Huffcutt y Arthur lleva-ron a cabo un estudio meta-analítico(N=18.652) donde clasificaron las entre-vistas según dos criterios: (a) la de estan-darización de preguntas (4 niveles progre-sivos) y (b) la estandarización de las valo-raciones de las respuestas (3 niveles pro-gresivos). El coeficiente de la validez glo-bal de la entrevista corregido por restric-

ción del rango y error de medida en el cri-terio fue de .37, y para los 4 niveles deestandarización fue de .20, .35, .56, 57 (de1 a 4 respectivamente). Salgado y Mosco-so (1995) en su investigación meta-analíti-ca sobre la ECE, analizaron los estudiosrealizados entre 1980 y 1994 (N=2.121) yencontraron una validez corregida de .68.Los autores concluyeron también que laECE tiene una validez similar a la de losmejores métodos selectivos, siempre ycuando se respeten los pasos de un des-arrollo correcto (en particular el análisisde puesto) y afirmaron que esta validez esgeneralizable a cualquier tipo de ocupa-ción. Más recientemente, Schmidt y Rader(1999) realizaron un meta-análisis sobre lavalidez de la entrevista estructurada tele-fónica y alcanzaron una validez corregidade .40 para el criterio de rendimiento.

Todos los estudios mencionados indi-can que los valores de validez que puedaalcanzar la entrevista de selección en suformato estructurado son próximas a losvalores de validez de los mejores métodosselectivos: los tests de habilidades cogniti-vas (.51) y los tests de muestras de trabajo(.54). No obstante cabe resaltar que lamayor parte de la investigación sobre lavalidez de la entrevista de selección, y desu versión estructurada, se ha centrado enla validez de criterio, pues desde el puntode vista de la selección de personal, es laevidencia de validez que suele interesarmás. Sin embargo, los otros tipos de vali-dez también son de gran relevancia, prin-cipalmente teniendo en cuenta que la vali-dez es un concepto unitario, pero con dife-rentes fuentes para aportar su evidencia(SIOP, 2003). Cada una de estas fuentes,tanto la validez de contenido como la decriterio y la de constructo nos aportan unainformación útil que, dependiendo de losobjetivos de estudio, puede ser más o



menos eficaz para confirmar la relacióndel instrumento de selección con el ámbitolaboral en cuestión. En caso de la entrevis-ta, un método de selección basado en lasvaloraciones subjetivas, también la valida-ción del contenido parece ser de gran rele-vancia.

La evidencia de la validez de contenidoconsiste en la mayoría de los casos endemostrar un fuerte vínculo entre el conte-nido del procedimiento de selección y losrequisitos del puesto o las habilidades ydestrezas necesarias para un buen desem-peño en el mismo. Este procedimientoaporta una base lógica para inferir losresultados en los comportamientos organi-zacionales de interés. El éxito del estudiobasado en la validez de contenido está liga-do a las valoraciones aportadas por losexpertos en la materia (SIOP, 2003).Lawshe en su trabajo “Quantitative appro-ach to content validity” (1975) desarrollóun modelo de cuantificación para relacio-nar el contenido de un instrumento deselección y el desempeño. El autor deno-mina a su método el Panel de Evaluacióndel Contenido y consiste en la utilizaciónde un grupo de expertos con vasto conoci-miento en el puesto de interés, los cualesdeben evaluar de manera separada todoslos ítems que contiene el instrumento. Acontinuación se calcula la fórmula llamadaRazón de Validez de Contenido (RVC)que sirve para determinar cuales de las pre-guntas (dimensiones) del instrumento ana-lizado son significativas y deben de serretenidas en la versión final del mismo. Lamínima RVC aceptable varía según elnúmero de los miembros del grupo deexpertos. Al final del procedimiento se cal-cula el Índice de Validez de Contenido(IVC) para el total de la herramienta que esun promedio de la validez de contenido detodas las preguntas (ítems) significativas.

Cabe mencionar que no es posible apli-car el método de Lawshe (1975) a lasentrevistas convencionales, ya que éstas amenudo no poseen un único contenido,sus preguntas varían de candidato a candi-dato y, frecuentemente, están desvincula-das por completo del ámbito laboral (p. ej.preguntas sobre aficiones, opiniones obiográficas). Por esa razón no se puedemedir la relación que tienen estas pregun-tas con el contenido del puesto en cues-tión, aunque sí que parece posible utilizarla RVC en lo que concierne a las pregun-tas de las ECE que, partiendo de un análi-sis de puesto, se refieren a las conductaslaborales específicas. Pero incluso así, nohay muchos trabajos previos sobre la vali-dez de contenido de las entrevistas estruc-turadas. En nuestro conocimiento, en laactualidad existen solamente tres estudiospublicados en los que se utilizó esta evi-dencia de validez aplicándola a la entre-vista de selección. En el primer estudio,Schmitt y Ostroff (1986) desarrollaron unprocedimiento, del cual formaba parte unaentrevista situacional, para seleccionaroperadores de un teléfono de urgencias.La entrevista desarrollada contenía 17 pre-guntas y evaluaba cuatro dimensionesprincipales: habilidades comunicativas,control emocional, juicio y compañeris-mo. Ocho expertos valoraron cada una delas preguntas y las RVC medias calcula-das para cada juez varían desde .53 a -.82.Aunque la entrevista se basaba en el análi-sis de puesto, solamente dos expertos eva-luaron más de la mitad de las preguntascomo esenciales o necesarias y las RVCprovenientes de los restantes miembros depanel fueron negativos. En otro de losestudios mencionados, Carrier, Dalessio yBrown (1990) investigaron la relaciónentre las inferencias basadas en la validezde contenido y las basadas en la validez decriterio en un proceso selectivo para un



puesto de representante de compañía deseguros. Las aptitudes de los candidatos severificaban mediante tres versiones deentrevista situacional. Como criterio seutilizaron la cantidad de comisiones obte-nidas y la permanencia en el puesto. LasRVC para cada pregunta fueron estimadaspartiendo de las valoraciones de 300 supe-riores. La RVC mínima aceptable paraeste número de las valoraciones es de .15,aunque los valores hallados para tres tiposde las entrevistas utilizadas fueron .03, -.21, -.22, respectivamente. El tercer estu-dio conocido fue llevado acabo por Mos-coso y Salgado (2001). Los autores calcu-laron la validez de contenido de una entre-vista de descripción de conducta, desarro-llada para un puesto de vigilante de segu-ridad. El instrumento contenía 7 preguntasy cada una de ellas fue valorada por unpanel compuesto por 11 expertos. La RVChallada para la mayoría de preguntas fuesignificativa y obtuvieron un IVC de .89.

En cuanto a la fiabilidad de las ECEexisten varios estudios primarios cuyopropósito era analizar esta propiedadinvestigando algunos tipos de entrevistasestructuradas. No obstante, hasta hacepoco la bibliografía más numerosa concer-nía las entrevistas situacionales. Latham,Saari, Pursell y Campion (1980) encontra-ron un coeficiente de fiabilidad intereva-luador de .76 (N=49) y .79 (N=63) utili-zando tres entrevistadores. Campion, Pur-sell y Brown (1988) obtuvieron un resulta-do de .88 (N=149), utilizando igualmentetres entrevistadores. Por otro lado, la pri-mera investigación importante que confir-maría alta fiabilidad de la entrevista de ladescripción de conducta fue el metaanálsisde Conway, Jako y Goodman (1995)donde el valor promedio de la fiabilidadinterevaluador encontrado fue de. 70 ycuando se utilizaban las preguntas con alto

nivel de estandarización (a todos los can-didatos se les hace las mismas preguntas,no obstante el entrevistador tiene ciertalibertad para adaptar las preguntas y son-dear al candidato cuando lo considereoportuno) el valor de la fiabilidad fue de.75 (N=12.549). Dichos autores aportarontambién los coeficientes alfa de las valora-ciones de la entrevista, es decir de la fiabi-lidad por consistencia interna que fueronde .67 para las entrevistas altamenteestructuradas, .56 para las entrevistassemiestructuradas y .34 para las entrevis-tas no estructuradas. Al mismo tiempo,Salgado y Moscoso (1995) analizandoconjuntamente los datos disponibles sobrela fiabilidad interjuez de las ECE encon-traron una fiabilidad promedio de .75, esdecir, igual que en el meta-análisis deConway, Jako y Goodman (1995). Másrecientemente, Taylor y Small (2002) enuna investigación meta-analítica encontra-ron un coeficiente de fiabilidad .79 paralas entrevistas situacionales y .76 para lasde descripción de conducta. Otro meta-análisis sobre la fiabilidad interjuez de laECE es el de Salgado, Moscoso y Gorriti(2004) llevado a cabo en España, en laAdministración General del País Vasco(AGPV). Dichos autores analizaron la fia-bilidad de las entrevistas conductualesestructuradas utilizadas en el proceso deselección para los puestos de jefatura de laAGPV. Se investigaron las fiabilidadespara un conjunto de 20 entrevistas des-arrolladas para otros tantos puestos especí-ficos del personal funcionario del Gobier-no Vasco. Los paneles de expertos secomponían de 3 ó 4 personas, entrevista-dores con experiencia de los que unosiempre era un entrevistador homologado.Los coeficientes de fiabilidad de cada unode los miembros de los paneles varíandesde .41 hasta .96 y un valor promediofue de .83. En cuanto a la fiabilidad de



distintos paneles, los coeficientes varíandesde. 73 a .93, con un promedio de .93.

Resumiendo, las ECE pueden aportarvalores de validez y de fiabilidad muy ele-vados, siempre y cuando su desarrollo hayasido correcto. En cuanto a validez de lasmismas cabe enfatizar que no siempre esposible aportar las evidencias para su vali-dación de criterio, por lo que la validaciónde contenido puede ser una alternativa com-prometedora. No obstante la investigaciónal respecto es insuficiente y no aporta resul-tados contundentes, por lo que se necesitanmás estudios dedicados a este tema.

El presente artículo contiene los resulta-dos de dos estudios independientes perorelacionados, cuyo fin es determinar la vali-dez de contenido y fiabilidad interjuez de lamisma ECE desarrollada para seleccionarcamareros. Los objetivos de este trabajoson averiguar: (a) en qué medida los valo-res de la validez de contenido de la ECEutilizada se aproximan al modelo de exce-lencia propuesto por Lawshe (1975) y (b)en qué medida la fiabilidad interjuez de lamisma es cercana a los valores provenien-tes de los estudios meta-analíticos sobre lafiabilidad de las ECE (Conway, Jako yGoodman, 1995; Salgado y Moscoso,1995). Nuestra hipótesis inicial es que lamayoría de preguntas y dimensiones alcan-zarán la RVC significativa y que la fiabili-dad promedio será alrededor de .75.

ESTUDIO 1

MÉTODO

Muestra

Once expertos en materia de hostelería,que incluían a supervisores directos de los

camareros de los restaurantes y hotelesmás apreciados de Santiago de Composte-la (Galicia), dueños de los restaurantes enSantiago, profesores del Centro Superiorde Hostelería de Galicia y profesionalesde la profesión, valoraron por separado laspreguntas y las dimensiones de una ECEdesarrollada para seleccionar camareros.

PROCEDIMIENTO

En el estudio se utilizó una entrevistade descripción de conducta de Janz (1977,1982, 1989). El objetivo de esta modali-dad de la ECE es conocer el comporta-miento del candidato en situaciones pasa-das, que se parezcan lo máximo posible alas situaciones a las cuales el candidatotendrá que enfrentarse en el puesto al queaspira. La entrevista utilizada fue desarro-llada a partir de un número elevado (137)de incidentes críticos (véase Flanagan,1954), respetando todos los pasos indica-dos por Janz (1977, 1982, 1989), con lasmodificaciones propuestas por Salgado yMoscoso (2001) y Moscoso y Salgado(2001). La versión original de la entrevis-ta, aplicada al estudio de validación decontenido, la formaban 14 preguntascorrespondientes a 10 dimensiones gene-rales. A seis dimensiones les correspondíauna pregunta (amabilidad, resistencia alestrés, solucionar problemas, “saber ganarclientes”, paciencia, compañerismo) y acuatro les correspondían dos preguntas(responsabilidad, atención, discreción,conocimientos del puesto). A cada pre-gunta principal, la seguían las preguntasde sondeo destinadas a profundizar elconocimiento del entrevistador en cuantoa la situación descrita por el candidato.

El cálculo de la validez de contenido serealizó a partir del método del Panel de



Evaluación de Contenido desarrollado porLawshe (1975). A cada uno de los miem-bros se le proporcionó un ejemplar de laentrevista, la descripción de las dimensio-nes que ésta evalúa y una hoja de evalua-ción estandarizada. Los expertos dieron supuntuación en cada una de las dimensio-nes y también en cada una de las pregun-tas de la entrevista, respondiendo a lacuestión: “¿La característica (conocimien-to, habilidad) que mide esta dimensión/pregunta le parece a Usted: (a) fundamen-tal, (b) útil pero no fundamental, o (c) irre-levante para el desempeño adecuado en elpuesto del camarero?”.

A continuación se calculó la Razón deValidez de Contenido (RVC) para cadadimensión y para cada pregunta, y el Índi-ce de Validez de Contenido (IVC) para eltotal de dimensiones y el total de las pre-guntas significativas de la entrevista.

RESULTADOS

En la Tabla 1 se pueden ver los resul-tados del procedimiento de validación decontenido de las dimensiones de la entre-vista. Tal y como puede verse, ningunode los miembros del panel consideró quealguna de las dimensiones de la entrevis-ta era irrelevante y también puede verseque siempre más de la mitad de losmiembros estaba de acuerdo en que cadauna de las dimensiones es fundamentalpara un buen desempeño en el puesto decamarero, lo que indica que el instrumen-to ha sido creado exitosamente. En laTabla 2 aparecen los resultados de lasvaloraciones de los jueces en cuanto a laspreguntas de la entrevista. En este caso,todas las preguntas menos una (la pre-gunta 9.1) fueron valoradas por la mayo-ría de los expertos como fundamentales

para un rendimiento adecuado en el pues-to. Si alguna está considerada irrelevante,es por un máximo de 3 de los 11 miem-bros del panel.

No obstante, cabe destacar que unaRVC significativa la consiguieron sola-mente 4 de las 10 dimensiones y 4 de las14 preguntas. Según el método de Laws-he, la RVC mínima para el Panel de Eva-luación del Contenido compuesto por 11expertos es de .59. Esta razón de validezde contenido resultó ser muy exigente, yaque no la alcanzaron incluso las dimensio-nes y preguntas sobre las cuales 8 de los11 panelistas coincidían en que eran fun-damentales para un desempeño adecuadoen el puesto de camarero. Solamente cuan-do 9 de los 11 panelistas indicaron dichadimensión (o la pregunta) como funda-mental, el ítem valorado alcanzó la RVCsignificativa. Éste era el caso de lasdimensiones: amabilidad (1), resistencia alestrés (.82), responsabilidad (.82) y aten-ción (.82). Las preguntas evaluadas comofundamentales por nueve o más panelistasno siempre coincidieron con las dimensio-nes anteriormente mencionadas y fueronlas preguntas 3.1 (solucionar problemas)RVC = .82; 5.1 (atención) RVC = .64, 6.1(conocimientos del puesto) RVC = .64 y8.1 (compañerismo) RVC = .64 (véaseTabla 2). El IVC para las dimensiones sig-nificativas es de .86 y para las preguntassignificativas es de .68.

DISCUSIÓN

El estudio de la validez de contenidono confirmó completamente nuestra hipó-tesis ya que sólo una parte de las pregun-tas y dimensiones mostró la RVC signifi-cativa. Los resultados obtenidos se pue-den considerar desde diferentes puntos de



vista. Tal y como se puede apreciar en laTabla 1, ninguno de los miembros delPanel de Evaluación del Contenido consi-deró alguna de las dimensiones evaluadaspor la entrevista como irrelevante. Cabesubrayar también que solamente una de

las preguntas obtuvo la RVC negativa(véase Tabla 2), es decir, menos de lamitad de los expertos la consideró funda-mental para un buen desempeño en elpuesto del camarero (la pregunta 9.1). Elresto de las preguntas (13 en total) han



Tabla 1.Evaluaciones del Panel de Expertos por dimensiones

sido valoradas como fundamentales paraun desempeño adecuado en el puesto decamarero por la mayoría de los panelistas(mínimo por 6). Desde este punto devista, el instrumento de selección que cre-amos es exitoso. Por otro lado, solamente

4 de las 10 dimensiones y 4 de las 14 pre-guntas alcanzaron la razón de validez decontenido significativa según el métododesarrollado por Lawshe (1975). ¿Por quéocurre eso con un instrumento basado enun número de incidentes críticos alto? Un



Tabla 2.Evaluación del Panel de Expertos por preguntas

examen más detenido del método deLawshe muestra que éste asigna el valor 1a todos los ítems del instrumento valora-dos por los expertos como fundamentalesy que los ítems considerados tanto útilescomo irrelevantes tienen el mismo peso,es decir 0, lo que hace este procedimientodesmesuradamente estricto y que requiereun número de jueces muy alto para ate-nuar algo el grado de exigencia del méto-do. A la vez, el grado de exigencia que elmétodo de Lawshe impone a los procedi-mientos cuanto el número de jueces no esalto, nos lleva a sugerir la necesidad de lacreación de un procedimiento alternativoal método de Lawshe en el que se podríaasignar algún peso (menor que 1) a la res-puesta Este ítem me parece útil pero nofundamental. Finalmente, para elegir laspreguntas que formarían parte de la ver-sión final de la entrevista hay que elegiruno de varios posibles caminos. Una delas opciones sería seguir estrictamente elprocedimiento de Lawshe (1975) y dejaren la versión final del instrumento sola-mente las preguntas y dimensiones con laRVC significativa. No obstante este méto-do no siempre es recomendable ya que,tal y como lo demuestran algunos de losestudios anteriores (Schmitt y Ostroff,1986; Carrier et al., 1990), no en todos loscasos es posible conseguir que un númerode ítems elevado lo consiga. Otra posibili-dad sería dejar todas las preguntas/dimen-siones que tienen la RVC positiva, esdecir, las que han sido valoradas comofundamentales por de la mitad de lospanelistas. La siguiente de las posibilida-des sería que el investigador establecieraa priori el número mínimo de jueces quedeben considerar dicho ítem como funda-mental, que en nuestro caso podría sersiete u ocho, y a partir del cual se incluirí-an las preguntas en la versión final de laentrevista.

ESTUDIO 2

MÉTODO

Muestra

Entrevistados. Seis hombres y seismujeres fueron entrevistados mediante laECE, en cada grupo la mitad tuvo expe-riencia previa en el puesto de camarero.Su edad varía entre 21 y 43 años. Ochoeran españoles y cuatro eran extranjerosy provenían de México, Honduras,Colombia y Polonia (dos pertenecían acandidatos con experiencia laboral previay dos a candidatos sin experiencia; doseran mujeres y dos hombres). Los entre-vistados no estaban sujetos a un procesode selección verdadero, la muestra secreó para satisfacer las necesidades delpresente estudio, estando todos los candi-datos expertos empleados como camare-ros en el momento de la realización de laentrevista.

Jueces. Doce personas (tres hombres ynueve mujeres) que no tenían experienciaprevia a la hora de valorar las entrevistasconductuales, pero fueron entrenados en lafunción que debían desempeñar. Todoseran de nacionalidad española.

PROCEDIMIENTO

El total de 12 entrevistas de las que secomponía nuestro estudio fueron llevadasa cabo por un único entrevistador y graba-das en un soporte digital de tal modo quesolamente se oía la voz del candidato, sinque se pudiera ver su apariencia física.Esto se hizo para controlar que sólo lasrespuestas a las preguntas de entrevistaeran evaluadas por los jueces. Para llevara cabo las entrevistas se utilizaron dos ver-



siones resumidas de la entrevista descritaanteriormente en el estudio de la valida-ción de contenido (para candidatos con ysin previa experiencia en el puesto). Delas 14 preguntas originales se han utiliza-do 10 preguntas para candidatos expertosy 9 para los candidatos inexpertos quereflejaban las mismas 7 dimensiones gene-rales (amabilidad, resistencia al estrés, res-ponsabilidad, atención en el trabajo, cono-cimientos del puesto, compañerismo, dis-creción).

Como ya se indicó, los jueces recibie-ron un curso de formación sobre la ECE.En dicho curso, los jueces recibían infor-mación sobre qué son las ECE, que lasdiferencia de otras modalidades de entre-vista, cómo se recoge información, cómose formulan las preguntas, qué relacióntienen con el empleo a desarrollar y, fun-damentalmente, como se evalúan las res-puestas mediante escalas de valoracióncon anclajes conductuales. Antes decomenzar el estudio propiamente dicho,los jueces hicieron varias prácticas deevaluación de preguntas y se contestaronlas preguntas que tenían. Además delentrenamiento previo, los evaluadoresfueron equipados con un manual que con-tenía las instrucciones específicas, lasversiones de la entrevista para candidatoscon y sin experiencia con las preguntasde sondeo, las descripciones de lasdimensiones y las escalas de valoraciónde conducta con anclajes conductuales.Los panelistas disponían también de unahoja de evaluación estandarizada paracada candidato.

Cuatro candidatos fueron valorados portodos los jueces (12) y los ocho restantespor seis jueces (cuatro por un grupo deseis jueces y los demás cuatro por otrogrupo de seis). Nunca se evaluaron más de

dos candidatos en una reunión de losmiembros del panel. Los miembros delpanel trabajaron por separado, sin poderconsultar sus opiniones con los demásmiembros. Se les pidió a los jueces quetomasen notas mientras escuchaban laentrevista y valorasen al candidato al finalde la entrevista. Los candidatos fueronvalorados en la escala de 1 (desempeñoextraordinariamente malo) a 5 (desempe-ño extraordinariamente bueno) de formaseparada en cada pregunta.

Para conseguir el valor de la fiabilidadde la entrevista en cuestión se utilizó uncoeficiente de acuerdo entre los evaluado-res. Se calculó la fiabilidad de los paneles(rxx panel) para todas entrevistas realizadas.Con este propósito se aplicó la fórmulaprofecía de Spearman-Brown, entendien-do como “n” el número de los miembrosde panel. Puesto que había paneles de 6 ó12 miembros, la fórmula podía adoptaruna de las siguientes formas:

rxx panel= (6 * rxx individual) / [1 + (5* rxx individual)]

o bien

rxx panel= (12 * rxx individual) / [1 + (11* rxx individual)]

RESULTADOS

En la Tabla 3, la primera columnamuestra el número de la entrevista, lasegunda, la correlación promedio entre lasvaloraciones de todos los jueces miembrosdel panel (fiabilidad individual promedio),la tercera, la fiabilidad de panel, y las tresúltimas columnas, el número de juecesque valoraron cada entrevista, el sexo delentrevistado y si éste poseía o no expe-riencia laboral previa en el puesto. Sepuede apreciar que el coeficiente de fiabi-



lidad interjuez mínimo encontrado era de.34 y el máximo de .91, con un promedioponderado de .78.

DISCUSIÓN

En este estudio se confirmó nuestrahipótesis inicial, que el valor de la fiabili-dad de la ECE desarrollada será alrededorde .75, tal y cómo se indicó anteriormente

en los estudios meta-analíticos sobre lasECE (Conway, Jako y Goodman, 1995;Salgado y Moscoso, 1995). En concreto,encontramos la fiabilidad promedio pon-derada por el tamaño de la muestra de .78,es decir ligeramente superior a la espera-da.

Otro resultado importante que tambiéncabe destacar es que de las 12 entrevistas,las 4 que han sido valoradas por todos los



Tabla 3.Resultados del análisis de fiabilidad interjuez de la entrevista desarrollada

miembros del panel (12) son las que hanalcanzado los niveles de fiabilidad másaltos con un promedio de .89. No obstan-te, entre los restantes ocho entrevistas, tresestaban muy por debajo del valor .70, con-siderado una fiabilidad aceptable de lasECE. Dichas entrevistas fueron valoradaspor distintos paneles, dos fueron realiza-das con hombres y una con una mujer; endos casos el candidato tuvo experienciaprevia en el puesto y en un caso no. Porlas razones mencionadas anteriormente,cabe descartar que el bajo valor de fiabili-dad en los tres casos pudiese ser el resulta-do de las características del panel o biendel perfil del candidato. Para contrastar,en el estudio de Salgado, Moscoso yGorriti (2004) sobre las entrevistas con-ductuales estructuradas utilizadas en laAGPV se encontró que la mayoría de lasentrevistas alcanzó los niveles de fiabili-dad de panel por encima de .90 con unvalor mínimo de .73.

Sin embargo, entre los puntos fuertesde este estudio cabe resaltar que el númerode los miembros de panel fue de un míni-mo de 6 personas y un máximo de 12. Enla literatura existente acerca de la fiabili-dad interjuez de la entrevista no hemosencontrado ningún estudio con el númeroigual (o superior) de jueces que valorabana la vez a un sólo candidato. Cuantas máspersonas valoren dicho candidato, más fia-ble es el resultado final, y ésta es la basepara tomar las decisiones sobre la eventualcontratación del mismo. Por esa razón, esde interés para las empresas conseguir, enla medida de lo posible, que la proporciónde varianza verdadera que hay en lavarianza empírica de las puntuaciones delos candidatos sea lo más alta posible.Como muestra el presente estudio, pode-mos conseguirlo aumentando el númerode evaluadores.

DISCUSIÓN GENERAL

El presente trabajo consistió en un exa-men empírico de la validez de contenidode una entrevista conductual estructurada,basándose en las opiniones de un panel deexpertos, según el método sugerido porLawshe (1975). Por otro lado se llevó acabo un examen empírico de la fiabilidadde la entrevista, aplicándosela a los candi-datos expertos e inexpertos y calculandoel coeficiente de fiabilidad a partir de lasvaloraciones aportadas por los paneles de6 ó 12 jueces. Para poder realizar los estu-dios mencionados se creó una entrevistade descripción de conducta para un puestode camarero, partiendo de un análisis depuesto.

Con respecto a la validación del conte-nido, siguiendo el método propuesto porLawshe (1975), encontramos una RVCpositiva para todas las dimensiones y paratodas las preguntas menos una, lo queimplica que estas han sido valoradas comofundamentales por más de la mitad de losmiembros de panel. No obstante, la RVCmínima aceptable para el Panel de la Eva-luación del Contenido compuesto por 11expertos es de .59 y esta RVC resultó seruna exigencia muy elevada para la entre-vista desarrollada, ya que no la alcanzaronincluso las dimensiones y preguntas sobrelos cuales 8 de los 11 panelistas estabande acuerdo en que eran fundamentalespara un desempeño adecuado en el puestodel camarero. En dos de los tres estudiosanteriores en los que se aplicó esta mismatécnica, tampoco se alcanzó una RVC sig-nificativa en la mayoría de preguntas. Estehecho está relacionado con el número deexpertos utilizados y con que la fórmulaRVC `penaliza´ la presencia de un númeropequeño de jueces. También se relacionacon la característica de este coeficiente de



no asignar ningún peso a las preguntasconsideradas por los jueces como útilespero no fundamentales para un buen des-empeño en el puesto. Por estas razones,sugerimos que la fórmula debería ser revi-sada para incorporar de algún modo laspreguntas que han sido valoradas comoútiles por la mayoría de los jueces. Porejemplo, se podría asignar algún pesomenor que 1 también a los ítems conside-rados útiles, aunque no fundamentales,que hasta el momento han sido tratadosigual que los ítems valorados como irrele-vantes.

Por otro lado, el coeficiente de fiabili-dad promedio obtenido en esta investiga-ción es de .78, lo que puede considerarseun resultado más que satisfactorio, en con-creto comparándolo con el resultado delclásico meta-análisis de Conway, Jako yGoodman (1995) cuyo resultado promediofue de .70, y de .75 para las entrevistascon el cuarto nivel de estandarización depreguntas (igual al utilizado en la entrevis-ta en cuestión), o comparándolo con elresultado de un trabajo meta-analítico deSalgado y Moscoso (1995), donde la fiabi-lidad promedio encontrada de las ECE fuede .75.

Aunque el resultado obtenido en elpresente estudio (.78) es más bajo que lafiabilidad promedio de .93 encontrada porSalgado, Moscoso y Gorriti (2004) paralas entrevistas conductuales estructuradasutilizadas en la selección por la AGPV,cabe resaltar que en nuestro estudio noparticiparon los jueces expertos, ni entre-vistadores homologados, indudablementeuna de las limitaciones de este estudio. Almismo tiempo se plantea una conclusión:El uso de los entrevistadores expertos yhomologados puede ser un elemento cru-cial para la aplicación de una ECE con

éxito, siempre y cuando ésta haya sidodesarrollada de acuerdo con todos lospasos debidos (véase Salgado y Moscoso,2001). Por esta razón deducimos que otrade las limitaciones de este estudio fue untiempo de entrenamiento de los juecesrelativamente corto (una sesión de doshoras) que podría haberse alargado. Con-siderando todas estas desventajas, cabedestacar otra vez que el resultado de fia-bilidad interjuez obtenido (.78) es exito-so, ya que los instrumentos de selecciónmás comunes, como los tests de habilidadmental general o los tests de la personali-dad basados en cinco grandes factores tie-nen una fiabilidad promedio de .83 y .80respectivamente, es decir, muy cercana ala encontrada para el instrumento analiza-do. Por otra parte, la diferencia entre lafiabilidad encontrada por Salgado et al.(2004) y la encontrada en este estudiopuede ser atribuible a la experiencia delos miembros del panel al juzgar las con-ductas relativas al puesto de trabajo. Siesta conjetura es correcta, la diferenciaentre ser experto y no serlo añadiría (oreduciría) un 15% el error de medida(.93-.78).

Finalmente cabe mencionar que queda-ría pendiente un estudio en el que se exa-mine la validez predictiva de la entrevistacreada, es decir, que confirmare o no quelas personas seleccionadas con esta entre-vista presentan mejores resultados en tér-minos del desempeño de tarea, desempeñocontextual y, globalmente, en su producti-vidad. Esto implicaría el uso de dicho ins-trumento en el proceso selectivo y lamedición del desempeño de personas eva-luadas tras transcurrir un periodo de tiem-po lo suficientemente largo para que per-mitiese la observación de su desempeñoen el puesto. En nuestro caso, no hemospodido realizar tal estudio aunque creemos



que, dada la fiabilidad obtenida (rxx=.78),la validez de contenido alcanzada(IVC=.86) y que fue desarrollada contodos los requisitos de una entrevista con-ductual estructurada, su validez de criteriodebiera estar en torno a .45, al igual que elpromedio obtenido en las revisiones meta-analíticas de las entrevistas conductualesestructuradas (Salgado y Moscoso, 1995;Salgado, 1999; Salgado, Viswesvaran yOnes, 2001).

REFERENCIAS BIBLIOGRÁFICAS

Anderson, N. R. (1992). Eight decadesof employment interview research: a retro-spective meta-review and prospectivecommentary. European Work and Organi-zational Psychologist, 2 (1), 1-32.

Arvey, R. D., y Campion, J. E. (1982).The employment interview: a Summaryand review of recent research. PersonnelPsychology, 35, 281-322.

Campion, M. A.; Palmer, D.K, y Cam-pion, J.E. (1997). A review of structure inthe selection interview. Personnel psy-chology, 50, 1-64.

Campion, M. A.; Pursell, E. D., yBrown, B. K. (1988). Structured inter-viewing: Raising the psychometric proper-ties of employment interview. PersonnelPsychology, 41, 2542.

Carrier, M. R.; Dalessio, A. T., yBrown, S. H. (1990). Correspondencebetween estimates of content and criteri-on-related validity values. Personnel Psy-chology, 43, 85-100.

Conway, J. M; Jako, R. A., y Good-man, D. F. (1995). A meta-analysis of

interrater and internal consistency reliabil-ity of selection interviews. Journal ofApplied Psychology, 80(5), 565-579.

Flanagan, J. C. (1954). The criticalincidents technique. Psychological Bul-letin, 51, 327-358.

Green, P. C. y Hogan, D. D. (1982).Behavioral Interviewing. Memphis, TN.

Harris, M. M. (1989). Reconsideringthe employment interview: a review ofrecent literature and suggestions for futureresearch. Personnel Psychology, 42, 691-725.

Huffcutt, A. I., y Arthur, W. Jr. (1994).Hunter y Hunter (1984) revisited: Inter-view validity for entry-level jobs. Journalof Applied Psychology, 79, 184-190.

Hunter, J. E., y Hunter, R.F. (1984).Validity and utility of alternative predic-tors of job performance. PsychologicalBulletin, 96, 72-98.

Janz, T. (1977). The behaviour basedpatterned interview: an effective alternati-ve to the warm smile selection interview.Compendio de la Conferencia Anual de laAsociación de las Ciencias Administrati-vas de Canadá.

Janz, T. (1982). Initial comparisons ofpatterned behavior description interviewversus unstructured interviews. Journal ofApplied Psychology, 67, 577-580.

Janz, T. (1989). The Patterned Behav-ior Description Interview: The bestprophet of the future is the past. En R. W.,Eder y G. R., Ferris (Eds.). The employ-ment interview: Theory, research andpractise. Beverly Hills, Sage: 158-168.



Latham, G. P. (1989). The reliability,validity and practicality of the situationalinterview. En R. W., Eder, y G. R., Ferris(Eds.). The employment interview: Theory,research and practise. Beverly Hills,Sage, 169-182.

Latham, G. P. et al. (1980). The situa-tional interview. Journal of Applied Psy-chology, 65, 422-427.

Lawshe, C. H. (1975). A quantitativeapproach to content validity. PersonnelPsychology, 28, 563-575.

Mayfield, E.C. (1964). The selectioninterview: A re-evaluation of publishedresearch. Personnel Psychology, 17, 239-260.

McDaniel, M. A., Whetzel, D. L.,Schmidt, F. L., y Maurer, S. D. (1994). Thevalidity of employment interviews: a com-prehensive review and meta-analysis. Jour-nal of Applied Psychology, 79 (4), 599-616.

Motowidlo, S. J., Carter, G. W.,Dunette, M. D. Tippins, N., Werner, s.,Burnett, J.R y Vaughan, J. (1992). Studiesof structured behavioral interview. Jour-nal of Applied Psychology, 77, 571-588.

Reilly, R. R., y Chao, G. T. (1982).Validity and fairness of some alternativeemployee selection procedures. PersonnelPsychology, 35, 1-62.

Salgado, J. F. (1995). Validez de lasentrevistas conductuales estructuradas.Psicología del Trabajo y las Organizacio-nes, 11, 9-24.

Salgado, J. F. (1999). Personnel selec-tion methods. En Cooper C. L. y Robert-son I. T (Eds.). International Review of

Industrial and Organizational Psycholo-gy, 12, London, UK, John Wiley andSons: 1-53.

Salgado, J. F., y Moscoso, S. (1995).Validez de las entrevistas conductualesestructuradas. Psicología del Trabajo y lasOrganizaciones, 11, 9-24.

Moscoso, S. y Salgado, J. F. (2001).Entrevista Conductual Estructurada deSelección de Personal. Teoría, práctica yrentabilidad. Madrid, Pirámide.

Moscoso, S. y Salgado, J. F. (2001b).Psychometric properties of a structuredinterview to hire private security person-nel. Journal of Business and Psychology,16(1), 51-59.

Salgado, J. F., Moscoso, S., y Gorriti,M. (2004). Investigaciones sobre la Entre-vista Conductual Estructurada (ECE) en laSelección de Personal en la Administra-ción General del País Vasco: Meta-análi-sis de la Fiabilidad, Revista de Psicologíade Trabajo y Organizaciones, 20 (2), 107-139.

Salgado, J. F., Viswesvaran, C., yOnes, D. S. (2001). Predictors used forpersonnel selection. En N., Anderson, D.S., Ones, H. K., Sinangil, y C., Viswes-varan (Eds.). Handbook of industrial,work, and organizational psychology. Vol1. London, UK, Sage: 165-199.

Schmidt, F. L., y Rader, M. (1999).Exploring the boundary conditions forinterview validity: Meta-analytic validityfindings for a new interview type. Person-nel Psychology, 29, 79-101.

Schmitt, N. (1976). Social and situation-al determinants of interviews decisions:



Implications for the employment interview.Personnel Psychology,29, 79-101.

Schmitt, N., y Ostroff, C. (1986). Oper-ationalizing the «behavioral consistency»approach: Selection test developmentbased on a content-oriented strategy. Per-sonnel Psychology, 39, 91-108.

Schüler, H., y Funke, U. (1989). Theinterview as a multimodal procedure. EnEder, E.W. y Ferris G. R. (Eds.). Theemployment interview: Theory, researchand practice. Newbury Park, CA: Sage.

SIOP (2003). Society for Industrial andOrganizational Psychology. Principles forthe validation and use of personnel selec-tion procedures (4th ed.). Documento pdf.,www.siop.org

Urlich, L., y Trumbo, D. (1965). Theselection interview since 1949. Psycholog-ical Bulletin, 63, 100-116.

Taylor, P. J., y Small, B. (2002). Asking

applicants what they would do versuswhat they did do: A meta-analytic com-parison of situational and past behaviouremployment interview questions. Journalof Occupational and Organizational Psy-chology,75, 277-294.

Wagner, R. (1949). The employmentinterview: A critical review. PersonnelPsychology, 2, 17-46.

Wiesner, W. H., y Cronshaw, S. F.(1988). The moderating impact of inter-view format and degree of structure oninterview validity. Journal of Occupation-al Psychology, 61, 275-290.

Wright, O. R. Jr. (1969). Summary ofresearch on the selection interview since1964. Personnel Psychology, 22, 391-413.

Wright, P. M., Lichtenfels, P. A. y Pur-sell, E.D (1989). The structured interview:Additional studies and meta-analysis.Journal of Occupational Psychology. 62,191-199.



(M) 5. ValidaciÃ³n de contenidoEl Índice de Validez de Contenido (IVC) hallado para las...

Documents

Transcript of (M) 5. ValidaciÃ³n de contenidoEl Índice de Validez de Contenido (IVC) hallado para las...