EVALUACIÓN DE LAS COMUNICACIONES DE UN CONGRESO …EVALUACIÓN DE LAS COMUNICACIONES DE UN CONGRESO...

RESUMEN

Tradicionalmente, la literatura ha evidencia-do debilidades en el sistema de revisión porpares en el ámbito de los artículos publicadosen revistas. Hasta la fecha apenas se ha dedica-do atención a estas debilidades en el campo delos congresos. Este trabajo examina los factoresdeterminantes de las evaluaciones por paresque reciben las comunicaciones de los congre-sos a partir de las características de sus autoresy del propio manuscrito. Asimismo, analiza larelación existente entre el grado de acepta-ción/rechazo de las comunicaciones y la cali-dad de las publicaciones posteriores que sederivan de las mismas. Los resultados obteni-dos en un congreso de marketing evidencianque la orientación cuantitativa, las referencias

bibliográficas y las notas a pie de página influ-yen en la evaluación por pares de las comuni-caciones. Además, se detecta que aquellascomunicaciones que son aceptadas para su pre-sentación en el congreso, posteriormente resul-tan publicadas en revistas de mayor calidad.

Palabras clave: revisión por pares, congreso.

ABSTRACT

Traditionally, the literature finds weaknessesin the peer review system in terms of paperspublished in journals. To date there has beenvery little attention given to this weakness inthe field of conferences. This study examinesthe determinant factors of peer evaluations of

71

R E V I S T A E S P A Ñ O L A D E I N V E S T I G A C I O N D E M A R K E T I N G E S I C

Revista Española de Investigación de Marketing ESICMarzo 2011, Vol. 15, n.º 1 (71-95)

EVALUACIÓN DE LAS COMUNICACIONESDE UN CONGRESO DE MARKETING

Y SU POSTERIOR PUBLICACIÓN

EVALUATION OF COMMUNICATIONS INA MARKETING CONFERENCE AND THEIR

SUBSEQUENT PUBLICATIONEnar Ruiz Condea,b, Josefa Parreño Selvaa, Aurora Calderón Martíneza

y Francisco José Mas Ruiza*UNIVERSIDAD DE ALICANTE

a Departamento de Marketing. Facultad de CC. EE. y EE. Universidad de Alicante. Ctra. de San Vicente, s/n. Campus de San Vicentedel Raspeig.

b Autor de contacto: tlfno. 965 903621, [email protected]* Los autores del presente trabajo agradecen al Comité Organizador del XVI Encuentro de Profesores Universitarios de Marketing la

colaboración prestada para el desarrollo del mismo.

03 Ruiz-Parreno:Sánchez-Martín-Rondán 18/2/11 12:12 Página 71

conference communications through the char-acteristics of the authors and the papers. It alsoanalyses the relationship between the degree ofacceptance/rejection of communications andthe quality of subsequent publications resultingfrom the communications. The results obtainedin a marketing conference show that a quanti-tative approach, bibliographical references andfootnotes influence the peer evaluations ofcommunications. Moreover, the study showsthat accepted communications are subsequent-ly published in higher quality journals.

Keywords: peer-review, conference.

1. INTRODUCCIÓN

La participación en congresos es uno de losmedios más relevantes para la difusión delconocimiento, ya que ofrece a los investigado-res la posibilidad de divulgar innovaciones alconstituir una plataforma para la discusiónconstructiva, intercambio de nuevas ideas,desarrollo de proyectos conjuntos, etc., tantodentro como fuera de las sesiones. Ahora bien,en el momento actual y en el seno de los comi-tés organizadores de los congresos, se mantie-ne un interesante debate sobre la idoneidad delprocedimiento a seguir en la evaluación de lascomunicaciones.Muchos congresos utilizan un proceso de

evaluación por pares que sigue un conjuntouniforme de criterios y estándares. Sin embar-go, diversos estudiosos de la evaluación porpares en el ámbito de los artículos en revistascientíficas consideran que es un procedimientoque presenta debilidades, derivadas de la exis-tencia de ciertas características de los autores ydel manuscrito que influyen en la evaluación(ej.: BLANK, 1991; TUNG, 2006), de un bajonivel de acuerdo entre los revisores en la acep-tación o el rechazo (ej.: LAZARUS, 1982; ERNST,SARADETH Y RESCH, 1993) y de la probabilidadde rechazar trabajos de calidad (ej.: CAMPANA-RIO, 1995, 1996). Específicamente, estas debi-

lidades, junto al problema de los derechos deautor a transferir a la revista en donde se publi-que con posterioridad el manuscrito, han lleva-do a que algunos congresos se inclinen por unproceso de revisión sobre resúmenes (no sobretrabajos completos); y ello a pesar de que laescasa extensión del resumen impide una ade-cuada evaluación. Incluso, algunos congresosoptan por no revisar las comunicaciones en unintento de evitar que se realicen evaluacionesque rechacen ideas innovadoras, investigacio-nes poco ortodoxas o de alto riesgo.En cualquier caso, hasta la fecha apenas se

ha dedicado atención al análisis del proceso derevisión por pares de las comunicaciones en loscongresos. El estudio de este procedimiento derevisión sería especialmente útil para los inves-tigadores participantes en los congresos de caraa establecer directrices que faciliten la acepta-ción de sus comunicaciones. Asimismo, permi-tiría conocer a los comités organizadores de loscongresos si este sistema de revisión es capazde detectar la relevancia de los estudios conmayor impacto en una disciplina.Alternativamente, este trabajo analiza la pre-

sencia de dos potenciales debilidades del pro-ceso de revisión por pares en el campo de loscongresos: por un lado, los factores determi-nantes de las evaluaciones por pares de lascomunicaciones en términos de las característi-cas de sus autores y del propio manuscrito; y,por otro lado, la relación entre el grado deaceptación/rechazo de las comunicaciones deun congreso y la calidad de las publicacionesposteriores que se derivan de las mismas. Paraalcanzar ambos objetivos de investigación seutiliza información obtenida de un congresonacional de marketing, concretamente de laXVI edición de los Encuentros de ProfesoresUniversitarios de Marketing.El trabajo se organiza en cinco secciones. En

la segunda sección se revisa la literatura y seproponen las hipótesis de investigación. En latercera, se presentan los datos y las variablesempleadas en el análisis empírico. La metodo-logía aplicada y los resultados obtenidos se

72




describen en la sección cuarta. Finalmente, enla quinta sección se exponen las conclusiones,implicaciones de gestión, limitaciones y líneasfuturas de investigación.

2. REVISIÓN DE LA LITERATURA EHIPÓTESIS DE INVESTIGACIÓN

Uno de los medios más relevantes paradivulgar las innovaciones son los congresos,que suelen utilizar sistemas de revisión porpares de las comunicaciones siguiendo un pro-ceso formal. No obstante, la literatura conside-ra que el proceso de revisión por pares presen-ta debilidades en el ámbito de los artículospublicados en revistas.Una primera debilidad consiste en que las

evaluaciones por pares pueden venir afectadaspor la influencia de las características de losautores y del manuscrito (LAZARUS, 1982;ERNST et al., 1993). Una segunda debilidad seconcreta en la baja fiabilidad que caracteriza ala revisión por pares (MAHONEY, 1977, 1990;LAZARUS, 1982; BLANK, 1991; ERNST et al.,1993; WELLER, 2001), debido al bajo nivel deacuerdo entre los evaluadores con respecto a laaceptación o rechazo de un artículo, así como ala baja correlación entre las puntuaciones dadaspor los revisores de un mismo trabajo. Estadivergencia en los comentarios de los revisoresde un mismo trabajo sometido a una revista,implica que las respuestas de los evaluadorespueden ser altamente aleatorias (BLANK, 1991).Una tercera debilidad consistiría en que el

grado de acuerdo en recomendar una acepta-ción en una revisión por pares es menor que elgrado de acuerdo en recomendar un rechazo(WELLER, 2002). En este sentido, parece quelos revisores centran su tarea en encontrar “lomalo” de un trabajo en lugar de destacar “lo

bueno” (STAELIN, 2005). De hecho, los artícu-los que destacan por “lo malo” son reconocidosde forma consistente (INGELFINGER, 1974) y nodan lugar a discrepancias entre evaluadores.Por último, una debilidad adicional reside en

la probabilidad de rechazar artículos de calidad(CAMPANARIO, 1995, 1996). Si se asume que lasrevistas de prestigio tratan de evitar la acepta-ción de trabajos que deberían ser rechazados, elcreciente número de trabajos sometidos a revi-sión en estas revistas incrementa el rechazo detrabajos que deberían ser aceptados (MCALIS-TER, 2005). De hecho, los procesos de revisiónpor pares han llegado a rechazar inicialmenteartículos que más tarde han tenido gran impactoen términos de calidad (CAMPANARIO, 1988a,b).En concreto, este trabajo se centra en dos de

estas debilidades del proceso de revisión porpares, tales como los factores que influyen enla evaluación por pares y el rechazo de artícu-los de calidad.

2.1. Factores que explican la evaluaciónpor pares

Centrándonos en la primera de las debilidadesdel sistema de revisión por pares, la literatura hadedicado gran atención a la influencia que deter-minados factores ejercen sobre la evaluación porpares de los artículos publicados en revistascientíficas. Entre dichos factores destacan losatributos personales o sociales de los autores(MERTON, 1957), tales como la religión, clasesocial, sexo, edad o nacionalidad, así como cier-tas características de la institución/universidadde procedencia del autor (CRANE, 1967), comosu ranking y su ámbito público o privado, entreotras. Así, diversos estudios que analizan artícu-los publicados en revistas que aplican procesosde revisión anónima (“single-blind”) o abierta1,

73



1 Atendiendo al grado de conocimiento de los autores y evaluadores entre sí, el proceso de revisión puede ser: i) anónimo (“anony-mous” o “single-blind review process”), cuando el evaluador posee información sobre los autores pero los autores no conocen quién es elevaluador; ii) doblemente ciego (“double-blind review process”), en el caso en que ni los autores ni los evaluadores tienen informaciónsobre los demás; y iii) abierto (“open review”), cuando tanto autores como evaluadores conocen quiénes son (WELLER, 2001).


identifican un sesgo contra diferentes gruposétnicos de investigadores (WELLER, 2001), unsesgo de género (GOLDBERG, 1968; HORROBIN,1982; SWIM, BORGIDA, MARUYAMA Y MYERS,1989; BLANK, 1991; BILLARD, 1993; FOUAD,BREHM, HALL, KITE, HYDE Y RUSSO, 2000), unsesgo a favor o en contra de investigadores con-solidados o noveles, nacionales o extranjeros,vinculados a países desarrollados o en desarro-llo (SNODGRASS, 2006, 2007), un sesgo de esta-tus (COX, GLESER, PERLMAN, REID Y ROEDER,1993) contra trabajos de autores o institucionesdesconocidas (ZUCKERMAN Y MERTON, 1971;MAHONEY, KAZDIN Y KENIGSBERG, 1978; GOR-DON, 1980; PETERS Y CECI, 1982; BLANK, 1991;GARFUNKEL, ULSHEN, HAMRICK Y LAWON, 1994;LINK, 1998), y un sesgo a favor de autores prolí-ficos (MAHONEY et al., 1978; FISHER, FRIEDMANY STRAUSS, 1994; SIEGFRIED, 1994; MADDEN Y

DEWITT, 2006; TUNG, 2006). Básicamente, laatención especial dirigida a los anteriores ses-gos2 estriba en el hecho de que las decisiones delos editores de las revistas, relativas a la acepta-ción o rechazo de un artículo, no deben funda-mentarse en quién es el autor del trabajo o cuáles su afiliación profesional; hecho que ha pro-movido en los últimos años la inclusión de pro-cesos de revisión doblemente ciegos en muchasrevistas. Por otro lado, la literatura también tratade explicar la evaluación por pares de los artícu-los publicados en revistas a través de caracterís-ticas propias del manuscrito, tales como el temaanalizado y el método aplicado (WELLER, 2001)(o “dominio” según TELLIS, CHANDY Y ACKER-MAN, 1999), el tipo de resultados obtenidos(positivos o consistentes con la teoría frente anegativos o contrarios a la misma (MAHONEY,1977)) o las autocitas (MAHONEY et al., 1978).Considerando la influencia que estos facto-

res ejercen sobre la evaluación por pares de los

artículos publicados en revistas científicas, elpresente trabajo analiza el impacto de algunasde estas características del autor, así como deotros aspectos alternativos propios del manus-crito para el caso de las comunicaciones de loscongresos. En particular, se contemplan lassiguientes dimensiones:

A) Dominio del trabajo. El dominio de lostrabajos difiere según su área temática (ej.:publicidad, nuevos productos, marketing rela-cional, etc.), orientación (conductual, cuantita-tiva y de gestión) y en el tipo de método (con-ceptual, empírico y metodológico) utilizado(STREMERSCH, VERNIERS Y VERHOEF, 2007).Básicamente, el dominio de un artículo ha sidoanalizado por la literatura que trata de explicarlas citas de los artículos, asumiendo que eldominio de un artículo afecta a su número decitas3 debido a los tres aspectos siguientes: i)los dominios pueden diferir en su tamaño (esdecir, en términos de la cantidad de trabajospublicados y, por tanto, de la atención que hanrecibido de la literatura), de modo que losdominios de menor tamaño atraen menos citasque los dominios mayores (KING, 1987). Porejemplo, dado que cada vez existe un volumenmayor de literatura asociada a la investigaciónen distribución comercial en España (LUQUE,FRÍAS Y MARAVER, 1994; GARCÍA, 1998; VÁZ-QUEZ, 1999; GARRIDO Y GUTIÉRREZ, 1999;ESTEBAN, 1999), cabe esperar una evolucióncreciente del número de citas (YAGÜE Y MÚGI-CA, 1993). ii) Los dominios pueden diferir ensu nivel de relevancia, de forma que un domi-nio puede tener más transcendencia que otro yatraerá más citas (STEWART, 1983). iii) Losdominios pueden diferir en el grado de madu-rez alcanzado, de modo que los dominios másnuevos pueden representar mayores avances

74



2 La presencia de sesgos en el proceso de revisión por pares ha incentivado en los últimos años el uso de Internet como alternativa parala comunicación científica y la diseminación de la investigación, pero la ausencia de control de su calidad constituye el principal motivode preocupación de esta vía para la comunidad académica (GORMAN, 2008).

3 Así, con respecto al método, STREMERSCH et al. (2007) obtienen cierta evidencia (pero no significativa) de que los artículos metodo-lógicos son menos citados que los empíricos y conceptuales, lo que parece reflejar la importancia para los investigadores de la bibliogra-fía que sustenta las hipótesis y proposiciones de éstos últimos.


que aquéllos más maduros, por lo que los artí-culos en nuevos dominios pueden ser más cita-dos que otros desarrollados en dominios madu-ros (STERNBERG Y GORDEEVA, 1996).Tomando como punto de partida estos estu-

dios que analizan las citas de los artículos, elpresente trabajo considera que el dominio(tamaño, relevancia y madurez) también incideen la evaluación por pares de las comunicacio-nes de un congreso, aunque resulta difícil asu-mir un signo a priori. Así, los dominios demenor tamaño pueden atraer una menor aten-ción de los revisores que los dominios mayores,lo que incidirá en sus evaluaciones; un dominiopuede tener más relevancia que otro y atraeráuna mayor atención del evaluador; y las comu-nicaciones en nuevos dominios pueden repre-sentar mayores avances y atraer más la atenciónde los revisores que aquellas en dominiosmaduros. En este sentido, se propone lasiguiente hipótesis:

H1: El dominio en el que se desarrolla unacomunicación influye en la evaluaciónrecibida del revisor.

B) Características de los autores. Tal y comose ha indicado al inicio de esta sección, la litera-tura ha tratado de explicar la evaluación porpares de los artículos en revistas a través devarios aspectos personales o sociales del autor(MERTON, 1957). En esta línea, se sugiere que laposición de un científico en la estructura socialafecta muy probablemente a la evaluación de sutrabajo científico (CRANE, 1967). Así, un buennúmero de estudios detecta que una gran pro-porción de artículos publicados en revistas queaplican procesos de revisión anónima o abierta,son contribuciones de autores seniors, afama-dos, con más artículos previos y que pertenecena universidades más renombradas (SNODGRASS,2006). Por su parte, algunos estudios que anali-zan las citas de los artículos ya publicadosencuadran estos aspectos sociales en la denomi-nada visibilidad del autor, que incrementa lascitas de un trabajo. Así, una contribución cientí-

fica tendrá mayor visibilidad cuando es introdu-cida por un científico de mayor rango (MERTON,1957); por lo que los autores de mayor rango,con numerosas aportaciones científicas y quepertenecen a comités científicos, a universida-des mejor posicionadas en el ranking o a redescientíficas de coautores, recibirán mayor aten-ción (más citas) para una misma contribuciónque la recibida por académicos posicionados enniveles inferiores (BERGH, PERRY Y HANKE,2006; STREMERSCH et al., 2007).En el ámbito de los procesos de revisión

doblemente ciegos, cabe señalar que los reviso-res no conocen la identidad ni las característi-cas de los autores del trabajo y, por tanto, nopercibirán su visibilidad. No obstante, autorescomo BLANK (1991) critican esta apreciación alevidenciar que casi la mitad de los revisoresque evaluaron artículos con un procedimientode revisión doblemente ciego divulgaron cono-cer a los autores, lo que refleja que ningún sis-tema de revisión puede ser considerado com-pletamente anónimo. Con independencia deeste debate sobre el carácter anónimo de losprocesos de revisión doblemente ciegos, elexperimento realizado por FISHER et al. (1994)detecta que los autores senior con más artículosreciben mejores puntuaciones de los revisores“ciegos” que de los revisores “no ciegos”, loque interpretan indicando que los revisores“ciegos” (que no conocen la identidad delautor) podrían haber reconocido una calidadmejorada en el trabajo de aquellos autores conmás publicaciones previas; mientras que losrevisores “no ciegos” (que conocen la identidaddel autor) dan peores puntuaciones a los auto-res más experimentados porque pueden surgirmuy probablemente varios tipos de sesgos ensu pensamiento (SNODGRASS, 2006). En virtuddel anterior argumento, el presente trabajo pro-pone que las características propias de los auto-res pueden influir en la evaluación doblementeciega por pares de una comunicación ya que elrevisor, pese a desconocer la identidad delautor, puede reconocer una mayor calidad deltrabajo derivada de unos autores de mayor ran-

75




go, con numerosas aportaciones científicas,que pertenecen a comités científicos, a univer-sidades mejor posicionadas en el ranking, y agrupos de investigación competitivos. Es decir:

H2: Las características del autor de la comu-nicación influyen en la evaluación queésta recibe del revisor en un proceso derevisión doblemente ciego.

C) Aspectos formales o de presentación delmanuscrito. En general, los aspectos de presen-tación del manuscrito han sido examinadosmayoritariamente por la literatura que analizalas citas de los artículos (LABAND Y PIETTE,1994; STREMERSCH et al., 2007), distinguiendolas dimensiones de longitud del título y de cla-ridad expositiva. El título de un artículo esimportante porque se almacena en las bases dedatos y facilita su búsqueda, pero resulta difícilfijar el efecto de la longitud del título en lascitas del artículo ya que aunque los títulos lar-gos son más informativos también puedenhacer alusión a la complejidad del artículo(YITZHAKI, 2002). Por su parte, la claridadexpositiva de un artículo permite hacer accesi-ble su contenido a una audiencia más amplia y,por tanto, incide en las citas del artículo (STRE-MERSCH et al., 2007). Esta claridad expositivase alcanza añadiendo tablas de resultados (queexpliquen los aspectos de la estimación o laspruebas de robustez (STREMERSCH et al., 2007))y con un mayor número de referencias biblio-gráficas4 (que reflejan las extensiones y las dis-cusiones de la literatura relacionada (ELLISON,2002b)). Ahora bien, el impacto del uso deecuaciones y de notas a pie de página en la cla-ridad expositiva depende del contexto. Un ele-vado número de ecuaciones en un artículo pue-de aclarar a los matemáticos o estadísticos,pero puede suponer un obstáculo añadido para

la comprensión en el caso de otras cienciascomo las ciencias sociales (STREMERSCH et al.,2007). Además, el uso de notas a pie es muypotenciado en las disciplinas jurídicas, peromenos fomentado en otras áreas.Tomando como punto de partida estos estu-

dios que analizan las citas de los artículos, elpresente trabajo considera que las característi-cas de presentación también inciden en la eva-luación por pares de las comunicaciones de uncongreso; aunque resulta difícil asumir un sig-no a priori. Así, los títulos aportan informaciónsobre el trabajo que puede atraer la atención delos revisores e incidir en sus evaluaciones enuno u otro sentido. Por su parte, la claridadexpositiva favorece la comprensión del trabajo,lo cual puede influenciar la evaluación del revi-sor (MAHONEY, 1977) de diferentes modos. Dehecho, KOREN (1986) detecta que el ratio deaceptación en un congreso de los resúmenesescritos con modernos procesadores de texto esmayor que el de los mecanografiados; mientrasque ARMSTRONG (1980) y METOYER-DURAN(1993) evidencian que los artículos peor legi-bles se asocian con una mejor calidad(BAUERLY, JOHNSON Y SINGH, 2005). De estemodo, se propone la siguiente hipótesis:

H3: Las características de presentación deuna comunicación influyen en la evalua-ción que ésta recibe del revisor, concreta-mente (a) la longitud del título afecta a laevaluación que recibe la comunicación, y(b) la claridad expositiva afecta a la eva-luación que recibe la comunicación.

2.2. Rechazo de artículos de calidad

La segunda parte de este trabajo se centra enla debilidad del proceso de revisión por pares

76



4 La intensidad de las referencias o grado en que los autores citan el trabajo de otros investigadores también constituye una dimensiónde promoción personal (características del autor) relacionada con la reciprocidad (“tú me citas, yo te citaré”), que aumentará el número decitas (STREMERSCH et al., 2007). Ahora bien, los congresos suelen restringir la extensión de los trabajos, lo que dificulta dicha reciproci-dad en las citas.


relacionada con el rechazo de ideas innovado-ras. En general, los revisores de las revistasestán poco dispuestos a apoyar investigacionesno ortodoxas o de alto riesgo; de hecho, variosautores han ganado el Premio Nobel tras serinicialmente rechazados sus trabajos en revis-tas (CAMPANARIO, 1995). La lógica subyacentesería que la tendencia a rechazar artículos debaja calidad mediante criterios de aceptaciónapoyados en el acuerdo positivo de los reviso-res tiene el riesgo de rechazar artículos de ele-vada calidad.En cualquier caso, no se han detectado estu-

dios que examinen esta debilidad en el campode las comunicaciones de los congresos. Bási-camente, se trata de conocer si las evaluaciones

por pares de las comunicaciones de los congre-sos son capaces de detectar la relevancia de lostrabajos con mayor impacto en una disciplina.En este sentido, este trabajo analiza la relaciónentre el grado de aceptación/rechazo de lascomunicaciones presentadas a los congresos yla calidad de las publicaciones posteriores;concretamente, si la aceptación/rechazo de unacomunicación por parte de los evaluadores delcongreso se asocia con la posición del rankingque ocupa la revista donde finalmente resultapublicada.En resumen, la Figura 1 recoge las hipótesis

propuestas, así como el signo esperado para lasdistintas relaciones a estudiar.

77



FIGURA 1Hipótesis de investigación y relaciones esperadas

Orientacióny

método

Dominio de lainvestigación

Característicasdel autor

Autores de lacomunicación

Aspectosformales

Título

Claridad

expositiva

H1 [+/-]

H2 [+/-]

Aceptación/Rechazo

EVALUACIÓN de las COMUNICACIONES

Posición en el RANKING que ocupa LA REVISTA donde se PUBLICA la COMUNICACIÓN

H3a [+/-]

H3b [+/-]

[+/-]


3. DATOS Y VARIABLES

Datos. Para alcanzar los objetivos de investi-gación planteados, utilizamos el siguiente pro-ceso de recogida de información. En una prime-ra etapa se obtiene información de la evaluaciónpor pares realizada en el congreso XVI Encuen-tro de Profesores Universitarios de Marketing,así como de las características de los autores yde los manuscritos presentados al mismo; lo quepermitirá analizar el primer objetivo de investi-gación relacionado con los factores determinan-tes de dicha evaluación por pares.En relación al proceso de revisión por pares,

la edición del congreso analizado recibe untotal de 98 comunicaciones (65 trabajos com-pletos y 33 trabajos en curso) que son evalua-das por 73 profesores universitarios de marke-ting (Catedráticos y Profesores Titulares deUniversidad). El proceso de revisión es doble-mente ciego, lo que lleva asociado un procesoprevio de depuración de los manuscritos queelimina el nombre de los autores, la universi-dad de procedencia y cualquier otra referenciaque pueda identificar a los autores. En el pro-ceso de revisión on-line seguido, dos revisoresevalúan, para cada trabajo, seis ítems (relevan-cia del tema, formulación del problema, fuen-tes de información, metodología, discusión delos resultados y claridad de la redacción) eindican su aceptación o rechazo. Tomandocomo punto de partida esta información, elComité Científico del congreso sigue el criteriode aceptar aquellos trabajos donde ambos revi-sores acuerdan su aceptación, y el rechazo delos trabajos donde ambos revisores acuerdan

rechazarlo. Ello implica la aceptación inicial de49 comunicaciones y el rechazo de 17. Elnúmero de comunicaciones donde no hayacuerdo entre ambos revisores es de 32 y, enestos casos, se efectúa una tercera revisión apli-cándose finalmente la regla de la mayoría.Todo ello genera un total de 60 comunicacionesaceptadas y 38 rechazadas (ver Tabla 1).Una vez obtenidas las evaluaciones de las

comunicaciones aceptadas y rechazadas en elcongreso, se seleccionan las 65 comunicacio-nes correspondientes a la totalidad de trabajoscompletos con el fin de homogeneizar la mues-tra y trabajar con observaciones comparables.En este sentido, los trabajos en curso no sonutilizados para cubrir nuestro primer objetivode investigación, ya que dichos trabajos en cur-so muestran unas características de presenta-ción que les diferencian de los trabajos com-pletos (ej.: los resultados obtenidos no puedenser igualmente presentados en los trabajos encurso –cuyos resultados son incipientes- comoen los trabajos completos) y por ello resultanincomparables. A continuación, y para el casoespecífico de los trabajos completos, se recogela siguiente información sobre los factores decaracterísticas de los autores y del manuscrito:dominio de la investigación, autores de lacomunicación y aspectos formales del trabajo.Para ello, se efectúa un análisis detallado delcontenido de cada una de dichas comunicacio-nes y se obtiene información de ediciones pre-vias del congreso, convenientemente completa-da y actualizada, así como información delConsejo Superior de Investigaciones Científi-cas (ver sección de variables).

78



TABLA 1Proceso de revisión por pares: Comunicaciones presentadas al congreso

Tipo de comunicación Nº Aceptadas Rechazadas

Trabajo completo 65 44 (67,69%) 21 (32,31%)

Trabajo en curso 33 16 (48,48%) 17 (51,52%)

Total 98 60 38


En la segunda etapa del proceso de recogidade datos se obtiene información sobre el ran-king de las revistas donde son publicadas pos-teriormente las comunicaciones del congreso;lo cual permitirá analizar el segundo objetivode nuestro estudio (relación entre el grado deaceptación/rechazo de las comunicaciones deun congreso y la calidad de las publicacionesposteriores que se derivan de las mismas). Eneste caso, se pueden utilizar los artículos publi-cados en revistas procedentes de cualquiera delas 98 comunicaciones del congreso, sean tra-bajos en curso o trabajos completos, ya queambos tipos de trabajos pueden ser tratados deforma conjunta y son comparables. Ello obede-ce a que en el segundo objetivo de investiga-ción se pretende conocer la calidad de cual-quier trabajo utilizando una puntuación externade calidad como el ranking de la revista dondedicho trabajo es posteriormente publicado; porlo que no importa que se trate de trabajos encurso o completos.La recogida de información sobre el ranking

de las revistas donde se publican las comunica-ciones implica llevar a cabo un proceso de bús-queda de dichas comunicaciones en diferentes

bases de datos de revistas científicas nacionalese internacionales, considerando los cuatro añosposteriores al año de celebración del congreso.Como resultado se identifican 21 revistasnacionales e internacionales (ver Tabla A1 delApéndice) donde se publican 46 artículos queproceden de las 98 comunicaciones presenta-das en el congreso analizado, lo que representael 46,9%5 de dichas comunicaciones. En revis-tas nacionales son publicados 43 artículos (31de ellos en revistas incluidas en el In-Recs) y 3en revistas internacionales (2 de ellos en revis-tas incluidas en el JCR) (ver Tabla 2). De los 46artículos, 35 provienen de trabajos completos y11 de trabajos en curso. Del mismo modo, 31artículos se derivan de comunicaciones acepta-das en el congreso (2 artículos de ellos sonpublicados en revistas incluidas en el JCR);mientras que 15 artículos tienen su origen encomunicaciones rechazadas. Por su parte, elranking de las revistas que poseen índice deimpacto se construye a partir de su índice deimpacto acumulado, creado con la informaciónobtenida del In-Recs e ISI Journal CitationReports para el caso de las revistas nacionalese internacionales, respectivamente.

En síntesis, en el primer objetivo de investi-gación, referido a la identificación de los facto-res determinantes de las evaluaciones por paresde las comunicaciones, se utiliza la informa-

ción procedente de los 65 trabajos completosremitidos al congreso (tanto aceptados comorechazados). En el segundo objetivo de investi-gación, relativo al análisis de la relación entre

79



TABLA 2Perfil de los artículos publicados derivados de las comunicaciones presentadas al congreso

Ámbito de la revista Artículos publicados (%)Artículos publicados en revistas con índicede impacto obtenido del In-Recs o JCR (%)

Nacional 43 (93,5%) 31 (93,94%)

Internacional 3 (6,5%) 2 (6,06%)

5 Aunque no son comparables, RUIZ Y MEROÑO (2007) detectan que el 76% de los artículos publicados por una muestra de socios deACEDE han sido presentados previamente en un congreso.


80



el grado de aceptación/rechazo de las comuni-caciones y la calidad de las publicaciones pos-teriores, se emplea la información de 46 artícu-los derivados de comunicaciones aceptadas orechazadas en el congreso, ya fueran trabajosen curso o completos.Variables. Con respecto al primer objetivo de

investigación, el análisis de los factores deter-minantes de la evaluación por pares de lascomunicaciones de un congreso implica el usode las siguientes variables:

i) Variable dependiente. Queda definida porla evaluación media dada por los revisores a losseis ítems siguientes de cada comunicación: 1)relevancia del tema analizado; 2) formulacióndel problema; 3) fuentes de informaciónempleadas; 4) metodología empleada; 5) discu-sión e implicaciones de los resultados; y 6) cla-ridad en la redacción. Cada uno de estos ítemsse mide con una escala del 1 al 5, siendo 1 lapuntuación mínima (peor valoración) y 5 lamáxima (mejor valoración). Específicamente,la variable dependiente se define a través de lasiguiente expresión que recoge la valoraciónfinal (VFi) o puntuación media otorgada por losrevisores a los seis ítems:

(1)

donde Pigh es la puntuación de la comunicacióni (i = 1,…, 65) para el ítem g (g = 1,…, 6) dadapor el revisor h (h = 1, 2). Este tipo de indica-dor medio no ponderado ha sido utilizado porautores como MCREYNOLDS (1991) e implicaasignar la misma importancia a cada uno de losítems en la valoración final de la comunica-ción; por lo que, por ejemplo, no se premiaríantrabajos eminentemente metodológicos sobretrabajos con una notable discusión e implica-ciones de los resultados. Una medida alternati-va consistiría en asignar pesos distintos a losdiferentes ítems al asumir que cada uno deellos tiene distinta relevancia en la valoraciónfinal; pero el inconveniente de esta medida es

que dichos pesos no se conocen a priori dada ladiferente ponderación asignada por cada eva-luador a los ítems de un estudio.Precisamente, una cuestión clave de investi-

gación sobre la que no hay consenso es el gra-do en que los evaluadores ponderan los compo-nentes de un trabajo en sus evaluaciones(MAHONEY, 1977). Así, considerando los cua-tro componentes contemplados en la mayoríade trabajos (objetivos, descripción de la meto-dología, presentación de los resultados, y con-clusiones e implicaciones), y desde un punto devista epistemológico, cabe esperar que los dosprimeros componentes (objetivos y metodolo-gía) sean los más importantes de la investiga-ción (LAKATOS Y MUSGRAVE, 1970; POPPER,1972). Con otras palabras, si las cuestiones ainvestigar son relevantes y la metodología apli-cada es adecuada, los resultados obtenidos,cualesquiera que sean, deberían ser de interéspara la comunidad científica (MAHONEY,1977). En consecuencia, los evaluadores debe-rían dar prioridad al objetivo y la metodologíasobre los resultados y conclusiones. No obstan-te, una corriente defiende lo contrario: si seasume que la investigación es desarrollada demanera rigurosa en términos de los objetivos yel diseño metodológico, los resultados empíri-cos y su interpretación o discusión pueden con-vertirse en los elementos fundamentales de laevaluación. Ello obedece a que los resultadosempíricos confirmatorios (positivos) sonimportantes porque apoyan nuevas teorías y losresultados no confirmatorios (negativos) sontambién interesantes, dado el carácter falsacio-nista de la ciencia (WEIMER, 1977). En suma, lafalta de consenso sobre la ponderación de losdistintos componentes de una investigación haimplicado utilizar una valoración media noponderada de los seis ítems.ii) Variables independientes. Como variables

explicativas se definen las siguientes:

A) Dominio de la comunicación (DOM), quedistingue su orientación y el método aplicado.En concreto, la orientación del trabajo viene

ΣΣ= =

=H

h

G

gighi P

GHVF

1 1

11


medida a través de las siguientes variables(KERIN, 1996; STREMERSCH et al., 2007):

• Orientación conductual (DOM1): variabledummy que toma valor 1 si el trabajo tiene unaorientación conductual y valor 0 en caso con-trario. El esquema de codificación para la“orientación conductual” de un trabajo se apo-ya en la descripción de marketing como cienciade la conducta y social, cuya temática principalson los procesos organizativos y del comprador(ej.: comportamiento del consumidor, conductade compra industrial) (KERIN, 1996).• Orientación cuantitativa (DOM2): variable

dummy con valor 1 si el trabajo tiene una orien-tación eminentemente cuantitativa y valor 0 encaso contrario. Una “orientación cuantitativa”del trabajo se apoya en la descripción de mar-keting como ciencia cuantitativa, y cuyos temasprincipales son la evaluación del impacto de lasvariables de marketing siguiendo una filosofíapositiva de la ciencia (ej: explicativa con análi-sis causales) (KERIN, 1996).• Orientación de gestión (DOM3): variable

dummy con valor 1 si el trabajo tiene una orien-tación de gestión y valor 0 en caso contrario.Una “orientación de gestión” del trabajo seapoya en la descripción de marketing comoactividad de gestión, y cuya temática principales la mejora de las funciones de marketing y delos sistemas de productividad (ej.: gestión deprocesos de marketing) (Kerin, 1996).

Para la medición de estas variables se asignauna única orientación a cada trabajo, siguiendoel procedimiento utilizado por TELLIS et al.(1999), CHAMORRO, MIRANDA Y RUBIO (2006) ySTREMERSCH et al. (2007), que se apoya en elanálisis del contenido de las comunicaciones.En particular, y con el fin de minimizar la sub-jetividad, dos jueces actúan independientemen-te en cada comunicación, decidiendo por sepa-rado sus asignaciones a través del análisis delresumen y, en caso de duda, del contenido de lacomunicación. La fiabilidad obtenida entre losdos jueces es del 92%, porcentaje de acuerdo

muy favorable en comparación con el 85%sugerido por KASSARJIAN (1977) para un análi-sis de contenido fiable. Las comunicacionesdisputadas (casos discordantes) son revisadaspor un tercer juez, que las reclasifica en cual-quiera de las dos dimensiones disputadas. Lostres jueces son investigadores del artículo. Encualquier caso, la orientación conductual no seincluye finalmente en el análisis empírico porpresentar una alta correlación con la orienta-ción cuantitativa (0,70).Por su parte, el método aplicado en el traba-

jo viene medido a través de las siguientes varia-bles (TELLIS et al., 1999; STREMERSCH et al.,2007):

• Método conceptual (DOM4): variabledummy con valor 1 si el trabajo efectúa undesarrollo conceptual del tema analizado (bus-cando la presencia de palabras como concep-tual, teórico, concepto y teoría) y valor 0 encaso contrario. Un trabajo que sigue un enfo-que conceptual desarrolla, analiza o describeteorías que explican un fenómeno de marketing(TELLIS et al., 1999).•Método empírico (DOM5): variable dummy

con valor 1 si el trabajo desarrolla una aplica-ción empírica (buscando la presencia de pala-bras como empírico, datos secundarios, entre-vista y trabajo de campo) y valor 0 en caso con-trario. Un trabajo que sigue un enfoqueempírico trata principalmente de describir oanalizar un fenómeno utilizando fuentes dedatos de campo o de laboratorio (TELLIS et al.,1999).• Enfoque metodológico (DOM6): variable

dummy con valor 1 si el trabajo desarrolla odescribe un procedimiento para realizar unainvestigación (buscando la presencia de pala-bras como nueva metodología, nuevo método,metodológico, matemático, analítico y ecua-ción matemática) y valor 0 en caso contrario.Aunque un trabajo que sigue un enfoquemetodológico puede a veces contener unrazonamiento teórico del método o una ilus-tración práctica del mismo, su razón de ser es

81




la exposición del procedimiento y no de lateoría o ilustración práctica (TELLIS et al.,1999).

El procedimiento de codificación descritopara la orientación de los trabajos, también esutilizado para la codificación del método, conla salvedad de que en esta ocasión se revisa laintroducción y, en caso de duda, el contenidocompleto de cada trabajo. En la clasificacióndel método la fiabilidad obtenida entre los dosjueces también es elevada ya que tan sólo sur-gen dudas en 2 de las 65 comunicaciones, lascuales son reasignadas por el tercer juez. Final-mente, se descarta el método empírico por estaraltamente correlacionado con el método con-ceptual (-0,72).B) Características de los autores (CA) de la

comunicación relacionadas con aspectos aca-démicos. Se incluyen las siguientes:

• Catedráticos (CA1): número de Catedráti-cos de Universidad entre los autores que firmanla comunicación (CRANE, 1967).• Doctores (CA2): número de doctores entre

los autores que firman la comunicación (CRA-NE, 1967).• Comunicaciones previas (CA3): número de

comunicaciones presentadas por el autor en edi-ciones previas del congreso (adaptada de STRE-MERSCH et al. (2007)). Para la medición de estavariable se consideran las tres ediciones anterio-res al año de celebración del congreso pondera-das por el tiempo6. La ponderación asignadatoma valores 1, 0,5 y 0,33, dependiendo de si lacomunicación se presenta en el año t-1, t-2 ó t-3,respectivamente, siendo t el año de celebracióndel congreso. Esta ponderación trata de darmayor importancia a las comunicaciones presen-tadas en ediciones más recientes del congreso y,de este modo, se pretende evitar una influenciaen los resultados derivada de posibles cambiosque puedan producirse en la orientación y crite-rios del comité del congreso a lo largo del tiem-

po. Asimismo, cuando la comunicación aparecefirmada por varios autores, se considera el totalde comunicaciones presentadas por todos losautores firmantes.• Pertenencia al comité científico (CA4):

número de veces que el autor del trabajo ha for-mado parte del comité científico en edicionesprevias del congreso (adaptada de STREMERSCHet al. (2007)). Al igual que en el caso anterior,para la medición de esta variable se consideranlas tres ediciones anteriores, ponderando conpesos 1, 0,5 y 0,33 si el autor pertenece alcomité científico en la edición anterior, en laedición de dos años previos o en la de tres añosanteriores. Asimismo, cuando el trabajo es rea-lizado por varios autores se considera aquelautor que ha pertenecido a dicho comité duran-te un mayor número de años.• Ranking de la universidad (CA5): posición

que ocupa la universidad a la que pertenece elautor de la comunicación dentro del ranking deuniversidades españolas (adaptada de BLANK(1991) y STREMERSCH et al. (2007)). Para sudefinición se ha utilizado el Ranking de Uni-versidades Españolas elaborado por el Labora-torio de Internet del Consejo Superior de Inves-tigaciones Científicas. Este ranking proporcio-na un listado de 100 universidades españolaspúblicas y privadas. Los trabajos firmados porautores de diferentes universidades toman laposición de la universidad mejor posicionadaen el ranking (BLANK, 1991).• Autores (CA6): número de autores que fir-

man la comunicación (ELLISON, 2002a), quesiguiendo a VALLET, FRASQUET, GIL Y MOLLÁ

(2002) puede reflejar la pertenencia a un grupode investigación.• Proyectos de investigación (CA7): existen-

cia de proyectos que financian la investigación,definida por una variable dummy que toma elvalor 1 si el trabajo es financiado por un pro-yecto de investigación competitivo nacional ointernacional, y 0 en caso contrario. Refleja lapertenencia a grupos de investigación competi-

82



6 Esta variable también se mide sin asignar ponderaciones en función del factor tiempo, pero el ajuste del modelo no mejora.


83



tivos (GUERRAS, RUIZ Y RUIZ, 1999a,b). Para lamedición de esta variable se ha tenido en cuen-ta la mención expresa, tanto en las comunica-ciones como en los artículos posteriormentepublicados, de las ayudas recibidas para finan-ciar la investigación desarrollada.

Finalmente, se excluyen del análisis lasvariables pertenencia al comité científico, auto-res y catedráticos, por presentar una elevadacorrelación con comunicaciones previas (0,61),con doctores (0,72) y con comunicaciones pre-vias (0,64), respectivamente.C) Aspectos formales (AF) del trabajo, dis-

tinguiendo las siguientes variables relacionadascon la longitud del título (YITZHAKI, 2002) y laclaridad expositiva (AYRES Y VARS, 2000):

• Palabras del título (AF1): número de pala-bras significativas del título.• Tablas de resultados (AF2): número de

tablas de resultados utilizadas en el trabajo.• Referencias (AF3): número total de referen-

cias bibliográficas que aparecen en la seccióndel trabajo destinada a tal fin.• Ecuaciones (AF4): número de ecuaciones

que se incluyen en el trabajo.• Notas a pie de página (AF5): número de

notas a pie de página que se introducen en eltrabajo.

Finalmente, no se considera el número deecuaciones por estar correlacionada con lavariable número de tablas de resultados (0,61).En cuanto al segundo objetivo de investiga-

ción, el análisis de la relación entre el grado deaceptación/rechazo de las comunicaciones y lacalidad de las revistas donde se publican poste-riormente implica el uso de las siguientesvariables:

i) Variable dependiente: la calidad de larevista científica donde aparece publicada lacomunicación queda definida por la posiciónen el ranking de citas7 que ocupa dicha revista(RANK). Para la construcción de este ranking,se utilizan los índices de impacto de dichasrevistas extraídos del In-Recs para las revistasespañolas y del ISI8 Journal Citation Reportspara las de ámbito internacional. Con la finali-dad de homogeneizar los datos y contemplar elperiodo transcurrido desde la presentación dela comunicación en el congreso hasta su publi-cación efectiva, se construye el índice deimpacto acumulado a lo largo del periodo tem-poral 2003-2006 (contempla el índice deimpacto del año anterior al de publicación deltrabajo). En particular, el índice de impactoacumulado (IIA) para una revista j viene dadopor la expresión:

(2)

siendo IIj,t el índice de impacto de la revista j (j= 1,…, 21) para el periodo t (t = 1,…, 4).ii) Variables independientes: Como variables

explicativas se definen las siguientes:

• Aceptación (AC): variable dummy convalor 1 si la comunicación resulta aceptadapara su presentación en el congreso y valor 0 encaso contrario.

Como variable de control se utiliza el tipo detrabajo (TT), medido con una variable dummycon valor 1 si la comunicación es un trabajocompleto y valor 0 en caso contrario.En la Tabla A2 del Apéndice se presentan los

estadísticos descriptivos de las variables anali-zadas.

7 El indicador de calidad de una revista apoyado en el análisis de citas es el preferido (BAUMGARTNER y PIETERS, 2003), debido princi-palmente a su objetividad, que lo hace superior al enfoque basado en encuestas de opinión de expertos (TELLIS et al., 1999). Otras aproxi-maciones menos utilizadas son el número de descargas electrónicas de una revista, la disponibilidad de revistas en las bibliotecas univer-sitarias y las lecturas de revistas requeridas en los seminarios de doctorado (BAUERLY y JOHNSON, 2005).

8 El índice de citas de las Ciencias Sociales (SSCI) es la medida basada en citas más utilizada de la calidad de una revista en este cam-po. Otras alternativas se exponen en BADE (2007) y JACSÓ (2008).

,1

T

j j tt

IIA II=

= Σ


4. ANÁLISIS

La metodología aplicada para alcanzar el pri-mer objetivo de investigación se apoya en la pro-puesta de un modelo que permite identificar losfactores explicativos de la evaluación por paresque reciben las comunicaciones. Con respecto alsegundo objetivo de investigación, se planteandiversos modelos formales que facilitan el análi-sis de la relación entre el grado de aceptación/rechazo de las comunicaciones en el congreso yla calidad de las publicaciones posteriores.

4.1. Factores determinantes de laevaluación por pares de lascomunicaciones de un congreso

El modelo completo propuesto para contras-tar la influencia de los factores que explican lasdiferencias en la evaluación (valoración final)otorgada a las comunicaciones -VFi (i = 1, 2,…,I)- es el siguiente:

(3)

donde α, βk (k = 1, 2,…, K), δ l (l = 1, 2,…, L)y φm (m = 1, 2,…,M) son los parámetros a esti-mar, siendo ui el término de error. Los paráme-tros βk captan el efecto del dominio del trabajoDOM1-DOMK (K = 6), los parámetros δ l captu-ran el efecto de las características de los auto-res CA1-CAL (L = 7) y los parámetros φm reco-gen el efecto de los aspectos formales de pre-sentación del trabajo AF1-AFM (M = 5). Encualquier caso, además del modelo completopropuesto (ecuación 3) se plantean los tressiguientes modelos anidados:

– modelo puro del dominio del trabajo(modelo anidado 1)

(4)

– modelo puro de las características de losautores (modelo anidado 2), y

(5)

– modelo puro de los aspectos formales depresentación (modelo anidado 3)

(6)

La Tabla 3 presenta las estimaciones porMCO de los modelos anteriores (ecuaciones 3a 6) y los estadísticos que recogen sus nivelesde ajuste.Con respecto a los niveles de ajuste a los

datos, el coeficiente R2 ajustado del modelocompleto es 0,39, siendo éste el que presentael mayor nivel entre los modelos estimados.Los estadísticos de ajuste para los modelosanidados (modelos 1 a 3) muestran que elmodelo 3 posee la mayor capacidad explicati-va (R2 ajustado = 0,25), seguido por el mode-lo 1 (R2 ajustado = 0,18) y el modelo 2 (R2

ajustado = 0,11), respectivamente. Además,los criterios de información de Akaike y Sch-warz revelan que el modelo 3 es preferido alos modelos 1 y 2. Finalmente, los valores delos test de máxima verosimilitud (ver Tabla 4)revelan que el modelo completo es preferidoal resto de modelos analizados, ya que pre-senta una mejora significativa en el nivel deajuste.

84




El contraste de los supuestos básicos de losmodelos empleados muestra que los residuos

están normalmente distribuidos (χ 2 =2,99, p-valor=0,22 para el modelo completo), que la

85



˚ p < 0,10; * p < 0,05; ** p < 0,01; *** p < 0,001.

˚ p < 0,10; * p < 0,05; ** p < 0,01; *** p < 0,001.

TABLA 3Estimación de los modelos (ecuaciones 3 a 6)

Modelo completo Modelo anidado 1 Modelo anidado 2 Modelo anidado 3(ecuación 3) (ecuación 4) (ecuación 5) (ecuación 6)

Variables Coef. EE Coef. EE Coef. EE Coef. EE

Constante 3,03*** 0,32 2,98*** 0,13 3,23*** 0,21 3,16*** 0,26

• Dominio del trabajo (DOMk)

Orientación cuantitativa (DOM2) 0,35* 0,17 0,15 0,18Orientación de gestión (DOM3) 0,09 0,18 0,11 0,20Método conceptual (DOM4) -0,08 0,17 -0,13 0,18Enfoque metodológico (DOM6) 0,29˚ 0,16 0,47** 0,16

• Características de los autores (CAl)

Doctores (CA2) -0,07 0,08 -0,06 0,10Comunicaciones previas (CA3) 0,07˚ 0,04 0,14** 0,04Ranking de la universidad (CA5) 0,003 0,004 -0,003 0,004Proyectos de investigación (CA7) 0,003 0,16 -0,006 0,18

• Aspectos formales (AFm)

Palabras del título (AF1) -0,02 0,02 -0,02 0,02Tablas de resultados (AF2) -0,01 0,03 0,01 0,03Referencias (AF3) 0,007*** 0,002 -0,03* 0,01Notas a pie de página (AF5) -0,03* 0,01 0,01*** 0,002

Estadísticos de ajuste

R2 ajustado 0,39 0,18 0,11 0,25

Criterio de información de Akaike 1,48 1,67 1,75 1,58Criterio de información de Schwarz 1,91 1,84 1,92 1,75

TABLA 4Tests de máxima verosimilitud

Modelo completo

Modelos anidados χ2 grados de libertad

Modelo 1 33, 78*** 8

Modelo 2 28, 81*** 8

Modelo 3 22, 449*** 8


linealidad del modelo no es rechazada (testsRESET yWhite), que se cumple la exogeneidadentre los regresores y el término de error, asícomo la no multicolinealidad entre las variablesconsideradas (ver la matriz de correlaciones enla Tabla A3 del Apéndice). En cuanto a las esti-maciones de los coeficientes, la Tabla 3 revelaunas estimaciones bastante similares entre losmodelos anidados y el modelo completo, demodo que los signos de los coeficientes nocambian de un modelo a otro, excepto para lasestimaciones de las variables CA5 (posición enel ranking que ocupa la universidad de los auto-res) y CA7 (Proyectos de investigación) delmodelo anidado 2, así como de AF2 (número detablas de resultados) del modelo anidado 3, peroen ninguno de estos casos las estimaciones sonestadísticamente significativas9.Centrando la atención en las estimaciones

del modelo completo recogidas en la Tabla 3,se obtienen los siguientes resultados: En rela-ción con el dominio en el que se desarrollan lascomunicaciones, una orientación cuantitativa(DOM2) tiene un efecto positivo y significativosobre su evaluación por pares. Del mismomodo, la presencia de un procedimiento meto-dológico (DOM6) en la comunicación influen-cia positiva y significativamente su evaluación,aunque su efecto es moderado (a un nivel del10% de significatividad). En cualquier caso, lafalta de significatividad de las variables orien-tación de gestión (DOM3) y método conceptual(DOM4) no permite rechazar totalmente lahipótesis H1 de que el dominio de una comuni-cación influye en la evaluación recibida delrevisor. Desde la perspectiva del análisis decitas, STREMERSCH et al. (2007) no obtienen unefecto significativo para ninguna orientación nimétodo del trabajo. En este sentido, parece queel tamaño, relevancia y madurez de los domi-nios inciden parcialmente en la evaluación por

pares de las comunicaciones de un congreso,con una mayor relevancia dada por los reviso-res del mismo a la orientación cuantitativa yenfoque metodológico.En cuanto a las características de los autores,

sólo se detecta que el número de comunicacio-nes presentadas en ediciones anteriores delcongreso (CA3) ejerce una influencia positiva ysignificativa a un nivel inferior al 10% sobre laevaluación por pares. Pero al igual que en elcaso anterior, la falta de significatividad de lasvariables número de doctores (CA2), ranking dela universidad (CA5) y proyectos de investiga-ción (CA7) no permite sacar conclusiones glo-bales acerca de la hipótesis H2 de que las carac-terísticas del autor de la comunicación influyenen la evaluación doblemente ciega que éstarecibe de los revisores. En cambio, tal y comose ha indicado en la sección 2, FISHER et al.(1994) detectan con claridad que los autoressenior con más artículos previos reciben mejo-res puntuaciones de los revisores “ciegos”,interpretando que reconocen una calidad mejo-rada en los trabajos de dichos autores. En estesentido, aunque la calidad específica del traba-jo derivada de la participación del autor en edi-ciones previas del congreso (que supone unamayor experiencia en el mismo), incide mode-radamente en las evaluaciones de las comuni-caciones, parece que la revisión doblementeciega por pares de este congreso no apreciaríacon claridad y en su globalidad la calidad de unautor de mayor rango o formación. Y ellopodría ser explicado porque los límites impues-tos en los congresos a la extensión de las comu-nicaciones así como el deseo de los investiga-dores de enviar a los congresos versiones preli-minares de sus investigaciones, no facilitarían alos revisores “ciegos” reconocer una calidadmejorada en el trabajo de aquellos autores doc-tores y que pertenecen a universidades mejor

86



9 Adicionalmente, se consideran posibles efectos no lineales para las variables AF1 (palabras del título), AF2 (tablas de resultados), AF3(referencias bibliográficas) y AF5 (notas a pie de página), incorporando la forma cuadrática de dichas variables; sin embargo, ninguno dedichos efectos cuadráticos resulta estadísticamente significativo ni mejora el ajuste. Dada la diferencia en el número de páginas de lascomunicaciones presentadas al congreso, se han repetido los análisis con las variables estandarizadas, pero los resultados no se ven afec-tados.


posicionadas en el ranking o a grupos de inves-tigación competitivos.Por último, atendiendo a los aspectos forma-

les o de presentación del trabajo, se observaque el coeficiente de la variable título del tra-bajo (AF1) no es significativo, mientras que loscoeficientes de las variables relativas a la clari-dad expositiva, número de referencias biblio-gráficas (AF3) y número de notas a pie de pági-na (AF5), lo son a un nivel inferior al 5%. Estosresultados no permiten rechazar totalmente lahipótesis H3 de que las características de pre-sentación de una comunicación influyen en laevaluación que ésta recibe del revisor. En con-creto, la ausencia de efecto significativo deltítulo del trabajo (AF1) sobre la evaluación per-mite rechazar la hipótesis H3a de que la longi-tud del título afecta a la evaluación que recibela comunicación. Este mismo resultado deausencia de efecto del título es obtenido porSTREMERSCH et al. (2007) en las citas de losartículos. En este sentido, la información apor-tada por los títulos del trabajo tampoco recibela atención suficiente de los revisores del con-greso.En cambio, el número de referencias biblio-

gráficas (AF3) tiene un efecto positivo y signi-ficativo sobre la evaluación por pares de lacomunicación, mientras que el número de notasa pie de página (AF5) tiene un efecto negativo ysignificativo sobre la evaluación. En este senti-do, no se puede rechazar la hipótesis H3b de quela claridad expositiva afecta a la evaluación querecibe la comunicación. Así, el signo positivodel coeficiente del número de referencias pare-ce mostrar que, en los congresos, un mayornúmero de referencias bibliográficas (quereflejan las extensiones y las discusiones de laliteratura relacionada (ELLISON, 2002b)) favo-rece la comprensión (claridad expositiva) deuna comunicación e influencia positivamente laevaluación del revisor. Y el signo negativo delcoeficiente número de notas a pie de páginarefleja que el uso excesivo de éstas en lascomunicaciones del congreso de marketingafecta negativamente a la evaluación del revi-

sor; este efecto puede venir explicado por elhecho de constituir una dificultad añadida a lacomprensión del texto. A este respecto STRE-MERSCH et al. (2007) no evidencian un efectosignificativo del número de referencias ni delas notas a pie sobre las citas de los artículos, loque parece mostrar que estos aspectos formalesde un trabajo son más apreciados por los revi-sores cuando están evaluando una comunica-ción (al favorecer o dificultar la claridad expo-sitiva) que por los autores a la hora de citar lostrabajos en sus artículos.En suma, estos resultados parecen evidenciar

que se manifiesta una debilidad en el proceso derevisión por pares de las comunicaciones delcongreso analizado, derivada de que las evalua-ciones vienen afectadas por el dominio del tra-bajo y por los aspectos formales del manuscrito.

4.2. Relación entre la aceptación/rechazode las comunicaciones en el congresoy la calidad de las publicacionesposteriores

El análisis de la relación entre el grado deaceptación/rechazo de las comunicaciones y lacalidad de las publicaciones posteriores que sederivan de las mismas, se lleva a cabo median-te el siguiente modelo formal:

RANKi = λ0 + λAC · ACi + εi, (7)

donde RANKi es la posición en el ranking queocupa la revista donde la comunicación i espublicada (indicador de calidad de la revista),ACi es una variable dummy que toma el valor 1si la comunicación i es aceptada para su pre-sentación en el congreso y 0 en caso contrario,y ε i es el término de error.No obstante, el estudio de la relación plan-

teada en la ecuación 7 implica conocer si ladistinción entre los tipos de comunicaciones(trabajos completos y en curso) tiene algúnimpacto. A este respecto, se debe señalar quela ecuación 7 asume en principio la homoge-

87




neidad en parámetros para todas las comunica-ciones; pero cabría esperar que la relaciónentre la posición en el ranking que ocupa larevista y la evaluación de los revisores depen-da de si la comunicación es un trabajo com-pleto o en curso. Por ello, se plantean lassiguientes especificaciones para incorporar laheterogeneidad en parámetros por tipo de tra-bajo (LEEFLANG, WITTINK, WEDEK Y NAERT,2000, pp. 361-368):

– modelo de efectos fijos con constanteespecífica para cada tipo de trabajo:

RANKi = λ0 + λ0,r + θAC · ACi + εi’, (8)

– modelo con constante común y pendienteespecífica para cada tipo de trabajo:

RANKi = λ0 + θAC,r · ACi + θRE,r · (1 – ACi)+ εi’’, y (9)

– modelo con parámetros (pendiente y cons-tante) específicos para cada tipo de trabajo:

RANKi = λ0 + λ0,r + θAC,r · ACi + θRE,r ·(1 – ACi) + εi’’’, (10)

donde r toma valor 1 si se trata de un trabajocompleto y 2 si se trata de un trabajo en curso.

Dado que la variable RANKi es de naturalezadiscreta y sólo toma valores enteros positivos(datos de recuento), las ecuaciones 7 a 10 soninicialmente estimadas usando la distribuciónde Poisson, que asume igualdad entre media yvarianza. Pero, la aplicación del procedimientode CAMERON Y TRIVEDI (1990) muestra que elsupuesto de igualdad no se cumple en ningúnmodelo, por la existencia de sobredispersión enlos datos. Adicionalmente, la ecuación 10 nopuede ser estimada al presentar graves proble-mas de multicolinealidad. En consecuencia, elresto de los modelos planteados (ecuaciones 7a 9) son estimados usando una Binomial Nega-tiva (procedimiento quasi-maximum likelihoody algoritmo de optimización quadratic hill-climbing) (ver Tabla 5).Con el fin de contrastar si el tipo de trabajo

incide en los resultados, se aplica el Test deChow (GREENE, 2003) (dada la normalidad delos residuos de los modelos 7 a 9), el cual reve-la que los datos pueden ser agrupados entre losdistintos tipos de trabajos (trabajos completos ytrabajos en curso) presentados al congreso.Asimismo, la Tabla 5 muestra que es el mode-lo 7 el que presenta los menores valores en loscriterios de información de Akaike, Schwarz yHannan-Quinn. Consecuentemente, se confir-ma que el modelo 7 es preferido al resto (mode-los 8 y 9).

88



(a) Errores estándar entre paréntesis.˚p < 0,10; * p < 0,05; ** p < 0,01; *** p < 0,001.Nota: r = 1 indica trabajo completo, y r = 2 trabajo en curso.

TABLA 5Estimación de los modelos (ecuaciones 7 a 9)a


En cuanto a las estimaciones de los coefi-cientes, la Tabla 5 revela unas estimacionesbastante similares entre los modelos. Así, losresultados obtenidos indican que para las ecua-ciones 7 y 8 el grado de aceptación de la comu-nicación tiene un efecto negativo y significati-vo sobre la posición del ranking que ocupa larevista donde finalmente resulta publicada.Asimismo, las estimaciones de los parámetrosde la ecuación 9 confirman este resultado, yaque el grado de rechazo de la comunicación enel congreso tiene un impacto positivo y signifi-cativo, aunque sólo para el caso de los trabajoscompletos.Centrando la atención en las estimaciones del

modelo seleccionado (ecuación 7), los resulta-dos muestran que las comunicaciones que sonrechazadas para su presentación en el congresoy posteriormente publicadas, lo hacen en revis-tas que ocupan, en promedio, una posición de2,35 puntos en el ranking (λ 0), independiente-mente de si son trabajos en curso o trabajoscompletos. Sin embargo, las comunicacionesque son aceptadas y posteriormente publicadas,lo hacen en revistas que ocupan una mejor posi-ción en el ranking, siendo dicha posición, enpromedio, de 2,02 puntos (= λ 0 +θAC), con inde-pendencia del tipo de comunicación.En suma, una aceptación de la comunicación

en el congreso se asocia a una publicación pos-terior de mayor calidad, lo que parece eviden-ciar que no se manifiesta una debilidad del pro-ceso de revisión por pares de las comunicacio-nes del congreso analizado derivada delrechazo de trabajos de calidad.

5. CONCLUSIONES

El presente trabajo analiza la presencia dedos potenciales debilidades del proceso de revi-sión por pares en el campo de los congresos:por un lado, los factores determinantes de lasevaluaciones de las comunicaciones en térmi-nos de las características de sus autores y delpropio manuscrito; y, por otro lado, si dichas

evaluaciones son capaces de detectar trabajoscientíficos de calidad que posteriormente cons-tituirán una aportación relevante a su línea deinvestigación. Para ello, se utiliza informaciónobtenida de un congreso nacional de marke-ting.Los resultados obtenidos evidencian que se

manifiesta una debilidad del proceso de revi-sión por pares de las comunicaciones de uncongreso derivada de que las evaluaciones vie-nen afectadas por el dominio del trabajo y porlos aspectos formales del manuscrito. En con-creto, se detecta que la orientación cuantitativadel trabajo, así como el número de referenciasbibliográficas y de notas a pie de página queaparecen en el manuscrito, constituyen factoresexplicativos de dicha evaluación. Del mismomodo, el enfoque metodológico y el número decomunicaciones presentadas por el autor enediciones previas del congreso tienen un efectomoderado en dichas evaluaciones.Por su parte, el análisis empírico de la rela-

ción entre el grado de aceptación/rechazo delas comunicaciones y la calidad de las publica-ciones posteriores, tomando como indicador decalidad el ranking de la revista donde aparecenpublicadas, revela que no se manifiesta unadebilidad del proceso de revisión por pares delas comunicaciones de un congreso derivadadel rechazo de trabajos de calidad. En particu-lar, se detecta que una aceptación de la comu-nicación en el congreso se asocia a una publi-cación posterior de mayor calidad.De los resultados obtenidos en el presente

trabajo se pueden derivar las siguientes impli-caciones de gestión, tanto para los miembrosdel comité organizador del congreso como parasus participantes. A nivel de los investigadoresparticipantes en los congresos, y con el fin deestablecer directrices para lograr la aceptaciónde sus comunicaciones, los revisores del con-greso premian sobre todo los trabajos cuantita-tivos y apoyan moderadamente la aplicación deun procedimiento metodológico. Asimismo, laclaridad expositiva alcanzada con un mayornúmero de referencias bibliográficas es incen-

89



ˆ

ˆˆ


tivada por el revisor; mientras que el uso exce-sivo de notas a pie de página supone un obstá-culo añadido a la comprensión del texto, resul-tando penalizado por los revisores. Finalmente,los evaluadores también reconocen moderada-mente una mayor calidad del trabajo derivadade la participación de sus autores en edicionesprevias del congreso.A nivel del comité organizador del congreso,

el resultado obtenido de que la aceptación deuna comunicación se asocia con una mayorcalidad de la publicación posterior, sugiere queel sistema de evaluación por pares empleado enel congreso recoge adecuadamente la impor-tancia del trabajo en su ámbito de estudio, alcaptar la relevancia de las comunicaciones.Este estudio no está exento de limitaciones

que, a su vez, podrían convertirse en futurasinvestigaciones. La falta de disponibilidad dedatos limita el número de factores examinadosy condiciona los resultados obtenidos, porejemplo, otros indicadores de la calidad de lalabor investigadora de los autores podrían inci-dir en la evaluación de las comunicaciones.Asimismo, el feedback recibido por los partici-pantes del congreso durante la exposición de sucomunicación podría ser un factor explicativoadicional de su éxito posterior. El estudio deestos factores constituye una interesante líneafutura de investigación. Asimismo, el estudioexamina un solo congreso y de ámbito nacio-nal, por lo que sería de gran interés generalizarlos resultados obtenidos a otras ediciones delmismo congreso, a otros congresos de marke-ting y a congresos de distintas área de conoci-miento.

REFERENCIAS BIBLIOGRÁFICAS

ARMSTRONG, J. (1980): “Unintelligible mana-gement research and academic prestige”,Interfaces, 10(2), 80-86.

AYRES, I. y VARS, F. (2000): “Determinants ofcitations to articles in elite law reviews”,Journal of Legal Studies, 29(1), 427-450.

BADE, D. (2007): “Relevance ranking is notrelevance ranking or, when the user is not theuser, the search results are not searchresults”, Online Information Review, 31(6),831-844.

BAUERLY, R. y JOHNSON, D. (2005): “An evalua-tion of journals used in doctoral marketingprograms”, Journal of the Academy of Mar-keting Science, 33(3), 313-329.

BAUERLY, R.; JOHNSON, D. y SINGH, M. (2005):“Readability and the impact of Marketing,en Marketing Renaissance: Opportunitiesand Imperatives for improving Marketingthought, practice and infrastructure”, Jour-nal of Marketing, 69, 19-20.

BAUMGARTNER, H. y PIETERS, R. (2003): “Thestructural influence of marketing journals: Acitation analysis of the discipline and itssubareas over time”, Journal of Marketing,67, 123-139.

BERGH, D.; PERRY, J. y HANKE, R. (2006): “Somepredictors of SMJ article impact”, StrategicManagement Journal, 27(1), 81-100.

BILLARD, L. (1993): “Comment”, StatisticalScience, 8(3), 320-322.

BLANK, R.M. (1991): “The effects of double-blind versus single-blind reviewing: experi-mental evidence from the American Econo-mic Review”, American Economic Review,81(5), 1041-67.

CAMERON, A.C. y TRIVEDI, P.K. (1990):“Regression-based tests for overdispersionin the Poisson model”, Journal of Econome-trics, 46(3), 347-364.

CAMPANARIO, J.M. (1988a): “Peer review forjournals as it stands today. Part 1”, ScienceCommunication, 19(3), 181-211.

CAMPANARIO, J.M. (1988b): “Peer review forjournals as it stands today. Part 2”, ScienceCommunication, 19(4), 277-306.

CAMPANARIO, J.M. (1995): “On influentialbooks and journal articles initially rejectedbecause of negative referee’s evaluation”,Science Communication, 16(3), 304-325.

CAMPANARIO, J.M. (1996): “Have referee rejec-ted some of the most-cited articles of all

90




times”, Journal of American Society forInformation Science, 47(4), 302-310.

CHAMORRO, A.; MIRANDA, F. y RUBIO, S.(2006): “El estado de la investigación sobremarketing ecológico en España: Análisis derevistas españolas 1993-2003”, Investigacio-nes Europeas de Dirección y Economía de laEmpresa, 12(2), 137-156.

COX, D.; GLESER L.; PERLMAN M.; REID, N. yROEDER, K. (1993): “Report of the ad hoccommittee of double-blind refereeing”, Sta-tistical Science, 8(3), 310-17.

CRANE, D. (1967): “The gatekeepers of science:some factors affecting the selection of arti-cles for scientific journals”, The AmericanSociologist, 32, 195-201.

ELLISON, G. (2002a): “The slowdown of theEconomics publishing process”, Journal ofPolitical Economy, 110(5), 947-993.

ELLISON, G. (2002b): “Evolving Standards forAcademic Publishing: A q-r Theory”,Journal of Political Economy, 110(5), 994-1034.

ERNST, E, ; SARADETH, T. y RESCH, K.L.(1993) : “Drawbacks of peer review”, Natu-re, 363, 296.

ESTEBAN, A. (1999): “El estado de la investiga-ción de marketing en España”, XI Encuentrode profesores Universitarios de Marketing,Valladolid, 25-38.

FISHER, M.; FRIEDMAN, S.B. y STRAUSS, B.(1994): “The effects of blinding on accep-tance of research papers by peer review”,Journal of American Medical Association,272, 143-56.

FOUAD, N.; BREHM, S.C.; HALL, C.I.; KITE,M.E.; HYDE, J.S. y RUSSO, N.F. (2000):“Women in academe: two steps forward, onestep back. Report of the Task Force onWomen in Academe”, American Psychologi-cal Association (accessed June 21, 2006),[available at http://www.apa.org/pi/wpo/aca-deme/repthome.html].

GARCÍA, R. (1998): “Situación actual y pers-pectivas futuras del área de marketing en launiversidad española”, X Encuentro de pro-

fesores universitarios de marketing, Santan-der, 165-180.

GARFUNKEL, J.M.; ULSHEN, M.H.; HAMRICK,H.J. y LAWON, E.E. (1994): “Effect of insti-tutional prestige on reviewers’ recommenda-tions and editorial decisions”, Journal of theAmerican Medical Association, 272(2), 137-38.

GARRIDO, M.J. y GUTIÉRREZ, A.M. (1999): “Elestado de la investigación en Marketing enEspaña. Un análisis del período 1990-1995”,Actas de ACEDE, Burgos.

GOLDBERG, P. (1968): “Are some women preju-diced against women?”, Transaction, 5, 28-30.

GORDON, M.D. (1980): The Role of Referees inScientific Communication. In The Psycho-logy of Written Communication: SelectedReadings, Hartley, J. (Ed.), London,England: Kogan.

GORMAN, G.E. (2008): “Can we be assured ofquality scholarship in a peer review-lessenvironment?”, Online Information Review,32(5), 553-556.

GREENE, W.H. (2003): Econometric Analysis.Upper Saddle River, NJ: Prentice Hall.

GUERRAS, L.A.; RUIZ, F.J. y RUIZ, A. (1999a):“La investigación en economía de la empre-sa en España: Una visión panorámica”, Cua-dernos de Economía y Dirección de laEmpresa, 3, 169-203.

GUERRAS, L.A.; RUIZ, F.J. y RUIZ, A. (1999b):“El estado actual de la investigación empíri-ca sobre economía de la empresa: Análisisde las publicaciones españolas”, Papeles deEconomía Española, 78-79, 302-317.

HORROBIN, D.F. (1982): “Peer review: a philo-sophically faulty concept which is provingdisastrous to science”, Behavioral and BrainSciences, 5(2), 217-18.

INGELFINGER, F.J. (1974): “Peer review in bio-medical publications”, American Journal ofMedicine, 56(5), 686-692.

JACSÓ, P. (2008): “The pros and cons of com-puting the h-index using Web of Science”,Online Information Review, 32(5), 673-688.

91




KASSARJIAN, H. (1977): “Content analysis inconsumer research”, Journal of ConsumerResearch, 4 (june), 8-18.

KERIN, R. (1996): “In pursuit of an ideal: theeditorial and literary history of the Journalof Marketing”, Journal of Marketing, 60,1-13.

KING, J. (1987): “A review of bibliometric andother science indicators and their role inresearch evaluation”, Journal of InformationScience, 13(5), 261-276.

KOREN, G. (1986): “A simple way to improvethe chances for acceptance of your scientificpaper”, New England Journal of Medicine,315(20), 1298.

LABAND, D.N. y PIETTE M.J. (1994): “Does the“blindness” of peer review influence manus-cript selection efficiency?”, Southern Eco-nomic Journal, 60(4), 896-906.

LAKATOS, I. y MUSGRAVE, A. (1970): Criticismand the growth of knowledge. London: Cam-bridge University Press.

LAZARUS, D. (1982): “Interreferee agreementand acceptance rates in physics”, The Beha-vioral and Brain Sciences, 5(2).

LEEFLANG, P.S.H.; WITTINK, D.R.; WEDEL, M. YNAERT, P.A. (2000): Building Models forMarketing Decisions. The Netherlands: Klu-wer Academic Publishers Boston.

LINK, A.M. (1998): “US and non-US submis-sion: an analysis of review bias”, Journal ofthe American Medical Association, 280(3),246-47.

LUQUE, T. ; FRÍAS, M. y MARAVER, G. (1994) :“Las escuelas de pensamiento de marketingy los encuentros de profesores universita-rios”, VI Encuentro de profesores universita-rios de marketing, San Sebastián, 13-25.

MADDEN, S. y DEWITT, D. (2006): “Impact ofdouble-blind reviewing on sigmod publica-tion rates”, ACM SIGMOD Record, 35(2),29-32.

MAHONEY, M.J. (1977): “Publication prejudi-ces: an experimental study of confirmatorybias in the peer review system”, CognitiveTherapy and Research, 1(2), 161-75.

MAHONEY, M.J. (1990): “Bias, controversy andabuse in the study of the scientific publica-tion systems”, Science, Technology andHuman Values, 15(1), 50-55.

MAHONEY, M.J.; KAZDIN, A.E. Y KENIGSBERG,M. (1978): “Getting published”, CognitiveTherapy and Research, 2(1), 69-70.

MALHOTRA, N.K. (1996): “The impact of theAcademy of Marketing Science on Marke-ting Scholarship: An analysis of the researchpublished in JAMS”, Journal of the Academyof Marketing Science, 24(4), 291-298.

MCALISTER, L. (2005): “Unleashing potential.Invited essays in Marketing Renaissance:Opportunities and imperatives for improvingMarketing thought, practice and infrastruc-ture”, Journal of Marketing, 69, 1-25.

MCREYNOLDS, P. (1991): “Reliability of ratingsof research papers”, American Psychologist,26(4), 400-401.

METOYER-DURAN, C. (1993): “The readabilityof published, accepted, and rejected papersappearing in College and Research Libra-ries”, College and Research Libraries, 64,517-526.

MERTON, R.K. (1957): Science and democraticsocial structure. In Social Theory and SocialStructure. Glencoe, Illinois: The Free Press:553.

PETERS, D.P. y CECI, S.J. (1982): “Peer-reviewpractices of psychological journals: the fateof publisher articles, submitted again”, TheBehavioral and Brain Sciences, 5(2), 187-255.

POPPER, K.R. (1972): Objective-knowledge: anevaluative approach. London: Oxford Uni-versity Press.

RUIZ, C. y MEROÑO, A. (2007): “Utilidad de loscongresos científicos en la difusión delconocimiento: percepción del investigadorespañol en Economía de la Empresa”, Cien-cia y Técnica Administrativa, 6(2), disponi-ble en http://www.cyta.com.ar.

SIEGFRIED, J.J. (1994): “Trends in institutionalaffiliation of authors who publish in the threeleading general interest economics jour-

92




nals”, The Quarterly Review of Economicsand Finance, 34(4), 375-86.

SNODGRASS, R.T. (2006): “Single-versus dou-ble-blind reviewing: an analysis of the lite-rature”, ACM SIGMOND Record, 35(3), 8-21.

SNODGRASS, R.T. (2007): “Editorial: single-versus double-blind reviewing”, ACM Tran-sactions on Data Base Systems, 32(1), 1-29.

STAELIN, R. (2005): “Influencing the practicethrough big new ideas. Invited essays inMarketing Renaissance: Opportunities andimperatives for improving Marketingthought, practice and infrastructure”, Jour-nal of Marketing, 69, 1-25.

STERNBERG, R. y GORDEEVA, T. (1996): “The ana-tomy of impact: what makes an article influen-tial?”, Psychological Science, 7(2), 69-75.

STEWART, J. (1983): “Achievement and ascripti-ve processes in the recognition of scientificarticles”, Social Forces, 62(1), 166-189.

STREMERSCH, S.; VERNIERS, I. y VERHOEF, P.(2007): “The Quest for citations: Drivers ofarticle impact”, Journal of Marketing, 71,171-193.

SWIM, J.K.; BORGIDA, E.; MARUYAMA, G. yMYERS, D.G. (1989): “Joan McKay versusJohn McKay: do gender stereotypes biasevaluations?”, Psychological Bulletin,105(3), 409-29.

TELLIS, G.; CHANDY, R. y ACKERMAN, D.(1999): “In search of diversity: the record ofmajor Marketing journals”, Journal of Mar-keting Research, 36(1), 120-131.

TUNG, A.K.H. (2006): “Impact of double blindreviewing on sigmod publication: a moredetail analysis”, ACM SIGMOND Record,35(3), 6-7.

VALLET, T.; FRASQUET, M. ; GIL, I. y MOLLÁ, A.(2002) : “La producción científica sobre dis-tribución comercial en España, 1990-2000”,Información Comercial Española - Revistade Economía, 803, 119-139.

VÁZQUEZ, R. (1999): Evaluación de la investi-gación científica, en Sarabia, FJ (ed.), Meto-dologías de la investigación en marketing ydirección de empresas, capítulo 15, Pirámi-de, Madrid.

WEIMER, W.B. (1977): Psychology and theconceptual foundations of science. Hillsda-le, New Jersey: Lawrence Erlbamn Asso-ciates.

WELLER, A.C. (2001). Editorial peer review, itsstrength and weaknesses, New Jersey: Med-ford.

YAGÜE, M.J. y MÚGICA, J.M. (1993): “La eva-luación del desarrollo del conocimiento enmarketing: El análisis de citas”, V Encuentrode profesores universitarios de Marketing,Sevilla, 573-583.

YITZHAKI, M. (2002): “Relation of the titlelength of a journal article to the length ofthe article”, Scientometrics, 54(3), 435-447.

ZUCKERMAN, H. y MERTON, R.K. (1971): “Pat-terns of evaluation in science: institutionali-sation structure and functions of the refereesystem”, Minerva, 9(1), 66-100.

93



Fecha recepción: 09/02/2009Fecha aceptación: 12/04/2010


94



TABLA A1Revistas donde se publican las comunicaciones del congreso analizado

APÉNDICE A

RevistaÍndice de

impacto 2003Índice de



impacto 2006

Nº de artículospublicados

(%)

Annals of Tourism Research 0,555 0,550 0,630 0,543 1 (2,2%)

Ciencia Ergo Sum - - - - 1 (2,2%)

Cuadernos Aragoneses de Economía 0,023 0,045 0,000 0,062 1 (2,2%)

Cuadernos de Economía y Dirección de la Empresa 0,069 0,251 0,115 0,062 1 (2,2%)

Cuadernos de Gestión 0,040 0,000 0,000 0,000 2 (4,3%)

Distribución y Consumo 0,020 0,031 0,000 0,073 2 (4,3%)

Esic-Market. Revista Internacional de Economía yEmpresa

0,000 0,090 0,042 0,028 4 (8,7%)

Estudios Turísticos 0,000 0,000 0,057 0,000 1 (2,2%)

Harvard-Deusto Marketing y Ventas 0,006 0,000 0,000 0,000 1 (2,2%)

Icono 14 - - - - 1 (2,2%)

Industrial Marketing Management 0,563 0,880 0,763 1,000 1 (2,2%)

Información Comercial Española. Revista de Economía 0,088 0,105 0,117 0,085 1 (2,2%)

Investigación y Marketing 0,000 0,032 0,014 0,000 3 (6,5%)

Investigaciones Europeas de Dirección y Economía dela Empresa

0,016 0,000 0,042 0,043 4 (8,7%)

MK: Marketing + ventas - - - - 1 (2,2%)

Mundaiz - - - - 1 (2,2%)

Revista de Dirección y Administración de Empresas 0,000 0,000 0,000 0,000 1 (2,2%)

Revista de Economía y Empresa - - - - 2 (4,3%)

Revista Española de Investigación de Marketing ESIC 0,266 0,200 0,200 0,181 12 (26,1%)

Revista Europea de Dirección y Economía de laEmpresa

0,066 0,053 0,054 0,066 4 (8,7%)

Spanish Journal of Agricultural Research - - - - 1 (2,2%)

Total 46 (100%)


95



TABLA A2Estadística descriptiva

Variables Media Desviación típica

DOM2 0,200 0,403

DOM3 0,138 0,348

DOM4 0,215 0,414

DOM6 0,585 0,497

CA2 1,908 0,824

CA3 1,592 1,790

CA5 20,785 16,115

CA7 0,200 0,403

AF1 8,692 2,800

AF2 2,538 2,024

AF3 50,431 34,260

AF 5,385 4,464

TABLA A3Matriz de correlaciones

DOM2 DOM3 DOM4 DOM6 CA2 CA3 CA5 CA7 AF1 AF2 AF3 AF5

DOM2 1,000 -0,200 -0,168 0,343 -0,038 -0,008 -0,162 0,038 0,042 0,019 -0,150 0,061

DOM3 -0,200 1,000 -0,102 -0,024 -0,064 0,138 -0,022 -0,089 0,028 0,026 -0,044 -0,176

DOM4 -0,168 -0,102 1,000 -0,394 -0,170 -0,206 0,054 -0,168 0,004 -0,327 -0,075 0,081

DOM6 0,343 -0,024 -0,394 1,000 0,172 0,217 -0,376 0,109 0,221 0,242 0,336 -0,040

CA2 -0,038 -0,064 -0,170 0,172 1,000 0,447 -0,066 -0,038 -0,073 -0,035 0,203 0,040

CA3 -0,008 0,138 -0,206 0,217 0,447 1,000 -0,198 0,122 -0,200 0,085 0,271 -0,194

CA5 -0,162 -0,022 0,054 -0,376 -0,066 -0,198 1,000 -0,138 -0,065 0,060 -0,150 -0,021

CA7 0,038 -0,089 -0,168 0,109 -0,038 0,122 -0,138 1,000 0,208 -0,153 -0,099 0,017

AF1 0,042 0,028 0,004 0,221 -0,073 -0,200 -0,065 0,208 1,000 -0,039 0,074 0,027

AF2 0,019 0,026 -0,327 0,242 -0,035 0,085 0,060 -0,153 -0,039 1,000 0,239 -0,245

AF3 -0,150 -0,044 -0,075 0,336 0,203 0,271 -0,150 -0,099 0,074 0,239 1,000 -0,186

AF5 0,061 -0,176 0,081 -0,040 0,040 -0,194 -0,021 0,017 0,027 -0,245 -0,186 1,000


EVALUACIÓN DE LAS COMUNICACIONES DE UN CONGRESO …EVALUACIÓN DE LAS COMUNICACIONES DE UN CONGRESO...

Documents

Transcript of EVALUACIÓN DE LAS COMUNICACIONES DE UN CONGRESO …EVALUACIÓN DE LAS COMUNICACIONES DE UN CONGRESO...