Post on 03-Aug-2020
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El “ecosistema” de las métricas en la evaluación de la investigación
Facultad de Veterinaria, 14 de octubre de 2014
por Andoni Calderón
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Scopus
Autor investiga y publica artículos
en una revista
Son leídos y son citados Son leídos y no citados
• No publican • Los usan en otro ámbito • Publicarán algún día
No son leídos y son citados No son leídos y no son citados
Índice h
Problemas fundamentales
Firma
Cobertura de bases de datos
Factor de
impacto
Agencias evaluadoras
Calidad de
revista
Cuartil
Altmetrics
WoS
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Empecemos con los problemas
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
1. La cobertura de las fuentes no es la misma (revistas, años, tipos de documento)
• No se obtienen los mismos resultados • Encontraremos lagunas: no tendremos todas las
publicaciones
No podemos calcular adecuadamente ni la producción ni los índices de impacto, salvo que dispongamos de un espacio en el que se recopile toda la producción (PI)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Ejemplo de bases de datos de Economía
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
http://www.revistacomunicar.com/indice/articulo.php?numero=41-2013-04
http://scielo.isciii.es/scielo.php?pid=S0212-97282013000300041&script=sci_arttext
Revistas de Psicología
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Contratados
Herramientas de análisis
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
2. La firma del investigador varía
No se pueden calcular, ni siquiera en una fuente concreta, ni la producción ni el impacto sin hacer agregaciones por nuestra cuenta
• Hay que firmar siempre de la misma manera • El uso de determinados identificadores (como ORCID)
puede ayudar a ello • En caso de detectar diferentes firmas hay opciones de
normalización WoS y Scopus ( )
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Variantes de nombre de una autora
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
3. La firma del investigador coincide con la de otro
Los resultados que se obtienen no pertenecen en su totalidad al investigador. Es dificultoso discriminar documentos propios.
• Hay que intentar encontrar una firma que se aleje de esta situación, especialmente en apellidos muy comunes.
• Una de las opciones es utilizar los dos apellidos unidos por un guión, ya que en el mundo anglosajón se usa sólo un apellido.
• Identificar la institución de manera unívoca ayuda.
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Casilda es identificable en InCites porque su cobertura está acotada a la UCM y hemos añadido el filtro de su Facultad
Ejemplos de firmas con guión:
La cosa se complica cuando además hay hermanos:
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
3. Las agencias evaluadoras se centran en la publicación
Publish or Perish
“Fraude” en la ciencia Merma de la calidad Endogamias, etc.
Investigamos cómo publicar
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Sigamos con la producción y las citas
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Citas >= Documentos
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
X
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El factor de impacto y el cuartil
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Independientemente de si hemos tenido citas o no, nos pedirán el factor de impacto de la revista en la que hayamos publicado y/o el cuartil en el que se encuentra.
Son datos que se aplican a la revista en la que se publica, no a nuestro trabajo.
A pesar de la Ley de Pareto (20/80), da una idea de la relevancia de la revista y de la exigencia para publicar en ella.
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El factor de impacto es el indicador más extendido y con mayor tradición, al que han seguido otras propuestas.
Es el resultado de dividir el número de citas recibidas en un año dado por los artículos de los dos años precedentes entre el número de artículos publicados.
El cuartil mide la posición en un ranking de revistas ordenado según el factor de impacto (el que se considere en cada recurso).
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Cuartil en JCR
+ = Media
La línea superior e inferior pueden ser el valor más alto o el más bajo; pero otras veces es el resultado de una ecuación que relaciona los cuartiles 1 y 3
Q1
Q2
Q3
Q4
Q1
Q2
Q3
Q4
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Cómo encontrar el cuartil de una revista en JCR
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
En nuestro ejemplo, será la de mayor Factor de Impacto (IF) de una categoría temática. Podríamos buscar directamente por el nombre de la revista si quisiéramos.
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
La revista se incluye en dos categorías y se muestra su ranking en ambas
+
El cuartil se indica directamente
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Pasos
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Citing data: Revistas que nos citan
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Cited data: Revistas que citamos
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
En realidad no es tan difícil si sabemos qué artículo estamos buscando
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
No sólo cuentan las citas
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
https://plu.mx/ucm-es/g/ Username: ucm-es Password: gzR$^`!9B]
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
Y hay más…
En la BUC
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
acaldero@ucm.es
IN
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)
El ecosistema de las métricas en la evaluación de la investigación científica (14 de octubre de 2014)