Torres-Salinas // Cabezas-Clavijo // Robinson-García // Repiso-Caballero

Workshop IV Seminario

#giec3Bibliometría en

la práctica

Introducción a la bibliometría:

Métodos e indicadores

1. TEORÍA. CUESTIONES BÁSICAS A TENER EN CUENTA

Porque la mayor de las políticas científicas y la evaluación del rendimiento científico a nivel

individual se articulan en torno a bases de datos y productos de evaluación basados en la bibliometria

CNEAI

¿Por qué es necesario estar familiarizado con la bibliometría? (1/3)

El rendimiento en centros I+D se suele comparar a partir de rankings basados en indicadores bibliométricos

¿Por qué es necesario estar familiarizado con la bibliometría? (2/3)

Convocatoria Centros de Excelencia Severo Ochoa

Convocatoria Programa Nacional Contratación RRHH I+D

Gran parte de los recursos se asignan en la actualidad teniendo en cuenta o con un peso importante de los

indicadores bibliométricos logrados.

¿Por qué es necesario estar familiarizado con la bibliometría? (3/3)

Por tanto la bibliometría es una herramienta de diagnóstico

Presupuestos para realizar evaluaciones basadas en indicadores bibliométricos

Los resultados investigación se

manifiestan a través de

publicaciones científicas.

Al contar publicaciones se asume que

todas ellas portan la misma

cantidad de conocimiento

científico certificado.

Todos los firmantes de un

trabajo son responsables de la investigación expuesta y han contribuido de igual manera a

la misma.

Las citas son una medida

fiable y válida de la

repercusión de los trabajos

Nivel de análisis o agregación

• Es la base de datos de referencia internacional para estudios bibliométricos

• Cubre las mejores revistas de todas las áreas (10,000) y buena parte de las actas de congresos (100.000)

• La selección de las revistas se basa en la ley de Bradford y laempresa selecciona según un protocolo muy conocido en el que las citas y el prestigio juegan un papel esencial

• La cobertura de las revistas es cover to cover y recoge las citas de todas las publicaciones indizadas así como los resúmenes de las mismas aunque no en toda la extensión temporal de la base de datos que llega hasta 1900.

• Ofrece un variado conjunto de indicadores bibliométricos “precocinados”

MACRO• AGREGADO: países• FIABILIDAD: Máxima

MESO• AGREGADO: regiones, instituciones, áreas • FIABILIDAD: Moderada

MICRO• AGREGADO: personas, grupos, secciones• FIABILIDAD: Lectura con precauciones

Los métodos de recuento de las publicaciones

• A cada coautor se le da asigna igual el trabajo publicado.

Total

• Se divide el trabajo entre el número de coautores

Completo

• Todo el trabajo se asigna únicamente al primer autor

1º Autor

• Se le da más peso al primer autor que al resto.

1º Autor +

• Fracción decreciente según orden de firma.

Decreciente

Diferentes comportamientos según disciplina (1/2)

Ritmos de envejecimiento y citación diferentes: ejm VIDA MEDIA

CLINICAL NEUROPSYCHOL.

Vida Media9 años

GENOMERESEARCH

Vida Media5 años

Fuente:JCR 2010 ed.

Diferentes comportamientos según disciplina (2/2)

Volúmenes y promedios de citas diferentes

Datos: España | Categorías JCR | Período 2001-2010

The skewness of sciencePer O. Seglen

Los indicadores bibliométricos son asimétricos

Seglen, P. The Skeeness of science. Journal of the American Society for Information Science and Technology. V. 43, N. 9, pp. 628–638, 1992

2. LA FUENTE DE DATOS:WEB OF KNOWLEDGE

Introducción mínima a la Web of Knowledge

WEB OF SCIENCE (WOS): aglutina 3 índices de citas

SCIScience Citation

Index(7858

revistas)

SSCISocial

Science Citation

Index(2553

revistas)

A&HCIArt &

Humanida. Citation

Index(1462

revistas)

PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA:PLATAFORMA: WEB OF KNOWLEDGE (WOK). INTEGRA:

JCRJournal

Citation Reports

ESIEssential Science

Indicators

La Web of Knowledge, nuestra fuente de datos

Science Watch

A PARTIR DE ESTAS BASES DE DATOS THOMSON ELABORA OTROS PRODUCTOS

BIBLIOMÉTRICOS:

Los productos derivados de la Web of Science

Journal Citation Reports

• Tiene solo dos ediciones de Ciencias y de Ciencias Sociales

• Se calculan para un total de 8200 revistas diferente

• Las revistas están clasificadas en un total de 235 categorías científicas

• En la web tenemos impactos disponibles desde 1996.

Essential Science Indicators

• Contiene datos sobre instituciones, países, disciplinas

• Podemos localizar los artículos , los investigadores y los frentes más citados

• Contiene Baselines que nos permite contextualizar la información bibliométrica

Science Watch

• Es una web gratuita donde podemos encontrar análisis específicas

• Se analizan desde investigadores , revistas hasta áreas y países

• Enriquecen la información bibliométrica con entrevistas, fotos, comentarios, gráficos, etc..

DIAN

s

Web of Science (SCI, SSCI, AHCI)

Revistas Científicas (importantes)

Todas las Revistas Científicas

Web of Science, una selección de las mejores revistas

DIAN

s

¿Qué tal es su cobertura en Ciencias de la Salud?

Cobertura WoS de las principales áreas y su adecuación como fuente de evaluación

> 80%Biología Molecular y

bioquímicaCiencias Biológicas

(humanos)Medicina Clínica

Física y AstronomíaQuímica

60-80%Física aplicada y química

Ciencias Biológicas (animales y plantas)

Psicología y PsiquiatríaCiencias Sociales

relacionadas con MedicinaGeociencias

40-60%Matemáticas

IngenieríaEconomía

<40%Otras Ciencias Sociales

Arte y Humanides

EXCELENTE MUY BUENA BUENA-MODERADA Moed, 2005

DIAN

s

El interfaz de consulta de la ISI - WOS

WEB

OF

SCIE

NCE

OTR

OS

RECU

RSO

S

3. LOS INDICADORES BIBLIOMÉTRICOS

sPRODUCCIÓ

N

IMPACTO

COLABORACIÓN

NUEVOS

INDICADOR

ES

IndicadoresBibliométricos

Tipos de indicadores bibliométricos

s

Producción

• Nº Total documentos• Nº Total documentos

citables• Nº de documentos por

investigador• Nº de documentos

según posición firma (inicial o final etc.)

• Índice de Especialización Temática

• Índice de Actividad temática

Impacto

• Promedio y suma del Impacto Factor

• Factor de Impacto de relativo

• Nº o % de documentos por cuartil (o bien decil y tercil)

• Promedio de citas• Número de citas• Tasa Autocitación• Citas normalizadas:

Crown Indicator, Karolinska

• Índice H y derivados

Colaboración

• Tasas de colaboración• Índice de coautoría

general• Índice de coautoría

institucional• Análisis de Redes

Sociales a partir firma de la firma

• Número de Instituciones firmantes

• Patrones de colaboración (interna, nacional, internacionales)

Existen cientos y cientos de indicadores, nos concentramos solo en unos pocos

* Habría que incluir los derivados de la combinación de este con los RRHH y económicos.

Ejemplos de indicadores bibliométricos habituales

Indicadores recomendados

Nº Doc(cit.) Índice

A cti v.Te m

á.

Nº docs en 1º Cuarti

l

% d

ocs

en 1

º Cu

artil

Nº o Prom citas

CROW

N

H-INDEX

%

docs

co

n co

lab.

In

ter.

PRODUCCIÓNCIENTÍFICA

IMPACTO ESPERADO

IMPACTO OBSERVADO

COLABORACÍÓN

Ejemplos: Nº docs Citables

Evolución de la producción citable de la Universidad de Navarra

Ejemplos: Índice Actividad Temática

IAT de la Universidad Navarra comparado con España. 2005-2009% España (E): 0,17

% Univ Navarra (N): 0,50

IAT: 0,50/0,17 = 2,94

Ejemplos: % Docs en el 1º Cuartil

% de docs en el 1º Cuartil por área para España. 2005-2009

OJO Con los indicadores basados en el IF: son promedios | el impacto de una revista no equivale al impacto de un artículo | No es un valor comparable por área | Fácil

de manipular | Presenta problemas en el cálculo | Es un indicador de Competitividad

Ejemplos: Promedio de Citas Nº y Promedio de Citas de la Universidad de Navarra comparado

con otras universidades españolas. 2005-2009

OJO Los promedios se citas por sí solos tienen poco significado siempre es preferible tener algunos promedios de referencia como el del área o el páis

Ejemplos: Nº Docs. Citables VERSUS Promedio de citas

Nº Docs Citables y Promedio de Citas de las universidades españolas en Medicina Clínica y Farmacia.

Ejemplos: el indicador CROWN

CROWN INDICATOR del CITIC-UGR de la Universidad de Granada para el período 2001-2010

Tomamos como referencia los promedios de citas del área de Ingeniería disponible en los ESI

Ejemplos: El índice-H

Índice H para diferentes hospitales españolas con diferentes cortes cronológicos

OJO El H-Index no sirve entre áreas diferentes | Favorece a los seniors | No elimina autocitas | Penaliza a los autores selectivos

Ejemplos: % Colaboración Inter.

% de documentos firmados con instituciones extranjeras por la Universidad de Navarra

Cabezas-Clavijo // Robinson-García // Repiso-Caballero

Bibliometría en la práctica

Web of Science en la práctica

Cuestiones previas de los análisis bibliométricos

Búsquedas en Web of ScienceAnálisis básicos de resultados en WOSDescarga de registrosCálculo de indicadores

Cuestiones previas

• Objetivos del análisis bibliométrico• Nivel de agregación (país, CCAA,

institución, departamento, grupo, individuo)• Selección del marco temporal (normalmente

5 años es un periodo suficiente)• Selección de la BBDD (habitualmente Web

of Science, pero también Scopus o Google Scholar)

Web of Knowledge (WOS, JCR, ESI)

Búsqueda básica (17 campos de consulta en la última

versión)

Cuidado con la búsqueda por fechas

• Year published: año de publicación del artículo

• Timespan: años en que la referencia ha sido procesada por WoS

• Cuidado con la sintaxis de WoS• Cuidado con los autores con dos apellidos• Cuidado con los homónimos• Cuidado con nombre regionales,

abreviaturas o “nombres artísticos” • Cuidado con los errores de indización y los

cambios en la misma a lo largo del tiempo• Extremo cuidado al limitar por los campos

“afiliación” o “categoría JCR”

Búsqueda de autores: precauciones

• No admite tildes ni eñes• Sólo la(s) inicial(es) del nombre de pila• Admite operadores booleanos en el

mismo cuadro de búsqueda• Truncamiento con * para ampliar las

búsquedas

Cuidado con la sintaxis de WoS

• El porcentaje de investigadores españoles que aparecen bajo dos o más nombres diferentes oscila entre un 20% y un 40% según los estudios (Costas et al. 2006; Ruiz-Pérez et al. 2002).

• Los propios investigadores son responsables de esta variabilidad en su forma de firma, ya que utilizan distintas formas a lo largo de su producción

• Además, las bases de datos bibliográficas cometen con errores al transcribir la información a su registro electrónico, sobre todo derivadas de sus prácticas de indización adaptadas a las estructuras de nombres ingleses

Cuidado con los autores con dos apellidos

• Es complejo diferenciar entre autores homónimos, apellidos comunes, etc (López E, Rodriguez JM, Garcia A)

• En este caso hay que usar las opciones de WoS para refinar los resultados, a sabiendas de que podemos perder un pequeño porcentaje de la producción del autor

• La mejor forma de evitar este fenómeno es asesorar a los investigadores para que usen firmas lo más distintivas posibles.

Cuidado con los homónimos

• Ramón Moncho• José Luis Koldo• Javier Xavier // Xabier• Rosario Charo• Cuando hagamos búsquedas de autores es

conveniente visitar antes su web personal, nos puede dar pistas sobre cómo firma, en qué revistas publica, sus colaboradores, …

Cuidado con nombres regionales, abreviaturas o nombres

“artísticos”

Autores

Instituciones

Cuidado con los errores de indización de WoS

AFILIACIÓN• Autores en estancias fuera de la institución a

veces no firman con su institución de origen• Autores con doble filiación (hospital-universidad) a

veces no usan ambas• La tipología Proceedings paper incluye a veces

sólo la institución del primer firmante

CATEGORÍA JCR• Las revistas pueden estar asignadas a varias

categorías ISI• Autores con investigación multidisciplinar

Extremo cuidado al limitar por afiliación o categoría

jcr

Para el caso de las instituciones

• Piensa todas las posibles variantes de una institución

• WoS usa abreviaturas estándar y elimina las preposiciones

• universidad = univ; hospital = hosp

• Universidad de Murcia = Univ Murcia

• Universidad Politécnica de Valencia = ?

Para las instituciones

Para el caso de las institucionesPara las instituciones

Ejemplo: Universidad delPaís Vasco

( UNIV PAIS VASCO OR UPV EHU OR EUSKAL HERRIKO UNIBERTSITATEA OR UNIV BASQUE COUNTRY OR UNIV PAIS VASCO EUSKAL HERRIKO UNIBERTSITATEA OR UPV OR CSIC UPV EHU OR CTR MIXTO CSIC UPV EHU OR UNIV PAIS VASCO EHU OR UNIV BASQUE COUNTRY UPV EHU OR EHU OR EUSKAL HERRIKO UNIBERSITATEA OR UNIV PAIS VASCO UPV EHU OR EHU UPV OR EUSKAL HERRIKO UNIV OR EUSKAL HERRIKO UNIBERTSITATEA UPV EHU )

• Opciones de filtrado de los resultados por áreas, tipos de documentos, años, instituciones, países, fuentes, autores, idiomas

• Opciones de análisis de resultados e informes de citación

• Opciones de ordenación• Historial de

búsquedas

• Opciones de exportación, impresión y guardar en listas

Analyze Results

Create Citation Report

• Encuentra las citas a un artículo, libro, … (incluso si no está recogido en WoS) pero ha sido citado desde las revistas indizadas en WoS

• Escasa normalización en las abreviaturas• Usar truncamientos y búsquedas amplias• Método ensayo-error

Cited Reference Search

ejemplo

• Es necesario filtrar manualmente• No hay certeza de que estemos

recuperando todos los resultados

Cited Reference Search

• Thomson cuenta con un listado maestro (master list) donde aparecen las revistas recogidas en sus índices de citas http://science.thomsonreuters.com/mjl/

¡Ojo! No confundir con JCR: No todas las revistas incluidas en WoS tienen factor de impacto JCR

Cómo localizar las revistas indexadas en la WoS

• Aunque WOS proporciona herramientas de análisis, es imprescindible la descarga de registros para un análisis solvente (limitación: descarga de 500 registros como máximo por archivo)

• Esto permite el tratamiento de datos, la normalización de registros, y la confección de bases de datos en conjunción con otras informaciones como las de revistas JCR o de información interna de la institución (categoría profesional, actividad científica, etc)

Descarga de registros a programas ofimáticos

• ¿Qué producción tiene tu Universidad (sólo articles y reviews) entre 2008 y 2012?¿Cuál es su promedio de citas?¿Qué país es su principal colaborador?¿Cuál es su porcentaje de colaboración

internacional?¿Qué promedio de citas tiene cuando publica

con Estados Unidos? ¿Y cuando publica sin colaboración de ningún

tipo?

Práctica Instituciones

• ¿Cuántos trabajos ha publicado Emilio Delgado López Cózar (Univ Granada) en su carrera profesional?¿Cuántas firmas distintas has detectado?¿Cuál es su índice h?¿Quiénes son sus coautores más frecuentes?¿Qué porcentaje de trabajos ha publicado en

revistas que no son de Biblioteconomía?

Práctica Investigadores

• Descarga los trabajos de Emilio en un formato compatible con Excel

• Abre el archivo en Excel• Calcula el índice h y el promedio de citas• Guarda el documento, en un rato

calcularemos su crown indicator

Práctica Descargas (AVANZADO)

• http://www.accesowok.fecyt.es/jcr/• Base de datos que recoge los factores de impacto

de las revistas científicas seleccionadas por Thomson Reuters

• Podemos delimitar la búsqueda por año, categoría temática y países

• Recoge otros indicadores como posición de la revista en su categoría, índice de inmediatez, porcentaje de autocitas,

Journal Citation Reports (JCR)

Factor de impacto de la revista

Categorías JCR a las que se adscribe

Posición de la revista en dichas categorías

Información básica de una revista

• ¿Cuántas revistas españolas hay en JCR (Social Sciences) en 2011?

• ¿Cuál es la revista más relacionada con la Revista Española de Pedagogía?

• ¿En qué cuartil se sitúa Spanish Economic Review?

• ¿Encuentras algo anómalo en la tendencia de factor de impacto de la Revista de Psicodidáctica?

Práctica Búsquedas

• Descarga la categoría Information Science and Library Science

• Abre el archivo con el bloc de notas y reemplaza los puntos por las comas

• Abre el archivo con excel, y ordena por factor de impacto descendente

• Calcula los cuartiles de las revistas

Práctica Descargas (AVANZADO)

• http://www.accesowok.fecyt.es/esi/• Indicadores a nivel macro de producción y citación• Nos proporciona un marco comparativo; podemos

confrontar los registros de un investigador o institución con áreas / países, etc

Essential Science Indicators (ESI)

Papers más citados

Evolución anual Ránking de paises para la categoría

• ¿En qué percentil de la distribución se encuentra un autor del área de Ciencia de Materiales que publicó un trabajo en 2008 y que ha recibido 30 citas hasta la fecha de hoy?

• ¿Cuál es el número mínimo de citas que necesita un autor de Psicología para situarse dentro del 1% más citado en 2009?

• Qué impacto normalizado (CROWN INDICATOR) tienen los papers de Emilio publicados en 2009? (AVANZADO)

Práctica ESI

Cómo aprovechar los Rankings I-UGR para hacer informes de

mi institución

Introducción

Se basan en los datos de la WoS y los JCR

Ofrecen rankings por campos y disciplinas científicas

Las universidades se ordenan de acuerdo al IFQ2A-Index basado en 6 indicadores

Utiliza dos periodos cronológicos de 5 y 10 años

Creación de campos y disciplinas

Creación de campos y disciplinas

AU C1Campanario, JM; Coslado, MA [Miguel Campanario, Juan] Univ Alcala de Henares, Dept Fis, Madrid 28871, Spain; [Angeles Coslado, Maria] Fdn Espanola Ciencia & Tecnol, Dept Gest Informac Cient Integrada, Madrid 28020, SpainCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Carretero, J; Marangon, V; Molina, A; Ros, G Univ Alcala De Henares, Dept Fis, Madrid 28871, Spain; [Marangon, Vera] Univ Alcala De Henares, Fac Ciencias Econ, Madrid 28807, SpainCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM [Miguel Campanario, Juan] Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Candelario, A [Miguel Campanario, Juan; Candelario, Antonia] Univ Alcala de Henares, Dept Fis, Madrid, SpainCampanario, JM Univ Alcala De Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Molina, A [Miguel Campanario, Juan; Molina, Antonio] Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainCampanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainAndrade, A; Gonzalez-Jonte, R; Campanario, JM [Andrade, Antonia] Univ Alcala de Henares, Dept Geol, Madrid 28871, Spain; [Gonzalez-Jonte, Raul] Univ Autonoma Madrid, Dept Quim Fis Aplicada, E-28049 Madrid, Spain; [Miguel Campanario, Juan] Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Acedo, E Univ Alcala De Henares, Dept Fis, Alcala De Henares 28871, Madrid, SpainGonzalez, L; Campanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainCoslado, MA; Campanario, JM Univ Alcala de Henares, Dept Fis, Madrid 28871, SpainCampanario, JM; Gonzalez, L Univ Alcala de Henares, Dept Fis, Edificio Ciencias, Madrid 28871, SpainCampanario, JM; Gonzalez, L; Rodriguez, C Univ Alcala de Henares, Dept Fis, Alcala De Henares 28871, Madrid, Spain

El IFQ2A-Index

DIMENSIÓN CUANTITATIVA

DIMENSIÓN CUALITATIVA

NDOC: Número de documentos citables

NCIT: Número de citas

H-INDEX: Índice H según Hirsch

TOPCIT: Porcentaje de documentos altamente citados

1Q: Porcentaje de documentos en el primer cuartil de su categoría

PCIT: Promedio de citas

Daniel Torres Salinas, Jose G. Moreno-Torres, Emilio Delgado-López Cózar, Francisco Herrera A methodology for Institution-Field ranking based on a bidimensional analysis: The IFQ2A-index. Scientometrics 2011, 88(3): 771-786

El IFQ2A-Index

Barcelona

Autónoma de Barcelona

Autónoma de Madrid

Valencia

Navarra

0,0

0,2

0,4

0,6

0,8

1,0

0,0 0,2 0,4 0,6 0,8 1,0

QU

ALIT

ATIV

E DIM

ENSI

ON

QUANTITATIVE DIMENSION

AVERAGE QLIFAV

ERAG

E Q

NIF

Los Rankings I-UGR

http://rankinguniversidades.es

-12 campos científicos

-37 disciplinas

Los Rankings I-UGR

Prácticas Rankings I-UGR

• Date de alta en los Rankings I-UGR• Busca las posiciones de tu universidad en

los distintos campos y disciplinas• Observa la variación de posiciones según el

periodo analizado y según la edición y analiza las diferencias

• Identifica en qué categorías JCR dentro de Informática publica más tu universidad en el periodo 2007-2011

Ejemplo de informe

La Universidad de Granada en los Rankings ISI