VI Jornadas MAVIRTecnologías de Acceso a la Información: Estado actual y retos
Universidad Rey Juan CarlosMóstoles (Madrid), 15-16 de noviembre de 2011
Una nueva miradaDe los Rankings de Institucionesa los de Científicos
Isidro F. AguilloThe Cybermetrics LabCCHS-CSIC. Madrid
2
La descripción y evaluación de la actividad científica y sus resultados, de
sus ejecutores (individuos, instituciones, estructuras organizativas),
gestores (planificadores, financiadores) y otros actores involucrados en
su difusión y explotación (editores, empresarios, políticos, ciudadanos)
se ha convertido en una prioridad de las políticas de I+D+I
A pesar de las reticencias a asumir la cultura de la evaluación por parte de
numerosos sectores aún hoy en día
A pesar de las dificultades y los costes que supone describir correctamente los
distintos escenarios a diferentes niveles de agregación
A pesar de los reconocidos sesgos, limitaciones y facilidad para dar lugar a
interpretaciones erróneas o incorrectas que presentan la mayoría de las
técnicas empleadas
3
El Ranking de Shanghai (2003)
• Escenarios no globales (antes de 2003)
– Estudios sobre la Educación Superior, muy puntuales con
tamaños de muestra pequeños o poco representativos
– Poca atención a los métodos cuantitativos, exclusión de la
bibliometría
• Impacto inesperado del Ranking de Universidades de Shanghai
– Debido a su publicación en la Web
– Uso innovador de un indicador compuesto: Lectura simple,
interpretación compleja
– Foco en la excelencia (Premios Nobel, científicos muy citados)
– Cobertura amplia: Top 500 “World-class universities”
4
Rankings mundiales de universidades
• Tras el éxito de Shanghai, explota la oferta
– Basados en opiniones: QS, Times Higher Education
– Basados en métricas: Leiden, Scimago, HEEACT, Webometrics
• y arrecian las críticas
– Rechazo de la “sencillez”
– Sesgos, errores e intereses políticos y comerciales
• pero los rankings triunfan en las “Agendas”
– Elevada correlación de los diferentes rankings entre sí y con las
posiciones esperadas de muchas universidades
– Se imponen las estrategias y políticas basadas en resultados y
criterios de los rankings
5
Indicadores compuestos
• Del “crown indicator” bibliométrico
– Una opción avanzada de la tasa citas/publicaciones
– Varios modelos: peso por disciplina (Leiden), peso por revista
(Karolinska)
• Al indicador compuesto del ranking de Shanghai
– Suma ponderada de variables
• ∑w(i)*ind(i), donde la suma de todos los pesos es 1 (o 100%)
• i número de indicadores combinados
– Utilizado por otros rankings con diferentes modelos
– Críticas por la elección arbitraria de variables y pesos
6
ACTIVIDAD IMPACTO
ARWU (Shanghai) 40% 60%
RANKING
QS 30% 70%
TIMES HIGHER EDUC 35% 65%
HEEACT (Taiwan) 20% 80%
WEB 50% 50%
Modelos de pesos
7
Ranking Web
• Se edita desde 2004
– www.webometrics.info
– 20.000 instituciones de educación superior
– Dos ediciones al año (enero y julio)
– Basado en la presencia web y el análisis de enlaces
Citas Patentes MISIONES UNIVERSIDADES INVESTIGACIÓN DOCENCIA
COMPROMISO SOCIAL
TRANSFERENCIATECNOLOGÍA
INTERNACIONA-LIZACIÓN
WORLD-CLASS + + + + + + + + + + + + NACIONALES + + + + + + + + + + + + LOCALES + + + + + + + + +
<-------------------------------Encuestas------------------------------->
<---
Enla
ces-
-->
8
Brecha Digital Académica
9
Los rankings, aunque no exentos de críticas, han resultado ser muy
útiles a nivel institucional.
Problemas de viabilidad en la normalización de nombres de autores y
dificultades en el diseño de indicadores sintéticos han retrasado la
aparición de rankings de científicos a nivel global, pero la Web 2.0 está
abriendo una prometedora nueva vía en el logro de dicho objetivo
A pesar del duopolio comercial de WoK/Thomson y Scopus/Elsevier que
dificulta la generación de productos derivados de alto valor añadido
Y gracias a los nuevos proveedores gratuitos de bases de datos de citas:
Google Scholar y Microsoft Academic Search, que a pesar de sus limitaciones
ya ofrecen mayor cobertura y opciones más avanzadas
10
Grupo DIH (Difusión del índice h)
11
12
13
14
15
Propuestas de futuro
• Solo se puede evaluar la información pública
– A nivel individual, las páginas web personales de profesores e
investigadores ofrecen una excelente oportunidad
– Se pueden analizar cuantitativamente tanto los contenidos
(docentes, resultados y publicaciones científicas, actividades
informales) como su impacto
• Nuevos indicadores
– Indicadores web a través de presencia y posición en motores de
búsqueda, medida de impacto mediante análisis de enlaces y
menciones, especialmente a través de herramientas Web 2.0
– Indicadores de uso mediante análisis de visitas (Google Analytics)
16
17
Resumiendo
• No se puede ignorar los resultados ofrecidos por los Rankings
– Aunque no todos ellos son igualmente válidos o útiles
– Pero hay que diseñar estrategias lícitas que tengan en cuenta sus
características
• Los nuevos Rankings para individuos ya están aquí
– Ofrecen posibilidades de personalización que deben ser
conocidas y explotadas
– Pero hay que incrementar significativamente la presencia pública
de los investigadores, más allá de la mera trasposición del CV
científico a la Web
18
¿Preguntas?
¡Gracias!
Top Related