Indicadores de impacto normalizado: origen, cálculo, limitaciones y aplicaciones a la política científica - torressalinas/repositorio-de-guiones GitHub Wiki

#Resumen de la charla

  • Los indicadores de Impacto Normalizado son adecuados para monitorizar, contextualizar y comparar el impacto de nuestro currículum y artículos científicos. También para analizar la trayectoria de un grupo de investigación… Se pueden utilizar como indicio de calidad en las solicitudes de ANECA, CNEAI, Ramón y Cajal, en la defensa de plazas de profesorado, etc. Estos indicadores se han popularizado ampliamente en España por las convocatorias Apoyo y acreditación de Centros de Excelencia Severo Ochoa y Unidades de Excelencia María de Maeztu. Desde el punto de vista bibliométrico uno de los criterios de evaluación más llamativos es la necesidad de que los investigadores garantes tengan un Impacto Normalizado de, como mínimo, 1,5. En este Seminario, Daniel-Torres Salinas, director de la Unidad de evaluación científica de la Universidad de Granada, analiza críticamente el origen de los indicadores de impacto normalizado de citación, como por ejemplo Crown Indicator, Category Normalized Citation Impact (Incites) o Field Weighted Citation Impact (SciVal). Y muestra cómo se calculan sus diferentes versiones, así como sus ventajas y limitaciones.

  • Torres-Salinas, Daniel; Robinson-García, Nicolás; Herrera-Viedma, Enrique; Jiménez-Contreras, Evaristo (2018). “Consideraciones metodológicas sobre uso del impacto normalizado en convocatorias Severo Ochoa y María de Maetzu”. El profesional de la información, v. 27, n. 2, pp. 367-37 -Descargar(https://zenodo.org/record/1216785#.YK9HvKgzaMr)

  • Vídeo de la Charla (27 de Mayo UNIR)

#Origen de los indicadores

Introducción

  • La idea de base de los indicadores de citación normalizada es obtener un valor que permita realizar comparativas entre individuos, instituciones o áreas de investigación
  • Las diferencias disciplinares - Ejemplo UGR
  • También existen diferencias de citación entre las tipologías documentales (por ejemplo las revisiones son muchos más citadas que los artículos) y evidentemente las citas depende del año de publicación, los artículos más recientes son menos citados
  • De manera que estos indicadores consideran que las citas de un trabajo deben ser comparados con las citas medias mundiales pero siempre considerándose las categorías en las que han sido publicados, el tipo documental y el año de publicación.
  • Los conceptos de impacto esperado Vs Impacto observado - Ejemplo(https://docs.google.com/spreadsheets/d/15K0T88h-fkFRoexy2e2WYoHD4jEtQSPauTfZ6pfr4hI/edit#gid=2091762882)
  • De la división entre el impacto observado y el esperado se obtiene el impacto normalizado de un trabajo científico, cuyo valor será menor a 1 cuando se encuentre por debajo de la media mundial, igual a 1 cuando esté en la media mundial, o superior a 1 cuando sea mayor que la media. Si el valor es 1,20, el trabajo esta un 20% de la media mundial - Ejemplo(https://docs.google.com/spreadsheets/d/15K0T88h-fkFRoexy2e2WYoHD4jEtQSPauTfZ6pfr4hI/edit#gid=1859665691)
  • Uno de los principales problemas se produce a la hora de agregar documentos para obtener las líneas base (baselines) sobre las que se establece la comparativa ya que necesitamos toda la producción científica del mundo, implica tener acceso completo a los registros d bases de datos bibliométricas como Web of Science o Scopus (como veremos luego con Incites y Scival esto ya no es un problema)

#Versiones clásicas bibliométricas

Los clásicos

  • Las primeras tentativas para crear un indicador normalizado datan de los ochenta cuando Schubert, Glänzel y Braun (1983) y Vinkler (1986)
  • Los investigadores del CWTS (De-Bruin et al., 1993; Moed; De-Bruin; Van-Leeuwen, 1995) fueron los primeros en sugerir un indicador de impacto normalizado denominado CPP/FCSM (citas por publicación entre promedio de citas en el área temática).
  • El CPP/FCSM o Indicador Crown, como fue renombrado por Van-Raan (1999), posteriormente hasta la actualidad se ha seguido mejorando, modificando, etc.. Pero veamos un ejemplo del cálculo clásico - Enlace

Nombres en las bases de datos bibliométricas

#Versión española

Las convocatorias Severo Ochoa y María de Maetzu

  • Apoyo y acreditación de Centros de Excelencia «Severo Ochoa» y a Unidades de Excelencia «María de Maeztu»
  • investigadores garantes... se mantiene la opción de ser garante cumpliendo el requisito de producción científica (igual o superior a 1,50) y ser investigador responsable de un proyecto.
  • Instrucciones para el cálculo del impacto normalizado Enlace. Algunas interesantes: 3 trabajos en cuatros años en todas las áreas excepto en humanidades 2 trabajos. Se consideran artículos, revisiones y/o proceedings. Se considera toda la producción científica del investigador garante (no se realiza un cálculo selectivo de publicaciones, implica estrategia de publicación del investigador de cara al futuro)
  • Se pueden calcular las bases de datos Web of Science y Scopus, pero ojo se realizan buscando la producción a partir de los códigos científicos de las mismas que deben estar pertinentemente actualizado
  • Los cálculos los realizan a partir del Scopus ID y del Research ID
  • Ejemplo de cálculo del indicador - enlace
  • Evidentemente el kit de la cuestión está en conocer las citas medias mundiales para lo que ponen a disposición tanto para WoS como para Scopus las tablas de las citas mundiales Enlace
  • El otro aspecto a considerar a qué categoría asignamos nuestro trabajo que aparece especificado en la normativa Enlace
  • Limitaciones: (A) No se distingue entre los tipos documentales en los baselines de forma individualizada (B) La asignación de las categorías no es indivualizada, se escoge la categoría donde más se publica cada año (C) Calcular el impacto normalizado a través de WoS o Scopus puede generar resultados muy diferentes - Ejemplo(https://drive.google.com/file/d/1FnrSRCtBg8075fcHv7zU-v7AXhYrcQNa/view?usp=sharing)

#¿Cómo obtener nuestro impacto normalizado en diferentes bases de datos?

En primer lugar ¿Para qué puedo utilizarlo?

  • A nivel individual para tener un indicador de nuestra carrera investigadora que contextualiza nuestro impacto, es un complemento perfecto para indicadores como el índice H. Útil por tanto en convocatorias altamente competitivas como Ramón y Cajal, I3. Puede ser de utilidad para cuando tengamos que redactar nuestro resumen en las diferentes acreditaciones, plazas, etc, etc, etc
  • Como se puede obtener el indicador a nivel de publicación indudablemente es un indicio de calidad consistente y convincente (siempre que sea positivo claro) para incluirlo en las convocatoria de sexenios de investigación o bien en los indicios de las acreditaciones

Clarivate Analytics - Incites

  • Nos buscamos directamente en Web of Science - Web of Science Core Collection por cualquier método (Nombre o Identificadores)
  • Exportamos los resultados a Incites y abrimos Incites
  • Dentro de Incites recomiendo ir a Research Areas, selecciona el dataset que has exportado
  • Importante debes seleccionar el indicador Category Normalized Citation Impact
  • Aprende a crear baselines para ver tu indicador a) Baseline for all items y b) Baseline por Pinned Items
  • Diferentes operaciones para visualizar los datos

Elsevier - Scopus

Elsevier - Scival

  • Iremos a la plataforma Scival opción Benchmarking
  • Ir a la opción de Researchers and Groups
  • Introducir investigadores
  • Seleccionar el indicador FWCI y ver en la opción tabla

#Aplicaciones prácticas a nivel de publicación

Fichero de trabajos Incites

Cómo construir baselines que me permitan comparar mis resultados

  • Volveremos a trabajar en este caso con Incites, pero igualmente los podemos sacar Scival, veremos los siguientes ejemplos:
  • Análisis por áreas científicas
  • Análisis por instituciones
  • Análisis por países

charla impartida en el CIMCYC - Universidad de Granada - Viernes 14 de Mayo, 2021 // Charla impartida en la UNIR - Jueves 27 de Mayo, 2021