La mayoría de los investigadores recibirían más reconocimiento si se valoraran sus trabajos de forma independiente a la revista en la que se publican

El artículo es muy pertinente porque viene a demostrar empíricamente un hecho ya conocido de forma teórica: que no se puede asociar el impacto de la revista con el de los artículos publicados. La razón está en que los indicadores de revistas como el Journal Impact Factor se basan en el promedio de citación de los artículos publicados en una ventana de tiempo. Esta distribución está muy sesgada, siguiendo una potencial (power law), lo que significa que la media se ve arrastrada por los valores más extremos. Así, solo una pequeña fracción de los artículos más citados (10-20 %) son los que contribuyen al factor de impacto de la revista y el resto aportan poco o lo contrarrestan. De esta forma, lo que demuestra el artículo es que existen artículos que tienen un impacto real normalizado (RCR) por encima del impacto de la revista que le corresponde.  

Sin embargo, el estudio está limitado al campo de la biomedicina (usa PubMed como fuente de datos). Aunque este fenómeno es también esperable al resto de disciplinas, no sabemos si este hecho es más o menos significativo en determinadas áreas. Otra limitación que explicaría que el estudio encuentre más artículos por encima que por debajo del factor de impacto de la revista es que limita a autores que han tenido una ayuda del NIH [Institutos Nacionales de Salud de Estados Unidos]. Esto podría sesgar a autores estadounidenses con una posición consolidada que probablemente produzcan resultados de mayor calidad, por encima de la media.  

No se trata de que los resultados desacrediten a las revistas, sino a la valoración de artículos usándolas. Los indicadores de revistas cumplen su función de generar un parámetro que nos permite valorarlas. Aquellas con más impacto nos informan de que publican resultados de mayor calidad. Este indicador también tiene un efecto gravitacional (provocado por la errónea evaluación de artículos según la revista). Las que tienen mayor impacto tienden a atraer más envíos, y por lo tanto podrían seleccionar mejores publicaciones que refuerzan de nuevo su impacto. Hay un efecto llamada.

Me parece que el artículo no representa una novedad mayor. Los expertos en bibliometría consideran desde hace muchos años (al menos desde los 90) que el número de citas de artículos es un mejor indicador de visibilidad científica que el factor de impacto o el prestigio de la revista.   

Además, siempre ha habido consenso en que la bibliometría no se debe utilizar a individual porque desde el punto de vista estadístico hay poca señal en relación al ruido de fondo y mucha probabilidad de sesgo. El principio número 7 del Manifiesto de Leiden dice que "la evaluación individual de investigadores debe basarse en la valoración cualitativa de su portafolio de investigación".  

En esta línea, el consenso de evaluación hoy en día, de acuerdo a la Coalición para la Reforma de la Evaluación (CoARA) (firmada por las principales organizaciones europeas y españolas) es que hay que evaluar una diversidad de contribuciones, la mayoría de la cuales no se puede derivar de métricas de bibliometría. CoARA explica que los indicadores pueden ayudar, pero la evaluación tiene que basarse en el criterio de los pares.  

El artículo tampoco aporta una sorpresa respecto a sesgos geográficos, de género, grupo social y lingüísticos. Hay otros artículos más interesantes al respecto, por ejemplo, este respecto a la lengua o este otro que engloba a la lengua, la economía y el género.

El estudio plantea un tema de interés, como es verificar la existencia de publicaciones altamente citadas en revistas de bajo factor de impacto. Esto plantea cuestiones relevantes en el diseño de políticas de evaluación de la actividad científica, con efectos claros en procesos de contratación y promoción en los centros de investigación.

Con todo, se trata de un asunto ya tratado ampliamente en la literatura científica. El potencial del trabajo está en el amplio dataset de publicaciones en biomedicina y en la amplia variedad de variables analizadas.

Como elementos en contra, creo que su estructura no es la más adecuada para un trabajo de ciencias sociales. Aunque esté publicado en PLoS Biology y analice publicaciones en biomedicina, es un artículo de ciencias sociales. Además, se presentan muchos datos y gráficas pero con poca profundidad y discusión, desde un plano bibliométrico.

El artículo no incluye la discusión existente en la literatura en torno al uso del factor de impacto en procesos evaluativos, que es amplia, diversa y con distintas escuelas de pensamiento. Se echa en falta una revisión de la literatura más profunda para contextualizar los resultados mostrados en un campo de conocimiento concreto.

Además, el artículo no tiene en cuenta todas las reformas en la evaluación de la investigación llevados a cabo en muchos países en los últimos años. En España, por ejemplo, en el sector universitario ya no se evalúa de acuerdo al factor de impacto de las revistas. Tanto el proceso de acreditación como de tramos de investigación fueron reformados por ANECA y ya contemplan una amplia cantidad de indicadores e indicios de calidad más allá del valor de la revista. Por tanto, el proceso de cambio ya está operativo en el territorio nacional desde hace dos años de forma oficial.

Es cierto que en los procesos de concurso todavía tiene más poder el factor de impacto en algunos campos pero, si se usan como factor determinante, esto estaría en contra de los principios de COARA, a los que muchas universidades y centros se han adherido.

Por otro lado, dado que las revistas con alto factor de impacto son revistas elitistas, con altos APCs [cargos por procesamiento de artículos], y en temáticas y campos muy concretos, las publicaciones dentro de esas revistas plantean sesgos (por edad, género, raza, etc.). Si abrimos la cantidad de revistas que considerar, estos sesgos se suavizan, aunque no se eliminan. Este resultado es obvio, pero es importante que lo resalten y pongan números que lo sustenten.

La principal limitación que, a mi juicio, tiene el estudio es el procedimiento para determinar el valor de alta citación de los trabajos. Los autores utilizan la mediana del RCR [índice de citación relativo] de las publicaciones publicadas en revistas con un factor de impacto superior a 15. Creo que este planteamiento es un error.

Se conoce que la distribución de citas entre los artículos de una revista está muy sesgada. Es decir, pocos trabajos reciben muchas citas mientras la mayoría recibe pocas, o ninguna. Esto quiere decir que el factor de impacto de las revistas se construye a partir del impacto de unos pocos trabajos. Aunque los autores usan un indicador ponderado (RCR), esto no evita este problema. No veo cómo puede ser un estándar de ‘citabilidad’ la mediana del RCR de las publicaciones publicadas en esas revistas.

Hay otros métodos de comparabilidad que creo que hubieran sido mejores. Con todo, el resultado es obvio: ya sabemos que hay artículos muy citados en revistas con bajo factor de impacto y artículos no citados en revistas de alto factor de impacto.

Por otro lado, el problema de fondo es que los autores siguen confiando en las citas como elemento fundamental en la evaluación. Las métricas a nivel de publicación van más allá de las citas, que son importantes, pero no son el santo grial. Las citas pueden producirse por multitud de razones, por lo que la mera acumulación de citas no constituye ‘impacto’ o ‘influencia’ necesariamente. Los procesos evaluativos requieren del uso de una amplia variedad de indicadores, así como del juicio de expertos, para ser llevados a cabo de forma rigurosa. Además, van a depender de los objetivos del proceso evaluativo, que pueden ser muy diferentes.

Hoy en día, la mera coautoría (en cualquier revista, de alto factor de impacto o sin él) o citación no son sinónimos de calidad, impacto o reputación.

Las revistas de alto factor de impacto son indicativas de lo difícil que es publicar en esas revistas. Sirven a modo de señal de aquellas revistas que son altamente demandadas por la comunidad para publicar sus trabajos. Son revistas con una potente imagen de marca, con prestigio acumulado y con gran capacidad de difusión y generadoras de atención.

Esto influye indudablemente en el comportamiento de las personas, que prefieren citar trabajos publicados en revistas de alto impacto, porque esto puede ayudar a convencer a las personas evaluadoras del trabajo o incluso llamar la atención de las personas citadas, y les ayuda, además, a mostrar un nivel de ‘prestigio’ en procesos evaluativos. No obstante, este marchamo de calidad y reputación es un ‘constructo social’.

Las revistas de alto factor de impacto constituyen un reclamo para recibir buenos trabajos; se asume además que va a existir un control (peer-review) más riguroso que en otras revistas, al ser revistas con muchas solicitudes y, por tanto, con una elevada tasa de rechazo. No obstante, esto es la teoría. Esto no garantiza que la revisión sea de calidad (esto depende de muchas variables) ni que si se publica en una de esas revistas vaya a tener relevancia o citas.

Debe entenderse que una revista es un conglomerado de artículos buenos, regulares y malos. Esto no significa que no sirvan las métricas de revistas. Pueden ser informativas de la calidad editorial o incluso de la capacidad de publicación de trabajos relevantes dentro de una disciplina. La capacidad de publicar en revistas del alto impacto es solamente una pequeña dimensión de los aspectos que deben ser considerados en el proceso evaluativo de una persona. El artículo no cuestiona el valor de las revistas de alto impacto, sino los procesos evaluativos centrados en la valorar únicamente la publicación en ciertas revistas.

Este trabajo no aporta nada que ya se conociera con anterioridad. La distribución de citas en los artículos sigue una ley de potencia que se describe muy mal con un valor medio como el factor de impacto.  

Para que se entienda: solo un 20 % de los trabajos recibirán más citas reales que el valor esperado según el factor de impacto de la revista, mientras el que el 80 % restante recibirá muchas menos o incluso ninguna cita.  

El 95 % de las revistas tiene factores de impacto menores de 10. Habrá revistas definidas como Q1 [primer cuartil] donde la mayoría de artículos recibirán 10, cinco o menos citas.  

La situación es incluso peor ahora, porque las revistas Q1 ya publican más del 60-70 % de los trabajos indizados, por lo que difícilmente podemos considerar ese conjunto como sinónimo de excelencia.