Reacción a "La mayoría de los investigadores recibirían más reconocimiento si se valoraran sus trabajos de forma independiente a la revista en la que se publican"

El estudio plantea un tema de interés, como es verificar la existencia de publicaciones altamente citadas en revistas de bajo factor de impacto. Esto plantea cuestiones relevantes en el diseño de políticas de evaluación de la actividad científica, con efectos claros en procesos de contratación y promoción en los centros de investigación.

Con todo, se trata de un asunto ya tratado ampliamente en la literatura científica. El potencial del trabajo está en el amplio dataset de publicaciones en biomedicina y en la amplia variedad de variables analizadas.

Como elementos en contra, creo que su estructura no es la más adecuada para un trabajo de ciencias sociales. Aunque esté publicado en PLoS Biology y analice publicaciones en biomedicina, es un artículo de ciencias sociales. Además, se presentan muchos datos y gráficas pero con poca profundidad y discusión, desde un plano bibliométrico.

El artículo no incluye la discusión existente en la literatura en torno al uso del factor de impacto en procesos evaluativos, que es amplia, diversa y con distintas escuelas de pensamiento. Se echa en falta una revisión de la literatura más profunda para contextualizar los resultados mostrados en un campo de conocimiento concreto.

Además, el artículo no tiene en cuenta todas las reformas en la evaluación de la investigación llevados a cabo en muchos países en los últimos años. En España, por ejemplo, en el sector universitario ya no se evalúa de acuerdo al factor de impacto de las revistas. Tanto el proceso de acreditación como de tramos de investigación fueron reformados por ANECA y ya contemplan una amplia cantidad de indicadores e indicios de calidad más allá del valor de la revista. Por tanto, el proceso de cambio ya está operativo en el territorio nacional desde hace dos años de forma oficial.

Es cierto que en los procesos de concurso todavía tiene más poder el factor de impacto en algunos campos pero, si se usan como factor determinante, esto estaría en contra de los principios de COARA, a los que muchas universidades y centros se han adherido.

Por otro lado, dado que las revistas con alto factor de impacto son revistas elitistas, con altos APCs [cargos por procesamiento de artículos], y en temáticas y campos muy concretos, las publicaciones dentro de esas revistas plantean sesgos (por edad, género, raza, etc.). Si abrimos la cantidad de revistas que considerar, estos sesgos se suavizan, aunque no se eliminan. Este resultado es obvio, pero es importante que lo resalten y pongan números que lo sustenten.

La principal limitación que, a mi juicio, tiene el estudio es el procedimiento para determinar el valor de alta citación de los trabajos. Los autores utilizan la mediana del RCR [índice de citación relativo] de las publicaciones publicadas en revistas con un factor de impacto superior a 15. Creo que este planteamiento es un error.

Se conoce que la distribución de citas entre los artículos de una revista está muy sesgada. Es decir, pocos trabajos reciben muchas citas mientras la mayoría recibe pocas, o ninguna. Esto quiere decir que el factor de impacto de las revistas se construye a partir del impacto de unos pocos trabajos. Aunque los autores usan un indicador ponderado (RCR), esto no evita este problema. No veo cómo puede ser un estándar de ‘citabilidad’ la mediana del RCR de las publicaciones publicadas en esas revistas.

Hay otros métodos de comparabilidad que creo que hubieran sido mejores. Con todo, el resultado es obvio: ya sabemos que hay artículos muy citados en revistas con bajo factor de impacto y artículos no citados en revistas de alto factor de impacto.

Por otro lado, el problema de fondo es que los autores siguen confiando en las citas como elemento fundamental en la evaluación. Las métricas a nivel de publicación van más allá de las citas, que son importantes, pero no son el santo grial. Las citas pueden producirse por multitud de razones, por lo que la mera acumulación de citas no constituye ‘impacto’ o ‘influencia’ necesariamente. Los procesos evaluativos requieren del uso de una amplia variedad de indicadores, así como del juicio de expertos, para ser llevados a cabo de forma rigurosa. Además, van a depender de los objetivos del proceso evaluativo, que pueden ser muy diferentes.

Hoy en día, la mera coautoría (en cualquier revista, de alto factor de impacto o sin él) o citación no son sinónimos de calidad, impacto o reputación.

Las revistas de alto factor de impacto son indicativas de lo difícil que es publicar en esas revistas. Sirven a modo de señal de aquellas revistas que son altamente demandadas por la comunidad para publicar sus trabajos. Son revistas con una potente imagen de marca, con prestigio acumulado y con gran capacidad de difusión y generadoras de atención.

Esto influye indudablemente en el comportamiento de las personas, que prefieren citar trabajos publicados en revistas de alto impacto, porque esto puede ayudar a convencer a las personas evaluadoras del trabajo o incluso llamar la atención de las personas citadas, y les ayuda, además, a mostrar un nivel de ‘prestigio’ en procesos evaluativos. No obstante, este marchamo de calidad y reputación es un ‘constructo social’.

Las revistas de alto factor de impacto constituyen un reclamo para recibir buenos trabajos; se asume además que va a existir un control (peer-review) más riguroso que en otras revistas, al ser revistas con muchas solicitudes y, por tanto, con una elevada tasa de rechazo. No obstante, esto es la teoría. Esto no garantiza que la revisión sea de calidad (esto depende de muchas variables) ni que si se publica en una de esas revistas vaya a tener relevancia o citas.

Debe entenderse que una revista es un conglomerado de artículos buenos, regulares y malos. Esto no significa que no sirvan las métricas de revistas. Pueden ser informativas de la calidad editorial o incluso de la capacidad de publicación de trabajos relevantes dentro de una disciplina. La capacidad de publicar en revistas del alto impacto es solamente una pequeña dimensión de los aspectos que deben ser considerados en el proceso evaluativo de una persona. El artículo no cuestiona el valor de las revistas de alto impacto, sino los procesos evaluativos centrados en la valorar únicamente la publicación en ciertas revistas.