Reacción a "La mayoría de los investigadores recibirían más reconocimiento si se valoraran sus trabajos de forma independiente a la revista en la que se publican"

El artículo es muy pertinente porque viene a demostrar empíricamente un hecho ya conocido de forma teórica: que no se puede asociar el impacto de la revista con el de los artículos publicados. La razón está en que los indicadores de revistas como el Journal Impact Factor se basan en el promedio de citación de los artículos publicados en una ventana de tiempo. Esta distribución está muy sesgada, siguiendo una potencial (power law), lo que significa que la media se ve arrastrada por los valores más extremos. Así, solo una pequeña fracción de los artículos más citados (10-20 %) son los que contribuyen al factor de impacto de la revista y el resto aportan poco o lo contrarrestan. De esta forma, lo que demuestra el artículo es que existen artículos que tienen un impacto real normalizado (RCR) por encima del impacto de la revista que le corresponde.  

Sin embargo, el estudio está limitado al campo de la biomedicina (usa PubMed como fuente de datos). Aunque este fenómeno es también esperable al resto de disciplinas, no sabemos si este hecho es más o menos significativo en determinadas áreas. Otra limitación que explicaría que el estudio encuentre más artículos por encima que por debajo del factor de impacto de la revista es que limita a autores que han tenido una ayuda del NIH [Institutos Nacionales de Salud de Estados Unidos]. Esto podría sesgar a autores estadounidenses con una posición consolidada que probablemente produzcan resultados de mayor calidad, por encima de la media.  

No se trata de que los resultados desacrediten a las revistas, sino a la valoración de artículos usándolas. Los indicadores de revistas cumplen su función de generar un parámetro que nos permite valorarlas. Aquellas con más impacto nos informan de que publican resultados de mayor calidad. Este indicador también tiene un efecto gravitacional (provocado por la errónea evaluación de artículos según la revista). Las que tienen mayor impacto tienden a atraer más envíos, y por lo tanto podrían seleccionar mejores publicaciones que refuerzan de nuevo su impacto. Hay un efecto llamada.