Do you prefer to listen to it as a podcast?
Here are the links to Substack Podcast or Apple Podcast.
Spanish written version below.
What is the Golden Idol of the Academy?
The Hollywood Oscar? No, not that academy. I am referring to the scientific academic world. Today, we will talk about the impact factor of scientific journals, the golden idol that shines the brightest and most coveted in scientific publishing.
What are its origins?
Eugene E. Garfield (1925-2017) was born in New York, and first studied chemistry. He began working as a laboratory assistant at Columbia University. He resented having to redo chemical compounds that were already synthesized, so he started indexing them.
He realized that he was more passionate about data and information management in the service of science than chemistry itself, so he decided to study library science. It was a wise decision; the young Eugene did not know it then, but it would revolutionize how the impact of scientific articles and journals is measured.
Eugene thought that the importance of a scientific article could be measured by the citations it received. If an article has many citations, it means that many other articles are talking about it, referring to it, basing their own studies and conclusions on that article, or criticizing it! That article is important. According to this way of thinking, which has its detractors, if an article does not receive citations, it has no impact; it is not relevant.
This applies not only to an article but also to an author and a journal. An author who accumulates many citations to his studies impacts science, and in the same way, a journal with many citations to its articles is of high impact.
Eugene first shared the idea of the impact factor in Science in 1955. The original approach was to find all the comments, criticisms, and contributions to each published article by making citations accessible. At that time, he founded the Institute for Scientific Information (ISI), where he developed breakthroughs in analyzing scientific publications, not just the impact factor.
Five years after devising the concept of the impact factor, he began doing so first in genetics. ISI specialized in measuring bibliographic citations. In the early 1960s, they started giving impact factors to scientific journals. The original idea was to help the researcher choose the scientific journal to publish his articles.
The ISI analyzed all the bibliographic citations of articles published in a wide list of prestigious journals. The Journal of Citation Reports or JCR was born. The resulting database was called ISI Web of Knowledge. Thus, JCR journals or journals indexed in JCR are known as those that the successors of ISI analyze; they are journals that have an impact factor, because to calculate it, the citations received by each of their articles must be analyzed, and it is only calculated for this selection of publications. Currently, 8,000 journals are in the scientific JCR, grouped into 171 categories. If a journal is not included in the JCR list, it has no impact factor.
The ISI went bankrupt in 1990 and was acquired by Thomson Scientific & Healthcare and sold to investment funds, creating the company Clarivate, which is currently in charge of measuring the impact factor. Eugene survived 27 years at ISI, passing away at 92.
How is the journal impact factor calculated?
It is published annually by Clarivate. To calculate the most used impact factor for a journal, in a specific year, the number of citations received during that year by articles published in that journal in the previous two years is analyzed and divided by the number of articles published in the previous two years. For example, if the year 2023 is evaluated, the citations received throughout 2023, in all the journals on the JCR list, will be counted for all the articles published in that journal between 2021 and 2022, and divided by the sum of the total number of articles published in that journal in 2021 and 2022.
Impact factor, first decile, and quartiles
The value of the impact factor is relative, it depends on the category of science evaluated, it is not the same for the best journal in medicine as it is for the best journal in chemistry, it is not the same in gastroenterology as it is in surgery.
For example, Nature in 2022 had an impact factor of 65, and the New England Journal of Medicine (NEJM) 159. Both are the dream of basic and clinical researchers respectively, both are reputable and very difficult to reach, but the absolute value of their impact factor is different, since Nature publishes very specific articles that receive fewer citations compared to NEJM that publishes articles with direct applicability to medicine, so they are highly cited.
To correct how relative the impact factor value is, it is important to understand the metrics of position within each category, the concept of first decile and quartiles.
Imagine that we put in order the journals, from the highest impact factor to the lowest, within a category, a particular field of science. The top 10% are the first decile journals. For example, let's imagine that in the category GASTROENTEROLOGY & HEPATOLOGY there are 100 journals, the first decile are the first 10 journals.
If we divide the area into four equal sections, we have the quartiles. The first quartile is the 25% of journals with the highest impact factor (in our example, the first 25), then goes the 2nd, 3rd and 4th quartiles. The latter includes the 25% of journals with the lowest factor, in our example, the 25 with the lowest impact.
Thus, the most prestigious is to publish in the journals of the first decile; if your article is not in the top 10%, it is best to be in the first quartile, and successively, in the second, third and fourth quartiles. Publishing in journals that are not indexed in the JCR, and therefore do not have an impact factor, is less appreciated in academia.
Criticism of the Impact Factor
The original idea of the impact factor was to help the researcher choose the scientific journal to publish his/her articles, but now it has also become the opposite: the researcher is judged by the journals he/she publishes and each article by the journal that accepts it.
The impact factor can be manipulated. Scientists cite their own studies in their articles to increase their impact. Some journals have also promoted the citation of their articles (in some cases, the ISI has penalized them).
Some studies do not find a clear correlation between the number of citations and the study's methodological quality.
What alternatives are there to the impact factor?
What is the best alternative to the impact factor to measure the quality of a journal or article? Please feel free to leave your opinion in the comments.
If you like the scientific and academic world, subscribe to my weekly blog by clicking on the blue button
I have not used artificial intelligence programs to write this blog
Factor de impacto: el ídolo dorado
¿Prefieres escucharlo como podcast? Aquí tienes los enlaces a Substack Podcast o Apple Podcast.
¿Cuál es el Ídolo Dorado de la Academia? ¿El Óscar de Hollywood? No, no esa academia. Me refiero al mundo académico científico. Hoy hablaremos del factor de impacto de las revistas científicas, el ídolo dorado que más brilla y es más codiciado en el campo de las publicaciones científicas.
¿Cuáles son sus orígenes?
Eugene E. Garfield (1925-2017) nació en Nueva York, y primero estudió química. Empezó a trabajar como asistente de laboratorio en la Universidad de Columbia. Le molestaba tener que volver a hacer compuestos químicos que ya estaban sintetizados, por lo que empezó a indexarlos.
Se dio cuenta de que le apasionaba más el manejo de datos e información al servicio de la ciencia que la propia química, por lo que decidió estudiar biblioteconomía. Y fue una sabia decisión, el joven Eugene en ese momento no lo sabía, pero revolucionaría cómo se mide el impacto de los artículos y las revistas científicas.
Eugene pensó que la importancia de un artículo científico se podía medir por las citas que recibía. Si un artículo tiene muchas citas, significa que muchos otros artículos están hablando de él, haciendo referencia a él, basando sus propios estudios y conclusiones en ese artículo, !o bien criticándolo! Ese artículo tiene impacto. Según esta forma de pensar, que tiene sus detractores, si un artículo no recibe citas, no tiene impacto, no es relevante.
Y esto no es solo aplicable a un artículo, también a un autor y a una revista. Un autor que acumula muchas citas a sus estudios tiene impacto y de la misma manera, una revista con muchas citas a sus artículos, es de alto impacto.
Eugene compartió por primera vez la idea del factor de impacto en Science en 1955. El enfoque original era encontrar todos los comentarios, críticas y aportes a cada artículo publicado al hacer accesibles las citas. En esa época fundó el Institute for Scientific Information (ISI), donde desarrolló grandes avances en el análisis de las publicaciones científicas, no solo el factor de impacto.
Cinco años después de idear el concepto del factor de impacto, comenzó a hacerlo primero en el campo de la genética. El ISI se especializó en medir las citas bibliográficas. A principios de los años 60 empezaron a dar factor de impacto a las revistas científicas. La idea original era ayudar al investigador a elegir la revista científica en la que publicar sus artículos.
En el ISI analizaban todas las citas bibliográficas de los artículos publicados en una amplia lista de revistas de prestigio. Había nacido el Journal of Citation Reports o JCR. La base de datos resultante se llamó ISI Web of Knowledge. Así, se conoce como revistas JCR o revistas indexadas en JCR a aquellas que los sucesores del ISI analizan; son revistas que tienen factor de impacto, porque para calcularlo, se han de analizar las citas que recibe cada uno de sus artículos, y solo se calcula para esta selección de publicaciones. Actualmente hay 8.000 revistas en el JCR científico, agrupadas en 171 categorías. Si una revista no está incluida en la lista JCR, no tiene factor de impacto.
El ISI quebró en 1990 y fue adquirido por Thomson Scientific & Healthcare, y posteriormente vendido a fondos de inversión, creándose la compañía Clarivate, encargada actualmente de medir el factor de impacto. Eugene sobrevivió 27 años al ISI, falleciendo a los 92 años de edad.
¿Cómo se calcula el índice de impacto de las revistas?
Se publica anualmente por la empresa Clarivate. Para calcular el factor de impacto más usado para una revista, en un año concreto, se analiza el número de citas durante ese año que reciben los artículos publicados en esa revista en los dos años previos, y se divide entre el número de artículos publicados en los dos años previos. Por ejemplo, si se evalúa el año 2023, se contarán las citas recibidas a lo largo de 2023, en todas las revistas de la lista JCR, a todos los artículos publicados en esa revista entre 2021 y 2022, y se dividirá entre la suma del número total de artículos publicados en esa revista en 2021 y 2022.
El factor de impacto, primer decil y cuartiles
El valor del factor de impacto es relativo, depende del área de la ciencia evaluada, no es igual para la mejor revista de medicina que para la de química, no es igual en gastroenterología que en cirugía.
Por ejemplo, Nature en 2022 tenía un factor de impacto de 65, y el New England Journal of Medicine (NEJM) 159. Ambas son el sueño de investigadores básicos y clínicos respectivamente, ambas son reputadas y muy difíciles de alcanzar, pero el valor absoluto de su factor de impacto es diferente, ya que Nature publica artículos muy específicos que reciben menos citas comparado con NEJM que publica artículos con aplicabilidad directa a la medicina, por lo que son muy citados.
Para corregir lo relativo que es el valor del factor de impacto, es importante entender las métricas de posición dentro de cada categoría, el concepto de primer decil y cuartiles.
Imagina que ponemos en orden las revistas, de más factor de impacto a menos, dentro de una categoría, de un campo concreto de la ciencia. El 10% que está más arriba son las revistas de primer decil. Por ejemplo, imaginemos que en la categoría GASTROENTEROLOGY & HEPATOLOGY hay 100 revistas, el primer decil son las primeras 10 revistas.
Si dividimos el área en cuatro tramos iguales, tenemos los cuartiles. El primer cuartil es el 25% de las revistas que tienen el factor de impacto más alto (en nuestro ejemplo, las 25 primeras), luego va el 2º, 3º y 4º cuartil. Este último incluye al 25% de revistas con factor más bajo, en nuestro ejemplo, las 25 con menos impacto.
Así, lo más prestigioso es publicar en las revistas del primer decil; si tu artículo no está en el 10% mejor, lo mejor es que esté en el primer cuartil, y sucesivamente, en el segundo, tercer y cuarto cuartil. Publicar en revistas no indexadas en el JCR, y que por lo tanto no tienen factor de impacto, es menos apreciado en la academia.
Críticas al factor de impacto
La idea original del factor de impacto era ayudar al investigador a elegir la revista científica en la que publicar sus artículos, pero ahora se ha convertido también en lo contrario: se juzga al investigador por las revistas en las que publica y a cada uno e los artículos por la revista que lo acepta.
El factor de impacto se puede manipular. Los científicos citan en sus artículos sus propios estudios para aumentar su impacto. También algunas revistas han promovido las citas de sus propios artículos (en algunos casos el ISI les ha penalizado).
Hay estudios que no hallan una correlación clara entre número de citas y calidad metodológica del estudio.
¿Qué alternativas hay al factor de impacto?
Me gustaría saber tu opinión ¿Cuál es la mejor alternativa al factor de impacto para medir la calidad de una revista o de un artículo? Deja tu opinión en comentarios.
Si te gusta el mundo científico y académico suscríbete a mi blog semanal apretando al botón azul
No he utilizado programas de inteligencia artificial para escribir este blog
En mi opinión tenemos que dejar de obsesionarnos con esto. Ya es bastante esfuerzo investigar y escribir un paper para empeñarse en una revista. El público target encontrará tu artículo si le interesa la temática (todos hacemos búsquedas periódicas). Y ciertos temas avanzan tan rápido que como no te des prisa en publicar, se te pasa el arroz, y ese trabajo que tanto esfuerzo ha costado se pasa de moda. Si empezamos a publicar en otras revistas artículos interesantes, estas también mejorarán si FI.