El contexto del análisis de autocitas

Las autocitas son un tema clave en el ámbito de las publicaciones académicas. Aunque pueden reflejar la especialización y profundidad de investigación de una revista, también generan preocupación cuando se utilizan para aumentar artificialmente métricas como el Impact Factor (IF) y el CiteScore, distorsionando así el valor percibido de una revista.

Las autocitas cobraron especial relevancia tras la publicación del 2024 Journal Citation Report (JCR) de Clarivate, que incluyó la suspensión de 17 revistas de varias editoriales por presentar patrones de autocitación excesivos (véase Clarivate Suppression List 2023). Ante esta situación, la editorial MDPI ha realizado un análisis detallado de los patrones de citación en sus 237 revistas indexadas en el JCR, con el objetivo de garantizar su adecuación con las normativas del sector y reafirmar su compromiso con la transparencia, la mejora continua y la integridad editorial.

En este artículo te detallamos la metodología utilizada y los principales hallazgos de este análisis de autocitas.

Metodología

Como parte de esta evaluación, se compararon las revistas de MDPI con otras revistas de su misma categoría del JCR. Para ello, se utilizó información de Web of Science (WoS), una fuente independiente y alineada con los datos que impactan en las puntuaciones del JCR, lo que permitió una comparación precisa y abierta con los datos de otras editoriales.

Los datos originales y los scripts en Python utilizados para este análisis están disponibles en: 10.5281/zenodo.14844342

Principales hallazgos: concordancia con las normativas del sector

Los resultados de este estudio revelan que las prácticas de citación de MDPI son sólidas, consistentes y comparables con las tendencias predominantes de la industria.

Se evaluaron 237 revistas de MDPI indexadas en el JCR, analizando su IF con y sin autocitas en el año más reciente disponible (2024). Además, se examinaron los índices de autocitación (Self-Citation Rates, SCR) en relación con los promedios por categoría, evaluando cómo las autocitas influyen en el posicionamiento de las revistas dentro de sus respectivas categorías.

Aunque se observó cierta variabilidad, en general, las revistas de MDPI se alinean con las normativas del sector y los límites establecidos por WoS. MDPI tiene una proporción baja de revistas con índices elevados de autocitación en comparación con otras editoriales líderes en la industria.

MDPI tiene una proporción baja de revistas con índices elevados de autocitación en comparación con otras editoriales líderes en la industria.

En 2024, el promedio general de SCR de MDPI fue 14.85%, lo que posicionó a MDPI en el sexto lugar entre las diez principales editoriales por SCR, y en cuarto lugar por volumen de publicaciones (Figura 1 y Tabla 1).

Figura 1. Promedio de autocitas y documentos publicados por las principales editoriales. Datos de 2024.

Tabla 1. Documentos publicados en total y promedio de autocitas de las principales editoriales. Datos de 2024.

Los SCR de las revistas de MDPI se calcularon individualmente y se compararon con el promedio de autocitas de las revistas incluidas en sus respectivas categorías del JCR. Para las revistas indexadas en múltiples categorías, se seleccionó por defecto su primera categoría.

Más allá de las citas: impacto global de la investigación

También se examinó la distribución general de los SCR en todas las revistas del JCR y se comparó con la de las revistas de MDPI. La Figura 2 muestra que los SCR no siguen una distribución normal, sino una distribución sesgada hacia la derecha, lo que indica que la mayoría de las revistas presentan tasas de autocitas relativamente bajas, aunque una minoría exhibe valores significativamente más altos.

Figura 2. Distribución de autocitas de las revistas indexas en Web of Science (en azul) frente a las de MDPI (en rojo). La línea negra vertical representa la media total, mientras que la línea rosa representa la media de MDPI. La línea morada discontinua represente el límite para el percentil 95.

Basándose en esta distribución, se decidió estudiar las revistas según su posición en percentil, definiendo aquellas revistas cuyo percentil era superior a 95 como revistas con nivel de autocitas anómalo.

• La mediana de SCR en todas las revistas JCR fue 0.12
• La mediana de SCR para revistas de MDPI fue 0.14
• Esta diferencia no fue estadísticamente significativa (test de Wilcoxon, p-valor 0.33374), indicando que dicha variación se debe al azar y no a una diferencia real en el comportamiento de los datos.

Este análisis se repitió a nivel de categoría del JCR, agrupando las revistas por su categoría principal y generando distribuciones de SCR para identificar revistas con nivel de autocitas anómalo dentro de cada campo específico.

En la Figura 3 se observa que dichas revistas con comportamientos anómalos tienen niveles de autocitas altamente variables con un rango de entre el 20% y el 100% de autocitas. Sin embargo, para las revistas de MDPI, el rango fue más contenido: entre el 20% y el 40%. Es interesante destacar que algunas revistas de MDPI, pese a tener niveles de autocitas bastante elevados, no presentaban niveles anómalos. Esto sugiere que dichas revistas pertenecen a categorías con tasas de SCR inherentemente más elevadas. Esta observación resalta la necesidad de hacer estas evaluaciones por categoría en lugar de aplicar umbrales a nivel general.

Figura 3. Comparación de autocitas entre las revistas de MDPI y la agrupación de las principales editoriales excluyendo MDPI. Los puntos grises representan revistas cuyo nivel de autocitas está por debajo del percentil 95 en su respectiva categoría, mientras que los puntos rojos representan revistas cuyo nivel de autocitas está por encima del percentil 95.

En resumen, entre las 10 principales editoriales (excluyendo a MDPI), el 4.7% de las revistas fueron clasificadas como anómalas basándose en su nivel de autocitas, mientras que en MDPI esta cifra fue del 2.3%.

Impacto mínimo en los rankings

También se analizó si la exclusión de las autocitas en los cálculos del IF afectaría significativamente el ranking de una revista dentro de su categoría. Este análisis reveló que los cambios observados en los rankings fueron moderados, con una variación promedio del 7% en los datos de 2024.

Resultados clave de las 237 revistas MDPI analizadas

• 105 revistas (44%) experimentaron un cambio de ranking entre -10% y +10% al excluir las autocitas.
• 74 revistas vieron su ranking disminuido; mientras que 49 lo aumentaron al excluir las autocitas.
• 6 revistas bajaron más de un 20%; y 8 aumentaron más de un 20%.

También se analizó si hubo cambios en el cuartil de las revistas de MDPI al eliminar las autocitas. Tal y como muestra la Tabla 2:

• 14 revistas bajaron de cuartil (5 de Q1 a Q2, 9 de Q2 a Q3).
• 7 revistas subieron de cuartil (1 de Q4 a Q3, 3 de Q3 a Q2, 3 de Q2 a Q1).
• El 91% de las revistas de MDPI se mantuvieron en el mismo cuartil.
• El 97% del portafolio indexado de MDPI no se vio afectado por estos cambios.

Tabla 2. Matriz de transición de cambios de cuartil para las revistas de MDPI. Esta tabla representa una matriz de transición de cuartil para las revistas de MDPI resultado de comparar su Impact Factor (IF) con y sin incluir las autocitas.  Las filas representan el cuartil original (From Quartile) calculado usando el IF normal, mientras que las columnas representan el nuevo cuartil (To Quartile) que la revista tendría calculado usando el IF sin autocitas. Cada celda representa el número de revistas que se han movido de cuartil.

Estos resultados refuerzan la idea de que las autocitas tienen un impacto mínimo en los rankings de las revistas de MDPI, destacando la integridad de sus prácticas editoriales y la ausencia de intentos deliberados para manipular los indicadores.

Reforzando la transparencia y la integridad científica

Como parte de nuestro compromiso continuo con la integridad, la transparencia y la protección del registro científico, en MDPI estamos abiertos a un mayor escrutinio de los datos utilizados.

En MDPI creemos que el impacto de la ciencia y la investigación va más allá de las métricas. La investigación científica debe contribuir al avance del conocimiento, a abordar desafíos sociales y a fomentar conversaciones académicas significativas. Indicadores más amplios, como la calidad de la investigación, la relevancia social y la influencia académica, también son fundamentales e igualmente importantes.

Invitamos a nuestros autores, editores y lectores a explorar este análisis y a participar en conversaciones sobre una publicación responsable. Juntos, podemos seguir fomentando los más altos estándares en la comunicación científica.

Este artículo es una traducción del artículo original escrito por la Dra. Giulia Stefenelli (Scientific Communications Lead, MDPI) y el Dr. Enric Sayas (Business Analyst, MDPI).