La evaluación de una revista científica

Una de las principales actividades de un investigador es la publicación de artículos relacionados con sus temas de investigación.

La evaluación de la calidad de la investigación es esencial para acceder a la financiación que puede obtenerse, por ejemplo, a través de la participación en proyectos europeos. Cuando se obtiene financiación pública, es necesario que los resultados de la investigación estén a disposición de todos de forma gratuita e inmediata. Una buena evaluación de la calidad de la investigación también es esencial para emprender la carrera académica.

Por lo tanto, en la evaluación de una Revista hoy en día es muy importante que esta revista esté en Acceso Abierto, otras características fundamentales son una periodicidad regular, el código ISSN, la traducción de al menos el resumen al inglés, la presencia de palabras clave y la presencia de un Comité Científico relevante, posiblemente internacional. Las revistas se dividen principalmente en dos grandes grupos: los científicos y los humanistas. Los primeros se caracterizan por el Factor de Impacto, es decir, un índice resultante de una relación entre las citas de artículos publicados en los dos años anteriores y el número total de artículos publicados en ese mismo período de dos años por la revista. Las citas de los artículos fluyen hacia el Journal Citation Report, Scopus y la Web of Science:

• Science Citation Index Ampliado cubre más de 8.500 revistas destacadas que abarcan 150 disciplinas. La cobertura va desde el año 1900 hasta la actualidad.
• El Social Science Citation Index abarca más de 3.000 revistas en las disciplinas de las ciencias sociales. El rango de cobertura va desde el año 1900 hasta la actualidad.
• El Índice de Citas de Artes y Humanidades cubre más de 1.700 revistas de artes y humanidades desde 1975. Además, también se cubren 250 revistas científicas y sociales líderes.
• El Índice de citas de fuentes emergentes cubre más de 5.000 revistas de ciencias, ciencias sociales y humanidades.
• El Índice de citas de libros cubre más de 60.000 libros seleccionados de manera editorial desde 2005.
• El Índice de Citas de Actas de Conferencias (CPCI) cubre más de 160,000 títulos de conferencias científicas desde 1990 hasta la actualidad.

Por ejemplo, el cálculo de IF 2018 para la revista en consideración:

75 2018
Citas de artículos publicados en 2016-17 75 = 0.484
155 Total de artículos publicados en 2016-17

En cambio, las revistas de tipo humanístico se organizan en clases: en la clase A encontramos las revistas más prestigiosas para cada disciplina, revistas que se han sometido a un proceso de revisión por pares, que salen regularmente, ya presentes desde hace varios años, con resúmenes en inglés, etc.; para acceder a la clase A, se debe hacer una solicitud muy documentada.

Un interesante artículo de Faggiolani y Solimine sobre el tema de la evaluación fue publicado hace diez años en AIB Studi¹. Si lo buscamos en la página de Aib Studi, podemos ver varias cosas: a la derecha donde está indexada esta revista (ANVUR, DOAJ, SCOPUS), en el centro el doi, el resumen, todos los datos importantes, un gráfico con las descargas actualizadas hasta el mes pasado, las referencias y, por último, cómo se debe citar el artículo.

El artículo destaca que, para las publicaciones en humanidades, la monografía es a menudo más significativa que el único artículo y se penaliza la publicación en un idioma que no sea el inglés. A menudo las publicaciones en las humanidades no están en múltiples manos y esto reduce en gran medida el número de citas. Además, para las revistas humanísticas, el valor científico generalmente se extiende por un tiempo mucho más largo, incluso durante muchos años. Por lo tanto, se mantiene la importancia de la revisión por pares, aunque también hay problemas en esta práctica. Así que quizás la mejor solución sería un enfoque mixto que tenga en cuenta algunos factores «medibles», pero también una revisión doble ciego por pares (autores y evaluadores mutuamente desconocidos). El artículo imagina que las bibliotecas podrían dar algún impulso para comprender el impacto real de una publicación en el resto del mundo científico, evaluando la existencia de restos y la presencia en catálogos de bibliotecas de prestigio, con métodos como el LCA (Library Catalog Analysis). Otros autores, como Figà Talamanca, se lanzaron, hace veinte años, contra el uso del IF en matemáticas, porque también se tomaron en cuenta las citas de “amigos”, o bien se incluyeron citas “negativas” en el recuento. En última instancia, no es seguro que una gran cantidad necesariamente también signifique calidad².

Fig. 1. C. Faggiolani e G. Solimine, 2012, La valutazione della ricerca, la bibliometria e l’albero di Bertoldo, AIB studi, 52, 1 (mag. 2012). DOI: https://doi.org/10.2426/aibstu- di-6290.

De acuerdo con Antonella De Robbio: “Para medir el impacto del trabajo de un autor dentro de la comunidad científica, es esencial comenzar a experimentar con nuevas técnicas bibliométricas dentro de los archivos abiertos junto con el desarrollo de nuevas modalidades“ abiertas ”dirigidas a satisfacer las sofisticadas necesidades para una correcta evaluación de las producciones de investigación intelectual. […] Open Access abre nuevas fronteras, no sólo en el desarrollo de indicadores bibliométricos de nueva generación centrados en la obra única o en cualquier caso en el autor más que en la publicación periódica, sino sobre todo en términos de infraestructura útil para una evaluación de impacto de amplio alcance”³. De Robbio también cita el estudio de Daniel Torres-Salinas de 2009 sobre ACV para monografías, que es el producto más popular para las ciencias humanas ⁴.

En 2014, Simona Turbanti⁵ en Navigating the sea by Scop- us Web Of Science y Google Scholar describe la investigación – llevada a cabo en las dos grandes bases de datos de citas, Web of science y Scopus, y en Google Scholar – de los trabajos científicos de los profesores e investigadores del sector M-STO/ 08, archivos y biblioteconomía, ilustrando el método seguido, las principales diferencias de uso así como las limitaciones de las bases de datos consultadas. WoS realiza búsquedas en más de 12.300 revistas, alrededor de 150.000 actas de congresos y 30.000 publicaciones monográficas, con una clara prevalencia de títulos del área norteamericana, mientras que el Scopus ‘más joven’ cubre alrededor de 19.500 títulos de periódicos, muchos de ellos de Europa, más de 350 colecciones de monografías (y, a partir de 2013, también monografías individuales), casi 5.000.000 de documentos de congresos y patentes.

Consultando el Journal Citation Report, un informe anual elaborado por el ISI (Instituto de Información Científica), donde se pueden encontrar las estadísticas sobre el número de citas que se hacen dentro de un gran número de revistas técnico-científicas, podemos encontrar, además del Impact Factor, otros indicadores que nos permiten entender el valor de una revista:

• Índice de inmediatez: mide la rapidez con la que se cita un artículo de una revista en promedio y la frecuencia con la que se citan los artículos de esa revista en el
• Semivida citada: mide la duración media de las citas de artículos en una revista en el año en curso, o más bien la relevancia continua de una publicación.
• Índice de Tasa de Citas: un índice de calidad de un solo artículo, cuanto más se cita el trabajo, más significativo es su valor científico.

Impacto de citas: resulta de la relación entre el número de citas y el número de trabajos publicados. Se refiere directamente a la utilidad que las publicaciones de una nación, universidad, estructura de investigación o incluso de un solo investigador han tenido en el mundo científico.

Por ejemplo, buscando la Revista Científica en la JCR Coastal Engineering Journal encontramos la descripción de la revista, lugar de publicación, periodicidad, IF, con esta breve descripción en inglés de la FIP: “es una métrica a nivel de revista calculada a partir de datos indexados en la Web of Science Core Collection. Debe utilizarse con especial atención a los muchos factores que influyen en las tasas de citas, como el volumen de publicación y las características de las citas del área temática y el tipo de revista. El factor de impacto de la revista puede complementar la opinión de los expertos y la revisión por pares informada. En el caso de la evaluación académica para la tenencia, es inapropiado usar una métrica a nivel de revista como una medida proxy para investigadores, instituciones o artículos individuales».

Además de los datos numéricos, por ejemplo, el IF de 2020 es 3216 (muy alto) y al eliminar las autocitas, es 2811, que sigue siendo muy alto. También es interesante ver la tendencia del FI en una representación gráfica.

La clasificación de las revistas humanísticas es una actividad realizada por ANVUR (Agencia Nacional para la Evaluación del Sistema Universitario y de Investigación) con el fin de calcular los indicadores de la Calificación Científica Nacional a partir de 2012. También es necesario a efectos de acreditar los cursos de doctorado, en relación con el requisito A4.3 a partir del ciclo XXXIII (a.y. 2017-18), realizados exclusivamente para los sectores previstos por la legislación pertinente, es decir, aquellos que forman parte de las ciencias humanas y sociales e identificados como “no bibliométricos”. La clasificación se divide en 6 áreas:

• Arquitectura (Area CUN / VQR 8.a).
• Ciencias antiguas, filológico-literarias e histórico-artísticas (Área 10).
• Ciencias históricas, filosóficas y pedagógicas (Área 11.a).
• Ciencias Jurídicas (Área 12).
• Ciencias económicas y estadísticas (área 13).
• Ciencias políticas y sociales (Área 14)⁶.

De acuerdo con el reglamento ANVUR, para ser incluido en la lista de publicaciones científicas de clase A, una revista debe garantizar procedimientos de arbitraje «doble ciego» (revisión doble ciego). Por el contrario, la evaluación de los productos de investigación a través del VQR es solo una «revisión ciega unilateral» porque el evaluador es consciente de la identidad del autor. Esta falta de anonimato puede llevar a evaluar al autor en lugar del trabajo.

Por lo tanto, antes de decidir dónde publicar, un investigador astuto elige una revista que tenga un buen factor de impacto o que esté en la clase A.

¿Qué sucede en cambio con las revistas multidisciplinarias, como en el caso de nuestro UniCamillus Global Heath Journal? Es decir, que no pueden insertarse dentro de estas dos categorías.

En la web de la ANVUR del 15/02/2016, por tanto hace ahora 6 años, se especifica lo siguiente: “Aclaración sobre el tratamiento de revistas multidisciplinares (como Naturaleza, Ciencia, etc.) en evaluación bibliométrica. Los artículos publicados en estas revistas obviamente serán aceptados para evaluación, y pueden ser evaluados con el método bibliométrico. Como ya se indicó en el documento adjunto a la publicación de los datos de la Web of Science y en la nota aclaratoria sobre la aplicación del algoritmo bibliométrico, de hecho, los productos publicados en estas revistas, durante la evaluación bibliométrica, se evaluarán utilizando los umbrales del SC a a los que pertenecen la mayoría de los artículos citados por el producto en la bibliografía y los que han citado el producto en sí”.

Por lo tanto, la mayoría de los artículos publicados en la revista serán considerados a efectos de evaluación.

Recientemente se ha publicado en Estados Unidos un interesante volumen: Zaumanis M. (2021), Write an impactful research paper: A scientific writing technique that will shape your academic career, ISBN 13 9798680546949.

El autor es un joven doctorando en los Estados Unidos, actualmente investigador en Suiza en Empa (un grupo de investigación que forma parte de ETH).

El libro tiene como objetivo mostrar estrategias y herramientas con el fin de dirigir a los aspirantes a académicos y autores hacia la buena redacción de artículos científicos exitosos. Está dirigido a lectores especializados en cualquier campo científico y humanístico. La intención es llegar sobre todo a los jóvenes investigadores, incluso (pero quizás sobre todo) sin publicaciones. El intento de estimular este tipo de audiencia enmascara la crítica sutil del mundo académico multidisciplinar, a veces tan elitista y aterradora como para parecer inalcanzable. Este libro se divide en dos secciones.

Parte 1: El enfoque de escritura de LEAP

El enfoque de escritura académica de EAP es un enfoque esquemático y sistemático del artículo y una indicación para seleccionar la publicación periódica adecuada en la que publicarlo. Desde el punto de vista lingüístico, se hace referencia tanto a la forma como al lenguaje vehicular de la investigación. La importancia y la eficacia de un artículo científico residen en el mensaje que se quiere comunicar al lector, no en la selección de términos sonoros y superfluos que sólo podrían confundir. En cuanto a la elección del inglés como lengua vehicular, es sin duda la opción más sensata para llegar a un público más amplio, sin embargo no es necesario tener un alto nivel de competencia y dominio de la misma. En cuanto a los contenidos, todo trabajo académico merece atención, así como la idea que hay detrás y los resultados obtenidos.

El principio LEAP

L: Diseño, gráficos y tablas actúan como un soporte fundamental para la presentación de un artículo científico. Las imágenes (simples y a veces incluso autodescriptivas) representan un gran recurso para el lector, así como para el autor. La lectura se vuelve más rápida y explicativa, así como menos exigente. Zaumanis proporciona el enlace a un sitio (https://peerrecognized.com) específicamente para la creación de un artículo, contiene todas las herramientas necesarias al respecto.

E: Explique los resultados. Al redactar el artículo es imprescindible tener siempre presente el mensaje que se quiere comunicar; debe ser directo y “fácil” de entender, a pesar de la complejidad de la investigación realizada. Así, pasamos a la explicación de los objetivos, de los resultados y de los métodos utilizados (todo esto se irá afinando cada vez también desde el punto de vista lingüístico). El objetivo será hacer que todos los lectores lleguen a la misma conclusión. No se debe subestimar la importancia de las fuentes y la bibliografía consultada para el trabajo, es importante que los usuarios puedan verificar la veracidad de la investigación para considerarla confiable (y luego citarla y explotarla en otros campos de estudio). Cada objetivo inicialmente establecido debe encontrar su propia respuesta dentro de la conclusión. La importancia de la coherencia y la rutina

R: Publicidad. La investigación requiere una estructura sólida y coherente para una publicación de calidad. Esto significa que el orden estructural del artículo será relevante para el impacto que tendrá en los lectores. El resumen y el título serán esenciales para atraer la atención del lector y animarlo a leer el periódico. Esto significa que un resumen fácil de entender será más estimulante para los usuarios.

P: Prepararse para la presentación. La calidad del documento será ciertamente relevante para una publicación. Lo que es aún más importante, sin embargo, es la selección del periódico o revista adecuada en la que publicarlo. Hay algunos criterios de selección importantes en este sentido; objetivos e historia de la revista/periódico; contenido requerido; acceso al público; periodicidad; clasificación y confiabilidad.

Conoce y respeta las reglas del juego

Ocho reglas a seguir para su publicación con el objetivo de lograr el éxito y un alto nivel de resonancia académica.

Publique mucho al principio de su carrera: es importante crear una cierta frecuencia con respecto a las publicaciones. Si no comete errores (a veces fatales), el resultado será óptimo y la fama crecerá cada vez más.

Publicar artículos de alto impacto. Coautor eficientemente: es difícil y extremadamente importante, en el caso de las colaboraciones, encontrar coautores válidos y colaborativos en el punto correcto. El conocimiento del otro es la base de todo. A esto le sigue la elaboración y definición del objetivo. La división de tareas: siempre resuma todas las decisiones tomadas haciendo esquemas escritos.

Construir una presencia online para estar al día de los tiempos y con los recursos tecnológicos que afortunadamente tenemos disponibles. Crear un nombre no será fácil, pero una buena presentación en línea de su persona es un excelente trampolín para la publicación y difusión de sus trabajos de investigación.

Priorizar las revistas sobre los procedimientos de la conferencia: es bueno que un trabajo de investigación se complete antes de cualquier presentación de la misma, durante una conferencia. La presentación de los resultados obtenidos entonces, durante debates y conferencias, permitirá llegar a un público aún más amplio que el de las revistas.

Anunciar en conferencias la importancia del reconocimiento de los pares. La pirámide de las 5 S para la presentación. Sustancia (en la base de cualquier presentación científica); Estructura (si una tesis debe respetar la estructura intro-método-resultados-conclusiones; en una conferencia lo importante es ser claro y directo con la audiencia); Mostrar historias (cortas, evaluables e interesantes para hacer llegar su mensaje al público); Orador (la presencia y la actitud son muy importantes.

Publicar el acceso abierto aumenta la credibilidad, permite posibles colaboraciones; mayor visibilidad de grandes empresas y editores; intercambio de conocimientos; más cotizaciones.

Revisar el trabajo de los demás. ¡Sé crítico pero siempre imparcial! Las críticas deben ser constructivas y deben ser capaces de producir más conocimiento.

En conclusión, a la vez que se reitera que antes de decidir qué revista, incluso de tipo multidisciplinar, es mejor publicar, conviene considerar detenidamente:

• Junta editorial
• Reputación de la revista en su campo disciplinario.
• Circulación de la revista.
• Factor de impacto o perteneciente a la clase A.

Aquí hay algunas bases de datos útiles con acceso libre o reservado (a algunas universidades) para información:

• Journal of Citation Reports (base de datos de acceso restringido) que evalúa las revistas científicas mediante el procesamiento de estadísticas basadas en el análisis de citas.
• Scopus Journal Metrics (base de datos de acceso restringido) que proporciona un análisis rápido y transparente del progreso de una revista.
• Scimago Journal Base de datos gratuita de rango que genera estadísticas sobre citas de artículos también a nivel de país.
• Herramienta Elsevier Journal Finder desarrollada por Elsevier para seleccionar la revista más adecuada a partir del resumen que se produce.
• Sitio gratuito de JournalGuide útil para el reconocimiento fácil y confiable de revistas autorizadas donde desde el título de una revista podemos encontrar enlaces a: sitio web de la revista, instrucciones del autor y página de envío.
• ThinkCheckSubmit sitio nacido de la iniciativa de algunos editores para facilitar al investigador en la elección de revistas fiables.