L’évaluation d’un magazine scientifique

L’une des principales activités d’un chercheur est la publication d’articles portant sur ses sujets de recherche.

L’évaluation de la qualité de la recherche est essentielle pour accéder au financement qui peut venir, par exemple, par la participation à des projets européens. Lorsque des fonds publics sont obtenus, il est nécessaire que les résultats de la recherche soient ensuite mis gratuitement et immédiatement à la disposition de tous. Une bonne évaluation de la qualité de la recherche est également essentielle pour entreprendre la carrière universitaire.

Par conséquent, dans l’évaluation d’un journal aujourd’hui, il est très important que ce journal soit en libre accès, d’autres caractéristiques fondamentales sont une périodicité régulière, le code ISSN, la traduction d’au moins le résumé en anglais, la présence de mots clés et la présence d’un comité scientifique pertinent, éventuellement international. Les revues sont principalement divisées en deux grands groupes : les scientifiques et les humanistes. Les premiers sont caractérisés par le facteur d’impact, c’est-à-dire un indice résultant d’une relation entre les citations d’articles publiés au cours de la période de deux ans précédente et le nombre total d’articles publiés au cours de cette même période de deux ans par le magazine. Les citations des articles se retrouvent dans le Journal Citation Report, Scopus and the Web of Science :

• Science Citation Index Expanded couvre plus de 8 500 revues remarquables couvrant 150 disciplines. La couverture va de l’année 1900 à nos jours.
• L’index des citations en sciences sociales couvre plus de 3 000 revues dans les disciplines des sciences sociales. La couverture va de l’année 1900 à nos jours.
• Arts & Humanities Citation Index couvre plus de 1700 revues d’arts et de lettres depuis 1975. En outre, 250 revues scientifiques et sociales de premier plan sont également couvertes.
• L’index des citations de sources émergentes couvre plus de 5 000 revues de sciences, de sciences sociales et de sciences humaines.
• L’index des citations de livres couvre plus de 60 000 livres sélectionnés de manière éditoriale depuis 2005.
• L’index des citations pour les actes de conférences (CPCI) couvre plus de 160 000 titres de conférences scientifiques de 1990 à aujourd’hui.

Par exemple, en calculant SI 2018 pour le journal considéré :

75 2018
Citations d’articles publiés en 2016-2017 75 = 0,484
155 Total des articles publiés en 2016-2017

Les revues de type humaniste sont plutôt organisées en classes : en classe A on retrouve les revues les plus prestigieuses pour chaque discipline, des revues qui ont subi un processus d’évaluation par les pairs, qui sortent régulièrement, déjà présentes depuis plusieurs années, avec des résumés en anglais etc. ; pour accéder à la classe A, une demande très documentée doit être faite.

Un article intéressant de Faggiolani et Solimine sur la question de l’évaluation a été publié il y a dix ans sur AIB Studi¹. Si nous le cherchons sur la page d’Aib Studi, nous pouvons voir différentes choses : à droite où ce magazine est indexé (ANVUR, DOAJ, SCOPUS), au centre le DOI, l’abstrait, toutes les données importantes, un graphique avec les téléchargements mis à jour jusqu’au mois dernier, les références et, enfin, comment l’article devrait être cité.

L’article souligne que, pour les publications en sciences humaines, la monographie est souvent plus importante que le seul article et la publication dans une langue autre que l’anglais est pénalisée. Souvent, les publications en sciences humaines ne sont pas entre de multiples mains, ce qui réduit considérablement le nombre de citations. En outre, pour les revues humanistes, la valeur scientifique s’étend généralement sur une période beaucoup plus longue, même pendant de nombreuses années. L’importance de l’examen par les pairs est donc confirmée, bien qu’il y ait également des problèmes dans cette pratique. Ainsi, la meilleure solution serait peut-être une approche mixte qui prendrait en compte certains facteurs « mesurables », mais aussi un examen par les pairs en double aveugle (auteurs et évaluateurs mutuellement inconnus). L’article imagine que les bibliothèques pourraient donner une certaine impulsion à la compréhension de l’impact réel d’une publication sur le reste du monde scientifique, en évaluant l’existence de vestiges et la présence dans les catalogues de bibliothèques prestigieuses, avec des méthodes telles que la LCA (Library Catalog Analysis). D’autres auteurs, comme Figà Talamanca, se sont lancés, il y a vingt ans, contre l’utilisation de la FI en mathématiques, parce que des citations « amis » ont également été prises en compte, ou bien des citations « négatives » ont été incluses dans le décompte. En fin de compte, il n’est pas certain qu’une grande quantité signifie nécessairement aussi qualité².

Fig. 1. C. Faggiolani e G. Solimine, 2012, La valutazione della ricerca, la bibliometria e l’albero di Bertoldo, AIB studi, 52, 1 (mag. 2012). DOI : https://doi.org/10.2426/aibstu- di-6290.

Selon Antonella De Robbio : « Pour mesurer l’impact de l’œuvre d’un auteur au sein de la communauté scientifique, il est essentiel de commencer à expérimenter de nouvelles techniques bibliométriques au sein des archives ouvertes ainsi que le développement de nouvelles modalités “ouvertes” visant à satisfaire les besoins sophistiqués d’une évaluation correcte des productions de recherche intellectuelle. […] Le libre accès ouvre de nouvelles frontières, non seulement dans le développement d’indicateurs bibliométriques de nouvelle génération centrés sur l’œuvre unique ou en tout cas sur l’auteur plutôt que sur le périodique, mais surtout en termes d’infrastructures utiles pour une large analyse d’impact »³. De Robbio cite également l’étude 2009 de Daniel Torres-Salinas sur l’ACV pour les monographies, qui est le produit le plus populaire pour les sciences humaines ⁴.

En 2014, Simona Turbanti⁵ dans Navigating the sea by Scop- us Web Of Science et Google Scholar décrit la recherche – effectuée dans les deux grandes bases de données de citations, Web of science et Scopus, et dans Google Scholar – des travaux scientifiques des professeurs et des chercheurs du secteur M-STO/ 08, archives et bibliothéconomie, illustrant la méthode suivie, les principales différences d’utilisation ainsi que les limites des bases de données interrogées. WoS effectue des recherches dans plus de 12 300 revues, environ 150 000 actes de conférences et 30 000 publications monographiques, avec une nette prévalence de titres provenant de la région nord-américaine, tandis que le « jeune » Scopus couvre environ 19 500 titres de périodiques, dont beaucoup proviennent d’Europe, plus de 350 collections de monographies (et, à partir de 2013, également des monographies uniques), près de 5 000 000 de documents de conférence et de brevets.

En consultant le Journal Citation Report, un rapport annuel produit par l’ISI (Institute for Scientific Information), où vous pouvez trouver les statistiques sur le nombre de citations qui sont faites dans un grand nombre de revues technico-scientifiques, nous pouvons trouver, en plus du facteur d’impact, d’autres indicateurs qui nous permettent de comprendre la valeur d’un magazine :

• Indice d’Immédiatesse : mesure la vitesse à laquelle un article d’une revue est cité en moyenne et la fréquence à laquelle les articles de cette revue sont cités dans le courant
• Cité Half-Life : mesure la durée moyenne des citations d’articles dans un magazine au cours de l’année en cours, ou plutôt la pertinence continue d’une publication.
• Indice du taux de citations : un indice de qualité de l’article unique, plus l’œuvre est citée, plus sa valeur scientifique est significative.

Impact des citations : résulte du rapport entre le nombre de citations et le nombre d’ouvrages publiés. Il fait directement référence à l’utilité que les publications d’une nation, d’une université, d’une structure de recherche ou même d’un seul chercheur ont eue dans le monde scientifique.

Par exemple, en cherchant la revue scientifique dans le JCR Coastal Engineering Journal, nous trouvons la description de la revue, du lieu de publication, de la périodicité, de la FI, avec cette brève description en anglais de la FIJ : « it is a journal-level metric calculated from data indexed in the Web of Science Core Collection. Il doit être utilisé avec une attention particulière aux nombreux facteurs qui influencent les taux de citation, tels que le volume de publication et les caractéristiques de citation du sujet et du type de revue. Le facteur d’impact du journal peut compléter l’opinion des experts et l’évaluation par les pairs. Dans le cas de l’évaluation académique de la permanence, il est inapproprié d’utiliser une mesure au niveau de la revue comme mesure de substitution pour les chercheurs, les établissements ou les articles individuels ».

En plus des données numériques, par exemple, la FI de 2020 est 3216 (très élevée) et en éliminant les auto-citations, elle est 2811, ce qui est encore très élevé. Il est également intéressant de voir la tendance de la FI dans une représentation graphique.

La classification des revues humanistes est une activité réalisée par l’ANVUR (Agence Nationale pour l’Evaluation du Système Universitaire et de Recherche) aux fins du calcul des indicateurs de la Qualification Scientifique Nationale à partir de 2012. Il est également nécessaire aux fins de l’accréditation des cours de doctorat, par rapport à l’exigence A4.3 à partir du cycle XXXIII (a.y. 2017-18), réalisés exclusivement pour les secteurs envisagés par la législation pertinente, c’est-à-dire ceux qui font partie des sciences humaines et sociales et identifiés comme « non bibliométriques ». La classification est divisée en 6 zones :

• Architecture (Area CUN / VQR 8.a).
• Sciences anciennes, philologiques, littéraires et historiques et artistiques (Domaine 10).
• Sciences historiques, philosophiques et pédagogiques (Domaine 11.a).
• Sciences juridiques (domaine 12).
• Sciences économiques et statistiques (domaine 13).
• Sciences politiques et sociales (Domaine 14)⁶.

Selon le règlement ANVUR, pour être inclus dans la liste des publications scientifiques de classe A, un journal doit assurer des procédures d’arbitrage en « double aveugle » (revue en double aveugle). Au contraire, l’évaluation des produits de recherche par le biais de la VQR n’est qu’une « évaluation à l’aveugle » parce que l’évaluateur est au courant de l’identité de l’auteur. Ce manque d’anonymat peut conduire à évaluer l’auteur plutôt que l’œuvre.

Par conséquent, avant de décider où publier, un chercheur astucieux choisit un journal qui a un bon facteur d’impact ou qui est dans la classe A.

Que se passe-t-il à la place pour les revues multidisciplinaires, comme dans le cas de notre UniCamillus Global Heath Journal ? C’est-à-dire qu’ils ne peuvent pas être insérés dans ces deux catégories ?

Sur le site de l’ANVUR du 15/02/2016, donc il y a maintenant 6 ans, il est précisé : « Clarification sur le traitement des revues pluridisciplinaires (telles que Nature, Science, etc.) en évaluation bibliométrique. Les articles publiés dans ces revues seront évidemment acceptés pour évaluation, et pourront être évalués avec la méthode bibliométrique. Comme déjà indiqué dans le document d’accompagnement à la publication des données du Web of Science et dans la note de clarification sur l’application de l’algorithme bibliométrique, en effet, les produits publiés dans ces revues, lors de l’évaluation bibliométrique, seront évalués en utilisant les seuils du SC a auxquels appartiennent la majorité des articles cités par le produit dans la bibliographie et ceux qui ont cité le produit lui-même ».

Par conséquent, la majorité des articles publiés dans la revue seront pris en considération à des fins d’évaluation.

Un petit volume intéressant a récemment été publié aux États-Unis : Zaumanis M. (2021), Write an impactful research paper : A scientific writing technique that will shape your academic career, ISBN 13 9798680546949.

L’auteur est un jeune doctorant aux États-Unis, actuellement chercheur en Suisse à l’Empa (un groupe de recherche qui fait partie de l’ETH).

Le livre vise à montrer des stratégies et des outils afin d’orienter les universitaires et les auteurs en herbe vers la bonne rédaction d’articles scientifiques réussis. Il s’adresse aux lecteurs spécialisés dans tout domaine scientifique et humaniste. L’intention est d’atteindre surtout les jeunes chercheurs, même (mais peut-être surtout) sans publications. La tentative de stimuler ce type d’audience masque la critique subtile du monde académique pluridisciplinaire, parfois si élitiste et effrayant qu’elle semble inaccessible. Le texte qui suit est divisé en deux parties.

Partie 1 : L’approche Leap Writing

L’approche de la rédaction académique du PAE est une approche schématique et systématique de l’article et une indication pour sélectionner le bon périodique dans lequel le publier. D’un point de vue linguistique, il est fait référence à la fois à la forme et à la langue véhiculaire de la recherche. L’importance et l’efficacité d’un article scientifique résident dans le message que vous souhaitez communiquer au lecteur, et non dans la sélection de termes qui sonnent et sont superflus et qui ne peuvent que prêter à confusion. Quant au choix de l’anglais comme langue véhiculaire, c’est sans aucun doute le choix le plus judicieux pour atteindre un public plus large, mais il n’est pas nécessaire d’avoir un haut niveau de compétence et de maîtrise de celui-ci. Quant au contenu, tout travail académique mérite une attention particulière, de même que l’idée qui le sous-tend et les résultats obtenus.

Le principe LEAP

L : La mise en page, les graphiques et les tableaux servent de support fondamental à la présentation d’un article scientifique. Les images (simples et parfois même auto-descriptives) représentent une grande ressource pour le lecteur, ainsi que pour l’auteur. La lecture devient plus rapide, plus explicative et moins exigeante. Zaumanis fournit le lien vers un site (https://peerrecognized.com) spécifiquement pour la création d’un article, il contient tous les outils nécessaires à cet égard.

|||UNTRANSLATED_CONTENT_START|||E: Explain the results.|||UNTRANSLATED_CONTENT_END||| Lors de la rédaction de l’article, il est essentiel de toujours garder à l’esprit le message que vous souhaitez communiquer ; il doit être direct et « facile » à comprendre, malgré la complexité de la recherche effectuée. Nous passons donc à l’explication des objectifs, des résultats et des méthodes utilisées (tout cela sera affiné à chaque fois également du point de vue linguistique). L’objectif sera de faire en sorte que chaque lecteur parvienne à la même conclusion. L’importance des sources et de la bibliographie consultées pour le travail ne doit pas être sous-estimée, il est important que les utilisateurs puissent vérifier la véracité de la recherche pour la juger fiable (puis la citer et l’exploiter dans d’autres domaines d’études). Chaque objectif initialement fixé doit trouver sa propre réponse dans la conclusion. L’importance de la cohérence.

R : Annoncez. La recherche exige une structure solide et cohérente pour une publication de qualité. Cela signifie que l’ordre structurel de l’article sera pertinent à l’impact qu’il aura sur les lecteurs. L’abrégé et le titre seront essentiels pour attirer l’attention du lecteur et l’encourager à lire le document. Cela signifie qu’un résumé facile à comprendre sera plus stimulant pour les utilisateurs.

P : Préparez-vous à la soumission. La qualité de l’article sera certainement pertinente pour une publication. Ce qui est encore plus important, cependant, c’est le choix du journal ou du magazine dans lequel le publier. Il existe des critères de sélection importants à cet égard ; objectifs et historique du magazine/journal ; contenu requis ; accès au public ; périodicité ; classement et fiabilité.

Partie 2 : Connaître les règles du jeu

Huit règles à suivre pour la publication dans le but d’atteindre le succès et un niveau élevé de résonance académique.

Publiez beaucoup au début de votre carrière : il est important de créer une certaine fréquence en ce qui concerne les publications. Si vous ne faites pas d’erreurs (parfois fatales), le résultat sera optimal et la renommée grandira de plus en plus.

Publier des articles à fort impact. Coauteur efficace : il est difficile et extrêmement important, dans le cas des collaborations, de trouver des coauteurs valides et collaboratifs au bon moment. La connaissance de l’autre est la base de tout. Viennent ensuite l’élaboration et la définition de l’objectif. La répartition des tâches : résumez toujours toutes les décisions prises en faisant des esquisses écrites.

Construire une présence en ligne pour suivre l’époque et avec les ressources technologiques que nous avons heureusement disponible. Créer un nom ne sera pas facile, mais une bonne présentation en ligne de votre personne est un excellent tremplin pour la publication et la diffusion de vos travaux de recherche.

Prioriser les revues sur les actes de conférence : il est bon qu’un travail de recherche soit achevé avant toute présentation de celui-ci, lors d’une conférence. La présentation des résultats obtenus alors, lors de débats et de conférences, permettra d’atteindre un public encore plus large que celui des revues.

Faire connaître dans les conférences l’importance de la reconnaissance par les pairs. La pyramide 5S pour la présentation. Substance (à la base de toute présentation scientifique) ; Structure (si une thèse doit respecter la structure intro-méthode-résultats-conclusions ; dans une conférence, l’important est d’être clair et direct avec le public) ; Histoires (courtes, évaluables et intéressantes pour faire passer votre message au public) ; Conférencier (la présence et l’attitude sont très importantes.

Publier le libre accès accroît la crédibilité, permet des collaborations possibles ; une plus grande visibilité des grandes entreprises et des éditeurs ; le partage des connaissances ; plus de citations.

Passez en revue le travail des autres. Soyez critique, mais toujours impartial ! La critique doit être constructive et être en mesure de produire plus de connaissances.

En conclusion, tout en réitérant qu’avant de décider quel journal, même de type multidisciplinaire, il est préférable de publier, il convient d’examiner attentivement :

• Comité de rédaction
• Réputation de la revue dans son domaine disciplinaire.
• Diffusion du magazine.
• Facteur d’impact ou appartenant à la classe A.

Voici quelques bases de données utiles avec accès gratuit ou réservé (à certaines universités) pour information :

• Journal of Citation Reports (base de données à accès restreint) qui évalue les revues scientifiques en traitant des statistiques basées sur l’analyse des citations.
• Scopus Journal Metrics (base de données à accès restreint) qui fournit une analyse rapide et transparente de l’avancement d’une revue.
• Scimago Journal Rang base de données gratuite qui génère des statistiques sur les citations d’articles également au niveau des pays.
• Outil Elsevier Journal Finder développé par Elsevier pour sélectionner le journal le plus approprié à partir de l’abstrait qui est produit.
• JournalGuide site gratuit utile pour la reconnaissance facile et fiable des revues faisant autorité où à partir du titre d’une revue, nous pouvons trouver des liens vers : Journal website, Author instructions and Submission page.
• ThinkCheckSubmit site né de l’initiative de certains éditeurs pour aider le chercheur à choisir des revues fiables.