La valutazione di una rivista scientifica

Una delle attività principali di un ricercatore è la pubblicazione di articoli relativi ai suoi argomenti di ricerca.

La valutazione della qualità della ricerca è essenziale per accedere ai finanziamenti che possono derivare, ad esempio, dalla partecipazione a progetti europei. Quando si ottengono finanziamenti pubblici, è necessario che i risultati della ricerca siano immediatamente e gratuitamente a disposizione di tutti. Una buona valutazione della qualità della ricerca è essenziale anche per intraprendere la carriera accademica.

Pertanto, nella valutazione di una rivista oggi è molto importante che questa rivista sia in Open Access, altre caratteristiche fondamentali sono una periodicità regolare, il codice ISSN, la traduzione almeno dell’abstract in inglese, la presenza di parole chiave e la presenza di un Comitato Scientifico competente, possibilmente internazionale. Le riviste sono principalmente divise in due grandi gruppi: quelle scientifiche e quelle umanistiche. I primi sono caratterizzati dal Fattore di Impatto, cioè da un indice risultante da un rapporto tra le citazioni di articoli pubblicati nel biennio precedente e il numero totale di articoli pubblicati nello stesso biennio dalla rivista. Le citazioni degli articoli confluiscono nel Journal Citation Report, Scopus and the Web of Science:

• Science Citation Index Expanded copre più di 8.500 riviste degne di nota che coprono 150 discipline. La copertura va dall’anno 1900 ai giorni nostri.
• Il Social Science Citation Index copre più di 3.000 riviste nelle discipline delle scienze sociali. La gamma di copertura va dall’anno 1900 ai giorni nostri.
• Arts & Humanities Citation Index copre più di 1.700 riviste d’arte e umanistiche dal 1975. Inoltre, sono coperte 250 riviste scientifiche e sociali di primo piano.
• Emerging Sources Citation Index copre oltre 5.000 riviste scientifiche, sociali e umanistiche.
• Book Citation Index copre oltre 60.000 libri selezionati in modo editoriale dal 2005.
• Conference Proceedings Citation Index (CPCI) copre più di 160.000 titoli di conferenze scientifiche dal 1990 ad oggi.

Ad esempio, calcolando IF 2018 per il giornale in esame:

75 2018
Citazioni di articoli pubblicati nel 2016-17 75 = 0,484
155 Totale articoli pubblicati nel 2016-17

Le riviste di tipo umanistico sono invece organizzate in classi: in classe A troviamo le riviste più prestigiose per ogni disciplina, riviste che hanno subito un processo di peer review, che escono regolarmente, già presenti da diversi anni, con abstract in inglese ecc.; per accedere alla classe A, deve essere fatta una richiesta molto documentata.

Un interessante articolo di Faggiolani e Solimine sul tema della valutazione è stato pubblicato dieci anni fa su AIB Studi¹. Se lo cerchiamo nella pagina di Aib Studi, possiamo vedere varie cose: a destra dove è indicizzata questa rivista (ANVUR, DOAJ, SCOPUS), al centro il doi, l’abstract, tutti i dati importanti, un grafico con i download aggiornati fino al mese scorso, i riferimenti e, infine, come dovrebbe essere citato l’articolo.

L’articolo evidenzia che, per le pubblicazioni di carattere umanistico, la monografia è spesso più significativa del singolo articolo e la pubblicazione in una lingua diversa dall’inglese è penalizzata. Spesso le pubblicazioni umanistiche non sono in mani multiple e questo riduce notevolmente il numero di citazioni. Inoltre, per le riviste umanistiche, il valore scientifico si estende generalmente per un tempo molto più lungo, anche per molti anni. L’importanza della revisione inter pares è pertanto confermata, sebbene vi siano anche problemi in questa pratica. Quindi forse la soluzione migliore sarebbe un approccio misto che tenga conto di alcuni fattori “misurabili” ma anche di una peer review in doppio cieco (autori e valutatori reciprocamente sconosciuti). L’articolo immagina che le biblioteche possano dare un impulso a comprendere il reale impatto di una pubblicazione sul resto del mondo scientifico, valutando l’esistenza di resti e la presenza in cataloghi di biblioteche prestigiose, con metodi come l’LCA (Library Catalog Analysis). Altri autori, come Figà Talamanca, si sono lanciati, vent’ anni fa, contro l’uso dell’IF in matematica, perché erano prese in considerazione anche le citazioni “amiche”, oppure erano incluse nel conteggio le citazioni “negative”. In definitiva, non è certo che una grande quantità significhi necessariamente anche qualità².

Fig. 1. C. Faggiolani e G. Solimine, 2012, La valutazione della ricerca, la bibliometria e l’albero di Bertoldo, AIB studi, 52, 1 (mag. 2012). DOI: https://doi.org/10.2426/aibstu-di-6290.

Secondo Antonella De Robbio: “Al fine di misurare l’impatto del lavoro di un autore all’interno della comunità scientifica, è fondamentale iniziare a sperimentare nuove tecniche bibliometriche all’interno degli archivi aperti insieme allo sviluppo di nuove modalità” aperte “volte a soddisfare le sofisticate esigenze di una corretta valutazione delle produzioni di ricerca intellettuale. […] Open Access apre nuove frontiere, non solo nello sviluppo di indicatori bibliometrici di nuova generazione focalizzati sulla singola opera o comunque sull’autore piuttosto che sul periodico, ma soprattutto in termini di infrastrutture utili per un’ampia valutazione d’impatto”³. De Robbio cita anche lo studio di Daniel Torres-Salinas del 2009 sulla LCA per le monografie, che è il prodotto più popolare per le scienze umane ⁴.

Nel 2014 Simona Turbanti⁵ in Navigating the sea by Scop- us Web Of Science e Google Scholar descrive la ricerca – svolta nei due grandi database delle citazioni, Web of science e Scopus, e in Google Scholar – dei lavori scientifici dei professori e dei ricercatori del settore M-STO/ 08, archivi e bibliotecariato, illustrando il metodo seguito, le principali differenze di utilizzo nonché i limiti dei database interrogati. WoS ricerca in oltre 12.300 riviste, circa 150.000 atti di convegni e 30.000 pubblicazioni monografiche, con una netta prevalenza di titoli provenienti dall’area nordamericana, mentre il ‘più giovane‘ Scopus copre circa 19.500 titoli periodici, molti dei quali provenienti dall’Europa, oltre 350 raccolte di monografie (e, a partire dal 2013, anche monografie singole), quasi 5.000.000 di documenti di convegni e brevetti.

Consultando il Journal Citation Report, un rapporto annuale prodotto dall’ISI (Istituto per l’Informazione Scientifica), dove è possibile trovare le statistiche sul numero di citazioni che vengono fatte all’interno di un gran numero di riviste tecnico-scientifiche, possiamo trovare, oltre al Impact Factor, altri indicatori che ci permettono di comprendere il valore di una rivista:

• Indice di immediatezza: misura la velocità con cui un articolo di una rivista viene citato in media e la frequenza con cui gli articoli di quella rivista vengono citati nell’attuale
• Cited Half-Life: misura la durata media delle citazioni di articoli in una rivista nell’anno in corso, o meglio la rilevanza continuativa di una pubblicazione.
• Indice Rate of Cites: indice di qualità del singolo articolo, più l’opera viene citata, più significativo è il suo valore scientifico.

Impatto della citazione: risulta dal rapporto tra il numero di citazioni e il numero di opere pubblicate. Essa si riferisce direttamente all’utilità che le pubblicazioni di una nazione, di un’università, di una struttura di ricerca o anche di un singolo ricercatore hanno avuto nel mondo scientifico.

Ad esempio, cercando la rivista scientifica nel JCR Coastal Engineering Journal troviamo la descrizione della rivista, luogo di pubblicazione, periodicità, IF, con questa breve descrizione in inglese dell’IFJ: “it is a journal-level metric calculated from data indexed in the Web of Science Core Collection. Dovrebbe essere usato con attenzione ai molti fattori che influenzano i tassi di citazione, come il volume di pubblicazione e le caratteristiche delle citazioni dell’area tematica e del tipo di rivista. Il fattore di impatto della rivista può integrare l’opinione degli esperti e una revisione tra pari informata. Nel caso della valutazione accademica per la cattedra, è inappropriato utilizzare una metrica a livello di diario come misura proxy per singoli ricercatori, istituzioni o articoli”.

Oltre ai dati numerici, ad esempio, l’IF del 2020 è 3216 (molto alto) e eliminando le autocitazioni, è 2811, che è ancora molto alto. È interessante vedere anche l’andamento dell’IF in una rappresentazione grafica.

La classificazione delle riviste umanistiche è un’attività svolta dall’ANVUR (Agenzia Nazionale per la Valutazione del Sistema Universitario e di Ricerca) ai fini del calcolo degli indicatori del Titolo Scientifico Nazionale a partire dal 2012. È inoltre necessario ai fini dell’accreditamento dei corsi di dottorato, in relazione al requisito A4.3 a partire dal XXXIII ciclo (a.a. 2017-18), svolto esclusivamente per i settori previsti dalla normativa di riferimento, ovvero quelli che fanno parte delle scienze umane e sociali e identificati come “non bibliometrici”. La classificazione è suddivisa in 6 Aree:

• Architettura (Area CUN / VQR 8.a).
• Scienze antiche, filologico-letterarie e storico-artistiche (Area 10).
• Scienze storiche, filosofiche e pedagogiche (Area 11.a).
• Scienze giuridiche (Area 12).
• Scienze economiche e statistiche (Area 13).
• Scienze politiche e sociali (Settore 14)⁶.

Secondo il regolamento ANVUR, per essere inserita nell’elenco delle pubblicazioni scientifiche di classe A, una rivista deve garantire procedure di arbitraggio “in doppio cieco” (double-blind review). Al contrario, la valutazione dei prodotti di ricerca attraverso la VQR è solo una “revisione cieca unilaterale” perché il valutatore è consapevole dell’identità dell’autore. Questa mancanza di anonimato può portare a valutare l’autore piuttosto che l’opera.

Pertanto, prima di decidere dove pubblicare, un ricercatore accorto sceglie un Journal che abbia un buon Impact Factor o sia in Classe A.

Cosa succede invece per le riviste multidisciplinari, come nel caso del nostro UniCamillus Global Heath Journal? Cioè che non possono essere inseriti all’interno di queste due categorie?

Sul sito dell’ANVUR in data 15/02/2016, quindi ormai 6 anni fa, è specificato quanto segue: “Chiarimento sul trattamento delle riviste multidisciplinari (come Natura, Scienza, ecc.) nella valutazione bibliometrica. Gli articoli pubblicati in queste riviste saranno ovviamente accettati per la valutazione, e potranno essere valutati con il metodo bibliometrico. Come già indicato nel documento di accompagnamento alla pubblicazione dei dati del Web of Science e nella nota di chiarimento sull’applicazione dell’algoritmo bibliometrico, infatti, i prodotti pubblicati in queste riviste, durante la valutazione bibliometrica, saranno valutati utilizzando le soglie della SC a cui appartiene la maggior parte degli articoli citati dal prodotto in bibliografia e quelli che hanno citato il prodotto stesso”.

Pertanto, la maggior parte degli articoli pubblicati nella rivista saranno considerati ai fini della valutazione.

Un piccolo volume interessante è stato recentemente pubblicato negli Stati Uniti: Zaumanis M. (2021), Write an impactful research paper: A scientific writing technique that will shape your academic career, ISBN 13 9798680546949.

L’autore è un giovane dottorando negli Stati Uniti, attualmente ricercatore in Svizzera presso Empa (un gruppo di ricerca che fa parte dell’ETH).

Il libro si propone di mostrare strategie e strumenti al fine di indirizzare aspiranti accademici e autori verso la buona scrittura di articoli scientifici di successo. Si rivolge a lettori specializzati in qualsiasi campo scientifico e umanistico. L’intenzione è quella di raggiungere soprattutto giovani ricercatori, anche (ma forse soprattutto) senza pubblicazioni. Il tentativo di stimolare questo tipo di pubblico maschera la sottile critica del mondo accademico multidisciplinare, a volte così elitario e spaventoso da sembrare irraggiungibile. Il testo è diviso in due parti.

Parte 1: L’approccio di scrittura Leap

L’approccio di scrittura accademica EAP è un approccio schematico e sistematico al documento e un’indicazione per selezionare il periodico giusto in cui pubblicarlo. Da un punto di vista linguistico, si fa riferimento sia alla forma che al linguaggio veicolare della ricerca. L’importanza e l’efficacia di un articolo scientifico risiedono nel messaggio che si vuole comunicare al lettore, non nella selezione di termini sonori e superflui che potrebbero solo confondere. Per quanto riguarda la scelta dell’inglese come lingua veicolare, è indubbiamente la scelta più sensata per raggiungere un pubblico più ampio, tuttavia non è necessario avere un alto livello di competenza e padronanza di esso. Per quanto riguarda i contenuti, ogni lavoro accademico merita attenzione, così come l’idea alla base e i risultati ottenuti.

Il principio del SALTO

L: Layout, grafici e tabelle fungono da supporto fondamentale per la presentazione di un articolo scientifico. Le immagini (semplici e talvolta anche autodescrittive) rappresentano una grande risorsa per il lettore, oltre che per l’autore. La lettura diventa più veloce e più esplicativa, oltre che meno impegnativa. Zaumanis fornisce il link ad un sito (https://peerrecognized.com) appositamente per la creazione di un articolo, esso contiene tutti gli strumenti necessari al riguardo.

E: Spiegare i risultati. Durante la stesura dell’articolo è fondamentale tenere sempre presente il messaggio che si vuole comunicare; deve essere diretto e “facile” da comprendere, nonostante la complessità della ricerca svolta. Si passa così alla spiegazione degli obiettivi, dei risultati e dei metodi utilizzati (il tutto sarà di volta in volta affinato anche dal punto di vista linguistico). L’obiettivo sarà quello di fare in modo che ogni lettore giunga alla stessa conclusione. Non va sottovalutata l’importanza delle fonti e della bibliografia consultata per il lavoro, è importante che gli utenti possano verificare la veridicità della ricerca per ritenerla attendibile (e quindi citarla e sfruttarla in altri campi di studio). Ogni obiettivo inizialmente fissato deve trovare la propria risposta all’interno della conclusione. L’importanza della coerenza.

A: Pubblicità. La ricerca richiede una struttura solida e coerente per una pubblicazione di qualità. Ciò significa che l’ordine strutturale dell’articolo sarà rilevante per l’impatto che avrà sui lettori. Abstract e titolo saranno essenziali per attirare l’attenzione del lettore e incoraggiarlo a leggere il giornale. Ciò significa che un abstract di facile comprensione sarà più stimolante per gli utenti.

P: Prepararsi per l’invio. La qualità della carta sarà certamente rilevante per una pubblicazione. Ciò che è ancora più importante, tuttavia, è la selezione del giornale o della rivista giusta su cui pubblicarlo. Ci sono alcuni criteri di selezione importanti a questo proposito; obiettivi e storia della rivista/giornale; contenuto richiesto; accesso al pubblico; periodicità; classifica e affidabilità.

Parte 2: Conoscere le regole del gioco

Otto regole da seguire per la pubblicazione con l’obiettivo di raggiungere il successo e un alto livello di risonanza accademica.

Pubblica molto all’inizio della tua carriera: è importante creare una certa frequenza per quanto riguarda le pubblicazioni. Se non commetti errori (a volte fatali), il risultato sarà ottimale e la fama crescerà sempre di più.

Pubblicare documenti di grande impatto. Coautore efficiente: è difficile ed estremamente importante, nel caso di collaborazioni, trovare coautori validi e collaborativi al punto giusto. La conoscenza dell’altro è alla base di tutto. Segue l’elaborazione e la definizione dell’obiettivo. La suddivisione dei compiti: riassumere sempre tutte le decisioni prese facendo degli schemi scritti.

Costruire una presenza online per stare al passo con i tempi e con le risorse tecnologiche che fortunatamente abbiamo a disposizione. Creare un nome non sarà facile ma una buona presentazione online della tua persona è un ottimo trampolino di lancio per la pubblicazione e la diffusione dei tuoi lavori di ricerca.

Dare priorità alle riviste rispetto agli atti della conferenza: è bene che un lavoro di ricerca sia completato prima di qualsiasi presentazione dello stesso, durante una conferenza. La presentazione dei risultati ottenuti poi, durante dibattiti e convegni, permetterà di raggiungere un pubblico ancora più ampio di quello delle riviste.

Pubblicizzare nelle conferenze l’importanza del riconoscimento tra pari. La piramide 5 S per la presentazione. Sostanza (alla base di qualsiasi presentazione scientifica); Struttura (se una tesi deve rispettare la struttura intro-method-results-conclusions; in una conferenza l’importante è essere chiari e diretti con il pubblico); Mostra Storie (brevi, valutabili e interessanti per far arrivare il tuo messaggio al pubblico); Relatore (la presenza e l’atteggiamento sono molto importanti.

Pubblicare open access aumenta la credibilità, consente possibili collaborazioni; maggiore visibilità da parte di grandi aziende ed editori; condivisione delle conoscenze; più preventivi.

Rivedi il lavoro degli altri. Sii critico ma sempre imparziale! Le critiche devono essere costruttive e devono essere in grado di produrre maggiori conoscenze.

In conclusione, pur ribadendo che prima di decidere su quale rivista, anche di tipo multidisciplinare, è meglio pubblicare, è opportuno considerare attentamente:

• Comitato redazionale
• Reputazione della rivista nel suo campo disciplinare.
• Circolazione del caricatore.
• Fattore di impatto o appartenente alla classe A.

Ecco alcuni utili database con accesso libero o riservato (ad alcune università) per informazioni:

• Journal of Citation Reports (database ad accesso limitato) che valuta le riviste scientifiche elaborando statistiche basate sull’analisi delle citazioni.
• Metriche giornale Scopus (database ad accesso limitato) che fornisce un’analisi rapida e trasparente dell’avanzamento di un giornale.
• Database gratuito Scimago Journal Rank che genera statistiche sulle citazioni degli articoli anche a livello nazionale.
• Strumento Elsevier Journal Finder sviluppato da Elsevier per selezionare il giornale più adatto a partire dall’abstract che viene prodotto.
• JournalGuide sito gratuito utile per il riconoscimento facile e affidabile di riviste autorevoli dove dal titolo di una rivista possiamo trovare link a: sito web Journal, Istruzioni autore e pagina di presentazione.
• ThinkCheckSubmit sito nato dall’iniziativa di alcuni editori per facilitare il ricercatore nella scelta di riviste affidabili.