De evaluatie van een wetenschappelijk tijdschrift

Een van de hoofdactiviteiten van een onderzoeker is het publiceren van artikelen over hun onderzoeksthema ‘s.

De evaluatie van de kwaliteit van het onderzoek is van essentieel belang om toegang te krijgen tot de financiering die bijvoorbeeld door deelname aan Europese projecten kan worden verkregen. Wanneer overheidsfinanciering wordt verkregen, is het noodzakelijk dat de resultaten van het onderzoek vervolgens voor iedereen gratis en onmiddellijk beschikbaar zijn. Een goede Research Quality Assessment is ook essentieel om de academische carrière te kunnen uitvoeren.

Daarom is het bij de evaluatie van een Journal vandaag erg belangrijk dat dit tijdschrift in Open Access staat, andere fundamentele kenmerken zijn een regelmatige periodiciteit, de ISSN-code, de vertaling van ten minste het abstract in het Engels, de aanwezigheid van trefwoorden en de aanwezigheid van een relevant Wetenschappelijk Comité, mogelijk internationaal. De tijdschriften zijn voornamelijk onderverdeeld in twee grote groepen: de wetenschappelijke en de humanistische. De eerste kenmerken zich door de Impactfactor, dat wil zeggen een index die het resultaat is van een relatie tussen de citaties van artikelen die in de voorgaande twee jaar zijn gepubliceerd en het totale aantal artikelen dat in diezelfde twee jaar door het tijdschrift is gepubliceerd. De citaten van de artikelen vloeien door in het Journal Citation Report, Scopus en het Web of Science:

• Science Citation Index Uitgebreid beslaat meer dan 8.500 opmerkelijke tijdschriften verspreid over 150 disciplines. De dekking loopt van het jaar 1900 tot heden.
• De Social Science Citation Index beslaat meer dan 3.000 tijdschriften in de disciplines van de sociale wetenschappen. Het bereik van de dekking gaat van het jaar 1900 tot de huidige dag.
• Arts & Humanities Citation Index beslaat sinds 1975 meer dan 1.700 kunst- en geesteswetenschappelijke tijdschriften. Daarnaast komen ook 250 toonaangevende wetenschappelijke en sociale wetenschappelijke tijdschriften aan bod.
• Emerging Sources Citation Index omvat meer dan 5.000 wetenschappelijke, sociale en geesteswetenschappelijke tijdschriften.
• Book Citation Index omvat meer dan 60.000 boeken die sinds 2005 op redactionele wijze zijn geselecteerd.
• Conference Proceedings Citation Index (CPCI) omvat meer dan 160.000 titels van wetenschappelijke conferenties van 1990 tot heden.

Bijvoorbeeld, het berekenen van IF 2018 voor het betreffende tijdschrift:

75 2018
Citaten van artikelen gepubliceerd in 2016-17 75 = 0.484
155 Totaal aantal artikelen gepubliceerd in 2016-17

De tijdschriften van het humanistische type zijn in plaats daarvan georganiseerd in klassen: in klasse A vinden we de meest prestigieuze tijdschriften voor elke discipline, tijdschriften die een peer review-proces hebben ondergaan, die regelmatig uitkomen, al enkele jaren aanwezig zijn, met samenvattingen in het Engels enz.; om toegang te krijgen tot klasse A, moet een zeer gedocumenteerd verzoek worden gedaan.

Een interessant artikel van Faggiolani en Solimine over de evaluatie kwestie werd gepubliceerd tien jaar geleden op AIB Studi¹. Als we ernaar zoeken op de pagina van Aib Studi, kunnen we verschillende dingen zien: rechts waar dit tijdschrift is geïndexeerd (ANVUR, DOAJ, SCOPUS), in het midden de DOI, het abstracte, alle belangrijke gegevens, een grafiek met de downloads bijgewerkt tot vorige maand, de referenties en, tot slot, hoe het artikel moet worden geciteerd.

Het artikel benadrukt dat voor publicaties in de geesteswetenschappen de monografie vaak belangrijker is dan het afzonderlijke artikel en dat publicatie in een andere taal dan het Engels wordt bestraft. Vaak zijn de publicaties in de geesteswetenschappen niet in meerdere handen en dit vermindert het aantal citaties sterk. Voor humanistische tijdschriften strekt de wetenschappelijke waarde zich bovendien over het algemeen veel langer uit, zelfs voor vele jaren. Het belang van intercollegiale toetsing wordt dan ook onderschreven, hoewel er ook problemen zijn in deze praktijk. Dus misschien is de beste oplossing een gemengde aanpak die rekening houdt met een aantal “meetbare” factoren, maar ook dubbelblinde peer review (wederzijds onbekende auteurs en beoordelaars). Het artikel stelt zich voor dat bibliotheken een impuls kunnen geven aan het begrijpen van de werkelijke impact van een publicatie op de rest van de wetenschappelijke wereld, door het evalueren van het bestaan van resten en de aanwezigheid in catalogi van prestigieuze bibliotheken, met methoden zoals de LCA (Library Catalog Analysis). Andere auteurs, zoals Figà Talamanca, lanceerden zich twintig jaar geleden tegen het gebruik van IF in de wiskunde, omdat er ook rekening werd gehouden met citaten van “vrienden”, of omdat er “negatieve” citaten in de telling werden opgenomen. Uiteindelijk is het niet zeker dat een grote hoeveelheid noodzakelijkerwijs ook kwaliteit² betekent.

Fig. 1. C. Faggiolani e G. Solimine, 2012, La valutazione della ricerca, la bibliometria e l ‘albero di Bertoldo, aib studi, 52, 1 (mag. 2012). DOI: https://doi.org/10.2426/aibstu- di-6290.

Antonella De Robbio: “Voor het meten van de impact van het werk van een auteur binnen de wetenschappelijke gemeenschap is het essentieel om te experimenteren met nieuwe bibliometrische technieken binnen de open archieven, samen met de ontwikkeling van nieuwe“ open ”modaliteiten die gericht zijn op het voldoen aan de verfijnde behoeften voor een correcte evaluatie van intellectuele onderzoeksproducties. […] Open Access opent nieuwe grenzen, niet alleen bij de ontwikkeling van bibliometrische indicatoren van de nieuwe generatie die gericht zijn op het afzonderlijke werk of in ieder geval op de auteur in plaats van op het tijdschrift, maar vooral op het gebied van infrastructuur die nuttig is voor een brede effectbeoordeling.”³. De Robbio citeert ook Daniel Torres-Salinas ‘studie uit 2009 over LCA voor monografieën, het meest populaire product voor de menswetenschappen⁴.

In 2014 heeft Simona Turbanti⁵ in Navigating the sea by Scop- us Web Of Science en Google Scholar beschrijft het onderzoek – uitgevoerd in de twee grote citatiedatabases, Web of science en Scopus, en in Google Scholar – van de wetenschappelijke werken van de professoren en onderzoekers van de M-STO-sector/ 08, archieven en bibliotheken, ter illustratie van de gevolgde methode, de belangrijkste verschillen in gebruik en de beperkingen van de opgevraagde databases. WoS doorzoekt meer dan 12.300 tijdschriften, ongeveer 150.000 conferentieverslagen en 30.000 monografische publicaties, met een duidelijke prevalentie van titels uit het Noord-Amerikaanse gebied, terwijl de ‘jongere’ Scopus ongeveer 19.500 tijdschriften omvat, waarvan vele uit Europa, meer dan 350 monografiecollecties (en vanaf 2013 ook enkele monografieën), bijna 5.000.000 conferentiedocumenten en octrooien.

Via het Journal Citation Report, een jaarverslag van het ISI (Institute for Scientific Information), waar je de statistieken kunt vinden over het aantal citaties dat binnen een groot aantal technisch-wetenschappelijke tijdschriften wordt gemaakt, kunnen we naast de Impact Factor ook andere indicatoren vinden die ons in staat stellen de waarde van een tijdschrift te begrijpen:

• Immediacy Index: meet hoe snel een artikel uit een tijdschrift gemiddeld wordt geciteerd en hoe vaak de artikelen uit dat tijdschrift in het huidige tijdschrift worden geciteerd
• Cited Half-Life: meet de gemiddelde duur van citaties van artikelen in een tijdschrift in het lopende jaar, of liever de voortdurende relevantie van een publicatie.
• Rate of Cites Index: een kwaliteitsindex van het artikel, hoe meer het werk wordt geciteerd, hoe belangrijker de wetenschappelijke waarde.

Citatie Impact: komt voort uit de verhouding tussen het aantal citaties en het aantal gepubliceerde werken. Het verwijst direct naar het nut dat de publicaties van een natie, universiteit, onderzoeksstructuur of zelfs van een enkele onderzoeker hebben gehad in de wetenschappelijke wereld.

Bijvoorbeeld, op zoek naar het wetenschappelijk tijdschrift in de JCR Coastal Engineering Journal vinden we de beschrijving van het tijdschrift, plaats van publicatie, periodiciteit, IF, met deze korte beschrijving in het Engels van de IFJ: “it is a journal-level metric calculated from data indexed in the Web of Science Core Collection. Het moet worden gebruikt met zorgvuldige aandacht voor de vele factoren die citatiepercentages beïnvloeden, zoals het volume van de publicatie en citatiekenmerken van het onderwerp en het type tijdschrift. De Journal Impact Factor kan een aanvulling vormen op het deskundigenoordeel en de geïnformeerde collegiale toetsing. In het geval van academische evaluatie voor een ambtstermijn is het ongepast om een maatstaf op tijdschriftniveau te gebruiken als proxy-maatstaf voor individuele onderzoekers, instellingen of artikelen”.

Naast de numerieke gegevens, bijvoorbeeld, is het beleggingsfonds van 2020 3216 (zeer hoog) en door zelfcitaties te elimineren, is het 2811, dat is nog steeds zeer hoog. Het is interessant om ook de trend van het beleggingsfonds in een grafische voorstelling te zien.

De classificatie van humanistische tijdschriften is een activiteit die ANVUR (National Agency for the Evaluation of the University and Research System) uitvoert voor het berekenen van de indicatoren van de Nationale Wetenschappelijke Kwalificatie vanaf 2012. Het is ook nodig voor de accreditatie van doctoraatsopleidingen, met betrekking tot eis A4.3 vanaf de XXXIII-cyclus (a.y. 2017-18), die uitsluitend wordt uitgevoerd voor de sectoren die worden beoogd door de relevante wetgeving, dat wil zeggen die welke deel uitmaken van de menselijke en sociale wetenschappen en geïdentificeerd zijn als “niet-bibliometrisch”. De indeling is onderverdeeld in 6 gebieden:

• Architectuur (Area CUN / VQR 8.a).
• Oude, filologisch-literaire en historisch-artistieke wetenschappen (Gebied 10).
• Historische, filosofische en pedagogische wetenschappen (gebied 11.a).
• Juridische wetenschappen (gebied 12).
• Economische en statistische wetenschappen (gebied 13).
• Politieke en sociale wetenschappen (gebied 14)⁶.

Om te worden opgenomen in de lijst van wetenschappelijke publicaties van klasse A moet een tijdschrift volgens de ANVUR-verordening zorgen voor ‘dubbelblinde’ scheidsrechtersprocedures (dubbelblinde beoordeling). Integendeel, de evaluatie van onderzoeksproducten via de VQR is slechts ‘one side blind review‘ omdat de evaluator op de hoogte is van de identiteit van de auteur. Dit gebrek aan anonimiteit kan leiden tot het evalueren van de auteur in plaats van het werk.

Daarom, alvorens te beslissen waar te publiceren, kiest een slimme onderzoeker een Journal dat een goede Impact Factor heeft of in Klasse A zit.

Wat gebeurt er in plaats daarvan met multidisciplinaire tijdschriften, zoals in het geval van onze UniCamillus Global Heath Journal? Dat wil zeggen dat ze niet in deze twee categorieën kunnen worden opgenomen?

Op de website van ANVUR op 15/02/2016, dus nu 6 jaar geleden, wordt het als volgt gespecificeerd: “Verduidelijking over de behandeling van multidisciplinaire tijdschriften (zoals Nature, Science, etc.) in bibliometrische evaluatie. De artikelen die in deze tijdschriften worden gepubliceerd, zullen uiteraard worden geaccepteerd voor evaluatie en kunnen worden geëvalueerd met de bibliometrische methode. Zoals reeds aangegeven in het begeleidend document bij de publicatie van de gegevens van het Web of Science en in de toelichting op de toepassing van het bibliometrisch algoritme, zullen de in deze tijdschriften gepubliceerde producten tijdens de bibliometrische evaluatie worden geëvalueerd aan de hand van de drempels van het BC a waartoe het merendeel van de door het product in de bibliografie aangehaalde artikelen behoort en die welke het product zelf hebben aangehaald”.

Daarom zal het merendeel van de artikelen die in het tijdschrift worden gepubliceerd, in aanmerking worden genomen voor evaluatiedoeleinden.

Onlangs verscheen in de VS een interessant klein deel: Zaumanis M. (2021), Write an impactful research paper: A scientific writing technique that will shape your academic career, ISBN 13 9798680546949.

De auteur is een jonge promovendus in de VS, momenteel een onderzoeker in Zwitserland bij Empa (een onderzoeksgroep die deel uitmaakt van ETH).

Het boek heeft als doel om strategieën en tools te tonen om aspirant-academici en auteurs te sturen naar het goed schrijven van succesvolle wetenschappelijke artikelen. Het is gericht op lezers die gespecialiseerd zijn in elk wetenschappelijk en humanistisch gebied. Het is de bedoeling vooral jonge onderzoekers te bereiken, zelfs (maar misschien vooral) zonder publicaties. De poging om dit soort publiek te stimuleren maskeert de subtiele kritiek op de multidisciplinaire academische wereld, soms zo elitair en beangstigend dat het onbereikbaar lijkt. De tekst bestaat uit twee delen.

Deel 1: De Leap Writing-benadering

De EAP-aanpak voor academisch schrijven is een schematische en systematische benadering van het document en een indicatie voor het selecteren van het juiste tijdschrift om het te publiceren. Vanuit taalkundig oogpunt wordt zowel naar de vorm als naar de voertaal van het onderzoek verwezen. Het belang en de effectiviteit van een wetenschappelijk artikel schuilen in de boodschap die je aan de lezer wilt overbrengen, niet in de selectie van hoog klinkende en overbodige termen die alleen maar verwarrend kunnen zijn. Wat betreft de keuze van het Engels als voertaal, is het ongetwijfeld de meest verstandige keuze om een breder publiek te bereiken, maar het is niet noodzakelijk om een hoog niveau van competentie en beheersing van het te hebben. Wat de inhoud betreft, verdient elk academisch werk aandacht, evenals het idee erachter en de behaalde resultaten.

Het LEAP-principe

L: Lay-out, grafieken en tabellen fungeren als een fundamentele ondersteuning voor de presentatie van een wetenschappelijk artikel. De beelden (eenvoudig en soms zelfs zelfbeschrijvend) vertegenwoordigen een grote bron voor de lezer, maar ook voor de auteur. Lezen wordt sneller en meer verklarend, maar ook minder veeleisend. Zaumanis biedt de link naar een site (https://peerrecognized.com) specifiek voor het maken van een artikel, het bevat alle benodigde tools in dit verband.

E: Leg de resultaten uit. Bij het schrijven van het artikel is het essentieel om altijd rekening te houden met de boodschap die je wilt communiceren; het moet direct en “gemakkelijk” te begrijpen zijn, ondanks de complexiteit van het uitgevoerde onderzoek. Zo gaan we verder met de uitleg van de doelstellingen, de resultaten en de gebruikte methoden (dit alles zal telkens ook vanuit taalkundig oogpunt worden verfijnd). Het doel zal zijn om elke lezer tot dezelfde conclusie te laten komen. Het belang van de geraadpleegde bronnen en bibliografie voor het werk mag niet worden onderschat, het is belangrijk dat gebruikers de waarheidsgetrouwheid van het onderzoek kunnen verifiëren om het betrouwbaar te achten (en het vervolgens kunnen citeren en gebruiken in andere vakgebieden). Elk initieel gesteld doel moet zijn eigen antwoord vinden binnen de conclusie. Het belang van consistentie.

A: Adverteren. Het onderzoek vereist een solide en coherente structuur voor een kwalitatief hoogwaardige publicatie. Dit betekent dat de structurele volgorde van het artikel relevant zal zijn voor de impact die het zal hebben op de lezers. Abstract en titel zullen essentieel zijn om de aandacht van de lezer te trekken en hem aan te moedigen de krant te lezen. Dit betekent dat een eenvoudig te begrijpen abstract voor gebruikers meer stimulerend zal zijn.

P: Bereid je voor op inzending. De kwaliteit van het werkstuk zal zeker relevant zijn voor een publicatie. Wat echter nog belangrijker is, is de selectie van de juiste krant of het juiste tijdschrift om het te publiceren. Er zijn enkele belangrijke selectiecriteria in dit verband; doelstellingen en geschiedenis van het tijdschrift/de krant; vereiste inhoud; toegang tot het publiek; periodiciteit; rangschikking en betrouwbaarheid.

Deel 2: Ken de regels van het spel

Acht regels te volgen voor publicatie met als doel het bereiken van succes en een hoog niveau van academische resonantie.

Publiceer veel aan het begin van je carrière: het is belangrijk om een bepaalde frequentie te creëren met betrekking tot publicaties. Als je geen fouten maakt (soms fataal), zal het resultaat optimaal zijn en zal de bekendheid steeds groter worden.

Publiceer high-impact papers. Co-auteur efficiënt: het is moeilijk en uiterst belangrijk, in het geval van samenwerkingen, om valide en collaboratieve co-auteurs op het juiste moment te vinden. Kennis van de ander is de basis van alles. Dit wordt gevolgd door de uitwerking en definitie van de doelstelling. De taakverdeling: vat altijd alle beslissingen samen door het maken van schriftelijke schetsen.

Bouw een online aanwezigheid op om gelijke tred te houden met de tijden en met de technologische middelen die we gelukkig beschikbaar hebben. Het creëren van een naam zal niet gemakkelijk zijn, maar een goede online presentatie van uw persoon is een uitstekende springplank voor de publicatie en verspreiding van uw onderzoekswerken.

Prioriteit geven aan tijdschriften boven conferentiewerkzaamheden: het is goed dat een onderzoekswerk wordt voltooid voordat een presentatie van hetzelfde, tijdens een conferentie. De presentatie van de behaalde resultaten tijdens debatten en conferenties zal het mogelijk maken om een nog breder publiek te bereiken dan dat van de tijdschriften.

Adverteren op conferenties belang van peer recognition. De 5 S-piramide voor presentatie. Substantie (aan de basis van elke wetenschappelijke presentatie); Structuur (als een scriptie de intro-methode-resultaat-conclusies structuur moet respecteren; in een conferentie is het belangrijk om duidelijk en direct te zijn met het publiek); Verhalen tonen (kort, evalueerbaar en interessant om je boodschap onder het publiek te brengen); Spreker (aanwezigheid en houding zijn erg belangrijk.

Open access publiceren vergroot de geloofwaardigheid, maakt mogelijke samenwerkingen mogelijk; grotere zichtbaarheid van grote bedrijven en uitgevers; delen van kennis; meer offertes.

Bekijk het werk van anderen. Wees kritisch maar altijd onpartijdig! Kritiek moet constructief zijn en in staat zijn meer kennis te produceren.

Concluderend kan worden gesteld dat het, alvorens te beslissen welk tijdschrift, zelfs van multidisciplinaire aard, beter is om te publiceren, handig is om zorgvuldig na te denken over:

• Redactie
• Reputatie van het tijdschrift in zijn vakgebied.
• Verspreiding van het tijdschrift.
• Impactfactor of behorend tot klasse A.

Hier zijn enkele nuttige databases met gratis of gereserveerde toegang (tot sommige universiteiten) voor informatie:

• Journal of Citation Reports (database voor beperkte toegang) waarin wetenschappelijke tijdschriften worden geëvalueerd door het verwerken van statistieken op basis van de analyse van citaten.
• Scopus Journal Metrics (database met beperkte toegang) die een snelle en transparante analyse van de voortgang van een tijdschrift biedt.
• Scimago Journal Rank gratis database die statistieken genereert over artikel citaties ook op landniveau.
• Elsevier Journal Finder tool ontwikkeld door Elsevier om het meest geschikte tijdschrift te selecteren vanaf het abstract dat wordt geproduceerd.
• JournalGuide gratis site nuttig voor eenvoudige en betrouwbare erkenning van gezaghebbende tijdschriften waar van de titel van een tijdschrift kunnen we links naar vinden: Journal website, Auteur instructies en Inzending pagina.
• ThinkCheckSubmit site born from the initiative of some publishers to facilitate the researcher in choosing reliable journals.