Evaluering af et videnskabeligt tidsskrift

En af forskernes hovedaktiviteter er udgivelse af artikler om deres forskningsemner.

Evalueringen af forskningens kvalitet er afgørende for at få adgang til den finansiering, der kan komme, f.eks. gennem deltagelse i europæiske projekter. Når der opnås offentlig støtte, er det nødvendigt, at forskningsresultaterne er gratis og umiddelbart tilgængelige for alle. En god vurdering af forskningskvaliteten er også afgørende for at kunne påbegynde den akademiske karriere.

Derfor er det i forbindelse med evalueringen af et tidsskrift i dag meget vigtigt, at dette tidsskrift er i Open Access, at andre grundlæggende karakteristika er en regelmæssig hyppighed, ISSN-koden, oversættelse af i det mindste det abstrakte til engelsk, tilstedeværelsen af nøgleord og tilstedeværelsen af en relevant videnskabelig komité, muligvis international. Tidsskrifterne er hovedsagelig opdelt i to store grupper: de videnskabelige og de humanistiske. Førstnævnte er karakteriseret ved Impact Factor, dvs. et indeks, der er resultatet af en sammenhæng mellem citater af artikler, der er offentliggjort i den foregående toårsperiode, og det samlede antal artikler, der er offentliggjort i den samme toårsperiode af magasinet. Citaterne af artiklerne flyder ind i Journal Citation Report, Scopus og Web of Science:

• Science Citation Index Expanded dækker mere end 8.500 bemærkelsesværdige tidsskrifter, der spænder over 150 discipliner. Dækningen går fra år 1900 til i dag.
• Social Science Citation Index dækker mere end 3.000 tidsskrifter inden for de samfundsvidenskabelige discipliner. Dækningsområdet går fra år 1900 til i dag.
• Arts & Humanities Citation Index dækker mere end 1.700 kunst- og humanistiske tidsskrifter siden 1975. Derudover er 250 førende videnskabelige og samfundsvidenskabelige tidsskrifter også dækket.
• Emerging Sources Citation Index dækker over 5.000 videnskabelige, samfundsvidenskabelige og humanistiske tidsskrifter.
• Book Citation Index dækker over 60.000 bøger udvalgt på en redaktionel måde siden 2005.
• Conference Proceedings Citation Index (CPCI) dækker mere end 160.000 videnskabelige konferencetitler fra 1990 til i dag.

F.eks. beregning af IF 2018 for det pågældende tidsskrift:

75 2018
Citater af artikler udgivet i 2016-17 75 = 0,484
155 Artikler i alt udgivet i 2016-17

Den humanistiske type tidsskrifter er i stedet organiseret i klasser: I klasse A finder vi de mest prestigefyldte tidsskrifter for hver disciplin, tidsskrifter, der har gennemgået en peer review-proces, som kommer ud regelmæssigt, allerede til stede i flere år, med sammendrag på engelsk osv.; for at afslutte klasse A skal der fremsættes en meget dokumenteret anmodning.

En interessant artikel af Faggiolani og Solimine om evalueringen blev offentliggjort for ti år siden på AIB Studi^1. Hvis vi søger efter det på siden af Aib Studi, kan vi se forskellige ting: til højre, hvor dette magasin er indekseret (ANVUR, DOAJ, SCOPUS), i centrum DOI, den abstrakte, alle de vigtige data, en graf med downloads opdateret op til sidste måned, referencer og endelig, hvordan artiklen skal citeres.

Artiklen fremhæver, at monografien for publikationer inden for humaniora ofte er mere betydningsfuld end den enkelte artikel, og at udgivelsen på et andet sprog end engelsk straffes. Ofte er publikationerne inden for humaniora ikke i flere hænder, og dette reducerer i høj grad antallet af citater. For humanistiske tidsskrifter strækker den videnskabelige værdi sig desuden generelt over en meget længere periode, selv i mange år. Betydningen af peer review fastholdes derfor, selv om der også er problemer i denne praksis. Så måske den bedste løsning ville være en blandet tilgang, der tager hensyn til nogle “målbare” faktorer, men også dobbeltblind peer review (gensidigt ukendte forfattere og evaluatorer). Artiklen forestiller sig, at biblioteker kan give nogle impulser til at forstå den reelle indvirkning af en publikation på resten af den videnskabelige verden, evaluere eksistensen af rester og tilstedeværelsen i kataloger af prestigefyldte biblioteker, med metoder som LCA (Library Catalog Analysis). Andre forfattere, såsom Figà Talamanca, lancerede sig selv, tyve år siden, imod brugen af IF i matematik, fordi “venner” citater blev også taget i betragtning, eller “negative” citater blev inkluderet i tællingen. I sidste ende er det ikke sikkert, at en stor mængde nødvendigvis også betyder kvalitet^2.

Figur 1. C. Faggiolani e G. Solimine, 2012, La valutazione della ricerca, la bibliometria el’albero di Bertoldo, AIB studi, 52, 1 (mag. 2012). DOI: https://doi.org/10.2426/aibstu- di-6290.

Ifølge Antonella De Robbio: “Med henblik på at måle virkningen af en forfatters arbejde i det videnskabelige samfund er det vigtigt at begynde at eksperimentere med nye bibliometriske teknikker inden for de åbne arkiver sammen med udviklingen af nye” åbne “metoder, der har til formål at opfylde de sofistikerede behov for en korrekt evaluering af intellektuelle forskningsproduktioner. […] Open Access åbner nye grænser, ikke kun i udviklingen af en ny generation af bibliometriske indikatorer, der fokuserer på det enkelte værk eller under alle omstændigheder på forfatteren snarere end på tidsskriftet, men frem for alt i form af infrastruktur, der er nyttig for en omfattende konsekvensanalyse”³. De Robbio citerer også Daniel Torres-Salinas’ undersøgelse fra 2009 om LCA for monografier, som er det mest populære produkt inden for humaniora⁴.

I 2014, Simona Turbanti⁵ i Navigation the Sea af Scop- us Web Of Science og Google Scholar beskriver den forskning – udført i de to store citering databaser, Web of Science og Scopus, og i Google Scholar – af de videnskabelige værker af professorer og forskere i M-STO sektor/08, arkiver og bibliotek, der illustrerer den fulgte metode, de vigtigste forskelle i brug samt begrænsningerne i de forespørgte databaser. WoS søger i over 12.300 tidsskrifter, omkring 150.000 konferencemøder og 30.000 monografiske publikationer, med en klar udbredelse af titler fra det nordamerikanske område, mens den “yngre” Scopus dækker omkring 19.500 periodiske titler, hvoraf mange fra Europa, over 350 samlinger af monografier (og fra 2013 også enkeltstående monografier), næsten 5.000.000 konferencedokumenter og patenter.

Ved at konsultere Journal Citation Report, en årlig rapport udarbejdet af ISI (Institute for Scientific Information), hvor du kan finde statistikker over antallet af citater, der er foretaget inden for et stort antal teknisk-videnskabelige tidsskrifter, kan vi finde, udover Impact Factor, andre indikatorer, der giver os mulighed for at forstå værdien af et magasin:

• Straksindeks: måler, hvor hurtigt en artikel fra et tidsskrift citeres i gennemsnit, og hvor ofte artiklerne fra det pågældende tidsskrift citeres i det aktuelle
• Citeret Half-Life: måler den gennemsnitlige varighed af citater af artikler i et tidsskrift i det indeværende år, eller rettere den fortsatte relevans af en publikation.
• Cites-indekset: et kvalitetsindeks for den enkelte artikel, jo mere der henvises til værket, desto større er dets videnskabelige værdi.

Henvisningseffekt: resultater fra forholdet mellem antallet af henvisninger og antallet af offentliggjorte værker. Den henviser direkte til den nytte, som publikationer fra en nation, et universitet, en forskningsstruktur eller endog fra en enkelt forsker har haft i den videnskabelige verden.

For eksempel, på udkig efter det videnskabelige tidsskrift i JCR Coastal Engineering Journal finder vi beskrivelsen af tidsskriftet, sted for udgivelse, periodicitet, IF, med denne korte beskrivelse på engelsk af IFJ: “det er en tidsskrift-niveau metrik beregnet ud fra data indekseret i Web of Science Core Collection. Det bør bruges med særlig opmærksomhed på de mange faktorer, der påvirker citationsrater, såsom mængden af udgivelser og citeringskarakteristika for fagområdet og typen af tidsskrift. Journal Impact Factor kan supplere ekspertudtalelser og informeret peer review. I tilfælde af akademisk evaluering for ansættelse, er det uhensigtsmæssigt at bruge en tidsskrift-niveau metrik som en proxy måling for individuelle forskere, institutioner, eller artikler”.

Ud over de numeriske data, for eksempel, IF i 2020 er 3216 (meget høj), og ved at eliminere selv-citationer, det er 2811, der stadig er meget høj. Det er interessant også at se tendensen i IF i en grafisk repræsentation.

Klassificeringen af humanistiske tidsskrifter er en aktivitet, der udføres af ANVUR (National Agency for the Evaluation of the University and Research System) med henblik på at beregne indikatorerne for den nationale videnskabelige kvalifikation fra 2012. Det er også nødvendigt med henblik på akkreditering af ph.d.-kurser i forbindelse med krav A4.3 fra XXXIII-cyklussen (a.y. 2017-18), der udelukkende gennemføres for de sektorer, der er omfattet af den relevante lovgivning, dvs. dem, der er en del af human- og samfundsvidenskab og identificeret som “ikke-bibliometriske”. Klassifikationen er opdelt i 6 områder:

• Arkitektur (AREA Cun/VQR 8.a).
• Antikke, filologiske, litterære og historisk-kunstneriske videnskaber (område 10).
• Historiske, filosofiske og pædagogiske videnskaber (område 11.a).
• Juridisk videnskab (område 12).
• Økonomiske og statistiske videnskaber (område 13).
• Stats- og samfundsvidenskab (område 14)⁶.

I henhold til ANVUR-forordningen skal et tidsskrift for at blive optaget på listen over videnskabelige publikationer af klasse A sikre »dobbeltblinde« dommerprocedurer (dobbeltblinde anmeldelser). Tværtimod er evalueringen af forskningsprodukter gennem VQR kun en “ensidig blind gennemgang”, fordi evaluatoren er bekendt med forfatterens identitet. Denne mangel på anonymitet kan føre til en evaluering af forfatteren snarere end af værket.

Derfor vælger en klog forsker et tidsskrift, der har en god Impact Factor eller er i klasse A, før han beslutter, hvor han/hun skal offentliggøre det.

Hvad sker der i stedet for tværfaglige tidsskrifter, som det er tilfældet med vores UniCamillus Global Heath Journal? Det vil sige, at de ikke kan indsættes i disse to kategorier?

På ANVURs hjemmeside den 15/02/2016, altså nu for 6 år siden, er det specificeret som følger: “Afklaring på behandling af tværfaglige tidsskrifter (såsom Nature, Science, etc.) i bibliometrisk evaluering. Artiklerne i disse tidsskrifter vil naturligvis blive accepteret til evaluering og kan evalueres med den bibliometriske metode. Som allerede anført i ledsagedokumentet til offentliggørelsen af Web of Science-data og i afklaringsnotatet om anvendelsen af den bibliometriske algoritme, vil de produkter, der offentliggøres i disse tidsskrifter, under den bibliometriske evaluering blive evalueret ved hjælp af de tærskler i SCa, som størstedelen af de artikler, der er anført af produktet i bibliografien, tilhører, og dem, der har citeret selve produktet”.

Størstedelen af de artikler, der offentliggøres i tidsskriftet, vil derfor blive taget i betragtning til evalueringsformål.

Et interessant lille bind blev for nylig udgivet i USA: Zaumanis M. (2021), Write an impactful research paper: A scientific writing technique that will shape your academic career, ISBN 13 9798680546949.

Forfatteren er en ung ph.d.-stipendiat i USA, i øjeblikket forsker i Schweiz på Empa (en forskergruppe, der er en del af ETH).

Bogen har til formål at vise strategier og værktøjer for at lede håbefulde akademikere og forfattere i retning af god skrivning af vellykkede videnskabelige artikler. Den henvender sig til læsere, der er specialiseret inden for alle videnskabelige og humanistiske områder. Hensigten er først og fremmest at nå ud til unge forskere, selv (men måske først og fremmest) uden publikationer. Forsøget på at stimulere denne type publikum skjuler den subtile kritik af den tværfaglige akademiske verden, der til tider er så elitær og skræmmende, at den synes uopnåelig. Teksten er opdelt i to dele.

Del 1: Sprangskrivningsmetoden

EAP akademisk skrivning tilgang er en skematisk og systematisk tilgang til papiret og en indikation for at vælge den rigtige tidsskrift, hvor at offentliggøre det. Ud fra et sprogligt synspunkt henvises der til både forskningens form og sprog. Betydningen og effektiviteten af en videnskabelig artikel ligger i det budskab, du ønsker at kommunikere til læseren, ikke i udvælgelsen af høje klingende og overflødige udtryk, der kun kunne forvirre. Hvad angår valget af engelsk som køretøjssprog, er det utvivlsomt det mest fornuftige valg at nå ud til et bredere publikum, men det er ikke nødvendigt at have et højt kompetenceniveau og beherskelse af det. Hvad indholdet angår, fortjener ethvert akademisk arbejde opmærksomhed, såvel som idéen bag det og de opnåede resultater.

Sprangprincippet

L: Layout, grafer og tabeller fungerer som en grundlæggende støtte til præsentationen af en videnskabelig artikel. Billederne (simple og nogle gange endda selvbeskrivende) repræsenterer en stor ressource for læseren, såvel som for forfatteren. Læsning bliver hurtigere og mere forklarende, samt mindre krævende. Zaumanis leverer linket til et websted (https://peerrecognized.com) specifikt til oprettelse af en artikel, det indeholder alle de nødvendige værktøjer i denne henseende.

E: Forklar resultaterne. Når du skriver artiklen, er det vigtigt altid at huske på det budskab, du ønsker at kommunikere; det skal være direkte og “let” at forstå, på trods af kompleksiteten af den forskning, der udføres. Således går vi over til at forklare målene, resultaterne og de anvendte metoder (alt dette vil blive finpudset hver gang også ud fra et sprogligt synspunkt). Målet vil være at få alle læsere til at drage den samme konklusion. Betydningen af de kilder og den litteraturliste, der konsulteres for arbejdet, bør ikke undervurderes; det er vigtigt, at brugerne kan verificere forskningens rigtighed for at anse den for pålidelig (og derefter citere den og udnytte den på andre studieområder). Hvert oprindeligt fastsat mål skal finde sit eget svar inden for konklusionen. Betydningen af konsekvens.

A: Annoncer. Forskningen kræver en solid og sammenhængende struktur for en kvalitetspublikation. Det betyder, at artiklens strukturelle rækkefølge vil være relevant for den indvirkning, den vil have på læserne. Resumé og titel vil være afgørende for at tiltrække læserens opmærksomhed og tilskynde ham til at læse avisen. Det betyder, at et letforståeligt abstrakt materiale vil være mere stimulerende for brugerne.

P: Forberedelse til indsendelse. Papirets kvalitet vil helt sikkert være relevant for en publikation. Endnu vigtigere er det imidlertid at udvælge den rette avis eller det rette magasin til at udgive den i. Der er nogle vigtige udvælgelseskriterier i denne henseende; tidsskriftets/avisens mål og historie; påkrævet indhold; adgang til offentligheden; hyppighed; rangorden og pålidelighed.

Del 2: Kend spillereglerne

Otte regler, der skal følges for offentliggørelse med henblik på at opnå succes og et højt niveau af akademisk interesse.

Udgiv en masse i begyndelsen af din karriere: det er vigtigt at skabe en vis hyppighed med hensyn til publikationer. Hvis du ikke laver fejl (nogle gange fatale), vil resultatet være optimalt, og berømmelsen vil vokse mere og mere.

Udgiv virkningsfulde papirer. Medforfattere effektivt: det er vanskeligt og yderst vigtigt, i tilfælde af samarbejde, at finde gyldige og samarbejdsvillige medforfattere på det rigtige sted. Viden om den anden er grundlaget for alt. Dette efterfølges af udarbejdelse og definition af målet. Opgavefordelingen: Giv altid et resumé af alle de beslutninger, der træffes, ved at udarbejde skriftlige oversigter.

Opbyg en online tilstedeværelse for at holde trit med tiderne og med de teknologiske ressourcer, som heldigvis vi har til rådighed. Oprettelse af et navn vil ikke være let, men en god online præsentation af din person er et fremragende springbræt til offentliggørelse og formidling af dine forskningsværker.

Prioritere tidsskrifter frem for konferencemøder: Det er godt, at et forskningsarbejde er afsluttet før enhver præsentation af det samme, under en konference. Præsentationen af de opnåede resultater under debatter og konferencer vil gøre det muligt at nå ud til et endnu bredere publikum end i tidsskrifterne.

Reklame på konferencer betydningen af peer anerkendelse. 5 S-pyramiden til præsentation. Stof (i bunden af enhver videnskabelig præsentation); Struktur (hvis en afhandling skal respektere intro-metode-resultater-konklusioner struktur; i en konference det vigtige er at være klar og direkte med publikum); Vis historier (kort, evaluerbar og interessant at få dit budskab ud til offentligheden); Taler (tilstedeværelse og holdning er meget vigtigt.

Offentliggørelse af open access øger troværdigheden, muliggør samarbejde, større synlighed fra store virksomheder og udgivere, videndeling og flere citater.

Gennemgå andres arbejde. Vær kritisk, men altid upartisk! Kritik skal være konstruktiv, og den skal være i stand til at producere mere viden.

Afslutningsvis vil jeg gerne gentage, at det, inden man beslutter, hvilket tidsskrift, selv af en tværfaglig type, det er bedst at udgive, er hensigtsmæssigt at overveje nøje:

• Redigeret af:
• Tidsskriftets omdømme på det disciplinære område.
• Cirkulation af bladet.
• Slagfaktor eller tilhørende klasse A.

Her er nogle nyttige databaser med gratis eller reserveret adgang (til nogle universiteter) til information:

• Journal of Citation Reports (database med begrænset adgang), som evaluerer videnskabelige tidsskrifter ved at behandle statistikker baseret på analysen af citater.
• Scopus Journal Metrics (begrænset adgang database), som giver en hurtig og gennemsigtig analyse af udviklingen af et tidsskrift.
• Scimago Journal Rank gratis database, der genererer statistikker om artikel citater også på landeniveau.
• Elsevier Journal Finder værktøj udviklet af Elsevier til at vælge den mest egnede tidsskrift startende fra det abstrakte, der er produceret.
• JournalGuide gratis websted nyttigt for nem og pålidelig anerkendelse af autoritative tidsskrifter, hvor fra titlen på et tidsskrift, vi kan finde links til: Journal hjemmeside, Forfatter instruktioner og Indsendelse side.
• ThinkCheckSubmit-webstedet er født på initiativ af nogle forlag for at gøre det lettere for forskeren at vælge pålidelige tidsskrifter.