Utvärderingen av en vetenskaplig tidskrift

En av forskarens huvudverksamheter är publicering av artiklar relaterade till deras forskningsämnen.

Utvärderingen av forskningens kvalitet är nödvändig för att få tillgång till den finansiering som kan komma, till exempel genom deltagande i europeiska projekt. När offentliga medel erhålls är det nödvändigt att forskningsresultaten då är tillgängliga för alla kostnadsfritt och omedelbart. En god bedömning av forskningskvaliteten är också en förutsättning för att kunna inleda en akademisk karriär.

Därför är det i dag mycket viktigt att denna tidskrift är i Open Access, andra grundläggande egenskaper är en regelbunden periodicitet, ISSN-koden, översättningen av åtminstone det abstrakta till engelska, närvaron av nyckelord och närvaron av en relevant vetenskaplig kommitté, eventuellt internationell. Tidskrifterna är i huvudsak indelade i två stora grupper: de vetenskapliga och de humanistiska. De förstnämnda kännetecknas av Impact Factor, det vill säga ett index som är resultatet av ett samband mellan citeringarna av artiklar som publicerats under den föregående tvåårsperioden och det totala antalet artiklar som publicerats under samma tvåårsperiod av tidskriften. Artiklarna citeras i tidskriften Citation Report, Scopus and the Web of Science:

• Science Citation Index Expanded omfattar mer än 8 500 anmärkningsvärda tidskrifter som spänner över 150 discipliner. Täckningen sträcker sig från år 1900 till i dag.
• Samhällsvetenskapligt citeringsindex omfattar mer än 3 000 tidskrifter inom samhällsvetenskapliga discipliner. Täckningen sträcker sig från år 1900 till idag.
• Arts & Humanities Citation Index omfattar mer än 1700 konst- och humanistiska tidskrifter sedan 1975. Dessutom behandlas 250 ledande vetenskapliga och samhällsvetenskapliga tidskrifter.
• Emerging Sources Citation Index omfattar över 5 000 vetenskapliga, samhällsvetenskapliga och humanistiska tidskrifter.
• Bokcitationsindex omfattar över 60 000 böcker som valts ut på ett redaktionellt sätt sedan 2005.
• Conference Proceedings Citation Index (CPCI) omfattar mer än 160 000 vetenskapliga konferenstitlar från 1990 till i dag.

Exempelvis beräkning av IF 2018 för den aktuella tidskriften:

75 2018
Citat från artiklar publicerade 2016-17 75 = 0,484
155 Totalt antal publicerade artiklar 2016-2017

Den humanistiska typen av tidskrifter är i stället organiserade i klasser: i klass A hittar vi de mest prestigefyllda tidskrifterna för varje disciplin, tidskrifter som har genomgått en peer review-process, som kommer ut regelbundet, redan finns i flera år, med sammanfattningar på engelska etc. För att avsluta klass A måste en mycket dokumenterad begäran göras.

En intressant artikel av Faggiolani och Solimine om utvärderingsfrågan publicerades för tio år sedan på AIB Studi¹. Om vi söker efter den på sidan för Aib Studi, kan vi se olika saker: till höger där denna tidning är indexerad (ANVUR, DOAJ, SCOPUS), i centrum DOI, abstrakt, alla viktiga data, en graf med nedladdningar uppdaterade fram till förra månaden, referenser och, slutligen, hur artikeln bör citeras.

Artikeln belyser att monografin ofta är mer betydelsefull för publikationer inom humaniora än den enskilda artikeln och att publicering på ett annat språk än engelska bestraffas. Ofta är inte publikationerna inom humaniora i flera händer, vilket kraftigt minskar antalet citat. För humanistiska tidskrifter sträcker sig det vetenskapliga värdet dessutom i allmänhet mycket längre, även under många år. Vikten av inbördes utvärdering bekräftas därför, även om det också finns problem i denna praxis. Så kanske den bästa lösningen skulle vara en blandad strategi som tar hänsyn till några ”mätbara” faktorer men också dubbelblinda peer review (ömsesidigt okända författare och utvärderare). Artikeln föreställer sig att bibliotek kan ge en viss impuls till att förstå den verkliga effekten av en publikation på resten av den vetenskapliga världen, utvärdera existensen av kvarlevor och förekomsten i kataloger av prestigefyllda bibliotek, med metoder som LCA (Library Catalog Analysis). Andra författare, såsom Figà Talamanca, lanserade sig, för tjugo år sedan, mot användningen av IF i matematik, eftersom ”vänner” citat också beaktades, eller annars ”negativa” citat ingick i räkningen. I slutändan är det inte säkert att en stor mängd nödvändigtvis också betyder kvalitet².

Bild 1. C. Faggiolani e G. Solimine, 2012, La valutazione della ricerca, la bibliometria e l’albero di Bertoldo, AIB studi, 52, 1 (mag. 2012). DOI: https://doi.org/10.2426/aibstu- di-6290.

Enligt Antonella De Robbio: ”För att mäta verkningarna av en författares arbete inom det vetenskapliga samfundet är det viktigt att börja experimentera med nya bibliometriska tekniker inom de öppna arkiven tillsammans med utvecklingen av nya” öppna ”metoder som syftar till att tillgodose de sofistikerade behoven av en korrekt utvärdering av intellektuella forskningsproduktioner. […] Open Access öppnar nya gränser, inte bara i utvecklingen av en ny generation bibliometriska indikatorer som är inriktade på det enda verket eller i vilket fall som helst på författaren snarare än på tidskriften, men framför allt när det gäller infrastruktur som är användbar för omfattande konsekvensbedömningar”³ De Robbio citerar också Daniel Torres-Salinas studie från 2009 om LCA för monografier, som är den mest populära produkten för humaniora⁴.

År 2014, Simona Turbanti⁵ i Navigating the Sea av Scop- us Web Of Science och Google Scholar beskriver forskningen – som utförs i de två stora citeringsdatabaserna Web of Science och Scopus, och i Google Scholar – av de vetenskapliga verken av professorer och forskare inom M-STO-sektorn/ 08, arkiv och bibliotek, som illustrerar den metod som följts, de viktigaste skillnaderna i användning samt begränsningarna i de sökta databaserna. WoS söker i över 12 300 tidskrifter, cirka 150 000 konferensförfaranden och 30 000 monografiska publikationer, med en tydlig förekomst av titlar från det nordamerikanska området, medan den ”yngre” Scopus täcker omkring 19 500 periodiska titlar, varav många från Europa, över 350 samlingar av monografier (och, från och med 2013, även enstaka monografier), nästan 5 000 000 konferenspapper och patent.

Genom att konsultera Journal Citation Report, en årsrapport producerad av ISI (Institute for Scientific Information), där du kan hitta statistik över antalet citeringar som görs inom ett stort antal teknisk-vetenskapliga tidskrifter, kan vi hitta, förutom Impact Factor, andra indikatorer som gör det möjligt för oss att förstå värdet av en tidning:

• Omedelbarhetsindex: mäter hur snabbt en artikel från en tidskrift citeras i genomsnitt och hur ofta artiklarna från den tidskriften citeras i den aktuella
• Cited Half-Life: mäter den genomsnittliga varaktigheten för citeringar av artiklar i en tidning under innevarande år, eller snarare den pågående relevansen av en publikation.
• Rate of Cites Index: ett kvalitetsindex för den enskilda artikeln, ju mer verket citeras, desto mer betydande är dess vetenskapliga värde.

Citat Effekt: resultat från förhållandet mellan antalet citat och antalet publicerade verk. Den hänvisar direkt till den nytta som publikationer från en nation, ett universitet, en forskningsstruktur eller till och med en enskild forskare har haft i den vetenskapliga världen.

Till exempel, letar efter den vetenskapliga tidskriften i JCR Coastal Engineering Journal hittar vi beskrivningen av tidskriften, plats för publicering, periodicitet, IF, med denna korta beskrivning på engelska av IFJ: ”det är en journal-nivå mätning beräknas från data indexerade i Web of Science Core Collection. Det bör användas med noggrann uppmärksamhet på de många faktorer som påverkar citeringsfrekvensen, såsom volymen av publicering och citeringskarakteristika för ämnesområdet och typen av tidskrift. Journal Impact Factor kan komplettera expertutlåtanden och informerade inbördes utvärderingar. När det gäller akademisk utvärdering för anställning är det olämpligt att använda ett mått på tidskriftsnivå som ett mått på proxy för enskilda forskare, institutioner eller artiklar”.

Utöver de numeriska uppgifterna är till exempel IF 2020 3216 (mycket hög) och genom att eliminera självciteringar är det 2811, som fortfarande är mycket hög. Det är intressant att också se trenden för IF i en grafisk representation.

Klassificeringen av humanistiska tidskrifter är en verksamhet som utförs av ANVUR (National Agency for the Evaluation of the University and Research System) i syfte att beräkna indikatorerna för den nationella vetenskapliga examen från och med 2012. Den behövs också för att tillgodoräkna sig doktorandkurser, i förhållande till krav A4.3 från och med XXXIII-cykeln (ay 2017-18), som genomförs uteslutande för de sektorer som avses i relevant lagstiftning, det vill säga de som ingår i human- och samhällsvetenskap och identifieras som ”icke-bibliometriska”. Klassificeringen är indelad i 6 områden:

• Arkitektur (Area CUN / VQR 8.a).
• Forntida, filologisk-litterär och historisk-konstnärlig vetenskap (område 10).
• Historiska, filosofiska och pedagogiska vetenskaper (område 11.a).
• Rättsvetenskap (område 12).
• Ekonomisk och statistisk vetenskap (område 13).
• Statsvetenskap och samhällsvetenskap (område 14)⁶.

Enligt ANVUR-förordningen måste en tidskrift för att kunna tas upp i förteckningen över vetenskapliga publikationer av klass A garantera ”dubbelblinda” referensförfaranden (dubbelblind granskning). Tvärtom är utvärderingen av forskningsprodukter genom VQR endast en ”ensidig blindgranskning” eftersom utvärderaren är medveten om författarens identitet. Denna brist på anonymitet kan leda till att författaren utvärderas snarare än verket.

Därför, innan du bestämmer dig för var du ska publicera, väljer en smart forskare en Tidskrift som har en bra Impact Factor eller är i klass A.

Vad händer istället för tvärvetenskapliga tidskrifter, som i fallet med vår UniCamillus Global Heath Journal? Det vill säga att de inte kan föras in i dessa två kategorier?

På ANVUR: s webbplats den 15/02/2016, alltså nu för 6 år sedan, anges följande: ”Förtydligande om behandling av tvärvetenskapliga tidskrifter (såsom Nature, Science, etc.) i bibliometrisk utvärdering. Artiklarna som publiceras i dessa tidskrifter kommer naturligtvis att accepteras för utvärdering och kan utvärderas med den bibliometriska metoden. Såsom redan angetts i följedokumentet till publiceringen av Web of Science-data och i förklaringsnoten om tillämpningen av den bibliometriska algoritmen kommer faktiskt de produkter som publiceras i dessa tidskrifter, under den bibliometriska utvärderingen, att utvärderas med hjälp av tröskelvärdena i SC a som de flesta av de artiklar som anges av produkten i litteraturlistan tillhör och de som har angett själva produkten”.

Merparten av de artiklar som publiceras i tidskriften kommer därför att beaktas för utvärderingsändamål.

En intressant liten volym publicerades nyligen i USA: Zaumanis M. (2021), Write an impactful research paper: A scientific writing technique that will shape your academic career, ISBN 13 9798680546949.

Författaren är en ung doktorand i USA, för närvarande forskare i Schweiz vid Empa (en forskargrupp som ingår i ETH).

Boken syftar till att visa strategier och verktyg för att styra blivande akademiker och författare mot ett bra skrivande av framgångsrika vetenskapliga artiklar. Den riktar sig till läsare som är specialiserade på alla vetenskapliga och humanistiska områden. Avsikten är att nå framför allt unga forskare, även (men kanske framför allt) utan publikationer. Försöket att stimulera denna typ av publik döljer den subtila kritiken av den tvärvetenskapliga akademiska världen, ibland så elitistisk och skrämmande att den verkar ouppnåelig. Texten är uppdelad i två delar.

Del 1: Språngskrivningsmetoden

EAP akademiskt skrivande är ett schematiskt och systematiskt tillvägagångssätt till uppsatsen och en indikation för att välja rätt tidskrift att publicera den i. Ur språklig synvinkel hänvisas till både forskningens form och fordonsspråk. Vikten och effektiviteten av en vetenskaplig artikel ligger i det budskap du vill kommunicera till läsaren, inte i valet av högljudda och överflödiga termer som bara kan förvirra. När det gäller valet av engelska som fordonsspråk är det utan tvekan det mest förnuftiga valet att nå ut till en bredare publik, men det är ändå inte nödvändigt att ha en hög kompetensnivå och behärskning. När det gäller innehållet förtjänar varje akademiskt arbete uppmärksamhet, liksom idén bakom det och de resultat som uppnåtts.

Språngprincipen

L: Layout, grafer och tabeller fungerar som ett grundläggande stöd för presentationen av en vetenskaplig artikel. Bilderna (enkla och ibland till och med självbeskrivande) utgör en stor resurs för läsaren, liksom för författaren. Läsning blir snabbare och mer förklarande, samt mindre krävande. Zaumanis tillhandahåller länken till en webbplats (https://peerrecognized.com) specifikt för att skapa en artikel, den innehåller alla nödvändiga verktyg i detta avseende.

E: Förklara resultaten. När du skriver artikeln är det viktigt att alltid komma ihåg det budskap du vill kommunicera; det måste vara direkt och ”lätt” att förstå, trots komplexiteten i den forskning som utförs. På så sätt går vi vidare till förklaringen av målen, resultaten och de metoder som används (allt detta kommer att förfinas varje gång även ur språklig synvinkel). Målet kommer att vara att få alla läsare att dra samma slutsats. Vikten av de källor och den litteraturlista som konsulteras för arbetet bör inte underskattas, det är viktigt att användarna kan kontrollera forskningens sanningsenlighet för att bedöma den som tillförlitlig (och sedan citera den och utnyttja den inom andra studieområden). Varje ursprungligen fastställt mål måste finna sitt eget svar inom slutsatsen. Vikten av konsekvens.

S: Annonsera. Forskningen kräver en solid och sammanhängande struktur för en kvalitetspublikation. Detta innebär att artikelns strukturordning kommer att vara relevant för den inverkan den kommer att ha på läsarna. Sammanfattning och titel kommer att vara avgörande för att locka läsarens uppmärksamhet och uppmuntra honom att läsa tidningen. Detta innebär att ett lättförståeligt abstrakt kommer att vara mer stimulerande för användarna.

P: Förbered för inlämning. Dokumentets kvalitet kommer säkerligen att vara relevant för en publikation. Ännu viktigare är dock valet av rätt tidning eller tidskrift att publicera den i. Det finns några viktiga urvalskriterier i detta avseende; tidskriftens/tidningens mål och historia; erforderligt innehåll; tillgång till allmänheten; periodicitet; rangordning och tillförlitlighet.

Del 2: Känn till spelreglerna

Åtta regler att följa för publicering i syfte att uppnå framgång och en hög nivå av akademiskt intresse.

Publicera mycket i början av din karriär: det är viktigt att skapa en viss frekvens när det gäller publikationer. Om du inte gör misstag (ibland fatala), kommer resultatet att bli optimalt och berömmelsen kommer att växa mer och mer.

Publicera verkningsfulla artiklar. Medförfattare effektivt: det är svårt och oerhört viktigt att hitta giltiga medförfattare på rätt plats vid samarbeten. Kunskap om den andra är grunden för allt. Detta följs av utarbetandet och definitionen av målet. Uppgiftsfördelningen: sammanfatta alltid alla beslut som fattas genom att göra skriftliga konturer.

Bygg en online närvaro för att hålla jämna steg med de tider och med de tekniska resurser som lyckligtvis vi har tillgängliga. Att skapa ett namn kommer inte att vara lätt, men en bra online-presentation av din person är en utmärkt språngbräda för publicering och spridning av dina forskningsarbeten.

Prioritera tidskrifter framför konferensarbeten: det är bra att ett forskningsarbete är avslutat innan någon presentation av samma, under en konferens. Presentationen av de uppnådda resultaten under debatter och konferenser kommer att göra det möjligt att nå en ännu bredare publik än tidskrifterna.

Annonsera på konferenser vikten av kollegialt erkännande. 5 S-pyramiden för presentation. Substans (i grunden för varje vetenskaplig presentation); Struktur (om en avhandling måste respektera intrometoden-resultat-konklusioner struktur; i en konferens är det viktigt att vara tydlig och direkt med publiken); Visa berättelser (kort, utvärderbar och intressant för att få ut ditt budskap till allmänheten); Talare (närvaro och attityd är mycket viktigt.

Publicera open access ökar trovärdigheten, möjliggör möjliga samarbeten, större synlighet från stora företag och utgivare, utbyte av kunskap, fler citat.

Granska andras arbete. Var kritisk men alltid opartisk! Kritiken måste vara konstruktiv och kunna producera mer kunskap.

Sammanfattningsvis vill jag upprepa att det är lämpligt att noggrant överväga följande innan man beslutar om vilken tidskrift, även av en tvärvetenskaplig typ, som är bäst att publicera:

• Redaktionen.
• Tidskriftens rykte inom sitt disciplinära område.
• Cirkulation av tidningen.
• Slagfaktor eller tillhör klass A.

Här är några användbara databaser med gratis eller reserverad tillgång (till vissa universitet) för information:

• Journal of Citation Reports (databas med begränsad tillgång) som utvärderar vetenskapliga tidskrifter genom att bearbeta statistik baserad på analys av citat.
• Scopus Journal Metrics (databas med begränsad åtkomst) som ger en snabb och transparent analys av framstegen i en tidskrift.
• Scimago Journal Rank gratis databas som genererar statistik om artikel citat också på landsnivå.
• Elsevier Journal Finder verktyg utvecklat av Elsevier för att välja den mest lämpliga tidskriften med utgångspunkt från det abstrakta som produceras.
• JournalGuide gratis webbplats användbar för enkel och tillförlitlig igenkänning av auktoritativa tidskrifter där från titeln på en tidskrift kan vi hitta länkar till: Journal hemsida, Författare instruktioner och Inlämning sida.
• ThinkCheckSubmit webbplats född på initiativ av vissa förläggare för att underlätta för forskaren att välja tillförlitliga tidskrifter.