A Avaliação de uma Revista Científica

Uma das principais atividades de um pesquisador é a publicação de artigos relacionados aos seus temas de pesquisa.

A avaliação da qualidade da investigação é essencial para aceder ao financiamento que pode vir, por exemplo, através da participação em projectos europeus. Quando o financiamento público é obtido, é necessário que os resultados da pesquisa sejam disponibilizados a todos gratuitamente e imediatamente. Uma boa Avaliação da Qualidade da Pesquisa também é essencial para empreender a carreira acadêmica.

Portanto, na avaliação de uma Revista hoje é muito importante que esta esteja em Acesso Aberto, outras características fundamentais são uma periodicidade regular, o código ISSN, a tradução de pelo menos o resumo para o inglês, a presença de palavras-chave e a presença de um Comitê Científico relevante, possivelmente internacional. Os periódicos são divididos principalmente em dois grandes grupos: os científicos e os humanísticos. Os primeiros são caracterizados pelo Fator de Impacto, ou seja, um índice resultante de uma relação entre as citações de artigos publicados no período anterior de dois anos e o número total de artigos publicados no mesmo período de dois anos pela revista. As citações dos artigos fluem para o Journal Citation Report, Scopus e Web of Science:

• Science Citation Index Expanded abrange mais de 8.500 periódicos notáveis, abrangendo 150 disciplinas. A cobertura vai do ano 1900 até os dias atuais.
• O Social Science Citation Index abrange mais de 3.000 periódicos nas disciplinas das ciências sociais. A faixa de cobertura vai do ano de 1900 até os dias atuais.
• O Arts & Humanities Citation Index abrange mais de 1.700 revistas de artes e humanidades desde 1975. Além disso, 250 importantes revistas científicas e de ciências sociais também são abordadas.
• O Índice de Citação de Fontes Emergentes abrange mais de 5.000 periódicos de ciências, ciências sociais e humanidades.
• O Índice de Citação de Livros abrange mais de 60.000 livros selecionados de forma editorial desde 2005.
• O Conference Proceedings Citation Index (CPCI) abrange mais de 160.000 títulos de conferências científicas de 1990 até o presente.

Por exemplo, calculando IF 2018 para a revista em consideração:

75 2018
Citações de artigos publicados em 2016-17 75 = 0,484
155 Total de artigos publicados em 2016-17

As revistas do tipo humanista são organizadas em classes: na classe A encontramos as revistas de maior prestígio para cada disciplina, revistas que passaram por um processo de revisão por pares, que saem regularmente, já presentes há vários anos, com resumos em inglês etc.; para acessar a Classe A, uma solicitação muito documentada deve ser feita.

Um interessante artigo de Faggiolani e Solimine sobre a questão da avaliação foi publicado há dez anos no AIB Studi¹. Se procurarmos na página da Aib Studi, podemos ver várias coisas: à direita onde esta revista está indexada (ANVUR, DOAJ, SCOPUS), no centro o doi, o resumo, todos os dados importantes, um gráfico com os downloads atualizados até o mês passado, as referências e, por fim, como o artigo deve ser citado.

O artigo destaca que, para publicações nas ciências humanas, a monografia é muitas vezes mais significativa do que o artigo único e a publicação em um idioma diferente do inglês é penalizada. Muitas vezes as publicações nas humanidades não estão em múltiplas mãos e isso reduz muito o número de citações. Além disso, para os periódicos humanísticos, o valor científico geralmente se estende por muito mais tempo, mesmo por muitos anos. A importância da avaliação interpares é, por conseguinte, confirmada, embora existam também problemas nesta prática. Portanto, talvez a melhor solução seja uma abordagem mista que leve em conta alguns fatores “mensuráveis”, mas também uma revisão duplo-cega por pares (autores e avaliadores mutuamente desconhecidos). O artigo imagina que as bibliotecas poderiam dar algum impulso para entender o real impacto de uma publicação no resto do mundo científico, avaliando a existência de restos e a presença em catálogos de bibliotecas de prestígio, com métodos como o LCA (Library Catalog Analysis). Outros autores, como Figà Talamanca, lançaram-se, há vinte anos, contra o uso do FI na matemática, pois também foram levadas em conta as citações de “amigos”, ou então as citações “negativas” foram incluídas na contagem. Em última análise, não é certo que uma grande quantidade também signifique necessariamente qualidade².

Fig. 1. C. Faggiolani e G. Solimine, 2012, La valutazione della ricerca, la bibliometria e l’albero di Bertoldo, AIB studi, 52, 1 (mag. 2012). DOI: https://doi.org/10.2426/aibstu- di-6290.

De acordo com Antonella De Robbio: “Para medir o impacto do trabalho de um autor na comunidade científica, é essencial começar a experimentar novas técnicas bibliométricas dentro dos arquivos abertos, juntamente com o desenvolvimento de novas“ modalidades abertas ”destinadas a satisfazer as necessidades sofisticadas para uma avaliação correta das produções de pesquisa intelectual. […] o Acesso Aberto abre novas fronteiras, não só no desenvolvimento de indicadores bibliométricos de nova geração focados no trabalho único ou, em qualquer caso, no autor e não no periódico, mas sobretudo em termos de infraestrutura útil para uma ampla avaliação de impacto”³. De Robbio também cita o estudo de 2009 de Daniel Torres-Salinas sobre ACV para monografias, que é o produto mais popular para as ciências humanas ⁴.

Em 2014, Simona Turbanti⁵ em Navegando no mar por Scop- us Web Of Science e Google Scholar descreve a pesquisa – realizada nas duas grandes bases de dados de citações, Web of science e Scopus, e no Google Scholar – dos trabalhos científicos dos professores e pesquisadores do setor M-STO/ 08, arquivos e biblioteconomia, ilustrando o método seguido, as principais diferenças de uso, bem como as limitações das bases de dados consultadas. A WoS pesquisa em mais de 12.300 periódicos, cerca de 150.000 anais de conferências e 30.000 publicações monográficas, com uma clara prevalência de títulos da área norte-americana, enquanto o Scopus “mais jovem” cobre cerca de 19.500 títulos periódicos, muitos dos quais da Europa, mais de 350 coleções de monografias (e, a partir de 2013, também monografias únicas), quase 5.000.000 de artigos de conferências e patentes.

Ao consultar o Journal Citation Report, relatório anual produzido pelo ISI (Institute for Scientific Information), onde se encontram as estatísticas sobre o número de citações que são feitas dentro de um grande número de revistas técnico-científicas, podemos encontrar, além do Fator de Impacto, outros indicadores que nos permitem entender o valor de uma revista:

• Índice de Imediatismo: mede a rapidez com que um artigo de uma revista é citado em média e com que frequência os artigos dessa revista são citados na atual
• Cited Half-Life: mede a duração média das citações de artigos em uma revista no ano corrente, ou melhor, a relevância contínua de uma publicação.
• Índice de Citações: um índice de qualidade do artigo único, quanto mais o trabalho é citado, mais significativo é o seu valor científico.

Impacto da Citação: resulta da relação entre o número de citações e o número de trabalhos publicados. Refere-se diretamente à utilidade que as publicações de uma nação, universidade, estrutura de pesquisa ou mesmo de um único pesquisador tiveram no mundo científico.

Por exemplo, em busca da Revista Científica no JCR Coastal Engineering Journal encontramos a descrição da revista, local de publicação, periodicidade, FI, com esta breve descrição em inglês do IFJ: “é uma métrica de nível de revista calculada a partir de dados indexados no Web of Science Core Collection. Deve ser utilizado com atenção aos diversos fatores que influenciam as taxas de citação, como o volume de publicação e as características de citações da área temática e tipo de periódico. O Fator de Impacto da Revista pode complementar a opinião de especialistas e a revisão informada por pares. No caso da avaliação acadêmica para a posse, é inadequado usar uma métrica no nível do periódico como uma medida de proxy para pesquisadores, instituições ou artigos individuais”.

Além dos dados numéricos, por exemplo, o FI de 2020 é 3216 (muito alto) e ao eliminar autocitações, é 2811, que ainda é muito alto. É interessante ver também a tendência do FI em uma representação gráfica.

A classificação dos periódicos humanísticos é uma atividade realizada pela ANVUR (Agência Nacional de Avaliação do Sistema Universitário e de Pesquisa) para fins de cálculo dos indicadores da Qualificação Científica Nacional a partir de 2012. Também é necessária para fins de acreditação de cursos de doutoramento, em relação ao requisito A4.3 a partir do ciclo XXXIII (a.y. 2017-18), realizados exclusivamente para os setores previstos pela legislação pertinente, ou seja, aqueles que fazem parte das ciências humanas e sociais e identificados como “não-bibliométricos”. A classificação é dividida em 6 Áreas:

• Arquitetura (Área CUN / VQR 8.a).
• Ciências antigas, filológico-literárias e histórico-artísticas (Área 10).
• Ciências históricas, filosóficas e pedagógicas (Área 11.a).
• Ciências Jurídicas (Área 12).
• Ciências económicas e estatísticas (Domínio 13).
• Ciências políticas e sociais (Área 14)⁶.

De acordo com o regulamento da ANVUR, para ser incluído na lista de publicações científicas classe A, um periódico deve garantir procedimentos de arbitragem “duplo-cego” (revisão duplo-cega). Pelo contrário, a avaliação dos produtos de pesquisa por meio do QVV é apenas uma “revisão cega unilateral”, porque o avaliador está ciente da identidade do autor. Essa falta de anonimato pode levar à avaliação do autor e não do trabalho.

Portanto, antes de decidir onde publicar, um pesquisador astuto escolhe um periódico que tenha um bom Fator de Impacto ou que esteja na Classe A.

O que acontece em vez de periódicos multidisciplinares, como no caso do nosso UniCamillus Global Heath Journal? Ou seja, que não podem ser inseridos dentro dessas duas categorias?

No site da ANVUR de 15/02/2016, portanto, há 6 anos, está especificado o seguinte: “Esclarecimento sobre o tratamento de periódicos multidisciplinares (como Natureza, Ciência, etc.) na avaliação bibliométrica. Os artigos publicados nessas revistas serão obviamente aceitos para avaliação, podendo ser avaliados pelo método bibliométrico. Conforme já indicado no documento anexo à publicação dos dados da Web of Science e na nota de esclarecimento sobre a aplicação do algoritmo bibliométrico, de fato, os produtos publicados nestes periódicos, durante a avaliação bibliométrica, serão avaliados utilizando os limiares do SC a aos quais pertence a maioria dos artigos citados pelo produto na bibliografia e aqueles que citaram o próprio produto”.

Portanto, a maioria dos artigos publicados na revista será considerada para fins de avaliação.

Um pequeno volume interessante foi recentemente publicado nos EUA: Zaumanis M. (2021), Write an impactful research paper: A scientific writing technique that will shape your academic career, ISBN 13 9798680546949.

O autor é um jovem doutorando nos EUA, atualmente pesquisador na Suíça na Empa (um grupo de pesquisa que faz parte da ETH).

O livro tem como objetivo mostrar estratégias e ferramentas para direcionar acadêmicos e autores aspirantes à boa redação de artigos científicos de sucesso. Destina-se a leitores especializados em qualquer campo científico e humanístico. A intenção é alcançar sobretudo jovens pesquisadores, mesmo (mas talvez acima de tudo) sem publicações. A tentativa de estimular esse tipo de audiência mascara a crítica sutil ao mundo acadêmico multidisciplinar, por vezes tão elitista e assustadora que parece inatingível. No plano da organização, o texto divide-se em duas partes.

Parte 1: A Abordagem Leap Writing

A abordagem de escrita acadêmica do EAP é uma abordagem esquemática e sistemática do artigo e uma indicação para selecionar o periódico certo para publicá-lo. Do ponto de vista linguístico, faz-se referência tanto à forma quanto à linguagem veicular da pesquisa. A importância e a eficácia de um artigo científico residem na mensagem que você deseja comunicar ao leitor, não na seleção de termos de alto som e supérfluos que só poderiam confundir. Quanto à escolha do inglês como língua veicular, é, sem dúvida, a escolha mais sensata para alcançar um público mais amplo, no entanto, não é necessário ter um alto nível de competência e domínio do mesmo. Quanto aos conteúdos, todo trabalho acadêmico merece atenção, bem como a ideia por trás dele e os resultados obtidos.

O princípio LEAP

L: Layout, gráficos e tabelas atuam como suporte fundamental para a apresentação de um artigo científico. As imagens (simples e às vezes até auto-descritivas) representam um grande recurso para o leitor, bem como para o autor. A leitura torna-se mais rápida e explicativa, além de menos exigente. Zaumanis fornece o link para um site (https://peerrecognized.com) especificamente para a criação de um artigo, ele contém todas as ferramentas necessárias a este respeito.

E: Explique os resultados. Ao escrever o artigo, é essencial ter sempre em mente a mensagem que você deseja comunicar; ela deve ser direta e “fácil” de entender, apesar da complexidade da pesquisa realizada. Assim, passamos à explicação dos objetivos, dos resultados e dos métodos utilizados (tudo isso será refinado a cada vez também do ponto de vista linguístico). O objetivo será fazer com que todos os leitores cheguem à mesma conclusão. A importância das fontes e da bibliografia consultada para o trabalho não deve ser subestimada, é importante que os usuários possam verificar a veracidade da pesquisa para considerá-la confiável (e depois citá-la e explorá-la em outros campos de estudo). Cada meta inicialmente definida deve encontrar sua própria resposta dentro da conclusão. A importância da consistência.

R: Anunciar. A pesquisa requer uma estrutura sólida e coerente para uma publicação de qualidade. Isso significa que a ordem estrutural do artigo será relevante para o impacto que terá sobre os leitores. O resumo e o título serão essenciais para atrair a atenção do leitor e incentivá-lo a ler o artigo. Isso significa que um resumo fácil de entender será mais estimulante para os usuários.

P: Preparar para envio. A qualidade do artigo será certamente relevante para uma publicação. O que é ainda mais importante, no entanto, é a seleção do jornal ou revista certo para publicá-lo. Existem alguns critérios de seleção importantes a esse respeito; objetivos e histórico da revista/jornal; conteúdo exigido; acesso ao público; periodicidade; ranking e confiabilidade.

Parte 2: Conheça as regras do jogo

Oito regras a serem seguidas para publicação com o objetivo de alcançar o sucesso e um alto nível de ressonância acadêmica.

Publique muito no início da sua carreira: é importante criar uma certa frequência em relação às publicações. Se você não cometer erros (às vezes fatais), o resultado será ótimo e a fama crescerá cada vez mais.

Publique artigos de alto impacto. Co-autor de forma eficiente: é difícil e extremamente importante, no caso de colaborações, encontrar co-autores válidos e colaborativos no ponto certo. O conhecimento do outro é a base de tudo. Segue-se a elaboração e definição do objetivo. A divisão de tarefas: sempre resuma todas as decisões tomadas fazendo esboços escritos.

Construir uma presença online para acompanhar os tempos e os recursos tecnológicos que, felizmente, temos disponíveis. Criar um nome não será fácil, mas uma boa apresentação online da sua pessoa é um excelente trampolim para a publicação e divulgação dos seus trabalhos de pesquisa.

Priorizar os periódicos sobre os anais das conferências: é bom que um trabalho de pesquisa seja concluído antes de qualquer apresentação do mesmo, durante uma conferência. A apresentação dos resultados obtidos então, durante debates e conferências, possibilitará alcançar um público ainda mais amplo do que o das revistas.

Anunciar em conferências a importância do reconhecimento por pares. A pirâmide 5 S para apresentação. Substância (na base de qualquer apresentação científica); Estrutura (se uma tese deve respeitar a estrutura de introdução-método-resultados-conclusões; em uma conferência, o importante é ser claro e direto com o público); Mostrar Histórias (curto, avaliável e interessante para transmitir sua mensagem ao público); Palestrante (presença e atitude são muito importantes.

Publicar acesso aberto aumenta a credibilidade, permite possíveis colaborações; maior visibilidade de grandes empresas e editoras; compartilhamento de conhecimento; mais cotações.

Revise o trabalho dos outros. Seja crítico, mas sempre imparcial! As críticas devem ser construtivas e devem ser capazes de produzir mais conhecimento.

Em conclusão, embora reiterando que antes de decidir sobre qual periódico, mesmo que multidisciplinar, é melhor publicar, é conveniente considerar cuidadosamente:

• Conselho editorial: Observatório Europeu dos Territórios Rurais
• Reputação da revista no seu campo disciplinar.
• Circulação da revista.
• Factor de impacto ou pertencente à classe A.

Aqui estão algumas bases de dados úteis com acesso gratuito ou reservado (para algumas universidades) para informação:

• Journal of Citation Reports (base de dados de acesso restrito) que avalia revistas científicas através do processamento de estatísticas baseadas na análise de citações.
• Scopus Journal Metrics (banco de dados de acesso restrito) que fornece uma análise rápida e transparente do progresso de uma revista.
• Scimago Journal Rank banco de dados gratuito que gera estatísticas sobre citações de artigos também a nível nacional.
• Ferramenta Elsevier Journal Finder desenvolvida pela Elsevier para selecionar o periódico mais adequado a partir do resumo que é produzido.
• JournalGuide site gratuito útil para o reconhecimento fácil e confiável de revistas oficiais, onde a partir do título de uma revista podemos encontrar links para: Site da revista, instruções do autor e página de submissão.
• ThinkCheckSubmeter site nascido da iniciativa de alguns editores para facilitar o pesquisador na escolha de periódicos confiáveis.