10.5935/rpot/2022.2.editorial EDITORIAL

A Avaliação por Pares em Periódicos Científicos

Peer Review Process in Scientific Journals

La Revisión por Pares en las Revistas Científicas

Roberto Moraes Cruz^I; Jairo Eduardo Borges-Andrade^II; Alexsandro Luiz De Andrade^III; Daniela Campos Bahia Moscon^IV; João Viseu^V; Marcos Ricardo Datti Micheletto^VI; María Elisa Ansoleaga Moreno^VII; Mª Inmaculada López Núñez^VIII; Mussa Abacar^IX; Nádia Kienen^X; Janete Knapik^XI; Simone Cassiano^XII; Daiane Rose Cunha Bentivi^XIII

^IEditor-Chefe. Universidade Federal de Santa Catarina (UFSC), Brasil
^IIEditor Sênior. Universidade de Brasília (UnB), Brasi
^IIIEditor Associado. Universidade Federal do Espírito Santo (UFES), Brasil
^IVEditora Associada. Universidade Federal da Bahia (UFBA), Brasil
^VEditor Associado. Universidade do Algarve (UAlg), Portugal
^VIEditor Associado. Universidade Estadual Paulista "Júlio de Mesquita Filho" (UNESP), Brasil
^VIIEditora Associada. Universidad Diego Portales (UDP), Chile
^VIIIEditora Associada. Universidad Complutense de Madrid (UCM), Espanha
^IXEditor Associado. Universidade Rovuma (UniRovuma), Moçambique
^XEditora Associada. Universidade Estadual de Londrina (UEL), Brasil
^XIEditora Júnior. Universidade Federal de Santa Catarina (UFSC), Brasil
^XIIEditora Júnior. Universidade de Brasília (UnB), Brasil
^XIIIPresidente. Associação Brasileira de Psicologia Organizacional e do Trabalho (SBPOT), Brasil

Peer review is like democracy, the saying goes, despite its flaws, it's the best system we have.

Brian Campbell (2019)

O debate sobre a qualidade e a integridade da produção científica, acentuado nos últimos anos, tem se associado à discussão sobre a própria qualidade e a relevância de publicações científicas. Isso significa refletir sobre a capacidade dos periódicos científicos de se autorregularem, especialmente na condução de um processo editorial que promova a avaliação do mérito, originalidade, confiabilidade de fontes, dados, análise e resultados, fundamentação teórica e qualidade da escrita científica dos manuscritos submetidos à apreciação do seu corpo editorial e de pareceristas ad hoc (Cruz et al., 2021).

O aumento na quantidade de artigos teóricos e empíricos, com ênfase nos desafios científicos, técnicos e éticos das comunicações científicas, tem salientado o papel do processo ou sistema de avaliação por pares ou árbitros (peer review process ou referee system). Embora existam outros aspectos qualitativos e quantitativos das publicações científicas, esse sistema é considerado essencial na manutenção da integridade do processo editorial (Horbach & Halffman, 2018). Periódicos científicos que adotam a avaliação por pares se tornam fonte preferencial para leitura, citação, publicação e disseminação de conhecimentos, assim como servem de referencial para a determinação de qualificadores de publicações científicas, dentre os quais o Fator de Impacto (Nassi-Calò, 2015). Nos portais de buscas de periódicos, frequentemente a escolha do critério de pré-selecionar somente artigos que adotam essa avaliação é resultante de uma decisão de priorizar aquilo que tem maior probabilidade de representar um artigo que mereça ser identificado, lido e talvez citado. Portanto, isso pode afetar o impacto do que é publicado.

O gérmen da avaliação/revisão por pares é antigo - provavelmente originado no século XVII - sugerem historiadores da ciência, tal como Zuckerman e Merton (1971). Coincidiria com o surgimento da revista acadêmica Philosophical Transactions of the Royal Society of London, em 1665, dirigida por Henry van Oldenburg (1618-1677). Ela foi considerada a primeira publicação voltada à compilação de ensaios científicos do mundo. Outros historiadores da ciência identificam a revisão por pares no início do século XVIII, no prefácio do primeiro volume da Royal Society of Edinburgh's Medical Essays and Observations, publicado em 1731. Nele se afirmava que os ensaios enviados à revista seriam distribuídos a membros da instituição, de acordo com os assuntos nos quais eram mais versados, sem que a sua identidade fosse conhecida pelo autor do ensaio (Spier, 2002). Essa afirmativa sugere que as especialidades deveriam ser reconhecidas, na ciência, mas que os portadores delas não deveriam ser conhecidos, quando isso envolvesse julgamentos que afetariam outros.

A avaliação por pares gradativamente ganhou espaço nos periódicos científicos, à medida em que esses se desenvolviam e se fortaleciam nos centros acadêmicos, especialmente no século XX. Isso ocorreu no contexto de expansão da pesquisa científica, do desenvolvimento tecnológico, das especialidades profissionais e das demandas por publicação (Tennant, 2018). Aos poucos, essa avaliação foi influenciando as decisões sobre aceitação ou rejeição de manuscritos submetidos a periódicos acadêmicos que, até então, geralmente eram responsabilidades de um único editor ou de um seleto e restrito comitê editorial (Horbach & Halffman, 2018). De certa maneira, essa ampliação representou democratização do processo de avaliação e, por outro lado, sinalizou que existiria uma diversidade de opiniões que precisaria ser levada em conta, durante esse processo. A revisão por pares - nos moldes como hoje a conhecemos - desenvolveu-se acentuadamente durante e após a Segunda Guerra Mundial, em resposta ao boom da pesquisa científica e da produção de novas tecnologias (Bakanic, McPhail, & Simon, 1987; Ware, 2008).

Desde então, a avaliação por pares tem se tornado um método predominante no gerenciamento de periódicos científicos. Os pareceres produzidos pelos avaliadores ou pareceristas têm contribuído significativamente para a convicção do editor - seja pela rejeição ou aceite do manuscrito para a publicação - o que é possível demonstrar nos fluxos editoriais de periódicos científicos nacionais e internacionais. Essa contribuição foi (ou é) bastante intensificada, quando (ou onde) houve (ou há) a adoção das avaliações em sistemas de duplo-cego. Isto é, quando também os autores não foram (ou são) identificados. Além de preservar a identidade das pessoas que avaliam, esses sistemas podem reduzir a probabilidade de que essas pessoas tenham seus julgamentos apreciativos influenciados por seu conhecimento de quem produziu o que elas avaliam.

A maior parte dos periódicos científicos adota procedimentos similares de avaliação por pares. Por exemplo, a realização de uma análise preliminar formal e técnica, realizada pela equipe editorial (desk review), que tem a prerrogativa de recusar manuscritos. Podem ainda empregar critérios técnicos na seleção de avaliadores/pareceristas; usar critérios científicos para avaliar forma e conteúdo dos manuscritos; e verificar sua disponibilidade de tempo para fazer esse uso e emitir pareceres (Tennant, 2018). Algumas diferenças se situam no detalhamento da avaliação por pares, nos itens contemplados nos pareceres e nas características da decisão editorial, aspectos que não interferem em sua adoção, em geral.

A Revista Psicologia: Organizações e Trabalho (rPOT) abriga avaliação por pares como parte essencial à decisão editorial (Fig. 1).

Há vários tipos de avaliação ou revisão por pares na comunidade acadêmica/científica. Eles são usados nas seleções e avaliações de membros da comunidade universitária, nas comissões científicas de eventos científicos-profissionais, na apreciação de projetos que buscam apoio de instituições de fomento ao ensino, pesquisa e extensão e nas regras para publicação de artigos em periódicos científicos. Eventualmente, avaliação por pares pode ser utilizada como uma ferramenta pedagógica em processos de ensino-aprendizagem, proporcionando feedback, reflexão crítica e comportamento colaborativo. Alguns procedimentos para avaliação por pares também são adotados por instituições não acadêmicas, tais como agências nacionais/internacionais apoiadoras de políticas e ações em diferentes segmentos sociais - para avaliar pedidos de financiamento/subsídios ou validar a qualidade de um estudo, relatório técnico ou intervenção realizada.

Existem basicamente três tipos de avaliação por pares. O primeiro - denominado de avaliação cega simples (single-blind review) ou avaliação por pares anônima simples (single anonymized peer review) - permite que a identidade do autor seja conhecida pelos pareceristas, mas a identidade dos revisores é ocultada dos/as autores/as do manuscrito (e do público). É o método menos comumente utilizado por periódicos científicos atuais, mas foi adotado pelas revistas acadêmicas Philosophical Transactions of the Royal Society of London e Royal Society of Edinburgh's Medical Essays and Observations referidas anteriormente. A ideia de ocultar a identidade dos pareceristas é permitir a avaliar livremente os manuscritos, sem receio de prejuízos pessoais. Por outro lado, a avaliação revisão cega-simples tem sido historicamente criticada, por possibilitar personalismos ou excessos, exatamente por permitir o conhecimento da autoria do manuscrito.

No segundo tipo - conhecido como avaliação duplo-cego (double-blind review) ou avaliação por pares anônima dupla (double anonymized peer review) - as identidades de autores(as) e pareceristas são omitidas. É o tipo predominantemente utilizado nos periódicos científicos, especialmente aqueles que detém maiores qualificadores de indexação acadêmicos/científicos (Santos, Morris, Rattan, & Zakrison, 2021). Entre periódicos de um mesmo grupo editorial, há a possibilidade de transferência ou utilização de pareceres obtidos na avaliação por pares e da decisão editorial entre eles (Portable Peer Review ou Cascading), em função de sua melhor adequação ao escopo do periódico destino. Na prática, eventualmente, o método duplo-cego pode realmente não significar o que o constitui. Em áreas ou campos de pesquisa relativamente pouco extensivos, há a possibilidade de pareceristas reconhecerem as identidades das autorias dos manuscritos com base nas citações, perspectiva adotada para o assunto, uso de conceitos específicos ou, ainda, estilo de escrita (Ware, 2011). Mesmo nesses casos, obviamente se esperam pareceres de boa qualidade avaliativa, o que muito provavelmente será verificado pelas editorias dos periódicos.

O terceiro tipo - denominado de avaliação por pares aberta (open peer review) - se propõe a revelar as identidades de autore(a)s, pareceristas e editore(a)s, sendo dado acesso, até à comunidade em geral, às avaliações e comentários de pareceristas e editore(a)s. Esse tipo de avaliação mostra-se associado à evolução dos processos digitais de comunicação e aos movimentos denominados de "pesquisa aberta" ou "ciência aberta", em comparação com o que é frequentemente visto como o método tradicional de revisão por pares (duplo-cego). O conceito de avaliação aberta está em fase embrionária e sendo testado em algumas publicações, com o objetivo de realinhar as ideais originais de colaboração e construção progressiva dos argumentos de aprimoramento de manuscritos (Tennant, 2018). Além dessa proposta de avaliação por pares aberta, estão alinhadas outras inovações, tais como, base de dados acessíveis, participação ampla da comunidade em plataformas abertas, disponibilização de manuscritos em avaliação (preprints) e comentários abertos na versão final (Ross-Hellauer 2017).

Em qualquer tipo de avaliação por pares, se espera que seja exercida a liberdade de avaliadore(a)s e editore(a)s de fazer críticas honestas e compatíveis a escopo e características da investigação referida no manuscrito - mesmo quando aquelas não forem favoráveis a este. A principal tarefa de quem avalia é essencialmente auxiliar na decisão editorial do periódico - na direção da rejeição ou aceite (com ou sem alterações substantivas) do manuscrito para a publicação. Cada decisão editorial, sob o crivo de avaliadores e editores, deve cumprir, também, a sua função educativa de proporcionar feedback de alta qualidade sobre o mérito e a qualidade dos manuscritos. Deve ainda sugerir possíveis necessidades de aprimoramento do raciocínio científico, do estado da arte, da qualidade do delineamento e dos procedimentos utilizados, das análises e interpretações produzidas e da escrita científica.

A avaliação por pares é um procedimento utilizado para independentemente avaliar o mérito e a qualidade científica e técnica de manuscritos submetidos a periódicos científicos, com base em critérios previamente determinados por regras editoriais. Avaliadore(a)s ou pareceristas - ou "pares" - são pesquisadore(a)s e autore(a)s de publicações científicas, especialistas em determinados assuntos, que não fazem parte do corpo editorial do periódico (ad hoc). Devem fornecer um parecer conclusivo sobre os manuscritos avaliados - que indique a sua rejeição, aceite total ou aceite parcial, nesse último caso, condicionado a correções. Além disso, há a expectativa de que o parecer forneça sugestões ou recomendações específicas sobre como o manuscrito pode ser explorado, melhorado ou modificado - em aspectos essenciais à sua qualificação no processo editorial ao qual foi submetido ou em outra submissão.

O processo de avaliação por pares é complexo. Envolve a necessidade de colaboração de avaliadore(a)s em termos de celeridade e de produção de informações relevantes à decisão editorial relativa aos manuscritos. Essas informações nem sempre são conseguidas a contento (Cruz et al., 2021, 2020). Há outros aspectos sensíveis à elaboração de pareceres, tais como a identificação de fragilidades teóricas-conceituais e de escrita, a detecção de erros metodológicos e estatísticos e a identificação de plágio (Botero, 2020; Mulligan, Hall, & Raphael, 2013). Por outro lado, há também, o risco de (des)favorecimento de reflexões, perspectivas, métodos ou uso de revisões de literatura especializadas - por meio da rejeição peremptória de manuscritos de razoável ou alta qualidade - mas a aceitação indiferente de manuscritos de baixa qualidade (D'Andrea & O'Dwyer, 2017). De qualquer forma, pessoas que atuam em editorias devem estar cientes da probabilidade de possíveis vieses no processo de avaliação por pares, especialmente quando há divergências importantes sobre o mérito e qualidade da investigação e da comunicação científicas. Nesses casos, essas pessoas precisam contribuir de forma decisiva na verificação das controvérsias e na complementação de informações relevantes à decisão editorial sobre o manuscrito em avaliação.

A avaliação por pares é considerada o padrão-ouro para salvaguardar a qualidade da ciência publicada, determinada, em grande parte pela qualidade de seu processo de avaliação por pares e da decisão editorial (Blockeel et al., 2017). No entanto, o aumento substantivo anual de manuscritos encaminhados a periódicos científicos - especialmente aos mais bem avaliados - tem provocado uma certa "crise" na obtenção de respostas de pareceristas. Isso tem, como consequência, o aumento de prazos para a devolução de respostas a autore(a)s.

Os periódicos científicos geralmente não têm a capacidade para publicar todos os manuscritos que recebem, em função do limite de volume, número e páginas por ano e, também, em função de restrições financeiras. De certa maneira, a avaliação por pares pode ser considerada, ao mesmo tempo, um "filtro" - no sentido de depurar manuscritos aceitáveis ou recusáveis à publicação, e um "gargalo" do fluxo editorial - tendo em vista o volume acentuado de manuscritos a serem avaliados. É visível o esforço da equipe editorial para recrutar pareceristas que forneçam um trabalho qualificado e de forma gratuita, considerando o acúmulo de tarefas e restrições de tempo a que todo(a)s estão submetido(a)s.

Por outro lado, os escassos incentivos ao trabalho de avaliação por pares não refletem a sua importância na formação de quem pesquisa, ensina e escreve comunicações científicas. Nessa direção, é importante refletir sobre o papel dos cursos de pós-graduação stricto sensu no desenvolvimento e habilidades e competências dos pós-graduandos para avaliar manuscritos e emitir pareceres sobre a sua qualidade e relevância científicas e profissionais.

A avaliação por pares está firmemente consolidada como um dos procedimentos mais importantes no fluxo editorial de periódicos científicos, apoiada em uma experiência histórica de cerca de 350 anos (Horbach & Halffman, 2018). Apesar das críticas sobre a sua capacidade de determinar o mérito e a qualidade dos manuscritos submetidos a periódicos científicos, ela - especialmente a duplo-cego - é amplamente aceita na comunidade científica para certificar a qualidade das produções científicas. Também contribui para desenvolver e aprimorar habilidades para a escrita e comunicação científicas, aumentar as possibilidades de relacionamento dentro das comunidades acadêmicas e delas com a sociedade em geral.

Referências

Bakanic, V., McPhail, C., & Simon, R. J. (1987). The manuscript review and decision-making process. American Sociological Review, 631-642. https://doi.org/10.2307/2095599        [ Links ]

Blockeel, C., Drakopoulos, P., Polyzos, N. P., Tournaye, H., & García-Velasco, J. A. (2017). Review the 'peer review'. Reproductive Biomedicine Online, 35(6),747-749. https://doi.org/10.1016/j.rbmo.2017.08.017        [ Links ]

Botero, J. C. R. (2020). La revisión por pares ("peer review") en las revistas científicas: un proceso que requiere intervención. Tempus Psicológico, 3(1),133-155. https://doi.org/10.30554/tempuspsi.3.1.3410.2020        [ Links ]

Cruz, R. M., Borges-Andrade, J. E., Andrade, A. L. D., Moscon, D. C. B., Viseu, J., Micheletto, M. R. D., ... & Carvalho-Freitas, M. N. D. (2021). 20 anos da rPOT e o papel dos periódicos científicos na pandemia da COVID-19. Revista Psicologia Organizações e Trabalho, 21(4),1-3. http://doi.org/10.5935/rpot/2021.4.editorial        [ Links ]

Cruz, R. M., Borges-Andrade, J. E., Moscon, D. C. B., Micheletto, M. R. D., Sticca, M. G., Carlotto, M. S., ... & Delben, P. B. (2020). Qualidade da redação científica: desafio à formação de pesquisadores e à publicação. Revista Psicologia Organizações e Trabalho, 20(1), I-II. http://doi.org/10.17652/rpot/2020.1.Editorial        [ Links ]

D'Andrea, R., & O'Dwyer, J. P. (2017). Can editors save peer review from peer reviewers?. PloS one, 12(10),e0186111. https://doi.org/10.1371/journal.pone.0186111        [ Links ]

Horbach, S. P., & Halffman, W. (2018). The changing forms and expectations of peer review. Research integrity and peer review, 3(1),1-15. https://doi.org/10.1186/s41073-018-0051-5        [ Links ]

Ladrón de Guevara Cervera, M., Hincapié, J., Jackman, J., Herrera, O., & Caballero Uribe, C. V. (2008). Revisión por pares:¿ Qué es y para qué sirve?. Revista Salud Uninorte, 24(2),258-272. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S0120-55522008000200011&lng=en&tlng=es.         [ Links ]

Mulligan, A., Hall, L., & Raphael, E. (2013). Peer review in a changing world: An international study measuring the attitudes of researchers. Journal of the American Society for Information Science and Technology, 64(1),132-161. https://doi.org/10.1002/asi.22798        [ Links ]

Nassi-Calò, L. (2015). A revisão por pares como objeto de estudo. SciELO em Perspectiva, São Paulo. Recuperado de https://blog.scielo.org/blog/2015/04/24/a-revisao-por-pares-como-objeto-de-estudo/#.Yq5GTXbMI2w        [ Links ]

Ross-Hellauer, T. (2017). What is open peer review? A systematic review. F1000Research, 6. https://doi.org/10.12688/f1000research.11369.2        [ Links ]

Santos, A., Morris, D. S., Rattan, R., & Zakrison, T. (2021). Double-blinded manuscript review: Avoiding peer review bias. Journal of Trauma and Acute Care Surgery, 91(1),e39-e42. https://doi.org/10.1097/TA.0000000000003260        [ Links ]

Spier, R. (2002). The history of the peer-review process. TRENDS in Biotechnology, 20(8),357-358. https://doi.org/10.1016/S0167-7799(02)01985-6        [ Links ]

Tennant, J. P. (2018). The state of the art in peer review. FEMS Microbiology letters, 365(19), fny204. https://doi.org/10.1093/femsle/fny204        [ Links ]

Ware, M. (2008). Peer review in scholarly journals: Perspective of the scholarly community-Results from an international study. Information Services & Use, 28(2),109-112. https://doi.org/10.3233/ISU-2008-0568        [ Links ]

Ware, M. (2011). Peer Review: recent experience and future directions. New Review of Information Networking, 16(1),23-53. https://doi.org/10.1080/13614576.2011.566812        [ Links ]

Zuckerman, H., & Merton, R. K. (1971). Patterns of evaluation in science: Institutionalization, structure, and functions of the referee system. Minerva, 66-100. https://doi.org/10.1007/bf01553188        [ Links ]