10.5935/rpot/2022.1.editorial EDITORIAL

Gerenciamento editorial e revisão de pares em periódicos científicos: os desafios da rPOT

Editorial management and peer review in scientific journals: the challenges of rPOT

Gestión editorial y revisión por pares en revistas científicas: los retos de rPOT

Roberto Moraes Cruz^I; Jairo Eduardo Borges-Andrade^II; Alexsandro Luiz De Andrade^III; Daniela Campos Bahia Moscon^IV; João Viseu^V; Marcos Ricardo Datti Micheletto^VI; María Elisa Ansoleaga Moreno^VII; Mª Inmaculada López Núñez^VIII; Mussa Abacar^IX; Nádia Kienen^X; Janete Knapik^XI; Simone Cassiano^XII; Maria Nivalda de Carvalho-Freitas^XIII

^IEditor-Chefe, Universidade Federal de Santa Catarina (UFSC), Brasil
^IIEditor Sênior, Universidade de Brasília (UnB), Brasil
^IIIEditor Associado, Universidade Federal do Espírito Santo (UFES), Brasil
^IVEditora Associada, Universidade Federal da Bahia (UFBA), Brasil
^VEditor Associado, Universidade do Algarve (UAlg), Portugal
^VIEditor Associado, Universidade Estadual Paulista "Júlio de Mesquita Filho" (UNESP), Brasil
^VIIEditora Associada, Universidad Diego Portales (UDP), Chile
^VIIIEditora Associada, Universidad Complutense de Madrid (UCM), Espanha
^IXEditor Associado, Universidade Rovuma (UniRovuma), Moçambique
^XEditora Associada, Universidade Estadual de Londrina (UEL), Brasil
^XIEditora Júnior, Universidade Federal de Santa Catarina (UFSC), Brasil
^XIIEditora Júnior, Universidade de Brasília (UnB), Brasil
^XIIIPresidente, Associação Brasileira de Psicologia Organizacional e do Trabalho (SBPOT), Brasil

A Revista Psicologia: Organizações e Trabalho (rPOT), ao longo dos seus 20 anos de existência, tem se constituído em um importante veículo de disseminação de conhecimentos científicos em sua área de abrangência. A história da rPOT reflete o empenho dos seus editores, assistentes técnicos e pareceristas, em divulgar achados científicos sobre o desenvolvimento e o aperfeiçoamento de teorias, métodos e tecnologias e promover a reflexão crítica sobre a formação e atualização profissionais (Cruz et al., 2021a).

Cumprir esse papel exige esforços editoriais, premidos pelo tempo de avaliação de manuscritos submetidos e pela necessidade de recursos financeiros para produzir e editar um periódico científico quadrimestral de alto nível (Cruz et al., 2021b; Cruz et al., 2019). Nessa direção, é importante destacar o papel da Associação Brasileira de Psicologia Organizacional e do Trabalho (SBPOT) em promover a sustentabilidade da rPOT ao longo de sua trajetória.

A preparação de artigos para publicação em periódicos científicos é um aspecto importante do processo de pesquisa, de divulgação de descobertas e, eventualmente, da proposição ou aprimoramento de perspectivas teóricas, métodos, técnicas e instrumentos (Kazdin, 1995; Nickerson, 2005). Os autores que submetem seus manuscritos a periódicos científicos geralmente têm a expectativa por um processo ágil de revisão e avaliação por pares e um rápido retorno da decisão editorial - favorável ou não - à sua publicação. Para a equipe editorial dos periódicos, o propósito de publicar manuscritos concorre com o zelo para mobilizar pareceristas e editores associados - em tempo hábil e necessário à garantia da qualidade da produção científica disponibilizada à comunidade.

O gerenciamento do processo editorial dos manuscritos submetidos à rPOT depende de um conjunto de variáveis para ser bem-sucedido. Por exemplo: o volume de submissões, a verificação por desk review, o aceite/recusa de pareceristas, o tempo de retorno e a qualidade dos pareceres, a comunicação entre editores, autores e pareceristas, o retorno das mudanças sugeridas nos manuscritos, as decisões editoriais ao longo do processo de (re)avaliação e revisão das submissões e o processamento técnico e informatizado dos manuscritos aceitos em definitivo para a publicação. Todos esses aspectos influenciam a qualidade do processo editorial, a quantidade de artigos publicados e, especialmente, o tempo entre a submissão e a publicação de um manuscrito.

A editoração de periódicos científicos vive desafios paradoxais - busca por celeridade, quantidade de publicações e acesso facilitado, ao mesmo tempo em que deveria manter a transparência, a qualidade científica das publicações e o rápido retorno das avaliações dos manuscritos (Campos & Candido, 2021). Todos esses aspectos fazem parte dos desafios constantes dos periódicos científicos, na tentativa de garantir um fluxo constante de volumes anuais, sustentado por recursos financeiros mínimos e por uma equipe editorial qualificada e o apoio essencial de pareceristas ad hoc.

Uma breve apreciação do processamento de manuscritos (artigos teóricos e empíricos, relatos de experiências, resenhas) publicados nos últimos três anos (2019 a 2021) na rPOT revela um aumento no número de submissões e, também, de publicações (Figura 1). Dentre os artigos avaliados entre 2019 e 2021, a taxa média de rejeição na decisão editorial final foi de 68%, aproximadamente.

O desk review é uma estratégia importante no processamento inicial de um manuscrito. Basicamente, se constitui em uma análise preliminar, realizada pela equipe editorial, que tem a prerrogativa de recusar manuscritos, sem enviá-los para a avaliação de pares. Nos casos examinados, nesse período, verificou-se, basicamente, manuscritos que não atenderam aos requisitos de submissão à rPOT: i) não se enquadram em uma das modalidades aceitas pela rPOT (pesquisa empírica, revisão de literatura, relato de experiência, ensaio ou resenha; ii) apresentam dados incompletos ou ausência de documentos; iii) não atendem ao Manual de Publicação da APA; iv) são carentes de estrutura lógica formal (desde o resumo até a conclusão) e de uma qualidade mínima redacional (gramatical e de escrita científica); v) não apresentam aderência a qualquer das temáticas que compõe a produção de conhecimentos em Psicologia das Organizações e do Trabalho ou contribuições claras para o campo. Nesse último caso, especificamente, é também reportado aos autores o entendimento editorial acerca de quais outros periódicos poderiam ser potencialmente objetos de submissão do manuscrito.

Um dos aspectos mais sensíveis enfrentados pelas revistas científicas, e na rPOT não é diferente, reside na identificação de pareceristas qualificados - que possam colaborar na avaliação dos manuscritos - e na recepção de pareceres que expressem a expectativa de uma avaliação detalhada e que ajudem objetivamente na decisão editorial. Os pareceres da rPOT versam sobre uma avaliação da qualidade de alguns itens essenciais, dispostos na forma de um questionário: a) Título (concisão e foco); b) Resumo (estrutura, qualidade, palavras-chaves); c) Introdução (problema de investigação, estado da arte e argumentos teóricos que justificam a relevância do estudo); d) Método (delineamento do estudo, caracterização de participantes, contexto, instrumentos, procedimentos de coleta e análise dos dados e cuidados éticos adotados); f) Resultados (organização, descrição, análise e coerência com os procedimentos adotados); g) Discussão (interpretação dos resultados, lastreada por literatura científica pertinente e atualizada, e coerente com o problema e objetivos do estudo); f) Redação e escrita científica (correção e consistência gramatical, emprego de linguagem científica, consistência lógico-argumentativa e observância das normas da APA).

No questionário enviado aos pareceristas há, portanto, um conjunto de elementos essenciais à avaliação dos manuscritos que podem fornecer observações relevantes às decisões editoriais. A rPOT conta com uma lista robusta de pareceristas, construída ao longo da sua trajetória e com mais de 1.200 nomes, o que não significa, na prática, uma rápida resposta. Aliás, a quantidade de pareceristas que recusam ou simplesmente não respondem as solicitações da rPOT é infelizmente alta - acima dos 50%. Há pareceristas que aceitam colaborar em realizar os pareceres, mas extrapolam prazos previstos e, ainda, há aqueles que enviam pareceres carentes de fundamentação (por exemplo, apenas com um "sim"/"adequado" ou "não"/inadequado). Isso inviabiliza o seu uso no processo de avaliação.

Em muitos casos, são solicitados pareceres a mais de uma dezena de pessoas - para o mesmo artigo - o que contribui ainda mais para a extensão de prazos para avaliação e envio de respostas aos autores. Todos esses aspectos, que certamente não são exclusivos ao processo editorial da rPOT, salientam a importância do papel do parecerista na avaliação dos manuscritos, mas também a dificuldade de gestão desse processo por parte dos periódicos científicos. É importante salientar, ainda, a sobrecarga de trabalho dos pareceristas que, em geral, atendem a vários periódicos e que realizam esse trabalho gratuitamente.

Além dos problemas e desafios enfrentados na produção de pareceres técnicos de manuscritos e da sua importância no fluxo de decisões editoriais sobre aceitação (com grandes ou pequenas reformulações) e rejeição, o papel pedagógico da avaliação dos pares no processo editorial é muito relevante. Nesse sentido, as análises, argumentos e contribuições oferecidas por pareceres qualificados auxiliam, não somente na eventual melhoria técnica e científica dos manuscritos, mas também na formação de pesquisadores e, portanto, no aperfeiçoamento da produção e divulgação científicas.

O sistema de revisão por pares, adotado nos periódicos científicos, em breve entrará em crise, em função do número de manuscritos submetidos, tendo em vista que a demanda por revisões está superando a oferta, salientam Fox e Petchey (2010). A revisão por pares, embora seja relativamente eficaz para o aprimoramento dos manuscritos avaliados, nem sempre se mostra efetiva para lidar com plágios e melhorias substantivas na interpretação dos achados da pesquisa nos textos revisados (Ware, 2011). A atribuição de responsabilidade pela integridade ao sistema de revisão por pares é relativamente recente e permanece com alguma controvérsia. Contudo, pelo menos nos últimos 20 anos, há uma base de evidências sobre a validade e o grau de confiabilidade da revisão de pares, pouco conhecida ou ignorada pelos editores de periódicos, refletem Horbach e Halffman (2018).

Com base em uma amostra de 31 pareceres emitidos entre 2019 e 2021, por pareceristas da rPOT, e considerados em nível de excelência, identificamos erros ou problemas de conteúdo, que indicam perda na qualidade da escrita científica e na consistência teórica/técnica dos manuscritos a ela submetidos. Todos esses pareceres concluíram para a rejeição dos manuscritos ou em mudanças substantivas no texto. Para sistematizar esses dados, dentre os 80 itens identificados nos pareceres, foram criadas 17 categorias. A Tabela 1 mostra uma compilação das categorias de erros ou problemas de conteúdo mais comumente citados nesses pareceres, de forma cumulativa e comparativa, com base na hierarquia de frequência, em termos percentuais.

De uma maneira geral, destacam-se entre os erros e problemas de conteúdos mais comumente referidos pelos pareceristas, aqueles que interferem frontalmente na qualidade de uma publicação científica: aspectos teóricos e metodológicos insuficientes e/ou desatualizados, discussões/interpretações inconsistentes e/ou insuficientes, e resumos imprecisos e/ou mal elaborados. Esses aspectos foram identificados em dois terços dos manuscritos avaliados. Um dos principais aspectos a serem observados na avaliação por pares reside, principalmente, na contribuição teórica de um manuscrito, além de seu rigor metodológico, refere Maner (2014).

Outros aspectos que interferem significativamente na qualidade dos manuscritos submetidos à rPOT dizem respeito à presença de erros gramaticais e de digitação, indicando um menor zelo e compromisso com a redação final do material. Nesses casos, podemos levantar a hipótese de "submissões prematuras", ou seja, aquelas em que os autores deveriam promover uma revisão do texto antes do seu envio. Esses aspectos mostram-se salientes em pelo menos 65% dos manuscritos avaliados. Associam-se a esses problemas a menor qualidade no tratamento e análise de dados - qualitativos ou quantitativos - muitas vezes "deslocados" dos objetivos, pressupostos ou hipóteses do estudo. A descrição dos resultados do estudo de forma imprecisa ou com informações faltantes complementa o aspecto anterior. Esses dois últimos casos mostraram-se presentes em mais de 50% dos materiais avaliados.

Os demais aspectos categorizados na Tabela 1 refletem erros ou problemas de conteúdo relacionados à concepção do artigo: título, objetivos, hipóteses, pressupostos - e à qualidade da escrita científica. Ainda revelam o uso de linguagem do senso comum, de conceitos não definidos e de tabelas/figuras mal elaboradas, texto inconsistente ou repetitivo, carência de sequência lógica nos argumentos, e dificuldades em sistematizar os achados, contribuições e limitações da pesquisa. Todos esses aspectos, de uma maneira geral, acentuam o problema da aprendizagem da escrita científica: na definição/delimitação do escopo do problema de pesquisa e na sua forma de operacionalização no texto a ser publicado, assim como na compilação, tratamento e análise de produções teóricas e de dados empíricos.

O debate atual sobre a credibilidade e integridade da pesquisa científica, e suas respectivas formas de divulgação, acentuam a preocupação com a busca pela transparência e determinação na manutenção e aperfeiçoamento constantes de critérios para submissão, avaliação e publicação de pesquisas em periódicos científicos. O sistema de avaliação com base em pareceres ad hoc, que subsidiam as decisões editoriais, permanece como um aspecto central para a autorregulação da qualidade das publicações. Aperfeiçoá-lo, considerando-o como um filtro necessário à confiabilidade da rPOT, permanece como um desafio atual e futuro.

Referências

Campos, L. A., & Candido, M. R. (2021). Transparência em DADOS: submissões, pareceristas e diversidade no fluxo editorial dos últimos anos. Editorial. Dados rev. ciênc. Sociais, 65(1). https://doi.org/10.1590/dados.2022.65.1.000         [ Links ]

Cruz, R. M., Borges-Andrade, J. E., Andrade, A. L. D., Moscon, D. C. B., Viseu, J., Micheletto, M. R. D., ... & Carvalho-Freitas, M. N. D. (2021a). 20 anos da rPOT e o papel dos periódicos científicos na pandemia da COVID-19. Revista Psicologia Organizações e Trabalho, 21(4),1-3. https://doi.org/10.5935/rpot/2021.4.editorial        [ Links ]

Cruz, R. M., Borges-Andrade, J. E., Andrade, A. L. D., Moscon, D. C. B., Viseu, J., Micheletto, M. R. D., ... & Carvalho-Freitas, M. N. D. (2021b). Produção e divulgação de conhecimentos científicos em tempos de pandemia da COVID-19. Revista Psicologia Organizações e Trabalho, 21(1), I-II. https://doi.org/10.5935/rpot/2021.1.editorial        [ Links ]

Cruz, R. M., Borges-Andrade, J. E., Andrade, A. L. D., Moscon, D. C. B., Micheletto, M. R. Sticca, M. G., ... & Barros-Delben, P. (2019). Repercussões e desafios à produção da Revista Psicologia: Organizações e Trabalho. Revista Psicologia Organizações e Trabalho, 19(3), I-II. http://doi.org/10.17652/rpot/2019.3.Editorial        [ Links ]

Fox, J., & Petchey, O. L. (2010). Pubcreds: fixing the peer review process by "privatizing" the reviewer commons. The Bulletin of the Ecological Society of America, 91(3),325-333. https://doi.org/10.1890/0012-9623-91.3.325        [ Links ]

Horbach, S. P., & Halffman, W. (2018). The changing forms and expectations of peer review. Research integrity and peer review, 3(1),1-15. https://doi.org/10.1186/s41073-018-0051-5        [ Links ]

Kazdin, A. E. (1995). Preparing and evaluating research reports. Psychological assessment, 7(3),228. https://doi.org/10.1037/1040-3590.7.3.228        [ Links ]

Maner, J. K. (2014). Let's put our money where our mouth is: If authors are to change their ways, reviewers (and editors) must change with them. Perspectives on Psychological Science, 9(3),343-351.         [ Links ]

Nickerson, R. S. (2005). What authors want from journal reviewers and editors. American Psychologist, 60(6),661-662. https://doi.org/10.1037/0003-066X.60.6.661         [ Links ]

Ware, M. (2011). Peer Review: recent experience and future directions. New Review of Information Networking, 16(1),23-53. https://doi.org/10.1080/13614576.2011.566812        [ Links ]