SciELO - Scientific Electronic Library Online

 
vol.22 número1Debates Feministas em Revistas Argentinas da Primeira Metade do Século XX índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

artigo

Indicadores

Compartilhar


Estudos e Pesquisas em Psicologia

versão On-line ISSN 1808-4281

Estud. pesqui. psicol. vol.22 no.1 Rio de Janeiro jan./abr. 2022  Epub 17-Maio-2024

https://doi.org/10.12957/epp.2022.66501 

CLIO-PSYCHÉ

Comemorar uma Revista, Resgatar uma História: 20 Anos de Estudos e Pesquisas em Psicologia

Celebrating a Journal, Rescuing a Story: 20 Years Of Estudos e Pesquisas em Psicologia

Celebrar una Revista, Rescatar una Historia: 20 Años de Estudos e Pesquisas em Psicologia

Ana Maria Jacó-Vilela1 

Professora titular e Diretora do Instituto de Psicologia da Universidade do Estado do Rio de Janeiro. Coordenadora do Laboratório de História e Memória da Psicologia Clio-Psyché.


http://orcid.org/0000-0002-0728-8700

Filipe Degani-Carneiro1 

Professor adjunto do Instituto de Psicologia da Universidade do Estado do Rio de Janeiro. Coordenador Adjunto do Laboratório de História e Memória da Psicologia Clio-Psyché.


http://orcid.org/0000-0001-6643-8425

Laura Araújo Delarue dos Santos1 

Estudante de graduação do Instituto de Psicologia da Universidade do Estado do Rio de Janeiro. Bolsista ICFAPERJ no Laboratório de História e Memória da Psicologia Clio-Psyché.


http://orcid.org/0000-0001-7245-2450

Pedro Henrique Leal Cardoso1 

Estudante de graduação do Instituto de Psicologia da Universidade do Estado do Rio de Janeiro. Bolsista ICFAPERJ no Laboratório de História e Memória da Psicologia Clio-Psyché.


http://orcid.org/0000-0002-0381-1891

1Universidade do Estado do Rio de Janeiro - UERJ, Rio de Janeiro, RJ, Brasil


RESUMO

O presente artigo consiste em uma reflexão de natureza historiográfica sobre o percurso da Revista Estudos e Pesquisas em Psicologia, do Instituto de Psicologia da Universidade do Estado do Rio de Janeiro (IP-UERJ), por ocasião do 20º aniversário (2001-2021) do periódico. Por meio de análise documental das edições regulares (excetuando os dossiês temáticos) e de entrevistas com três ex-editoras-chefe, são analisados, em especial: o contexto de criação do periódico, no início dos anos 2000; as transformações no processo editorial, decorrentes tanto das injunções das políticas científicas de avaliação de periódicos pela CAPES, quanto da maciça migração das publicações científicas para o meio eletrônico; os impactos da crise sistêmica de financiamento da universidade pública (notadamente, as especificidades do contexto uerjiano) na segunda metade da década de 2010. Deste modo, reflete-se tanto sobre as especificidades da trajetória da Estudos e Pesquisas em Psicologia, quanto sobre os sentidos e desafios envolvidos no fazer editorial no cenário contemporâneo.

Palavras-chave: política científica; produção científica; comunicação científica; história da Psicologia.

ABSTRACT

The present article consists of a historiographical reflection on the trajectory of the journal Estudos e Pesquisas em Psicologia [Studies and Research in Psychology], of the Institute of Psychology of the State University of Rio de Janeiro [Instituto de Psicologia da Universidade do Estado do Rio de Janeiro] (IP-UERJ), on the occasion of the 20th anniversary (2001-2021) of this journal. Through a documental analysis of the regular editions (except for the thematic dossiers) and interviews with three former editors-in-chief, are analyzed, in particular: the journal's creation context, in the early 2000s; the transformations in the editorial process, resulting both from the injunctions of scientific policies for evaluating journals by CAPES, and from the massive migration of scientific publications to the electronic media; the impacts of the systemic crisis of public university funding (notably, the specificities of the UERJ context) in the second half of the 2010s. In this way, are considered both the specificities of the trajectory of the Estudos e Pesquisas em Psicologia and the meanings and challenges involved in editorial production in the contemporary scenario.

Keywords: scientific policy; scientific production; scientific communication; history of psychology.

RESUMEN

El presente artículo consiste en una reflexión historiográfica acerca de la trayectoria de la Revista Estudos e Pesquisas em Psicologia [Estudios e Investigaciones en Psicología], del Instituto de Psicología de la Universidad del Estado de Río de Janeiro (IP-UERJ), por casualidad del 20° aniversario (2001-2021) de esta revista. Mediante un análisis documental de las ediciones regulares (excepto los dossiers temáticos) y entrevistas con tres ex-editorasjefes, se analizan, en particular: el contexto de creación de la revista, a principios de la década de 2000; las transformaciones en el proceso editorial, resultados tanto de los mandatos de las políticas científicas de evaluación de revistas por la CAPES, como de la migración masiva de publicaciones científicas hacia el medio electrónico; los impactos de la crisis sistémica de financiación de las universidades públicas (en particular, las especificidades del contexto de la UERJ) en la segunda mitad de la década de 2010. De esta forma, se piensa tanto acerca de las especificidades de la trayectoria de la Estudos e Pesquisas em Psicologia como también sobre los significados y desafíos que implica el hacer editorial en el escenario contemporáneo.

Palabras clave: política científica; producción científica; comunicación científica; historia de la psicología.

As publicações científicas são consideradas o principal veículo de divulgação da produção dos pesquisadores, dos programas de pós-graduação, das universidades e das instituições de pesquisa em geral. Tais publicações, principalmente sob a forma de artigos em revistas ou periódicos científicos, também desempenharam, ao longo dos últimos anos, o papel de servir como um dos fatores privilegiados da medição da qualidade das universidades e dos programas de pós-graduação, principalmente através da quantificação dessa produção. (Ferreira & Krzyzanowski, 2003).

No campo da Psicologia, as primeiras revistas especializadas datam do final do século XIX, tais como o norte-americano The American Journal of Psychology (1884) e o francês L’Année Psychologique (1897) (Costa & Yamamoto, 2008). No Brasil, elas surgiram em 1949, ano de fundação de dois periódicos: 1) os Arquivos Brasileiros de Psicotécnica, editado pela Associação Brasileira de Psicotécnica e pelo Instituto de Seleção e Orientação Profissional da Fundação Getúlio Vargas, no Rio de Janeiro; 2) o Boletim de Psicologia, da Sociedade de Psicologia de São Paulo. Ambos os periódicos seguem correntes: no caso da Arquivos..., sua edição está a cargo do Instituto de Psicologia da Universidade Federal do Rio de Janeiro (UFRJ) com o nome Arquivos Brasileiros de Psicologia; por sua vez, o Boletim... permanece editado pela mesma instituição, atualmente denominada Associação de Psicologia de São Paulo. (Castro & Alcântara, 2011; Angelini, 2011).

Entretanto, foi a partir da virada entre as décadas de 1980 e 1990 que a criação de periódicos científicos em Psicologia teve um acentuado crescimento e desenvolvimento no Brasil, notadamente em função dos incentivos à criação dos programas de pós-graduação, além de financiamento para a própria editoração de periódicos (Costa & Yamamoto, 2008).

Se é estimada a existência de 600 mil periódicos em todo o mundo, a produção diária aproximada situa-se entre seis a sete mil artigos (Yamamoto et al., 2002), números certamente muito altos. É difícil precisar a quantidade exata de periódicos de Psicologia em circulação, mas é certo que esse número cresce cada vez mais (Costa e Yamamoto, 2008). Em levantamento preliminar realizado em 2018, estimamos que, no Qualis Capes da Psicologia, encontram-se 120 revistas “de Psicologia” somente - considerando-se que os pesquisadores desta área publicam em periódicos classificados pelo Qualis nas mais diversas áreas.

Aponta-se que a maior parte dessa produção científica seja oriunda dos programas de pós-graduação das universidades, e uma quantidade significativa seja dos docentes destes programas (Yamamoto, Souza, & Yamamoto, 1999). Entretanto, a situação da produção científica nos países considerados periféricos é problemática: estes são considerados consumidores da produção científica, enquanto os países centrais, como produtores, em um modelo de desenvolvimento científico cada vez mais contestado (Kreimer, 2011; Packer, 2009). Isto decorre, entre outros motivos, da forma de avaliação de periódicos empregada (Penkova, 2011). No caso da América Latina, por exemplo, estima-se que cerca de 70% dos periódicos produzidos nessa região não estejam presentes em nenhum indexador internacional (Yamamoto et al., 2002).

A respeito do abismo existente entre os países centrais e os países periféricos na circulação e visibilidade de sua produção científica, López (2016) sublinha que os periódicos de língua inglesa exigem que haja exogenia nas publicações, mas não cumprem essa exigência, no sentido de incluir publicações dos países periféricos em seus periódicos. Packer (2009) afirma ainda que a adoção do movimento de acesso aberto (open access) tem sido uma preciosa estratégia da ciência latino-americana no combate às desigualdades provocadas pelos sistemas fechados de circulação da produção científica, notadamente por meio da sistematização de informações em indexadores e bases de dados próprias da região, tais como SciELO, REDALyC e Latindex. Por sua vez, Alperín e Fischman (2015) apontam as contradições sistêmicas com as quais as revistas latino-americanas lidam, tais como a prevalência de um modelo de financiamento público das revistas, acompanhada da ênfase em bases de dados de acesso aberto, aumentou nos últimos anos a visibilidade das revistas. Ao mesmo tempo, os sistemas de avaliação das revistas privilegiam critérios quantitativos, tais como o Fator de Impacto, oriundos de bases de acesso restrito, mantidas por editoras comerciais.

Com o passar dos anos, essas publicações se tornam uma fonte de pesquisas sobre os interesses científicos do passado, ou seja, quais eram as questões com as quais as pessoas se deparavam e as motivavam a pesquisar e buscar soluções. Resgatar a história destas publicações, portanto, é fazer jus a todo o esforço de compreensão de um campo científico, com vistas a fornecer dados e respostas aos anseios da sociedade como um todo.

Desta forma, quando nos debruçamos sobre a história da Estudos e Pesquisas em Psicologia, estamos estudando um documento histórico que tem muito a dizer sobre a história da construção do conhecimento em psicologia no país e, em especial, sobre como o Instituto de Psicologia da UERJ vivenciou e participou desta história.

Investigar e narrar os 20 anos da Estudos e Pesquisas em Psicologia é não só resgatar esta história (de forma não celebratória), como também celebrar a superação de todas as dificuldades pelas quais a Revista já passou, bem como sua produtividade e reconhecimento no meio acadêmico. Ao mesmo tempo em que celebramos os 20 anos decorridos, projetamos nossas expectativas quanto ao futuro e nos preparamos para enfrentar os novos desafios que virão.

Ser uma revista atenta à atualidade, capaz de refletir criticamente sobre as questões sociais comuns ao nosso povo, manter os elevados padrões de cientificidade e excelência acadêmica, estabelecer parcerias internacionais e servir como um veículo de circulação de conhecimentos e soluções úteis à sociedade são alguns desafios que os novos tempos impõem aos veículos de divulgação científica na atualidade e que a EPP tem enfrentado com sucesso.

Assim, este texto tem por objetivo traçar a história da Estudos e Pesquisas em Psicologia nestes 20 anos, detalhando as condições que possibilitaram seu surgimento, sua passagem de revista impressa para revista eletrônica, os desafios surgidos, principalmente a grande crise atravessada pela UERJ nos anos de 2016 e 2017 e as formas de sua resolução, até o momento atual. As fontes empregadas para a análise historiográfica foram entrevistas semiestruturadas com três ex-editoras-chefe, a saber, as professoras Deise Mancebo (20012012), Adriana Benevides Soares (2013-2018) e Vanessa Barbosa Romera Leme (20192020), além de fontes documentais da própria revista, especialmente Expedientes e Editoriais.

Criando uma Revista - Os Primeiros Tempos

Até o ano de 2001, houve duas revistas no Instituto de Psicologia da UERJ. A primeira delas teve um número inicial em 1988, sob o título Psicologia e Sociedade. De periodicidade irregular, o segundo número foi publicado somente em 1993, sob o nome Psicologia & Práticas Sociais (ISSN 0104-2572), a qual esteve vinculada ao então Mestrado em Psicologia e Práticas Sócio-Culturais (antecessor de nosso atual Programa de Pós-graduação em Psicologia Social), que fora criado em 1991. A revista teve, no total, cinco números publicados entre 1988 e 1994. (Mancebo, 2011).

Outra publicação editada foram os Cadernos de Psicologia (ISSN 1414-056X), com periodicidade quadrimestral e um total de dez números publicados entre publicada entre 1994 e 1999. Sua lógica editorial e gerencial consistia em que cada número fosse produzido por um dos três departamentos então existentes no Instituto de Psicologia, a saber, os Departamentos de Fundamentos de Psicologia (DFP), de Psicologia Social e Institucional (DPSI) e de Psicologia Clínica (DPC).

Em entrevista concedida ao Laboratório Clio-Psyché, a professora do IP, Deise Mancebo, relatou que o nome “Cadernos” não era muito bem visto pelos avaliadores de periódicos; além disto, consolidava-se no Instituto de Psicologia a compreensão da necessidade de impulsionar a Revista em direção ao atendimento das crescentes exigências de maior qualidade, notadamente por parte das políticas de avaliação da pós-graduação implementadas pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES): “A Estudos e Pesquisas em Psicologia é uma tentativa de ser um produto mais regular, mais antenado a essas regras de avaliação e isso influiu inclusive nessa mudança de nome do periódico." (D. Mancebo, Comunicação pessoal, 15 de setembro de 2021).

Assim, o primeiro número da EPP veio a público em 2001, na modalidade impressa. Percebe-se que a criação da Estudos e Pesquisas em Psicologia foi condicionada por fatores internos e externos ao Instituto. Às políticas de avaliação das instituições de ensino superior, visando à qualificação da pesquisa e da pós-graduação, que estavam sendo implementadas no Brasil, uniram-se os esforços coletivos do corpo docente do IP-UERJ de sistematização da produção de conhecimento e sua veiculação, notadamente sob o formato de periódico científico (Mancebo, 2011).

Interessante observar que, em seu início, o corpo editorial da Estudos e Pesquisas em Psicologia era totalmente composto por mulheres. “A equipe era sempre formada por pessoas dos três departamentos, todas mulheres.” (D. Mancebo, Comunicação pessoal, 15 de setembro de 2021). Este fato pode ser compreendido como um reflexo do quantitativo numérico feminino ser tradicionalmente maior bem como pela grande importância que as mulheres sempre tiveram na psicologia, apesar de, no magistério de ensino superior, o número de homens sempre ter sido maior que o percentual masculino na categoria (Castro & Yamamoto, 1998; Lhullier, 2013). Atuando na primeira comissão editorial da revista, Deise indica que Ana Jacó e ela própria participavam do corpo editorial da revista como representantes do Departamento de Psicologia Social e Institucional; Ariane Ewald e Cynthia Clark, pelo Departamento de Fundamentos da Psicologia; e Eleonôra Prestrelo e Gilza Tarré, pelo Departamento de Psicologia Clínica.

De início, como herança dos Cadernos de Psicologia, manteve-se a orientação de também aceitar artigos de áreas afins à Psicologia - como marca da busca por diálogos multidisciplinares que permeava o projeto editorial. Nos primeiros anos, observa-se também uma pluralidade de tipos de trabalhos publicados: além de artigos regulares, resenhas de livros, comunicações de pesquisa e de tese, entrevistas, homenagens e dossiês temáticos.

Em relação à dinâmica da relação entre a Revista e as demais instâncias do Instituto, Deise pontua:

Nós éramos muito ciosas, tinha a representação dos departamentos, mas [havia] autonomia da revista em relação à Direção, em relação aos próprios departamentos e suas chefias. A revista é como se fosse um órgão dentro do Instituto com autonomia de decisão quanto aos rumos da revista - quanto a que artigo entra e que artigo não entra, tudo a partir de pareceres e reuniões regulares. Essa questão da autonomia foi muito importante e a gente sempre preservou. (D. Mancebo, Comunicação pessoal, 15 de setembro de 2021).

Segundo Deise, a Direção do IP-UERJ sempre cooperava da forma que podia no atendimento às necessidades apresentadas pela Revista, concedendo funcionários, salas e equipamentos. A UERJ também oferecia apoio, principalmente na parte de revisão ortográfica e na gráfica, no período em que a Revista era impressa. Havia a necessidade de diligência em relação a essa colaboração da UERJ: “A UERJ é uma universidade interessante, ao mesmo tempo que ela nos dá muita autonomia de fazer a gestão do nosso trabalho, ela nos delega toda a responsabilidade para que aquele trabalho ande, então a gente que tinha que ir lá na gráfica cobrar." (D. Mancebo, Comunicação pessoal, 15 de setembro de 2021).

Deise também destacou ao longo da entrevista a importância da presença dos profissionais técnico-administrativos cedidos pela UERJ durante esse processo, tanto na parte de informática como no trabalho de secretaria, já que nesse primeiro momento todo o processo de gestão era realizado por e-mail, sem qualquer auxílio de sistemas como o Open Journal Systems (OJS). Destaca, neste sentido, a contribuição de Felipe Campanuci (servidor efetivo que deixou a Revista, após transferência para o Programa de Pós-graduação em Políticas Públicas e Formação Humana) e Rodrigo Leça (funcionário contratado).

A partir de 2005, a EPP iniciou a publicação de dossiês temáticos, sendo o primeiro deles um dossiê sobre psicologia jurídica, no volume 5(2), 2º semestre de 2005, seguindo tanto uma cultura da preferência por livros na formação em psicologia (D. Mancebo, Comunicação pessoal, 15 de setembro de 2021), quanto o fato apontado por vários estudos de que parcela significativa da produção bibliográfica em psicologia ocorre por meio de livros organizados (Menandro, Yamamoto, Tourinho & Bastos, 2011).

A Passagem para o Formato Eletrônico

Nos primeiros anos, as condições de funcionamento eram precárias: o número de artigos submetidos era baixo; a Revista era então classificada no Qualis como C, o estrato mais baixo à época; os altos custos e dificuldades inerentes ao processo editorial impresso - as quais levaram a EPP a iniciar a migração para o formato eletrônico em 2004. Em sua entrevista, Deise Mancebo relatou essa transição do papel para o meio eletrônico. Contou que, de início, o processo era lento, extremamente trabalhoso e não tinha um alcance tão grande:

Vinham poucos artigos, as avaliações demoravam e quando se tinha um número razoável para soltar a revista - quatro, cinco artigos - ela ia para um setor da SR-3 que cuidava dos processos de publicação e depois entrava na fila da gráfica da UERJ, para produzir e distribuir uma tiragem de 500 exemplares. (D. Mancebo, 10 de setembro de 2011)

Inicialmente era utilizado um site próprio, mantido pela secretaria da Revista. Tal migração certamente contribuiu num aumento de submissões, visto que, a partir de 2007, a revista deixou de ser semestral para ter periodicidade quadrimestral. A consolidação da EPP no formato eletrônico foi possível a partir do apoio institucional da então Sub-Reitoria de Extensão e Cultura (SR-3), com a criação do Portal de Publicações Eletrônicas da UERJ (www.e-publicacoes.uerj.br), em 2008. A esta criação, seguiu-se um tempo de intenso debate à proposta - realizada pela Profª. Anna Uziel - de ingresso da EPP no Portal.

As principais vantagens de tal ingresso consistiam na adoção de um sistema específico, Open Journal Systems (OJS), capaz de realizar eletronicamente todo o processo editorial, desde a submissão pelos autores e envio para pareceristas até a publicação dos números. Além disso, a Revista passaria a estar coligida em um portal institucional da Universidade e contar com o seu suporte técnico, favorecendo também sua visibilidade e divulgação.

Na equipe editorial, houve certa resistência em relação à implantação do sistema: esse foi o motivo pelo qual levou tanto tempo para que ocorresse essa adaptação. A principal limitação enfrentada nesse momento era o fato dos próprios editores e a equipe administrativa não saberem operar esse tipo de sistema. Buscou-se debelar essa dificuldade por meio de treinamento oferecidos pela UERJ para que todas aprendessem a operar na plataforma. Durante o período de transição, o trabalho editorial era feito de forma paralela: as submissões e envios para pareceristas permaneciam ocorrendo por e-mail, por medo de que algum erro pudesse ocorrer e prejudicar todo o processo de publicação.

Mas isso foi progressivamente andando para sistematizar mais a plataforma, e a coisa andou. Isso foi uma ferramenta importante, e assim, a UERJ tinha um canal muito bom: tudo que a gente precisava [...] a gente entrava em contato com eles e eles nos apoiavam. Essa implantação do sistema foi muito via UERJ [...]. A própria UERJ também ofereceu esse tipo de treinamento, como fazer esse sistema funcionar, foi legal. (A. Benevides, comunicação pessoal, 20 de setembro de 2021).

Foi justamente este apoio institucional que impulsionou a equipe da revista a virtualizar a revista. Além de melhorar a sua difusão, essa migração trouxe também outros benefícios, inclusive para os profissionais que nela trabalhavam. Custos financeiros, de tempo e de energia foram reduzidos.

Em 2013 concluiu-se o processo de ingresso no Portal UERJ. Além das vantagens acima descrita, nesse momento foi possível para a revista contar com o Identificador Digital de Objetos (DOI), disponibilizado pela UERJ para as revistas integrantes do Portal. A oferta abrangia a atribuição retroativa até os últimos cinco anos, de modo que todos os números a partir do volume 9 (2009) passaram a ter os artigos identificados com DOI.

Com a superação dessas dificuldades relacionadas ao meio eletrônico e à visibilidade, foi o momento de atacar outros desafios: a necessidade de se afinar com as demandas da CAPES e elevar a qualificação da revista.

As Políticas Científicas de Avaliação e o Trabalho Editorial

Embora não houvesse formalmente o cargo de Editor-chefe, Deise Mancebo era reconhecida como tal, talvez porque esteve por um longo tempo no Conselho Editorial da revista (2001-2012) e por ter reconhecida liderança no processo de funcionamento da revista. Neste momento, a Prof.ª Adriana Benevides já atuava na revista, representando o DFP, de modo que a transição do cargo de editor-chefe para sua responsabilidade foi natural, pois Adriana se destacava em seu trabalho na Revista e todos praticamente já esperavam que o cargo passasse para ela, o que ocorreu em 2013. (D. Mancebo, Comunicação pessoal, 15 de setembro de 2021). Um fator importante para sua escolha foi, sem dúvida, o fato de conhecer bem a política de indexação dos periódicos, a partir de longa experiência como representante do Programa de Pós-graduação em Psicologia da Universidade Salgado de Oliveira (UNIVERSO) - a outra universidade em que atua - na Associação Nacional de Pesquisa e Pós-Graduação em Psicologia (ANPEPP).

Adriana atuou durante dez anos (2008 a 2018) na Revista, e destes, seis foram desempenhando a função de editora-chefe. Neste período iniciou-se a setorialização da Revista em especialidades, ou seja, em seções. Sua gestão também foi marcada pelo objetivo de internacionalizar a Revista e indexá-la em plataformas internacionais “Eu quis implementar uma série de mudanças que eu achava que eram não só diretrizes da CAPES para as revistas como um todo, mas a gente queria crescer.” (A. Benevides, comunicação pessoal, 20 de setembro de 2021).

Segundo Adriana, naquele momento estava sendo proposta nova categorização no Qualis Capes de avaliação de revistas, com a criação de novos estratos. À época, a revista estava classificada como B1 e o estrato A não tinha subdivisões. Esforços foram realizados com o objetivo de alcançar estratos mais altos, sendo que um dos principais critérios para essa mudança era a indexação da Revista: “[...] a gente tinha que conquistar alguma indexação mais internacionalizada, e o A1 tinha que ter a Web of Science ou o Scopus.” (A. Benevides, comunicação pessoal, 20 de setembro de 2021).

Segundo Adriana, havia naquela época uma tendência de as revistas deixarem de ser generalistas, ou seja, se tornarem especializadas em uma área específica. A Estudos e Pesquisas em Psicologia também buscou esse enquadramento, pois se desejava dar à Revista uma feição mais de Psicologia: recebia-se a submissão de muitos textos de áreas afins, como Educação e Administração. (A. Benevides, comunicação pessoal, 20 de setembro de 2021). Essa delimitação temática foi também importante para otimizar a gestão da revista e acelerar os processos, como a tramitação de artigos que já eram filtrados em seu recebimento e depois redistribuídos para os editores responsáveis de acordo com suas devidas seções.

A partir do volume 10(2), 2º quadrimestre de 2010 - ainda na gestão da Profª. Deise - já surgira a primeira seção temática da EPP, a Seção Clio-Psyché, especializada em trabalhos referentes à história da psicologia, sendo desde então a seção com maior publicação de textos em outros idiomas além do português. A proposta de criação da seção derivou da solicitação inicial do Laboratório de Memória e História da Psicologia Clio-Psyché por um dossiê temático anual. Pelo fato de já haver número significativo de dossiês previstos e pela tendência crescente das revistas deixarem de ser generalistas, conforme os critérios de avaliação da CAPES, propôs-se então a criação de uma seção temática fixa chamada “ClioPsyché” ao invés de um único dossiê. (D. Mancebo, Comunicação pessoal, 15 de setembro de 2021). Além da importância da Seção para esta área específica de estudos, a qual consolidou a EPP como um periódico de referência na temática historiográfica, o surgimento dessa seção foi também muito importante, pois consistiu em um pontapé inicial para intensificar a internacionalização da revista.

Tal tendência pela adoção de um escopo mais especializado levou à estruturação da Revista em quatro seções temáticas, em 2014. Tais seções refletiam, mais uma vez, a setorialização das áreas temáticas dos departamentos. À Clio-Psyché (já existente), foram incluídas as Seções Psicologia do Desenvolvimento, Psicologia Social e Psicologia Clínica e Psicanálise. Sobre a escolha do nome desta última seção, Adriana pontuou: “Isso foi um nome muito debatido na época, porque a gente tinha proposto apenas ‘Clínica’, mas o pessoal da psicanálise não se sentia totalmente contemplado [...] então o nome ficou ‘Clínica e Psicanálise’” (A. Benevides, comunicação pessoal, 20 de setembro de 2021).

De igual modo, a tradição editorial da Revista por conferir espaço a dossiês temáticos foi separada dos três números regulares (periodicidade quadrimestral), sendo os dossiês limitados a um quarto número especial, a cada ano, a partir de 2015. Na Revista, as editoraschefe ficaram responsáveis por todos os números, exceto os números temáticos, que tinham um editor para o tema proposto.

Sobre a composição do corpo editorial, Adriana lembra que, até então, havia dois editores por departamento; quando ela assumiu a editoria da Revista, o número passou de dois para apenas um editor por departamento. Segundo ela, alguns editores já estavam cansados, com bastante tempo de trabalho na Revista, e ocorreu então o processo de “enxugar” o corpo editorial. Com um corpo editorial menor, Adriana apontou que começou a haver mais agilidade nas mudanças implementadas na Revista. Por outro lado, os editores ficaram mais sobrecarregados com o trabalho envolvido na tramitação dos artigos submetidos.

Uma outra mudança significativa ocorrida na Revista foi sua formalização como um canal dos programas de pós-graduação stricto sensu então existentes no IP - o Programa de Pós-Graduação em Psicologia Social e o Programa de Pós-graduação em Psicanálise - pois antes ela era vinculada à direção do Instituto - cujo apoio à Revista permaneceu, notadamente na destinação de servidores técnico-administrativos para dedicar-se integralmente ao trabalho editorial. Esta vinculação aos programas de pós-graduação teve também o objetivo de capacitar a Revista a se candidatar aos editais de Apoio à Editoração de Revistas que a ANPEPP começou a lançar. Ademais, com a implementação dessa política, a Revista pôde ser melhor amparada financeiramente pelos Programas. Antes desse suporte, também foram muito importantes os recursos advindos de editais como os da FAPERJ:

Também alguns editais de financiamento da FAPERJ foram importantes. A gente conseguiu renovar bastante equipamentos, a gente comprou vários computadores para a sala. A gente renovou a sala, a gente mandou fazer bancadas, mesas, cadeiras, cortinas, ar-condicionado, tudo isso a gente botou na sala naquela época [...]. Botamos aquele adesivão na porta de entrada, assim, para marcar o nosso espaço, ficou bem bonitinha a sala, mas com verba FAPERJ. E depois é que vieram as pós-graduações a assistir, de alguma maneira, a Revista. (A. Benevides, comunicação pessoal, 20 de setembro de 2021).

Ainda sobre as mudanças ocorridas em sua gestão, Adriana relata a implantação do Identificador Digital de Objetos (DOI) - como já mencionado - bem como a obtenção dos primeiros resultados com relação à internacionalização, a normatização, as indexações, e o alcance de novos estratos pela Revista:

A gente se credenciou para ter o DOI. A minha gestão foi uma gestão de afinamento com as demandas da CAPES. Então foi isso: implantação da setorialização, implantação do DOI, [...] as normas que eram ABNT [...] e isso foi a primeira coisa que a gente fez, foi a mudança para as normas internacionais da APA [...]. Tudo dentro da ideia de começar um processo de internacionalização da Revista na época. [...] E a gente fez algumas indexações, que não existiam também [...] e que permitiram inclusive, que a gente passasse para o estrato A2. (A. Benevides, comunicação pessoal, 20 de setembro de 2021).

Dentre as principais dificuldades apontadas por Adriana durante sua gestão como Editora-chefe, estão: falta de consenso na equipe editorial acerca das metas de crescimento e inovação da Revista (por exemplo, o constante debate se valia a pena querer alcançar o estrato A); a grande quantidade de trabalho para os editores, extrapolando a carga horária de trabalho atribuída; os dossiês enormes exigidos para a indexação da Revista no Scopus e no ISI (Web of Science). (A. Benevides, comunicação pessoal, 20 de setembro de 2021).

A Busca pela Internacionalização

Todo esse processo de criação de estratégias com foco no crescimento da conceituação da revista se apresentava como uma questão desde os primeiros anos da revista, na gestão de Deise Mancebo, cujo principal alvo era a indexação no SciELO, não logrado por diversos problemas relacionados às exigências para ingresso:

Cada ano era uma exigência diferente, uma exigência mais chata, uma coisa assim, absurda! Isso desgastava a gente. No final - nos dois últimos anos - que a revista estava toda ajeitada, o funcionamento dela, muita gente mandava texto para a revista, não tínhamos dificuldades com parecerista, tudo arrumado, eu me dediquei mais especificamente em tentar ir subindo de conceito, o que conseguimos mesmo com dificuldades, bem como botar no SciELO. E isso nunca conseguimos. (D. Mancebo, comunicação pessoal, 15 de setembro de 2021).

Adriana Benevides foi designada nova editora chefe da revista justamente em um período de transição da avaliação da CAPES, que teve como maior alteração a inserção de novos estratos: A1 e A2, B1 até B4. Quando Adriana sucedeu o trabalho de Deise, a revista era classificada enquanto B1 (A. Benevides, comentário pessoal, 20 de setembro de 2021). O principal critério para ascender ao nível A era a indexação em bases de dados. Quando se fala em indexação, fala-se também de internacionalização, tornando-se necessária a indexação em bases de dados internacionais.

Nesse cenário, apesar de terem conseguido indexar a revista em bases como Psicodoc, CLASE, Lilacs, Redalyc, Latindex e Ulrich’s Web, ainda assim o SciELO permaneceu sendo um desafio que, em dado momento, a própria equipe optou por deixar de lado. A cada ano as exigências se tornavam mais complexas:

Todos os autores tinham que disponibilizar o seu banco de dados, deixar disponíveis na plataforma. Então a gente desistiu, praticamente, do SciELO, porque isso ia dar um trabalho infinito e a gente não tinha equipe para atender essa demanda e lidar com isso com os autores, e nem a gente tinha um dispositivo de armazenamento desses bancos com segurança [...]. Na época, os critérios eram muito difíceis de entrar até porque tinha um limite de periódicos que podiam estar lá. Esse limite já tinha sido atingido, então pra gente entrar, alguém tinha que não atender a esses critérios. (A. Benevides, comentário pessoal, 20 de setembro de 2021).

Além das dificuldades com o SciELO, outras duas bases desafiadoras para a revista foram a Scopus e a Web of Science (WoS). A Scopus, por exemplo, exigia um dossiê em espanhol e que deveria ser entregue em um prazo específico em que já se deveria ter atendido uma outra lista de critérios, como o tempo de tramitação dos artigos e a clareza na especificação da política de ética da Revista, o que impediu que a revista fosse aceita. Em relação à Web of Science, por existirem penalidades caso a revista não fosse aceita, optou-se por não tentar essa indexação (A. Benevides, comentário pessoal, 20 de setembro de 2021).

Entretanto, algumas outras alterações relativas à internacionalização foram possíveis. Assim, a revista adotou as normas da American Psychological Association (APA) em lugar das da Associação Brasileira de Normas Técnicas (ABNT) que eram até então utilizadas. Também foram inseridas no sistema as versões em inglês e espanhol das Diretrizes para Autores, para que se viabilizasse a leitura das regras de publicação nesses idiomas e assim se pudesse receber artigos estrangeiros. Infelizmente, com o período de crise enfrentado pela UERJ entre os anos de 2016 e 2017, esse trabalho de implementação de mudanças relacionadas à tradução e inclusão de artigos em outros idiomas de forma geral teve de ser postergado para uma futura gestão.

Havia sempre uma questão de que afinal de contas essa era uma revista brasileira, que a gente tinha mais é que ter normas ABNT, publicar em português, etc. Que é o que eu vejo como uma luta contra o sistema, entendeu? É como os critérios da pósgraduação, da produção: o pessoal quer estar no sistema, mas quer estar lutando contra o sistema também. Então é um pouco isso também a Revista. Você quer estar bem avaliado, mas tá na luta contra o sistema. Aí não adianta. Eu penso assim. Não adianta você gastar uma energia absurda pra lutar contra o sistema, que é feito pela gente mesmo. Então você vai lutar muito e crescer pouco (risos). (A. Benevides, comentário pessoal, 20 de setembro de 2021).

A Crise dos Anos 2016 e 2017

A Estudos e Pesquisas em Psicologia também sofreu com a crise que se abateu sobre o Estado do Rio de Janeiro, nos anos de 2016 e 2017, com dramáticos efeitos sobre a UERJ, com suspensão do pagamento de serviços básicos para infraestrutura do campus, que ficou mais de seis meses sem aulas, e atrasos de salário e bolsas que chegaram a quatro meses (Righetti, 2017).

Segundo Adriana Benevides, esse foi um momento muito difícil à frente da editoria da Revista, pois ela teve que se desdobrar em diversas funções para que a Revista continuasse funcionando minimamente:

Depois veio aquela grande crise da UERJ, que a gente fechou as portas praticamente [...] mas a Revista funcionou o tempo todo, e eu trabalhei fazendo isso. Como editorachefe, eu fazia todo esse fluxo de comunicação e recebimento dos artigos, de distribuição para os editores associados; eu recebia o retorno dos editores associados e me comunicava com os autores novamente dando o feedback para eles. Então isso foi uma sobrecarga absurda. [...] foi um período bem complexo, mas a gente nunca parou por isso. Eu instalei no meu computador em casa, pessoal, tudo que era da Revista e a gente fez toda a tramitação por mim, essa comunicação toda feita comigo. (A. Benevides, comentário pessoal, 20 de setembro de 2021).

Adriana deixou a editoria da revista em agosto de 2018. Dois dos editores associados, Ana Maria Jacó Vilela e Vinicius Anciães Darriba assumiram a função de Editores-Chefe, com o objetivo de colocar a publicação da revista em dia - naquele momento, o último número publicado era o número 16(1). A situação financeira da Uerj estava melhor, o que tornou possível que se obtivesse recursos para pagamento da revisão das normas APA e para as marcações para indexação na Redalyc (Sistema de Información Científica - Red de Revistas Científicas).

Assim, conseguiu-se, em um espaço de poucos meses, a publicação dos números de 2016 (2, 3 e 4), de 2017 (1, 2 e 3 - optou-se por não ter dossiê neste ano) e 2018 (1, 2, 3 e 4). Para isto muito colaborou, sem dúvida, a dedicação dos servidores técnico-administrativos da revista (Priscila Domingues, secretária da revista e Renato Oliveira, técnico de informática responsável pelas marcações para os indexadores), além do esforço imenso realizado pelos editores associados, as professoras Alexandra Tsallis, Deise Mendes, Laura Quadros e Vanessa Leme.

Outra iniciativa desta editoria foi realizar diversos encontros entre os técnicos da revista, os editores e a responsável técnica pelo Portal de Publicações da Uerj, a servidora da Eduerj (que a partir de 2016 tornou-se o órgão gestor do Portal) Nathalia Ávila. Assim, foi possível fazer algumas mudanças no layout da revista. Também ocorreu maior apropriação dos procedimentos do OJS, o que possibilitou que fosse dispensado o uso de e-mail para submissão e acompanhamento do processo, com a revista tornando-se verdadeiramente virtual.

Ana e Vinicius haviam se prontificado a ocupar a editoria da revista somente em um período curto, para substituir Adriana e procurar colocar a publicação da revista em dia. Assim, em março de 2019 a editora chefe passou a ser a Profª. Vanessa Leme, que já trabalhava previamente na revista Paidéia, da USP-Ribeirão Preto, e pode agregar muito de sua experiência anterior.

Vanessa Leme assumiu já com a revista praticamente de volta aos trilhos, as publicações atrasadas já estavam em dia e podia-se assim voltar a focar em outros aspectos como a evolução da qualificação da revista e ampliação da divulgação. Esse segundo aspecto, a divulgação, foi um dos principais pontos para reerguer a revista após esse período de crise.

Avanços e Desafios Atuais

Continuando o trabalho intensificado por Adriana de focar na indexação e internacionalização da revista, Vanessa relatou que seu maior interesse naquele momento era compreender todo esse processo de envio para os indexadores e a linguagem por trás disso. Apesar dessa dificuldade inicial, com o auxílio de Renato Oliveira, Vanessa foi capaz de compreender todo o processo de trâmite de artigos e do que era necessário para a indexação, algo que ainda era uma dificuldade para as outras editoras.

Mesmo permanecendo por um período bem curto de tempo na revista, se comparado com Deise Mancebo e Adriana Benevides, - saiu em março de 2021 - Vanessa Leme agregou mudanças muito importantes dentro da revista:

Eu peguei a revista saindo de uma crise, então tinha o desafio de entender, saindo de uma crise terrível, que a revista ficou fechada. A gente quase não recebia artigos, então a Ana trabalhou lá, melhoramos o layout, aí eu entrei e melhoramos mais algumas coisas e a revista ficou bonita, organizada e começamos a divulgar nas mídias. Abrimos um Facebook, abrimos uma página no Instagram, tivemos bolsista de extensão. Eu levava o que eu aprendia na Paidéia que funcionava para a nossa revista. (V. Leme, comunicação pessoal, 22 de setembro de 2021).

Esta inserção em redes sociais e maior investimento na divulgação científica proporcionou um novo ponto de virada na história da revista. O principal motivo que levou a focar nesse aspecto foi o fato de que muitos indexadores cobravam que a revista tivesse muitas citações, e para isso era necessário esse maior enfoque na divulgação. A partir desse novo momento, Vanessa também relata que foi surpreendente o fluxo intenso de artigos que começaram a ser submetidos para a revista, o que demandou a implementação de recusa sumária, uma filtragem mais rigorosa dos artigos submetidos, algo que Vanessa diz ser “parte de uma revista que está evoluindo”. (V. Leme, comunicação pessoal, 22 de setembro de 2021).

No que diz respeito à internacionalização, a Revista contou com o auxílio do Prof. Chris Fradkin, da University of California, que durante o ano de 2020 esteve como professor visitante na UERJ, trabalhando especificamente sobre a internacionalização da revista (temática de sua especialidade) e da pesquisa desenvolvida no IP-UERJ. Em que pese a coincidência desse período com a pandemia de COVID-19 e todas as dificuldades dela decorrentes, Vanessa Leme considerou esse um projeto bem-sucedido, mas que ainda deve ser um dos principais focos da revista para o futuro. (V. Leme, comunicação pessoal, 22 de setembro de 2021).

Também foi necessário providenciar o ingresso de novos editores, havendo significativa expansão da equipe editorial, a fim de dar conta do alto volume de submissões. Assim, integraram, de 2019 para cá, o corpo de Editores Associados da revista os seguintes professores: Alice de Marchi Pereira de Souza, Amana Rocha Mattos, Ana Maria Jacó-Vilela, Anderson Pereira Mendonça, Deise Maria Fernandes Mendes, Edna Lúcia Tinoco Ponciano, Filipe Degani-Carneiro, Heloisa Fernandes Caldas Ribeiro, Jimena de Garay Hernández, Laura Cristina de Toledo Quadros, Luiz Fernando Rangel Tura, Marcos Vinicius Brunhari, Patrícia Lorena Quitério, Rosana Lazaro Rapizo, Sabrina Dal Ongaro Savegnago, Vanessa Dordron de Pinho, Vanessa Barbosa Romera Leme, Vinicius Anciães Darriba e Vitor Castro Gomes.

Considerações Finais

Após a saída de Vanessa Leme, no início de 2021 a Editoria-chefe foi assumida pela Profª. Amana Rocha Mattos, em uma gestão que vem seguindo atenta aos desafios de qualificação e indexação da revista, bem como de otimização e agilidade no processo editorial. Um costume que havia se iniciado no período da gestão tampão de Ana Jacó e Vinicius Darriba foi o hábito de fazer reuniões de toda a equipe, visando discutir coletivamente as propostas para a revista, seus objetivos, bem como as dificuldades de cada editor, construindo uma rede de ajuda dentro da revista (V. Leme, comunicação pessoal, 22 de setembro de 2021).

Podemos dizer então que, de maneira geral, esse momento de superação de uma crise foi o início de uma nova era dentro da Revista, e isso não apenas no que diz respeito ao crescimento da revista externamente, como também de estabelecimento de novas bases da relação interna. O fortalecimento de uma rede de trabalho coletivo mostrou-se como um pilar importante nesse momento e hoje, já com outro corpo editorial e durante uma pandemia que também apresentou desafios para a Revista, é possível permanecer evoluindo esse trabalho e alcançando cada vez mais leitores e reconhecimento.

Olhar para a história de 20 anos de Estudos e Pesquisas em Psicologia nos permite refletir tanto sobre as transformações dos últimos anos no trabalho de editoração científica quanto sobre os processos que conformam a produção de conhecimento e o trabalho docente na universidade pública brasileira. Fazer editoração científica desde contextos periféricos é uma tarefa que exige obstinação, implicação e, sobretudo, a afirmação do desejo por uma atividade importantíssima para a divulgação e expansão do conhecimento e, paradoxalmente, pouco avaliada na produtividade pessoal dos pesquisadores.

Se o dilema posto diante de nós - por um sistema construído e sustentado por nossos pares e nós mesmos - é “publicar ou perecer”, nos resta afirmar positivamente que trabalhos queremos produzir (enquanto autores), referendar (enquanto avaliadores) e, especialmente, publicar e veicular, enquanto editores. Seria possível pensar a qualidade e o impacto para além da visão monolítica imposta pelas métricas quantitativas e pelas áreas duras do conhecimento? Quais outros sentidos podem e devem ser valorizados em nossas práticas editoriais?

Longos anos de vida para a EPP. Que sua existência e a resistência de sua equipe editorial e técnica propiciem muitos estudos e pesquisas relevantes, ousados e potentes em seus números!

Financiamento: A pesquisa relatada no manuscrito foi financiada pelas bolsa de iniciação científica FAPERJ da terceira autora (orientada pelo segundo autor) e PIBIC-CNPq do quarto autor (orientada pela primeira autora), bem como pelas bolsas de produtividade em pesquisa (CNPq) e Cientista do Nosso Estado (FAPERJ) da primeira autora.

Referências

Alperín, J. P, & Fischman, G. (Eds). (2015). Feito na América Latina: Acesso livre, revistas acadêmicas e inovações regionais. Buenos Aires: CLACSO. Recuperado de http://biblioteca.clacso.edu.ar/clacso/se/20151021110701/Mere_na_America.pdfLinks ]

Angelini, A. (2011). Associação de Psicologia de São Paulo (ASPSP). In A. M. Jacó-Vilela (Org.), Dicionário Histórico de Instituições de Psicologia no Brasil (pp. 57-59). Rio de Janeiro/Brasília: Imago/CFP. [ Links ]

Castro, A. C., & Alcântara, E. S. (2011). Associação Brasileira de Psicologia Aplicada (ABRAPA). In A. M. Jacó-Vilela (Org.), Dicionário Histórico de Instituições de Psicologia no Brasil. (pp. 45-47). Rio de Janeiro/Brasília: Imago/CFP. [ Links ]

Castro. A. E., & Yamamoto, O. H. (2000). A psicologia como profissão feminina: Apontamentos para estudo. Estudos de Psicologia, 3(1), 147-158. doi: 10.1590/S1413294X1998000100011 [ Links ]

Costa, A. L. F., & Yamamoto, O. H. (2008). Publicação e avaliação de periódicos científicos: Paradoxos da avaliação qualis de psicologia. Psicologia em Estudo, 13(1), 13-24. doi: 10.1590/S1413-73722008000100003 [ Links ]

Ferreira, M. C. G., & Krzyzanowski, R. F. (2003). Periódicos científicos: Critérios de qualidade. Pesquisa Odontológica Brasileira, 17(suppl. 1), 43-48. doi: 10.1590/S1517-74912003000500007 [ Links ]

Kreimer, P. (2011). Internacionalização e tensões da ciência latino-americana. Ciência e Cultura, 63(2), 56-59. doi: 10.21800/S0009-67252011000200018 [ Links ]

Lhullier, L. (Org.). (2013). Quem é a psicóloga brasileira? Brasília: Conselho Federal de Psicologia. Recuperado de https://site.cfp.org.br/wp-content/uploads/2013/07/Quem_e_a_Psicologa_brasileira.pdfLinks ]

López, W. (2016). Reflexiones sobre la medición de la calidad y el impacto de las revistas científicas. Universitas Psychologica, 15(4), 1-2. Recuperado de http://www.scielo.org.co/scielo.php?script=sci_arttext&pid=S165792672016000400001&lng=en&tlng=esLinks ]

Mancebo, D. (2011). Instituto de Psicologia da Universidade do Estado do Rio de Janeiro (IP-UERJ). In A. M. Jacó-Vilela (Org.), Dicionário Histórico de Instituições de Psicologia no Brasil (pp. 312-313). Rio de Janeiro/Brasília: Imago/CFP. [ Links ]

Menandro, P. R. M., Yamamoto, O. H., Tourinho, E. Z., & Bastos, A. V. B. (2011). Livros à mão cheia: O livro como veículo de produção acadêmica. Psicologia USP, 22(2), 367-386. doi: 10.1590/S0103-65642011000200005 [ Links ]

Packer, A. L. (2009). The SciELO Open Acess: a gold way from the south. Canadian Journal of Higher Education, 39(3), 111-126. Recuperado de http://ojs.library.ubc.ca/index.php/cjhe/article/view/479/pdfLinks ]

Penkova, S. (2011). Criterios nacionales e internacionales de calidad de las revistas científicas en Iberoamérica: Análisis comparativo. In. A. M. Cetto & J. A. Gamboa (Orgs.), Calidad e Impacto de la Revista Iberoamericana (pp. 99-122). México: Universidad Nacional Autónoma de México. Recuperado de https://www.latindex.org/lat/librociri/descargas/ciri2010.pdfLinks ]

Righetti, S. (2017). Crise nas universidades. Ciência e Cultura, 69(2), 6-8. doi: 10.21800/2317-66602017000200003 [ Links ]

Yamamoto, O. H., Menandro, P. R. M., Koller, S. H., LoBianco, A. C., Hutz, C. S., Bueno, J. L. O., & Guedes, M. C. (2002). Avaliação de periódicos científicos brasileiros da área da psicologia. Ciência da Informação, 31(2), 163-177. doi: 10.1590/S010019652002000200017 [ Links ]

Yamamoto, O. H., Souza, Carina C., & Yamamoto, M. E. (1999). A produção científica na psicologia: Uma análise dos periódicos brasileiros no período 1990-1997. Psicologia: Reflexão e Crítica, 12(2), 549-565. doi: 10.1590/S0102-79721999000200019 [ Links ]

Recebido: 25 de Fevereiro de 2022; Aceito: 02 de Março de 2022

Ana Maria Jacó-Vilela Rua São Francisco Xavier, 524, Maracanã, Rio de Janeiro - RJ, Brasil. CEP 20550-900, Endereço eletrônico: jaco.ana@gmail.com

Filipe Degani-Carneiro Rua São Francisco Xavier, 524, Maracanã, Rio de Janeiro - RJ, Brasil. CEP 20550-900, Endereço eletrônico: filipe.degani@gmail.com

Laura Araújo Delarue dos Santos Rua São Francisco Xavier, 524, Maracanã, Rio de Janeiro - RJ, Brasil. CEP 20550-900, Endereço eletrônico: loridelarue@gmail.com

Pedro Henrique Leal Cardoso Rua São Francisco Xavier, 524, Maracanã, Rio de Janeiro - RJ, Brasil. CEP 20550-900 Endereço eletrônico: pedroh85@yahoo.com.br

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.