14 Consumo de drogas em contextos rurais: revisão sistemática na América Latina e CaribeJuventude brasileira e o trabalho no tráfico de drogas: pauperização, precarização e superexploração 
Home Page  


Gerais : Revista Interinstitucional de Psicologia

 ISSN 1983-8220

Gerais, Rev. Interinst. Psicol. vol.14 no.spe Belo Horizonte dez. 2021

https://doi.org/10.36298/gerais202114e18265 

ARTIGOS

 

Instrumentos de avaliação em Psicologia do Esporte com evidências de validade no Brasil

 

Assessment Instruments in Sport Psychology with Evidence of Validity in Brazil

 

 

Ivanaldo Martins de FreitasI; Gustavo Henrique Gonçalves e SilvaII

ICentro Universitário do Rio Grande do Norte, Natal, Brasil. E-mail: ivanaldomartins21@gmail.com. (https://orcid.org/0000-0001-6270-188X)
IICentro Universitário Facex, Natal, Brasil. E-mail: gugahgsef@gmail.com. (https://orcid.org/0000-0003-0083-4534)

 

 


RESUMO

A Psicologia do Esporte é um campo que tem ganhado destaque na construção da Psicologia como ciência e profissão no Brasil. Entretanto, não há medidas aprovadas pelo Conselho Federal de Psicologia para uso profissional, levando profissionais a utilizarem testes sem validade e confiabilidade. Dessa forma, o estudo teve por objetivo identificar instrumentos de avaliação esportiva com evidências de validade no Brasil. Para isso, foi realizada uma revisão integrativa, com levantamento na BVS-Psi, utilizando os descritores: psicometria AND esporte. Identificaram-se 39 produções que passaram pelos seguintes critérios de inclusão: artigo empírico, publicação entre 2009-2019, texto em português, disponível completo e amostra brasileira; e de exclusão: duplicidade e estudo sem objetivo de adaptação/validação. Foram selecionadas sete produções que permitiram identificar medidas de motivação, autoeficácia, afetividade, satisfação de necessidades e satisfação com a vida. Os instrumentos, apesar de não estarem aprovados para uso profissional pelo Conselho Federal de Psicologia, têm indícios de validade para o Brasil.

Palavras-chave: Psicologia do Esporte. Psicometria. Avaliação psicológica.


ABSTRACT

Sport Psychology has gained prominence in the construction of Psychology as a science and profession in Brazil. However, the Federal Council of Psychology has not approved any measures for professional use, causing professionals to use tests with no validity and reliability. Thus, this study aimed to identify sports assessment instruments with evidence of validity in Brazil. For such purpose, an integrative review was performed, with a survey in the BVS-Psi, using the descriptors: psychometry AND sport. It was identified 39 productions that passed the following inclusion criteria: empirical article, publication between 2009-2019, text in Portuguese, complete available and Brazilian sample; and exclusion: duplicity and study without adaptation/validation objective. Seven productions were selected, which allowed to identify measures of motivation, self-efficacy, affectivity, fulfillment of needs and satisfaction with life. The instruments, although not approved for professional use by the Federal Council of Psychology, have validity indicators for Brazil.

Keywords: Sport Psychology. Psychometry. Psychological assessment.


 

 

A Psicologia do Esporte e do Exercício é um dos campos de atuação que tem ganhado destaque na construção da Psicologia como ciência e profissão no Brasil. Os psicólogos inseridos nesse contexto procuram entender e ajudar atletas de elite, crianças, indivíduos com deficiência física e mental, idosos e praticantes em geral a alcançar o máximo de participação e desempenho, satisfação pessoal e desenvolvimento com as atividades (Weinbeg & Gould, 2017). A Psicologia do Esporte tem um amplo espectro de atuação, portanto, também se relaciona e usa conceitos derivados de outros campos da Psicologia, como a Psicologia Clínica, a Psicologia Social, a Psicologia do Desenvolvimento, a Psicometria, entre outros (Silva et al., 2014).

 

Avaliação psicológica

Para a compreensão dos processos psicológicos e comportamentais envolvidos na prática esportiva, é necessário o manejo de métodos adequados e adaptados a essa realidade. Como atividade que subsidia o psicólogo em diversos contextos, a avaliação é fundamental no campo esportivo. O Conselho Federal de Psicologia (CFP) define a avaliação psicológica como um processo estruturado de investigação de fenômenos psicológicos, composto de métodos, técnicas e instrumentos, com o objetivo de prover informações à tomada de decisão, no âmbito individual, grupal ou institucional, com base em demandas, condições e finalidades específicas (Resolução n. 009, 2018).

 

Processo avaliativo e o uso de testes

O processo de avaliação no esporte é conhecido como psicodiagnóstico esportivo e está relacionado com o levantamento de aspectos particulares do atleta ou da relação com a modalidade escolhida. As investigações de caráter diagnóstico têm como objetivo determinar o nível de desenvolvimento de funções e capacidades no atleta com a finalidade de prognosticar os resultados esportivos (Rubio, 2007).

Essa prática requer a adaptação de métodos e técnicas, como entrevistas, observação e, sobretudo, testes psicológicos, que seguem um rigor teórico-metodológico. A Psicometria, que fundamenta os instrumentos, é definida como a teoria e a técnica de medida dos processos mentais, baseada na teoria da medida das ciências e que procura explicar o sentido que têm as respostas dadas pelos sujeitos a uma série de tarefas (Pasquali, 2009).

Entretanto, quanto ao uso desses instrumentos no Brasil, Peixoto e Nakano (2014), alertam que não há medidas aprovadas para uso profissional validadas para atletas, fazendo com que os profissionais optem por utilizar testes sem requisitos de evidências de validade e confiabilidade. Os demais testes aprovados atualmente têm particularidades quanto à sua construção, adaptação e/ou coleta de evidências de validade, dessa forma, de acordo com Rubio (2007), essa carência de instrumentação tem gerado problemas sérios de ordem ética, como a importação de instrumentos sem adaptação ao Brasil e a utilização de testes de avaliação clínica ou educacional, que têm finalidades específicas ao contexto, próprios para os fins que foram desenvolvidos.

 

Construção, adaptação e validade de testes

Para um instrumento de avaliação psicológica ser aprovado pelo Sistema de Avaliação de Testes Psicológicos (Satepsi), é preciso estar adequado às normas técnico-metodológicas determinadas. O CFP define os seguintes requisitos para a aprovação: especificação do constructo que pretende avaliar, fundamentação teórica, objetivos e contexto de aplicação, evidências empíricas de validade, fidedignidade e das propriedades psicométricas dos itens, e apresentação de sistema de correção e interpretação (Resolução n. 009, 2018).

As evidências de validade de um instrumento definem sua adequação para utilização e são divididas em cinco: evidências baseadas no conteúdo (representatividade dos itens do teste); evidências baseadas no processo de resposta (processos mentais envolvidos na realização do teste); evidências baseadas na estrutura interna (correlações entre itens e subescalas); evidências baseadas na relação com variáveis externas (convergência com outras variáveis externas); evidências baseadas nas consequências de testagem (consequências sociais, comportamentais e outras, de aplicação do teste) (Primi, Muniz & Nunes, 2009).

Dessa forma, o que motivou a realização da pesquisa foi a lacuna técnico-metodológica do psicólogo quanto ao uso de testes no esporte e a possibilidade de desenvolvimento dessa área, a partir dos estudos contínuos de construção, adaptação e/ou coleta de evidências de escalas, baterias, inventários, entre outros. Sendo assim, o presente trabalho tem por objetivo identificar medidas de avaliação em Psicologia do Esporte com evidências de validade no contexto brasileiro, a partir do método de revisão integrativa da literatura nacional.

 

Metodologia

Trata-se de uma pesquisa elaborada sob o método de revisão integrativa da literatura, que consiste na construção de uma análise ampla da literatura, contribuindo para discussões sobre métodos e resultados de pesquisas, assim como reflexões sobre a realização de futuros estudos. Seu propósito inicial é obter um profundo entendimento de um determinado fenômeno baseando-se em estudos anteriores.É necessário seguir padrões de rigor metodológico, clareza na apresentação dos resultados, de forma que o leitor consiga identificar as características reais dos estudos incluídos na revisão (Broome, 2000, citado por Mendes, Pereira & Galvão, 2008). A Figura 1 demonstra como o método foi esquematizado.

Depois da definição da metodologia, foi realizado um levantamento bibliográfico na Biblioteca Virtual em Saúde - Psicologia (BVS-Psi), a partir dos seguintes descritores e buscadores booleanos: psicometria AND esporte. Foram identificadas 39 produções, que passaram pelos seguintes critérios de inclusão e, após a leitura de títulos e resumos, de exclusão:

 

Figura 2

 

Depois da aplicação dos critérios de seleção de pesquisa, foram incluídas sete produções. A escolha desses filtros foi realizada com o objetivo de descrever estudos atuais e apenas instrumentos que têm evidências de validade e fidedignidade, de modo a oferecer aos pesquisadores e demais leitores o que há de mais adaptado e recente no Brasil. A análise dos dados foi realizada a partir de uma categorização, considerando principalmente os objetivos do instrumento avaliativo, fundamentação teórica e suas propriedades psicométricas.

 

Resultados e discussões

O levantamento bibliográfico indicou que o manejo de testes para avaliação no esporte tem sido uma das principais problemáticas de pesquisa no Brasil, com diversos projetos executados e em execução, o que reflete a relevância desse processo para o desenvolvimento da Psicologia do Esporte no campo profissional. O delineamento metodológico do estudo permitiu identificar na literatura medidas de avaliação de constructos como a motivação, dominância télica, satisfação com a vida, satisfação das necessidades básicas, afetividade e autoeficácia. Os instrumentos foram categorizados no Quadro 1.

 

Tabela 1

 

 

Quadro 2

 

Um estudo similar ao presente foi realizado por Silva et al. (2014), que encontraram seis instrumentos com evidências de validade que avaliaram humor, ansiedade, estresse (pré-competitivo e no futebol) e motivação para a prática de atividade física. Entretanto, devido ao delineamento metodológico do presente estudo, nenhuma medida identificada foi similar à da pesquisa anterior, já que os autores selecionaram base de dados, filtros e restrição temporal diferentes. Os instrumentos e sua base teórica incluídos nesta revisão serão caracterizados a seguir.

A Escala de Motivação para o Esporte-II (SMS-II) é um instrumento de medida que tem por objetivo avaliar por que atletas se engajam e permanecem na prática esportiva, sendo constituída por 18 itens distribuídos em seis subescalas: regulação intrínseca, regulação integrada, regulação identificada, regulação introjetada, regulação externa e desmotivação. Essa Escala é uma nova versão reavaliada e revisada da Sport Motivation Scale (SMS), que também tem os mesmos objetivos avaliativos (Pelletier et al., 2013, citado por Nascimento Junior, Vissoci, Balbim, Moreira, Pelletier & Vieira, 2014).

O estudo de Nascimento Junior et al. (2014), com o objetivo de realizar a adaptação transcultural, verificar validade de conteúdo, consistência interna, estrutura fatorial e medidas de estabilidade temporal da versão brasileira da SMS-II, apresentou resultados aceitáveis, apesar de demonstrar algumas inconsistências internas, evidenciando que a versão adaptada da SMS-II pode ser considerada uma ferramenta útil para a avaliação da motivação no contexto esportivo e que seus resultados seriam capazes de fornecer informações relevantes às atividades da área de Psicologia do Esporte e aos treinadores esportivos no desenvolvimento de experiências que desenvolvam a motivação de seus atletas. Contudo, é importante salientar que as limitações do instrumento devem ser reavaliadas em pesquisas futuras para proporcionar o aprimoramento da ferramenta.

Um segundo teste de avaliação da motivação é a Escala de Dominância Télica (TDS), cuja base é a teoria reversa, que apresenta como elemento principal que as necessidades psicológicas são formadas por pares opostos, ou seja, para toda necessidade psicológica existe outra que se opõe, sendo estes chamados de estados metamotivacionais (Apter et al., 1998, citado por Balbim & Vieira, 2015). A TDS tem como foco o par télico-paratélico, sendo que a dominância do estado télico demonstra comportamento tipicamente sério e orientado à meta, com tendência a envolver planejamento à frente e relacionado com o futuro. O questionário é composto por 42 itens que avaliam a dominância de ações télicas - cada item se refere a uma dimensão da dominância télica: seriedade do objetivo, orientação ao planejamento e evitar ativação (Murgatroyd, 1978, citado por Balbim & Vieira, 2015).

No estudo de Balbim e Vieira (2015) com a aplicação em amostra brasileira, a TDS apresentou resultados satisfatórios nas análises de conteúdo, confiabilidade, fidedignidade teste-reteste e validade fatorial confirmatória, evidenciando que a avaliação da dominância télica no contexto do esporte por meio do TDS é válida e confiável, considerando o modelo reestruturado apresentado no estudo.

O terceiro e último instrumento de avaliação dos aspectos motivacionais para a prática esportiva é o Participation Motivation Questionnaire (PMQ), que foi concebido com 30 itens equivalentes ao elenco de possíveis motivos que possam levar os atletas-jovens a praticar esportes, agrupados em oito fatores de motivação: a) reconhecimento social; b) atividade de grupo; c) aptidão física; d) emoção; e) competição; f) competência técnica; g) afiliação; e h) diversão (Gill, Gross & Huddleston, 1983, citado por Guedes & Netto, 2013).

Guedes e Netto (2013), levantando a necessidade de disponibilizar um instrumento que possa ser empregado para identificar, dimensionar e ordenar os motivos voltados à prática de esporte em idades jovens do Brasil, realizaram um estudo com os objetivos de traduzir, realizar a adaptação transcultural e identificar propriedades psicométricas do PMQ em atletas brasileiros. A conclusão do estudo demonstrou que o instrumento traduzido e adaptado para o idioma português alcançou bom desempenho psicométrico para a amostra de atletas testados no estudo; portanto, essa versão disponibilizada mostrou-se promissora para análise de motivação em estudos brasileiros.

A Escala de Satisfação com a Vida (SWLS) é um instrumento pautado no componente subjetivo do bem-estar e apresenta itens de natureza global distribuídos em uma única dimensão, cujo propósito se configura em avaliar a forma como as pessoas se julgam acerca do quanto estão satisfeitas com suas próprias vidas, tendo em conta seus interesses particulares e valores (Diener et al., 1985, citado por Silva, Ferrari, Vieira, Melo & Cardoso, 2018).

No estudo de adaptação e verificação de validade e fidedignidade da SWLS em amostra de atletas brasileiros, foi constatado que a versão da escala de satisfação com a vida na composição de cinco itens mostrou um bom desempenho psicométrico quando testado. O instrumento apresentou atributos satisfatórios de validade de conteúdo e consistência interna e, apesar de a escala ter sido desenvolvida para outras populações, seus resultados confirmam a validade para o uso no contexto do esporte brasileiro (Silva et al., 2018).

Levantando a necessidade de mensuração do afeto na prática esportiva, Crispim, Cruz, Oliveira e Archer (2015) realizaram a construção, adaptação e análise de validade de um instrumento em amostra de atletas brasileiros. A perspectiva teórica escolhida foi a do circumplexo do afeto (Russell, 2003, citado por Crispim et al., 2015), na qual é proposta a utilização de duas dimensões - valência e ativação - para a explicação do construto. O teste foi construído formando três categorias: a) afeto negativo com ativação baixa versus afeto positivo com ativação alta; b) afeto negativo com ativação alta versus afeto positivo com ativação baixa; e c) afeto negativo com ativação moderada. O instrumento apresentou evidências parciais de validade de construto, no entanto, destaca-se que a pesquisa teve caráter exploratório, já que parte dos itens utilizados não havia sido testada em populações brasileiras anteriormente; destarte, foram sugeridos novos estudos empíricos tanto em amostra esportiva como na população geral para análise da validade da medida de afeto (Crispim et al., 2015).

Assim como Crispim et al. (2015), que realizaram a construção de um instrumento para medir um constructo, Silva et al. (2015) construíram a medida de autoeficácia na prática esportiva, já que foi constatado que não havia instrumentos psicológicos para bailarinos. O constructo autoeficácia refere-se aos julgamentos que as pessoas fazem de suas capacidades para organizar e executar seus planos de ação necessários para atingir determinados tipos de rendimento (Bandura, 1993, citado por Silva et al., 2015). Na Escala de Autoeficácia para Bailarinos (AEBAI), foram relacionadas as habilidades necessárias para que o bailarino tenha um bom desempenho, por exemplo, saltar, girar, realizar movimentos de sustentação, entre outros. Nesse instrumento, o bailarino deve responder se se sente confiante ou não para realizar determinado movimento, sendo que sua resposta pode variar de 0% (nenhuma confiança) a 100% (absoluta confiança), numa escala, portanto, de 0 a 100 (Silva et al., 2015). O estudo empírico de Silva et al. (2015) com a AEBAI indica propriedades psicométricas adequadas (validade de conteúdo e consistência interna) para utilização em bailarinos adolescentes do Brasil, focando em habilidades físicas e psicológicas comuns ao cotidiano dos bailarinos, sendo que, em uma escala de 0 a 100%, o bailarino assinala o quanto se acha capaz de realizar determinada ação.

Todos os instrumentos identificados apresentam propriedades psicométricas adequadas para utilização em amostra brasileira. A maioria dos instrumentos (Nascimento Junior et al., 2014; Balbim & Vieira, 2015; Guedes & Netto, 2013; Nascimento Junior, Vissoci & Vieira, 2018) veio de outros países e foi adaptada para o contexto do esporte brasileiro, o que indica que, apesar da expansão da Psicologia do Esporte como disciplina científica e atividade profissional no Brasil, a área ainda pode se desenvolver em termos de construção e verificação empírica de instrumentos brasileiros, que já trazem em sua constituição as especialidades culturais e sociais próprias. Os demais testes identificados no presente estudo (Crispim et al., 2017; Silva et al., 2015) foram construídos no Brasil, a partir do levantamento de necessidades dos autores de mensurar constructos que não tinham tanto suporte instrumental. De forma geral, todos os estudos demonstraram a importância de levar adiante a verificação de validade dos instrumentos, como um processo contínuo, e não estático.

 

Considerações finais

A pesquisa pretendeu identificar medidas de avaliação psicológica com evidências de validade no contexto esportivo do Brasil, de modo a oferecer a leitores e pesquisadores do assunto o que há de mais atual em Psicometria aplicada ao esporte. É preciso enfatizar que os resultados são relativos à delimitação metodológica, ou seja, à restrição temporal das buscas, à escolha do idioma português, aos filtros; isso posto, existem outras pesquisas brasileiras executadas com os mesmos objetivos das demais incluídas, inclusive no idioma inglês, e que poderão servir de material para futuras eventuais análises.

Os métodos e técnicas ainda estão em desenvolvimento e nenhum instrumento foi aprovado pelo CFP, portanto, a utilização fica restrita ao campo acadêmico. Levanta-se, assim, por meio da pesquisa, a necessidade de refletir sobre a prática de avaliação psicológica no esporte, que ainda carece de métodos precisos (escalas, inventários, baterias, entre outros) de avaliação de processos psicológicos e comportamentais demandados nas atividades esportivas, em diferentes modalidades. A prática de avaliação psicológica (observação, entrevista e testagem) devido a essa problemática, precisa ser constantemente contextualizada, já que existem especificidades contextuais que precisam ser consideradas, como as diferenças entre modalidades esportivas, os aspectos motores, físicos e psicofisiológicos dos avaliados, entre outros. Além disso, o psicólogo atuante nesse campo deve demonstrar compromisso ético, não utilizando instrumentos sem aprovação pelo Sistema de Avaliação de Testes Psicológicos (Satepsi) na prática profissional.

 

Referências

Balbim, G. M., & Vieira, L. F. (2015). Validação para a população brasileira da Escala de Dominância Télica (TDS) no contexto esportivo. Revista Brasileira de Educação Física e Esporte, 29(4), 641-651. Recuperado de http://www.scielo.br/scielo.php?pid=S180755092015000400641&script=sci_abstract&tlng=pt.         [ Links ]

Crispim, A. C., Cruz, R. M., Oliveira, C. M., & Archer, A. B. (2017). O afeto sob a perspectiva do circumplexo: evidências de validade de construto. Avaliação Psicológica, 16(2), 145-152. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712017000200005.         [ Links ]

Guedes, D. P., & Netto, J. E. S. (2013). Participation Motivation Questionnaire: tradução e validação para uso em atletas-jovens brasileiros. Revista Brasileira de Educação Física e Esporte, 27(1), 137-148. Recuperado de http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1807-55092013000100014.         [ Links ]

Mendes, K. D. S., Silveira, R. C. de C. P., & Galvão, C. M. (2008). Revisão integrativa: método de pesquisa para a incorporação de evidências na saúde e na Enfermagem. Texto & Contexto - Enfermagem, 17(4), 758-764. Recuperado de http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-07072008000400018.         [ Links ]

Nascimento Junior, J. R. A. do, Vissoci, J. R. N., Balbim, G. M., Moreira, C. R., Pelletier, L., & Vieira, L. F. (2014). Adaptação transcultural e análise das propriedades psicométricas da Sport Motivation Scale-II no contexto brasileiro. Revista da Educação Física / UEM, 25(3), 441-458. Recuperado de http://www.scielo.br/scielo.php?script=sci_arttext&pid=s1983-30832014000300441.         [ Links ]

Nascimento Junior, J. R. A. do, Vissoci, J. R. N., & Vieira, L. F. (2018). Propriedades Psicométricas da Versão Brasileira da Escala de Satisfação das Necessidades Básicas no Esporte (BNSSS). Psicologia: Teoria e Pesquisa, 34, 34-56. Recuperado de http://www.scielo.br/scielo.php?script=sci_abstract&pid=S0102-37722018000100605&lng=en&nrm=iso&tlng=pt.         [ Links ]

Pasquali, L. (2009). Psicometria. Revista da Escola de Enfermagem da USP, 43, 992-999. Recuperado de http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342009000500002.         [ Links ]

Primi, R., Muniz, M., & Nunes, C. H. S. da S. (2009). Avanços e polêmicas em avaliação psicológica. São Paulo: Casa do Psicólogo.         [ Links ]

Resolução n. 009, de 25 de abril de 2018. (2018). Estabelece diretrizes para a realização de Avaliação Psicológica no exercício profissional da psicóloga e do psicólogo, regulamenta o Sistema de Avaliação de Testes Psicológicos - SATEPSI e revoga as Resoluções n. 002/2003, n. 006/2004 e n. 005/2012 e Notas Técnicas n. 01/2017 e 02/2017. Conselho Federal de Psicologia. Recuperado de http://satepsi.cfp.org.br/docs/Resolu%C3%A7%C3%A3o-CFP-n%C2%BA-09-2018-com-anexo.pdf.         [ Links ]

Rubio, K. (2007). Da Psicologia do Esporte que temos à Psicologia do Esporte que queremos. Revista Brasileira de Psicologia do Esporte, 1(1), 1-13. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1981-91452007000100007.         [ Links ]

Silva, W. R. da, Ferrari, E. P., Vieira, M., Melo, G., & Cardoso, F. L. (2018). Propriedades psicométricas da Escala de Satisfação com a Vida no contexto esportivo brasileiro. Revista Brasileira de Medicina do Esporte, 24(1), 45-49. Recuperado de http://www.scielo.br/scielo.php?script=sci_abstract&pid=S1517-86922018000100045&lng=en&nrm=iso&tlng=pt.         [ Links ]

Silva, A. M. B. da, Foch, G. F. de L., Guimarães, C. A., & Enumo, S. R. F. (2014). Instrumentos aplicados em estudos brasileiros em Psicologia do Esporte. Estudos Interdisciplinares em Psicologia, 5(2), 77-85. Recuperado de http://www.uel.br/revistas/uel/index.php/eip/article/view/18786.         [ Links ]

Silva, A. M. B. da, Luz, T. S. R., Afonso, R. de M., Araújo, M. F. de, Bittencourt, I. G., Carvalho, L. de F., & Enumo, S. R. F. (2015). Escala de Autoeficácia para Bailarinos (AEBAI): construção e evidências de validade. Avaliação Psicológica, 14(1), 83-88. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712015000100010.         [ Links ]

Weinberg, R. S., & Gould, D. (2017). Fundamentos da Psicologia do Esporte e do Exercício (6a ed.). Porto Alegre: Artmed.         [ Links ]

 

 

Recebido em: 23/5/2019
Aprovado em: 19/10/2019

Creative Commons License All the contents of this journal, except where otherwise noted, is licensed under a Creative Commons Attribution License