22 2Gestação e Desenvolvimento Inicial de Gêmeos: Um Estudo a partir de Relatos MaternosCaracterísticas Neuropsicológicas do Desenvolvimento de Bebês Prematuros e a Termo: uma Revisão da Literatura 
Home Page  


Estudos e Pesquisas em Psicologia

 ISSN 1808-4281

Estud. pesqui. psicol. vol.22 no.2 Rio de Janeiro maio/ago. 2022   03--2024

https://doi.org/10.12957/epp.2022.68652 

PSICOLOGIA DO DESENVOLVIMENTO

Escala de Motivação para Aprendizagem em Universitários: Versão Breve

Learning Motivation in Higher Education Scale: Brief Version

Escala de Motivación para el Aprendizaje en Universitarios: Versión Abreviada

Julia Scalco Pereira1 

Pedagoga. Mestre e Doutora do Programa de Pós-Graduação em Psicologia (UFRGS). Coordenadora da Unidade de Educação Infantil na Gestão Pedagógica da Rede Municipal de Ensino de Porto Alegre/RS.


http://orcid.org/0000-0002-3221-9432

Sérgio Armando López Castillo1 

Psicólogo. Mestre e Doutorando do Programa de Pós-Graduação em Psicologia (UFRGS).


http://orcid.org/0000-0001-6296-8744

Ana Paula Couto Zoltowski1 

Mestre, Doutora e Pós-doutora pelo Programa de Pós-Graduação em Psicologia (UFRGS). Psicóloga na Prefeitura Municipal de Cachoeirinha/RS.


http://orcid.org/0000-0001-9363-7155

Marco Antônio Pereira Teixeira1 

Mestre e Doutor pelo Programa de Pós-Graduação em Psicologia (UFRGS). Professor do Instituto de Psicologia da UFRGS, vinculado ao Núcleo de Estudos e Intervenções em Carreira (NEIC).


http://orcid.org/0000-0001-7981-9788

Jerusa Fumagalli de Salles1 

Mestre e Doutora pelo Programa de Pós-Graduação em Psicologia (UFRGS). Professora do Instituto de Psicologia da UFRGS, vinculada ao Núcleo de Estudos em Neuropsicologia Cognitiva (Neurocog).


http://orcid.org/0000-0003-0877-488X

1Universidade Federal do Rio Grande do Sul - UFRGS, Porto Alegre, RS, Brasil


RESUMO

A avaliação da motivação para aprender é um aspecto relevante em contextos educacionais, pois a motivação pode influenciar o engajamento dos estudantes, sua aprendizagem e seu desempenho em tarefas acadêmicas. O objetivo deste estudo foi propor uma versão breve da Escala de Motivação para Aprendizagem em Universitários (EMAPRE-U Breve). A EMAPRE-U é uma escala de 28 itens que avalia três dimensões motivacionais: meta aprender, meta performance-aproximação e meta performance-evitação. Participaram do estudo 525 universitários do primeiro ano de graduação de uma universidade pública. Através de análises fatoriais exploratórias e de conteúdo dos itens chegou-se a uma versão com 15 itens. Análises fatoriais confirmatórias e de correlação com construtos relacionados forneceram evidências de validade para a medida breve, e indicaram um bom ajuste dos dados ao modelo trifatorial. Os resultados sugerem que o instrumento tem o potencial de contribuir para a avaliação da motivação para aprendizagem na educação superior, ainda que aprimoramentos possam ser feitos no futuro.

Palavras-chave: motivação; aprendizagem; avaliação; ensino superior.

ABSTRACT

The assessment of motivation to learn is a relevant aspect in educational contexts as motivation can influence student engagement, learning, and performance in academic tasks. The aim of this study was to propose a brief version of the Motivation Scale for Learning in University Students (EMAPRE-U Brief). The EMAPRE-U is a 28-item scale that assesses three motivational dimensions: the learning goal, the performance-approach goal, and the performance-avoidance goal. The study included 525 first-year undergraduate students at a public university. Through exploratory factor analysis and item content analysis, a 15-item version was developed. Confirmatory factor analysis and correlation with theoretically related constructs provided evidence of validity for the brief measure and indicated a good fit of the data to the three-factor model. The results suggest that the instrument has the potential to contribute to the assessment of motivation for learning in higher education, although improvements could be made in the future.

Keywords: motivation; learning; assessment; higher education.

RESUMEN

La evaluación de la motivación para aprender es un aspecto relevante en los contextos educativos, ya que la motivación puede influir en el compromiso, aprendizaje y desempeño del estudiante en las tareas académicas. El objetivo de este estudio fue proponer una versión breve de la Escala de Motivación para el Aprendizaje en Estudiantes Universitarios (EMAPRE-U Brief). La EMAPRE-U es una escala de 28 ítems que evalúa tres dimensiones motivacionales: metas de aprendizaje, metas de aproximación al rendimiento y metas de evitación del rendimiento. El estudio incluyó a 525 estudiantes de primer año de pregrado de una universidad pública. A través del análisis factorial exploratorio y el contenido de los ítems, se llegó a una versión de 15 ítems. Los análisis factoriales confirmatorios y las correlaciones con constructos relacionados proporcionaron evidencia de validez para la versión breve, e indicaron un buen ajuste de los datos al modelo de tres factores. Los resultados sugieren que el instrumento tiene el potencial de contribuir a la evaluación de la motivación para el aprendizaje en la educación superior, aunque podrían realizarse mejoras en el futuro.

Palabras clave: motivación; aprendizaje; evaluación; educación superior.

Nas últimas décadas, houve um grande crescimento quanto à oferta do ensino superior, o que leva à necessidade de se investigar o processo de aprendizagem e de permanência dos estudantes universitários (Hsieh, 2014). O ingresso no ensino superior é usualmente uma experiência desafiadora, visto que a universidade tende a ser um contexto mais exigente que o ensino médio, demandando maior resiliência e autonomia do estudante (Dembo, 2004).

Para a realização das diversas tarefas acadêmicas do contexto universitário é necessário que os estudantes estejam motivados e engajados. A motivação para aprender pode ser compreendida como um fenômeno dinâmico e multifacetado, que tem importante papel na aquisição de conhecimento e no desempenho acadêmico, em diferentes níveis de ensino. Nesse sentido, as metas de realização (ou metas de aprendizagem) consistem no motivo pelo qual o estudante se envolve em uma determinada atividade relacionada à aprendizagem (Bzuneck & Boruchovitch, 2016).

As metas de realização podem ser definidas em quatro grandes grupos: aprender, performance-aproximação, performance-evitação e alienação acadêmica, sendo esta última menos estudada no que diz respeito aos instrumentos de avaliação da motivação (Bzuneck & Boruchovitch, 2016). A meta aprender estaria relacionada com um maior esforço intelectual e pessoal na busca pelo conhecimento, no sentido de consolidar as informações e dominar os conteúdos acadêmicos, gerando emoções positivas que impulsionam a novas aprendizagens (Ames, 1992). Os alunos com metas do tipo performance, diferentemente da meta aprender, estão mais centrados no resultado do seu desempenho. Nas metas performance-aproximação, o objetivo primordial é demonstrar alta capacidade, procurando deixar evidente um desempenho superior ao restante do grupo. Já os orientados pela meta performance-evitação objetivam eludir os desfechos negativos, se protegendo da degradação por parte dos outros. Assim, desempenham seu comportamento com o intuito de não serem considerados “os piores” em relação aos demais colegas (Ames, 1992; Bzuneck & Boruchovitch, 2016).

A meta aprender tem se mostrado positivamente relacionada aos fatores de personalidade de socialização, conscienciosidade e abertura à experiência, enquanto a meta performance-aproximação tem se mostrado associada à conscienciosidade. Por sua vez, a meta performance-evitação tem apresentado associação com a abertura à experiência (Briley et al., 2014; Debicki et al., 2016; McCabe et al., 2013). Quanto à sintomatologia clínica, temse verificado uma associação negativa entre a meta aprender, ansiedade e depressão (Sideridis, 2005). Ao mesmo tempo, observa-se uma associação positiva entre meta performance-aproximação e estresse, assim como uma associação positiva entre meta performance-evitação, estresse, ansiedade e depressão (Sideridis, 2005; Smith et al., 2002; Tuominen-Soini et al., 2008).

Especificamente quanto aos aspectos acadêmicos, a meta aprender tem sido associada positivamente com um perfil de estudantes altamente autorregulados, em especial devido ao uso de estratégias de aprendizagem mais efetivas (Merett et al., 2020). Nesse sentido, estudantes que apresentam metas focadas no aprender tendem a possuir trajetórias universitárias esperadas de acordo com o andamento do seu curso, ou seja, tendem a não ficar retidos na universidade (Moreno et al., 2019). Observa-se também uma associação positiva entre o desempenho acadêmico com meta aprender e meta performance-aproximação, e negativa com a meta performance-evitação (Hsieh et al., 2007; Tuominen-Soini et al., 2008).

No Brasil, Zenorini e Santos (2010) desenvolveram a Escala de Motivação para Aprendizagem para avaliar as três dimensões de motivação em estudantes de ensino médio. Através de análise de componentes principais, as autoras identificaram a estrutura prevista teoricamente após a eliminação de alguns itens, tendo obtido estimativas de fidedignidade aceitáveis (o instrumento final contou com 28 itens). Com o intuito de utilizar a escala com estudante de nível superior, Santos et al. (2013) adaptaram a redação de alguns itens do instrumento e o testaram em uma amostra de universitários, denominando-o Escala de Avaliação da Motivação para Aprendizagem de Universitários (EMAPRE-U). Nesse estudo, as autoras empregaram análise de componentes principais e novamente identificaram a estrutura de três dimensões, com os itens apresentando cargas conforme o esperado nos componentes. Vale ressaltar a correlação moderada e positiva observada entre performanceevitação e performance-aproximação (0,40), indicando serem aspectos motivacionais distintos, ainda que relacionados. A meta aprender apresentou correlação baixa com ambas as motivações de tipo performance.

Posteriormente, Santos e Mognon (2016) utilizaram análise fatorial confirmatória para analisar o ajuste dos dados ao modelo previsto pelo instrumento. Uma primeira análise revelou indicadores de ajuste abaixo do desejado, e os índices de modificação indicaram que dois pares de itens apresentavam erros correlacionados. As autoras analisaram o conteúdo dos itens e concluíram que, nos pares, os conteúdos eram muito similares, e assim optaram por eliminar um item em cada par (ficando a escala com 26 itens). Após essa re-especificação do modelo, os resultados foram aceitáveis, ainda que os índices de ajuste não tenham sido excelentes. Santos e Mognon (2016) observaram correlações mais elevadas entre meta performance-aproximação e performance-evitação (0,49), assim como entre meta aprender e as metas performance-aproximação (-0,35) e performance-evitação (-0,53). Vale ressaltar que, nesse estudo, as correlações eram entre traços latentes e não de escores derivados de subescalas.

Embora a EMAPRE-U não seja uma escala extensa e já tenha sido testada em amostras universitárias, propõe-se neste estudo o teste de uma versão breve desse instrumento. Entende-se que a possibilidade de se contar com uma escala breve da EMAPREU possa ser útil para a pesquisa e mesmo para a clínica. Não é incomum que em contextos de pesquisa sejam aplicados diversos instrumentos a fim de se investigar determinado construto e suas associações. Em especial, no que se refere às variáveis motivacionais no processo de aprendizagem, o repertório conceitual é amplo, o que leva a estudos muitas vezes complexos e extensos. Para isso, instrumentos breves que mantenham a qualidade conceitual e psicométrica do original são alternativas interessantes, diminuindo a extensão do tempo de pesquisa e aumentando as chances de aderência dos participantes. Por sua vez, mesmo que não seja uma escala com foco clínico, a EMAPRE-U em versão abreviada pode contribuir para triagens de perfil motivacional de estudantes, auxiliando na elaboração de intervenções voltadas aos universitários.

Esta pesquisa teve por objetivo, então, propor uma versão breve para a Escala de Avaliação da Motivação para Aprendizagem de Universitários (EMAPRE-U), analisando suas propriedades psicométricas. Três análises distintas foram realizadas a partir de dados coletados com uma amostra de estudantes universitários. Inicialmente, os dados de uma subamostra foram utilizados em uma análise fatorial exploratória com o intuito de selecionar os itens para a versão breve. Em seguida, uma análise fatorial confirmatória foi executada com uma outra subamostra (independente da primeira) para verificar os índices de ajuste do modelo subjacente ao instrumento (obtendo assim evidências de validade relacionadas à estrutura da medida). Por fim, os escores das subescalas da versão breve foram correlacionados com outras variáveis (considerando a amostra total), a fim de se obter evidências de validade por correlação com construtos teoricamente relacionados. As expectativas de correlação foram: a) correlação positiva entre a meta aprender e os fatores de personalidade socialização, conscienciosidade e abertura, e negativa com neuroticismo; b) correlação negativa do sofrimento psicológico com a meta aprender e positiva com as metas performance-aproximação e performance-evitação (mais forte com esta última); e c) correlação positiva entre desempenho acadêmico e meta aprender e performanceaproximação, e negativa com performance-evitação. Ainda, os escores da versão breve foram correlacionados com os escores da versão integral do instrumento.

Método

Participantes

A amostra total do estudo foi composta por 525 estudantes universitários de primeiro ano (57,7% mulheres), com média de idade de 21,2 anos (DP = 7,35). Eram provenientes de 62 cursos diferentes, sendo 52,2% das áreas de ciências sociais e humanas e 47,3% das áreas de ciências e tecnologia. A renda familiar informada por 51% da amostra foi de até 4000 reais mensais. Em relação à escolaridade de pais e mães, os participantes relataram que a maioria dos seus pais (61,7%) e de suas mães (67,9%) tinham ao menos o ensino médio completo.

Instrumentos

Escala de Avaliação da Motivação para Aprendizagem - EMAPRE-U (Santos et al., 2013). O instrumento avalia três metas de realização relacionadas à aprendizagem: meta aprender, com 12 itens, meta performance-aproximação, com nove itens e meta performanceevitação, com sete itens, totalizando 28 itens. As questões são respondidas em uma escala de três pontos (1 = concordo, 2 = não sei e 3 = discordo). Na segunda e na terceira análises realizadas neste estudo, foi utilizado um conjunto selecionado de 15 dos 28 itens originais, caracterizando a versão breve da escala.

Depression, Anxiety and Stress Scale - DASS-21 (Machado, 2013). Instrumento composto por três subescalas para avaliação de sintomas relacionados à depressão, ansiedade e estresse, adaptado e validado para o contexto brasileiro. As respostas são pontuadas em uma escala do tipo Likert (4 pontos), que variam entre “não se aplicou a mim de forma alguma” a “aplicou-se muito a mim ou na maior parte do tempo”. Neste estudo, o instrumento foi considerado uma medida geral de sofrimento psicológico (general distress), conforme sugestão de Zanon et al. (2021). Para tanto, foi calculada a médias dos escores em depressão, ansiedade e estresse. A consistência interna do conjunto de 21 itens neste estudo foi 0,93.

Marcadores Reduzidos para Avaliação da Personalidade no Modelo dos Cinco Grandes Fatores (Hauck Filho, Machado, Teixeira, & Bandeira, 2012). Instrumento reduzido de 25 itens, que busca mensurar a personalidade no modelo dos Cinco Grandes Fatores a partir de adjetivos descritivos avaliados em uma escala Likert de 5 pontos. Neste estudo, a consistência interna observada para cada uma das escalas foi: 0,70 (Neuroticismo), 0,79 (Extroversão), 0,78 (Socialização), 0,80 (Conscienciosidade) e 0,60 (Abertura à Experiência).

Desempenho Acadêmico Percebido Autorrelatado. Avaliado através de item único: “Como você classificaria seu desempenho acadêmico?”. As opções de resposta foram: muito ruim, ruim, razoável, bom e muito bom.

Procedimentos

Os dados utilizados nesta pesquisa foram provenientes de um projeto de pesquisa mais amplo relacionado à autorregulação da aprendizagem aprovado previamente pelo Comitê de Ética em Pesquisa da Universidade Federal do Rio Grande do Sul [CAAE n. 30845714.4.0000.5334]. Os dados foram coletados online e todos os participantes foram esclarecidos sobre a pesquisa através de um termo de consentimento livre e esclarecido, com o qual concordaram antes de responder aos instrumentos.

Análise de Dados

Três análises principais foram realizadas. A primeira envolveu uma subamostra aleatória da amostra total (n = 200) e teve por objetivo fornecer resultados para reduzir para cinco itens cada uma das três subescalas originais da escala. Para tanto, foi feita uma análise fatorial exploratória no programa Factor versão 10.10.03 (Ferrando & Lorenzo-Seva, 2017), considerando uma matriz de correlações policóricas (apropriada para variáveis com escala de mensuração ordinal). O método de extração de fatores empregado foi o ULS (Unweighted Least Squares), com rotação direct oblimin. A segunda análise foi feita com outra subamostra da amostra total (n = 325), constituindo-se em uma análise fatorial confirmatória com os itens selecionados na primeira análise. O objetivo foi verificar se os dados se ajustavam ao modelo de três dimensões proposto originalmente com uma amostra independente da primeira. Foi utilizado o programa Mplus versão 8.1 (Muthén & Muthén, 2017) com o estimador Weighed Least Squares Mean and Variance Adjusted (WLSMV), apropriado para dados ordinais. Os índices de ajuste utilizados e os valores considerados satisfatórios foram: Comparative Fit Index (CFI ≥ 0,95), Tukey-Lewis Index (TLI ≥ 0,95), Root Mean Square Error of Approximation (RMSEA ≤ 0,06 ou ≤ 0,08 com intervalo de confiança de 90%) e Weighted Root Mean Square Residual (WRMR<0,90) (Schreiber et al., 2006). Na terceira análise, que teve o objetivo de verificar o padrão de correlação das escalas reduzidas com construtos teoricamente relacionados, foram empregadas correlações bivariadas, considerando a amostra total (n = 525). Além disso, a precisão das escalas foi estimada utilizando-se o indicador alpha (primeira e segunda análises) e a confiabilidade composta e a variância média extraída (segunda análise).

Resultados

Análise Fatorial Exploratória (AFE)

Previamente à AFE, foi examinada a distribuição das respostas nos 28 itens, considerando a subamostra aleatória (n = 200). Verificou-se que o item 21 apresentou baixíssimo poder de discriminação, com 197 respondentes marcando a opção "concordo" (assimetria = 9,52 e curtose = 95,7). Em função disso, este item foi eliminado das análises subsequentes. Em seguida, procedeu-se à AFE. A Tabela 1 exibe os resultados desta análise realizada com os 27 itens, além de média, desvio-padrão, assimetria e curtose. A matriz de correlação mostrou-se adequada para fatoração de acordo com o teste de Kaiser-Meyer-Olkin (KMO = 0,87) e a estatística de Bartlett (2177,9; g.l. = 351; p < 0,001). Uma vez que o modelo teórico apresenta três dimensões, foram retidos três fatores para rotação (uma análise paralela também sugeriu a retenção de três fatores). Os três fatores explicaram 54,87% da variância total (respectivamente, 23,9%, 20,0% e 11,9%). Observa-se que, à exceção do item 7, todos os itens apresentaram cargas relevantes (ao menos 0,40) nos fatores a que se referiam teoricamente (e cargas menores nos outros fatores).

Tabela 1 Dados descritivos e Análise Fatorial Exploratória dos Itens da EMAPRE-U 

Item M DP Assim. Curtose Fator 1 Cargas Fatoriais
Fator 2
Fator 3
Meta Aprender
1 1,26 0,54 2.00 2,99 0,46 0.20 -0,02
2 1,40 0,65 1,37 0,62 0,50 -0,09 0,08
5 1,38 0,59 1,32 0,71 0,75 0,00 -0,12
7 1,33 0,59 1,63 1,52 0,30 -0,17 -0,15
10 1,38 0,62 1,41 0,82 0,62 0,04 -0,01
12 1,22 0,51 2,35 4,60 0,81 -0,03 -0,03
14 1,82 0,77 0,32 -1,26 0,53 -0,04 0,14
19 1,26 0,49 1,75 2,20 0,46 -0,13 -0,05
23 1,62 0,70 0,71 -0,72 0,80 -0,02 0,18
25 1,22 0,79 2,26 4,23 0,56 -0,09 0,20
28 1,56 0,73 0,88 -0,51 0,64 -0,02 -0,19
Meta Performance-Aproximação
3 1,77 0,80 0,45 -1,29 0,14 -0,01 0,79
4 1,98 0,84 0,04 -1,58 0,09 0,02 0,88
8 1,96 0,88 0,08 -1,69 0,15 -0,01 0,73
11 1,84 0,86 0,33 -1,56 -0,07 0,13 0,71
13 2,19 0,85 -0,37 -1,51 -0,26 -0,17 0,56
15 1,98 0,87 0,04 -1,68 -0,04 0,14 0,80
17 2,66 0,61 -1,62 1,41 -0,15 0,11 0,65
20 2,43 0,75 -0,87 -0,67 -0,11 -0,29 0,46
24 2,55 0,50 -1,24 0,13 -0,08 -0,15 0,70
Meta Performance-Evitação
6 2,03 0,89 -0,05 -1,72 -0,02 0,68 -0,14
9 2,39 0,81 -0,81 -0,99 0,09 0,91 0,06
16 2,51 0,75 -1,13 -0,29 -0,06 0,77 0,07
18 2,27 0,85 -0,54 -1,39 -0,23 0,42 0,09
22 2,47 0,17 -1,03 -0,60 -0,02 0,83 0,03
26 2,56 0,71 -1,30 0,19 -0,05 0,83 0,01
27 2,57 0,71 -1,36 0,25 -0,05 0,81 -0,05

A partir da análise das cargas fatoriais e do conteúdo dos itens foram selecionados cinco itens de cada fator para compor a versão abreviada. Em relação às cargas fatoriais, o critério básico para seleção foi apresentar carga mínima de 0,50 no fator esperado e inferior a 0,30 nos demais fatores. Correlações item-restante foram exploradas como critério adicional no processo de seleção de itens. Em termos teóricos, buscou-se manter itens com diversidade de conteúdo. Os itens selecionados foram: 5, 10, 12, 14 e 25 (meta aprender), 4, 8, 11, 15 e 24 (meta performance-aproximação) e 6, 9, 16, 22 e 26 (meta performance-evitação). As estimativas de fidedignidade das subescalas, pelo alpha de Cronbach, foram: 0,72 (meta aprender; correlações item-restante de 0,43 a 0,55), 0,82 (meta performance-aproximação; correlações item-restante entre 0,43 e 0,73) e 0,84 (meta performance-evitação; correlações item-restante entre 0,59 e 0,72).

Análise Fatorial Confirmatória (AFC)

Nesta etapa, o modelo de três dimensões foi avaliado através de AFC utilizando-se como indicadores os 15 itens selecionados a partir da AFE. Nesta análise foi utilizada uma subamostra aleatória (n = 325) da amostra total, distinta da subamostra usada na AFE. Foram testados dois modelos: de dois fatores correlacionados (agrupando-se as dimensões de meta performance) e de três fatores correlacionados (modelo originalmente proposto para o instrumento). O modelo de dois fatores foi testado porque na literatura há alguma controvérsia quanto à distinção entre as metas performance de aproximação e de evitação (ver Santos & Mognon, 2016; Zenorini & Santos, 2010), e assim buscou-se verificar se os itens selecionados diferenciariam estas dimensões.

Os índices de ajuste obtidos para o modelo de dois fatores foram: χ2 = 952,53 (g.l. = 89, p < 0,001), CFI = 0,721, TLI = 0,670, RMSEA = 0,173 (IC 90%: 0,163 - 0,183) e WRMR = 3,221. Já os valores para o modelo de três fatores foram: χ2 = 216,88 (g.l. = 87, p = 0,005), CFI = 0,958, TLI = 0,949, RMSEA = 0,068 (IC 90%: 0,057 - 0,079) e WRMR = 1,216. Verifica-se que o modelo de três fatores correlacionados apresentou um ajuste adequado, enquanto o de dois fatores não. A Tabela 2 apresenta os conteúdos dos 15 itens incluídos na AFC e seus respectivos coeficientes padronizados. As correlações entre os fatores (no modelo estrutural) foram: 0,22, p = 0,001 (meta aprender com meta performance-aproximação), -0,27, p < 0,001 (meta aprender com meta performance-evitação) e 0,08, p = 0,255 (meta performance-evitação com meta performance-aproximação). Para estimar a precisão da medida, foram calculadas a confiabilidade composta (CC) e a variância média extraída (VME) em cada fator. Os seguintes valores foram obtidos: meta aprender (CC = 0,86 e VME = 0,55), meta performance-aproximação (CC = 0,89 e VME = 0,62) e meta performanceevitação (CC = 0,93 e VME = 0,72), todos considerados adequados (Hair et al., 2009). Já as estimativas de fidedignidade das subescalas pelo alpha de Cronbach foram: 0,71 (meta aprender; correlações item-restante entre 0,44 e 0,51), 0,80 (meta performance-aproximação; correlações item-restante entre 0,44 e 0,71) e 0,84 (meta performance-evitação; correlações item-restante entre 0,56 e 0,71).

Tabela 2 Análise Fatorial Confirmatória - EMAPRE-U Breve 

Fator Coef. R2
Fator Meta Aprender
5.Faço minha s tarefa s académicas p arque estou interessado nelas. 0,786 0,618
10. Uma razão pela qual eu faço minhas tarefas acadêmicas é que eu gosto delas 0,694 0,482
12. Uma razão importante pela qual faço as tarefas acadêmicas é porque eu gosto de aprender coisas novas. 0,742 0,551
14. Quanto mais dificil a matéria,maiseu gosto de tentar compreender. 0,697 0,486
25. Gosto de tarefas difíceis e desafiadoras. 0,787 0,619
Fator: Meta Performance-Aproximação
4.E importante para mim. fazer as tarefas melhor que os meus colegas. 0,928 0,860
8. Na minha turma eu quero me sair melhor que os demais. 0,895 0.801
11. Sinto-me ban sucedido na aula quando sei que o meu trabalho foi melhor que dos meus colegas. 0,711 0,505
15. Para mim é importante conseguir concluir tarefas que meus colegas não conseguem. 0,673 0.453
24. Ser o primeiro da classe é o que me leva a estudar. 0,674 0,455
Fator Meta Performance-Evitação
6. Não respondo aos questionamentos feitos pelo professor, por medo de falar alguma “besteira”. 0,868 0.754
9. Não participo dos debates em sala de aula, porque não quero que os colegas riam de mim 0,898 0,806
16. Não me posiciono nas discussões em sala de aula,pois não quero que os professores achem que sei menos que os meus colegas. 0,819 0,671
22. Uma razão pela qual eu não participo da aula é evitar parecer ignorante. 0,868 0,754
26. Não questiono o professor quando tenho dúvidas na matéria, para não dar a impressão de que sou menos inteligente que os meus colegas. 0,771 0,594

Nota: modelo de três fatores correlacionados. Coef. = coeficiente padronizado.

Correlações com Construtos Teoricamente Relacionados

Após a seleção dos cinco itens indicadores de cada dimensão do modelo e da confirmação da estrutura da versão abreviada do instrumento, foram gerados escores para cada subescala (calculando-se a média dos itens). Os escores das subescalas foram então correlacionados com fatores de personalidade, sofrimento psicológico e desempenho acadêmico autorrelatado, considerando a amostra total (n = 525). Em acréscimo, foram calculadas as correlações entre as subescalas breves e suas versões originais (com todos os itens). A Tabela 3 mostra os resultados destas correlações.

Tabela 3 Correlações das Metas de Realização (Subescalas Breves) com Personalidade, Sofrimento Psicológico, Desempenho Acadêmico e Subescalas Originais 

1 2 3 4 5 6 7 B 9 10 11 12
l.M. Apd(b) -
2.M. P-Apx (b) 14 -
3.M. P-Evit (b) -20 08 -
4. Extroversão 11 -02 -39 -
5. Socialização 07 -11 02 11 -
6. Conscienc. 21 07 07 -04 40 -
7. Neurotic. -29 02 31 -27 -12 -16 -
8. Abertura 17 10 -21 23 16 00 -08 -
9. Soft. Psic. -19 04 26 -11 -07 -14 55 02 -
10.Des. Acad. 35 22 -23 08 12 38 -20 14 -22 -
11. M. Apd(o) 89 11 27 13 13 32 -33 20 -25 41 -
12. M. P-Apx (o) 11 95 06 04 -10 06 00 12 05 20 08 -
13. M. P-Evit (o) 22 10 98 -39 02 04 31 -19 27 -25 -29 08

Nota: Correlações significativas marcadas em negrito (p <0,01) e itálico (p <0,05). O zero-virgula das conelações foi omitido para facilitar a visualização. M. Apd = Meta Aprendizagem; M. P-Apx = Meta performance-Aproximação; M. P-Evit = Meta Performance-Evitação. Conscienc. = Conscienciosida de. Neurotic. = Neuroticismo. Soft. Pric. = Sofrimento Psicológico. Des. Acad. = Desempenho acadêmico. As letras (b) e (o) indicam as escalas breves e originais. As correlações envolvendo a variável desempenho acadêmico foram estimadas com correlação de Spearman: as demais são correlações de Pearson.

Verifica-se que, em geral, as associações emergiram de acordo com as expectativas. A meta aprender correlacionou-se positivamente com extroversão, conscienciosidade e abertura à experiência (de modo fraco), mas não com socialização, e negativamente com neuroticismo e sofrimento psicológico (também com fraca magnitude). O sofrimento psicológico ainda se correlacionou positivamente com a meta performance-evitação. O desempenho acadêmico, por sua vez, se correlacionou positivamente com meta aprender e meta performanceaproximação, e negativamente com meta performance-evitação. Observe-se ainda as elevadas correlações (entre 0,89 e 0,98) entre os escores das subescalas breves com os escores das escalas originais.

Discussão

O objetivo deste estudo foi propor uma versão breve para a EMAPRE-U e testar suas propriedades psicométricas, verificando o ajuste dessa versão ao modelo de três dimensões de metas de realização relacionadas à aprendizagem: meta aprender, meta performanceaproximação e meta performance-evitação (Ames, 1992; Santos et al, 2013). A AFE indicou a presença de três fatores relevantes subjacentes ao conjunto dos itens, confirmando estudos anteriores que investigaram a estrutura fatorial do instrumento (Santos et al, 2013; Santos & Mognon, 2016; Zenorini & Santos, 2010). Nesta pesquisa, porém, foram identificados alguns itens com estatísticas de assimetria e curtose elevados, em especial o item 21, o que ensejou a remoção deste item da AFE que se seguiu.

A AFE foi usada em uma subamostra para selecionar os itens da versão breve, juntamente com critérios teóricos e análise de correlações item-restante na definição das subescalas reduzidas. O processo de seleção de itens possibilitou compor uma versão breve do instrumento com cinco itens por dimensão. Apesar do pequeno número de itens, todas as subescalas compostas pelos itens selecionados apresentaram consistência interna satisfatória (alpha superior a 0,70), assim como correlações item-restante apropriadas, nem baixas nem altas demais (entre 0,43 a 0,73).

A AFC, realizada com uma subamostra diferente da primeira, forneceu evidências de validade quanto à estrutura trifatorial da versão breve da EMAPRE-U. Os índices de ajuste obtidos, à exceção do WRMR, foram todos bons, inclusive nominalmente superiores aos obtidos por Santos e Mognon (2016) com uma versão de 26 itens do instrumento. Assim, conclui-se que a versão breve da escala preserva a característica tridimensional do instrumento original. Destacam-se ainda as estimativas de fidedignidade obtidas (confiabilidade composta, variância média extraída e alpha de Cronbach), que se situaram entre satisfatórias a excelentes. No conjunto, estes resultados indicam que a escala breve é capaz de prover avaliações suficientemente precisas das metas de motivação para aprendizagem em universitários.

Em relação à validade da versão breve, destacam-se as elevadas correlações observadas entre as subescalas originais e as subescalas da versão reduzida, superiores a 0,89. No mínimo, cerca de 80% da variância mensurada pelas subescalas originais foi também mensurada pelas subescalas breves. Isso sugere que, apesar da diminuição no número de itens, não houve uma perda substancial na capacidade da escala breve de capturar a variabilidade relevante relacionada aos construtos (dimensões). Esse resultado respalda o uso da versão breve como uma alternativa à escala completa quando esta não puder ser utilizada.

As correlações com outras variáveis (personalidade, sofrimento psicológico e desempenho acadêmico autorrelatado) também forneceram evidências de validade complementares para a EMAPRE-U breve. Conforme as expectativas, a meta aprender apresentou correlação positiva com conscienciosidade e abertura à experiência, e negativa com neuroticismo (todas correlações de baixa magnitude). A meta aprender mostrou-se ainda fracamente relacionada com extroversão. Não se observou correlação com socialização, como era esperado. Essas correlações são compreensíveis, na medida em que a meta aprender envolve curiosidade para aprender coisas novas (relação com abertura) e persistência frente aos desafios (relação com conscienciosidade). A meta aprender tem sido associada com a crença de que o esforço, o interesse e o cuidado em realizar as tarefas relacionam-se ao sucesso escolar (Arens & Watermann, 2021). A associação com extroversão (ainda que de magnitude muito baixa), ao invés da socialização, sugere que o gosto pelo aprender e o engajamento nas tarefas que levam ao aprendizado podem ter a ver mais com a capacidade de comunicar-se com os demais do que com a habilidade de estabelecer relações de ajuda ou de afeto.

A relação negativa do neuroticismo e do sofrimento psicológico com a meta aprender sugere que a afetividade negativa dificulta o desenvolvimento da motivação intrínseca para o aprendizado. Aliado a esse resultado, Ferradas et al. (2020) apontaram que a autoestima tem tido um efeito positivo direto na meta aprender, indicando que maiores níveis de autoestima encorajam os estudantes a se envolveram em atividades acadêmicas a fim de melhorarem suas habilidades. Dessa forma, ainda que esse estudo tenha sido correlacional e inferências causais ou direcionais não sejam sustentadas pelos dados, é plausível supor que os estados afetivos (positivos ou negativos) são um fator antecedente ao desenvolvimento da motivação para aprender, ainda que os resultados do aprendizado possam contribuir para a manutenção ou mesmo para a mudança dos afetos. De acordo com as expectativas, a meta aprender ainda apresentou correlação positiva com o desempenho acadêmico, o que está em conformidade com a literatura (Hsieh et al., 2007; Tuominen-Soini et al., 2008).

Embora não antecipadas, a correlação negativa da meta performance-aproximação com socialização e a correlação positiva com abertura (ambas pequenas) indicam possibilidades que podem ser exploradas em futuras investigações. Uma vez que a meta performance-aproximação se refere a uma motivação impulsionada pela comparação aos demais na busca por sobressair-se, faz sentido que pessoas com saliência nessa meta sejam menos propensas à empatia e à consideração pelos outros, ao mesmo tempo em que apresentam alguma tendência a experimentar coisas novas a fim de atingir seus objetivos.

A meta performance-aproximação não apresentou relação com o sofrimento psicológico como se esperava. Embora seja razoável supor que pessoas motivadas pela comparação com os demais possam sofrer de algum grau de ansiedade ou estresse, é possível também que essa relação dependa de outros fatores. Tem-se verificado que a meta performance-aproximação pode ser mais complexa de ser definida. Por exemplo, no geral, ela tem sido associada com desfechos mal adaptativos, principalmente quando o foco recai na demonstração de competência. Contudo, é possível que se associe com resultados positivos se o foco do estudante recai na busca pela superação de parâmetros externos (Senko & Dawson, 2017). Assim sendo, podem existir variáveis moderadoras não consideradas neste estudo que devem ser exploradas através de novas pesquisas. Ainda, de acordo com as expectativas, a meta performance-aproximação mostrou-se correlacionada positivamente com o desempenho acadêmico autorrelatado, em consonância com outros estudos (Hsieh et al., 2007; TuominenSoini et al., 2008).

Por sua vez, a meta performance-evitação apresentou correlação negativa com extroversão, abertura e desempenho acadêmico, e correlação positiva com neuroticismo e sofrimento psicológico. As associações encontradas com abertura, neuroticismo, sofrimento psicológico e desempenho acadêmico eram esperadas, pois a meta performance-evitação reflete um padrão motivacional associado com afetos negativos e com características inibitórias. Já a relação negativa com extroversão (de magnitude moderada) merece consideração. Embora não tivesse sido antecipada, ela sugere que os comportamentos evitativos nos cenários educacionais podem estar relacionados não apenas a um maior sofrimento psicológico, mas também a uma dificuldade de comunicar-se com os demais e de estabelecer relações sociais. Nesse sentido, Grajcevci e Shala (2021) identificaram que a meta performance-evitação pode relacionar-se mais com uma postura de dependência e obediência em sala de aula, em especial quanto à figura do professor, o que pode dificultar a construção de uma relação de trocas e diálogos.

Isso é especialmente relevante de ser levado em consideração no contexto da educação superior, no qual os estudantes são tipicamente jovens em transição para a vida adulta que não apenas buscam uma formação na universidade, mas também um espaço de pertencimento e reconhecimento. A dificuldade em se relacionar com os demais - em especial quando o estudante é oriundo de camadas sociais não familiarizadas com os valores e a cultura da universidade, ou quando o próprio contexto discrimina o estudante - pode ser um fator que acaba promovendo um padrão motivacional evitativo para o aprendizado, o que pode levar a um baixo desempenho e até mesmo à evasão.

Por fim, cabe destacar o padrão de correlações entre as três subescalas que diferiu, em parte, do observado em outras pesquisas. A meta aprender apresentou correlação positiva e baixa com a meta performance-aproximação, o que corresponde aos resultados de Santos et al. (2013) e Zenorini e Santos (2010), mas diverge da correlação negativa observada por Santos e Mognon (2016). A meta aprender mostrou-se ainda correlacionada negativamente com a meta performance-evitação, o que está de acordo com os achados de Santos e Mognon (2016), embora a magnitude não tenha sido tão elevada na presente pesquisa. Finalmente, as diferenças mais evidentes aparecerem na correlação entre as metas performance-aproximação e performance-evitação. Nos estudos de Santos et al. (2013) e Santos e Mognon (2016), a correlação foi positiva e de magnitude moderada, enquanto neste estudo a correlação foi insignificante. Estas discrepâncias talvez possam ser atribuídas a diferentes perfis das amostras, e é um tópico que requer estudos adicionais no futuro.

De um modo geral, os resultados desta pesquisa são favoráveis ao uso da versão breve da EMAPRE-U, pois as evidências sugerem que é um instrumento capaz de produzir mensurações com validade e fidedignidade satisfatórias. Ressalte-se que a subescala meta aprender é a que mais se diferenciou da subescala original, pois apenas cinco de 12 itens foram mantidos. Esta dimensão motivacional é sem dúvida a mais diversificada entre as três no que diz respeito à amplitude de potenciais indicadores comportamentais ou cognitivos. Isso é evidente pela maior heterogeneidade das cargas fatoriais observadas na AFE, em média de valores mais baixos do que nos outros fatores. Esta subescala é também a que apresentou mais itens com valores de assimetria e curtose elevados, sugerindo uma concentração das respostas em um ou dois dos pontos da escala e, portanto, com menor poder de captar as diferenças individuais. Embora o foco deste estudo tenha sido na proposição de uma versão breve da EMAPRE-U, os resultados sugerem a necessidade de aprimoramentos da escala original, em especial no que diz respeito à dimensão meta aprender.

Algumas limitações deste estudo também precisam ser consideradas. Em especial, destaca-se o perfil restrito da amostra, proveniente de apenas uma instituição pública federal e composta somente por estudantes de primeiro ano. A pouca experiência acadêmica, tanto em termos de cursar disciplinas quanto de ter o desempenho testado, pode ter sido uma fonte de viés nas respostas dadas ao instrumento. Além disso, a medida de personalidade utilizada foi também uma medida curta e com precisão abaixo do desejado, o que pode ter afetado as correlações observadas. Ainda, o desempenho acadêmico foi avaliado através de um item único, em escala ordinal, e baseado na percepção individual sobre atingir ou não as expectativas subjetivas de desempenho.

Apesar destas limitações, a versão breve da EMAPRE - U tem potencial para ser utilizada em contextos de pesquisa e mesmo clínicos. Por ser um instrumento curto, possibilita a ampliação de estudos sobre motivação para aprender, associando com outras variáveis de interesse de pesquisa. Sua contribuição também pode servir como uma ferramenta de rastreamento para a prática clínica, visando auxiliar na compreensão dos processos de aprendizagem em situações de prejuízos no desempenho e nas habilidades correlatas emocionais e cognitivas. Essa compreensão mais acurada pode dar suporte ao planejamento de estratégias de intervenção junto ao estudante, instrumentalizando-o para conhecer melhor suas potencialidades e como lidar com as barreiras encontradas para aprender.

Por fim, é preciso salientar que, ao reconhecerem o papel que a motivação para aprender tem sobre os processos educativos, professores podem propor estratégias que ampliem as experiências bem-sucedidas de aprendizagem. Dessa maneira, é possível promover maior confiança nos estudantes quanto às suas próprias capacidades, bem como colaborar para que esses criem estratégias autônomas e mais bem adaptadas para lidar com as exigências internas e externas no contexto educacional.

Referências

Ames, C. (1992). Classrooms: Goals, structure, and student motivation. Journal of Educational Psychology, 84(3), 261-271. https://doi.org/10.1037/0022-0663.84.3.261Links ]

Arens, K. A., & Watermann, R. (2021). Students’ achievement goals and beliefs of causes of success: Temporal relations and gender differences. Contemporary Educational Psychology, 64, 101941. https://doi.org/10.1016/j.cedpsych.2020.101941Links ]

Briley, D. A., Domiteaux, M., & Tucker-Drob, E. M. (2014). Achievement-relevant personality: Relations with the Big Five and validation of an efficient instrument. Learning and Individual Differences, 32(1), 26-39. https://doi.org/10.1016/j.lindif.2014.03.010Links ]

Bzuneck, J. A, & Boruchovitch, E. (2016). Motivação e Autorregulação da Motivação no Contexto Educativo. Psicologia Ensino & Formação, 7(2), 73-84. https://doi.org/10.21826/2179-58002016727584Links ]

Debicki, B. J., Kellermanns, F. W., Barnett, T., Pearson, A. W., & Pearson, R. A. (2016). Beyond the Big Five: The mediating role of goal orientation in the relationship between core self-evaluations and academic performance. The International Journal of Management Education, 14(3), 273-285. https://doi.org/10.1016/j.ijme.2016.05.002Links ]

Dembo, M. H. (2004). Motivation and learning strategies for college success: A selfmanagement approach. Lawrence Erlbaum Associates [ Links ]

Ferradás, M. del M., Freire, C., Núñez, J. C., & Regueiro, B. (2020). The relationship between self-esteem and achievement goals in university students: The mediating and moderating role of defensive pessimism. Sustainability, 12(18), 1-14. https://doi.org/10.3390/su12187531Links ]

Ferrando, P. J., & Lorenzo-Seva, U. (2017). Program FACTOR at 10: Origins, development and future directions. Psicothema, 29(2), 236-241. https://doi.org/10.7334/psicothema2016.304Links ]

Grajcevci, A., & Shala, A. (2021). Exploring achivement goals tendencies in students: The link between achievement goals and types of motivation. Journal of Education Culture and Society, 12(1), 265-282. https://doi.org/10.15503/jecs2021.1.265.282Links ]

Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2009). Análise Multivariada de Dados (6a ed.). Bookman. [ Links ]

Hauck Filho, N., Machado, W. L., Teixeira, M. A. P., & Bandeira, D. R. (2012). Evidências de validade de Marcadores Reduzidos para a avaliação da personalidade no modelo dos Cinco Grandes Fatores. Psicologia: Teoria e Pesquisa, 28(4), 417-423. https://doi.org/10.1590/S0102-37722012000400007Links ]

Hsieh, T. (2014). Motivation matters? The relationship among different types of learning motivation, engagement behaviors and learning outcomes of undergraduate students in Taiwan. Higher Education, 68(3), 417-433. https://doi.org/10.1007/s10734-014-97206Links ]

Hsieh, P., Sullivan, J. R., & Guerra, N. S. (2007). A closer look at college students: Selfefficacy and goal orientation. Journal of Advanced Academics, 18(3), 454-476. https://doi.org/10.4219/jaa-2007-500Links ]

Machado, W. L. (2013). A saúde mental como um estado completo: Instrumentos de avaliação e sua relação com qualidade de vida, personalidade e variáveis biossociodemográficas [Tese de doutorado não publicada, Universidade Federal do Rio Grande do Sul]. Repositório digital LUME UFRGS. https://lume.ufrgs.br/handle/10183/1Links ]

McCabe, K. O., Van Yperen, N. W., Elliot, A. J., & Verbraak, M. (2013). Big Five personality profiles of context-specific achievement goals. Journal of Research in Personality, 47(6), 698-707. https://doi.org/10.1016/j.jrp.2013.06.003Links ]

Merett, F. N., Bzuneck, J. A., Oliveira, K. L., & Rufini, S. E. (2020). University students profiles of self-regulated learning and motivation. Estudos de Psicologia (Campinas), 37, 1-10. https://doi.org/10.1590/1982-0275202037e180126Links ]

Moreno, J. E., Chiecher, A., & Paoloni, P. (2019). Los estudiantes universitarios y sus metas académicas: Implicancias en el logro y retraso de los estudios. Ciencia, Docencia y Tecnología, 30(59), 148-173. https://www.redalyc.org/journal/145/14561215006/Links ]

Muthén, L. K., & Muthén, B. O. (2017). Mplus user’s guide (8th ed.). Muthén & Muthén. [ Links ]

Santos, A. A. A., Alcará, A. R., & Zenorini, R. P. C. (2013). Estudos psicométricos da escala de motivação para a aprendizagem de universitários (EMAPRE). Fractal, 25(3), 531-546. https://doi.org/10.1590/S1984-02922013000300008Links ]

Santos, A. A. A., & Mognon, J. F. (2016). Motivation assessment scale for learning in higher education (EMAPRE-U): Validity evidence. Psico-USF, 21(1), 101-110. https://doi.org/10.1590/1413-82712016210109Links ]

Schreiber, J. B., Stage, F. K., King, J., Nora, A., & Barlow, E. A. (2006). Reporting structural equation modeling and confirmatory factor analysis results: A review. Journal of Educational Research, 99(6), 323-337. https://doi.org/10.3200/JOER.99.6.323-338Links ]

Senko, C., & Dawson, B. (2017). Performance-approach goal effects depend on how they are defined: Meta-analytic evidence from multiple educational outcomes. Journal of Educational Psychology, 109(4), 574-598. https://doi.org/10.1037/edu0000160Links ]

Sideridis, G. D. (2005). Goal orientation, academic achievement, and depression: Evidence in favor of a revised goal theory framework. Journal of Educational Psychology, 97(3), 366-375. https://doi.org/10.1037/0022-0663.97.3.366Links ]

Smith, L., Sinclair, K. E., & Chapman, E. S. (2002). Students' goals, self-efficacy, selfhandicapping, and negative affective responses: An Australian senior school student study. Contemporary Educational Psychology, 27(3), 471-485. https://doi.org/10.1006/ceps.2001.1105Links ]

Tuominen-Soini, H., Salmela-Aro, K., & Niemivirta, M. (2008). Achievement goal orientations and subjective well-being: A person-centred analysis. Learning and Instruction, 18(3), 251-266. https://doi.org/10.1016/j.learninstruc.2007.05.003Links ]

Zanon, C., Brenner, R. E., Baptista, M. N., Vogel, D. L., Rubin, M., Al-Damarki, F. R., Gonçalves, M., Heath, P. J., Liao, H.-Y., Mackenzie, C. S., Topkaya, N., Wade, N. G., & Zlati, A. (2021). Examining the Dimensionality, Reliability, and Invariance of the Depression, Anxiety, and Stress Scale-21 (DASS-21) Across Eight Countries. Assessment, 28(6), 1531-1544. https://doi.org/10.1177/1073191119887449Links ]

Zenorini, R. P. C., & Santos, A. A. A. (2010). Escala de metas de realização como medida da motivação para a aprendizagem. Interamerican Journal of Psychology, 44(2), 291298. https://www.redalyc.org/articulo.oa?id=28420641010Links ]

Recebido: 17 de Outubro de 2020; Revisado: 17 de Janeiro de 2022; Aceito: 24 de Janeiro de 2022

Scalco Pereira Rua Ramiro Barcelos, 2600 sala 214, Santana, Porto Alegre - RS, Brasil. CEP 90035-007, Endereço eletrônico: julia_scalco@hotmail.com

Sérgio Armando López Castillo Rua Ramiro Barcelos, 2600 sala 217, Santana, Porto Alegre - RS, Brasil. CEP 90035-007, Endereço eletrônico: salopezca@unal.edu.co

Ana Paula Couto Zoltowski Rua Ramiro Barcelos, 2600 sala 217, Santana, Porto Alegre - RS, Brasil. CEP 90035-007, Endereço eletrônico: ana_zoltowski@yahoo.com.br

Marco Antônio Pereira Teixeira Rua Ramiro Barcelos, 2600 sala 217, Santana, Porto Alegre - RS, Brasil. CEP 90035-007, Endereço eletrônico: mapteixeira.psi@gmail.com

Jerusa Fumagalli de Salles Rua Ramiro Barcelos, 2600 sala 214, Santana, Porto Alegre - RS, Brasil. CEP 90035-007 Endereço eletrônico: jerusafsalles@gmail.com

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.