SciELO - Scientific Electronic Library Online

 
vol.21 número3Escala de Avaliação do Líder Autêntico: confiabilidade e diferenças entre gruposHabilidades para teletrabalho em casa: construção e evidências de validade da escala índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

artigo

Indicadores

Compartilhar


Revista Psicologia Organizações e Trabalho

versão On-line ISSN 1984-6657

Rev. Psicol., Organ. Trab. vol.21 no.3 Brasília jul./set. 2021

https://doi.org/10.5935/rpot/2021.3.20990 

Evidências de validade da Escala de Adaptabilidade Cognitiva (EAC): uma adaptação para o contexto brasileiro em empreendedores

 

Evidence of validity of the Measure of Adaptive Cognition (MAC): an adaptation for the Brazilian context in entrepreneurs

 

Evidencia de validez de la Escala de Adaptación Cognitiva (EAC): una adaptación al contexto brasileño en emprendedores

 

 

Gustavo Henrique Silva de SouzaI; Germano Gabriel Lima EstevesII; Jorge Artur Peçanha de Miranda CoelhoIII

IInstituto Federal do Norte de Minas Gerais (IFNMG), Brasil
IIUniversidade de Rio Verde (UniRV), Brasil; Universidade de Brasília (UnB), Brasil
IIIUniversidade Federal de Alagoas (UFAL), Brasil

Informações sobre o autor principal

 

 


RESUMO

Este estudo teve como objetivo adaptar e reunir evidências de validade da estrutura interna e de conteúdo da Escala de Adaptabilidade Cognitiva (EAC) em empreendedores brasileiros. Após procedimentos de tradução reversa e validação de conteúdo, a EAC e um questionário sociodemográfico foram aplicados em 313 empresários brasileiros, sendo a maioria do sexo masculino (55%; ƒ = 172), com idade média de 41,15 (DP = 11,96). Inicialmente, o modelo original de cinco fatores foi replicado, não obtendo-se índices de ajuste satisfatórios: χ2/gl = 3,675; p = 0,000; GFI = 0,721; NFI = 0,770; RMR = 0,247. Assim, optou-se por analisar novamente a estrutura interna, procedendo-se à Análise Fatorial Exploratória (AFE). As análises indicaram a readequação de alguns itens da EAC, embora mantendo a dimensionalidade original de cinco fatores. Este estudo traz resultados que corroboram a qualidade psicométrica do instrumento e demonstram a sua aplicabilidade e funcionalidade para novos estudos.

Palavras-chave: cognição, empreendedorismo, validade do teste.


ABSTRACT

This study aimed to adapt and gather evidence of validity of the internal structure and content of the Measure of Adaptive Cognition (MAC) in Brazilian entrepreneurs, originally developed for entrepreneurship research. After back translation and content validation procedures, MAC and a socio-demographic questionnaire were applied to 313 Brazilian entrepreneurs, most of whom were male (55%; ƒ = 172), with an average age of 41.15 (SD = 11.96). Initially, the original five-factor model was replicated, with no satisfactory fit indexes: χ2/df = 3.675; p = 0.000; GFI = 0.721; NFI = 0.770; RMR = 0.247. Thus, it was decided to analyze again the internal structure of the MAC, proceeding to Exploratory Factor Analysis (EFA). The analyses indicated the readjustment of some items of the MAC, while maintaining the original five-factor dimensionality. This study presents results that corroborate the psychometric quality of the instrument and demonstrate its applicability and functionality for new studies.

Keywords: cognição, empreendedorismo, validade do teste.


RESUMEN

Este estudio tuvo como objetivo adaptar y recopilar evidencia de validez de la estructura interna y de contenido de la Escala de Adaptabilidad Cognitiva (EAC) en emprendedores brasileños. Después de los procedimientos de traducción reversa y validación de contenido, la EAC y un cuestionario sociodemográfico fueron aplicados a 313 empresarios brasileños, siendo la mayoría del sexo masculino (55%; ƒ = 172), con edad media de 41.15 (SD = 11.96). Inicialmente, el modelo original de cinco factores fue replicado, sin índices de ajuste satisfactorios: χ2/gl = 3.675; p = 0.000; GFI = 0.721; NFI = 0.770; RMR = 0.247. Debido a esto, se optó por analizar de nuevo la estructura interna, realizando el Análisis Factorial Exploratorio (AFE). Los análisis indicaron el reajuste de algunos ítems de la EAC, aunque manteniendo la dimensionalidad original de cinco factores. Este estudio trae resultados que corroboran la calidad psicométrica del instrumento y demuestran su aplicabilidad y funcionalidad para nuevos estudios.

Palabras clave: cognición, emprendimiento, validación de test.


 

 

Fundamental para a aquisição e transformação do conhecimento, a cognição envolve processos de memória, atenção, percepção, pensamento etc., que são elementos centrais para orientar a tomada de decisão (Schmidt & Ford, 2003; Stevens & Carlson, 2019). Dentro do contexto organizacional e empresarial, a tomada de decisão está diretamente relacionada à identificação e resolução de problemas, cuja complexidade, dinamicidade e incerteza são inerentes ao ambiente subjacente (Abubakar, Elrehail, Alatailat, & Elçi, 2019; Bressan & Toledo, 2013; Snowden & Boone, 2007).

Nesse ambiente, o esforço cognitivo, o controle adaptativo e o desempenho para a tomada de decisão estão interligados (Braem et al., 2019; Earley & Ang, 2003; Hosking, Cocker, & Winstanley, 2016). Em virtude disso, mostra-se condição sine qua non que empresários e gestores possuam uma cognição adaptativa, dada a necessidade de assimilação e capacidade de reação às variações e transformações da economia, da sociedade, do mercado e da própria organização (Baron & Ward, 2004; Haynie & Shepherd, 2009; Hurst, 2019; Shepherd & Krueger, 2002).

A cognição adaptativa ou adaptabilidade cognitiva é um conjunto de processos de condicionamento biológico, psicológico, social e educacional, que se configura na capacidade de compreender conceitos e controlar decisões de um modo planejado, consciente e autorregulado. Em termos funcionais, isso possibilita agilidade, dinamicidade, flexibilidade e adaptação na aprendizagem (Glöckner, Hilbig, & Jekel, 2014). Traduz-se, assim, a consciência metacognitiva do indivíduo para um comportamento responsivo estruturado (Cho & Linderman, 2019; Shea & Frith, 2019).

A metacognição representa os níveis cognitivos mais elevados, otimizando e compartimentalizando toda a informação assimilada, para a sua transformação em conhecimento estrutural. Os processos metacognitivos são essenciais para que um indivíduo organize o que sabe sobre si mesmo e as pessoas, bem como sobre as circunstâncias ambientais ao seu redor, os fenômenos e os aspectos técnico-conceituais de uma tarefa (Cho & Linderman, 2019; Winne, 2018).

Estudos sugerem que o processo de aprendizagem empreendedora assume evidentes sinais de informalidade, improviso e adaptação, representados por comportamentos de proatividade, criatividade, resiliência ao risco e bricolagem (e.g., Foster & Lin, 2003; Fuller, Liu, Bajaba, Marler, & Pratt, 2018; Harrison & Leitch, 2005; Loiola, Gondim, Pereira, & Ferreira, 2016; Minniti & Bygrave, 2001; Mitchell et al., 2002; Souza, Esteves, Coelho, & Lima, 2018).

Partindo dessa conjuntura, Haynie e Shepherd (2009) desenvolveram a Escala de Adaptabilidade Cognitiva (no original, Measure of Adaptive Cognition) que mensura diferenças individuais na metacognição sob o viés organizacional e do empreendedorismo. Visando avançar em termos teóricos e empíricos na pesquisa sobre a cognição no ambiente organizacional e do empreendedorismo, este estudo teve por objetivo adaptar e reunir evidências de validade da estrutura interna e de conteúdo da Escala de Adaptabilidade Cognitiva (EAC) em empreendedores no contexto brasileiro.

Cabe salientar que ainda não há no Brasil instrumento similar, especialmente focado no contexto organizacional e empresarial, o que torna este estudo relevante para suprir uma lacuna na literatura nacional sobre o tema. Adicionalmente, estudos recentes ao redor do mundo, junto com empreendedores e gestores, têm se utilizado da EAC para identificar padrões no processo de tomada de decisão, nível de autoconsciência e de flexibilidade frente ao trabalho, ou relação entre a metacognição e a autoeficácia (e.g., Burlea & Remmé, 2017; Galletta, Licciardello, Rampullo, Mauceri, & Damigella, 2016; Hurst, 2019; Pan & Sun, 2018). Em termos práticos, significa ampliar as possibilidades de análises e pesquisas no âmbito do contexto organizacional brasileiro.

Medida de Adaptabilidade Cognitiva de Haynie e Shepherd (2009)

Os resultados de uma cognição adaptável, de acordo com Mevarech e Kramarski (2003), estão na capacidade de um indivíduo (1) se organizar e se adaptar a situações inesperadas, por meio do uso de conhecimentos e experiências prévios para a resolução rápida e efetiva de problemas, (2) mostrar-se original, versátil e criativo na escolha de opções disponíveis e na geração de novas ideias, e (3) assegurar precisão e lógica ao responder a estímulos específicos (e.g., definição de estratégias).

A adaptabilidade cognitiva no âmbito gerencial e do empreendedorismo apresenta um potencial mais eficiente na mensuração de estímulos e respostas (Haynie & Shepherd, 2009). Isto é, a adaptabilidade cognitiva permite que o gestor ou empreendedor identifique proficuamente os estímulos (e.g., riscos e oportunidades) e as respostas (e.g., metas e estratégias) essencialmente relevantes, segundo Mitchell et al. (2002), para o desempenho produtivo em condições de alta dinamicidade e complexidade a nível organizacional.

Com base no modelo metacognitivo de Schraw e Dennison (1994) para o contexto educacional, Haynie e Shepherd (2009) propõem que a adaptabilidade cognitiva é subsidiada por cinco dimensões características, que perfazem um ciclo da metacognição (Nelson, 1996; Veenman, Van Hout-Wolters, & Afflerbach, 2006), conforme demonstrado na Figura 1.

 

 

Cada dimensão da consciência metacognitiva representa uma etapa de um ciclo mental para a tomada de decisão e a avaliação/revisão dos próprios comportamentos e atitudes. Isso significa que a consciência metacognitiva tende a se estabelecer como um processo que se inicia na definição de metas individuais e motivações intrínsecas, perpassando por mecanismos psicológicos de processamento (experiências e conhecimentos) e controle, finalizando-se no monitoramento próprio - para então iniciar-se um novo processo.

Orientação para metas. A orientação para metas consiste no uso consciente e direcionado de recursos metacognitivos (traduzidos em conhecimentos e experiências) para a identificação de objetivos pessoais e organizacionais, representando as motivações individuais para a tomada de decisão (Haynie & Shepherd, 2009). Estratégias metacognitivas para tomadas de decisão devem satisfazer motivações e necessidades (Barati, Joo, & Aria, 2018; McDowell, 2019; Wyer & Srull, 1989). No ambiente mercadológico e organizacional, as decisões existem em função da perspectiva de executar ações motivadas e contextuais (e.g., resolução de problemas ou inovações produtivas), originando-se os objetivos e metas.

Experiências e conhecimentos previamente adquiridos assumem o planejamento de ações e o gerenciamento de mudanças ambientais e organizacionais. Estas dimensões cognitivas determinam o quanto o indivíduo percebe funcionalidade nas próprias experiências (intuições, emoções, reflexões etc.) e nos próprios conhecimentos (sobre pessoas, fenômenos, processos etc.) (Akinci & Sadler-Smith, 2009; Flavell, 1987; Haynie & Shepherd, 2009).

Experiências metacognitivas. Em termos psicológicos, as experiências metacognitivas são influenciadas por memórias e aspectos vivenciais concretos. As experiências mais significativas e de maior valor para o indivíduo são escolhidas (metacognição) para nortear suas decisões e atitudes. No ciclo da consciência metacognitiva, essas experiências são escolhidas de modo assertivo (Haynie & Shepherd, 2009).

Conhecimentos metacognitivos. Em termos psicológicos, os conhecimentos metacognitivos são influenciados por valores, crenças e preferências. Os conhecimentos são compartimentalizados de acordo com o impacto que produzem (efetividade do conhecimento) nas tarefas e atividades a serem desempenhadas, logo, também são determinados conscientemente pela sua relevância (metacognição) ao nortear decisões e atitudes (Haynie & Shepherd, 2009).

Segundo Staniewski (2016), grande parte das funções gerenciais e empresariais é norteada por conhecimentos e experiências individuais ou coletivos, por exemplo, nos métodos de negociação, no planejamento de ações de marketing, na melhoria de processos produtivos ou no empreendimento de novos negócios.

Controle metacognitivo. Partindo das experiências e conhecimentos, o controle metacognitivo envolve a análise e seleção de opções ou alternativas viáveis para uma tomada de decisão coerente, visando o controle rigoroso das próprias escolhas e ações relacionadas às mudanças que podem ocorrer no cotidiano (vida, trabalho, mercado, economia, política etc.).

Conforme Wyer e Srull (1989), a experiência e o conhecimento metacognitivo são mecanismos mentais que auxiliam raciocínios específicos, na recuperação de memórias e na criação de esquemas e heurísticas relacionadas a conhecimentos complexos. Esse processo ativo permite que o indivíduo cognitivamente adaptável análise uma multiplicidade de diferentes opções e alternativas (reações) para a resolução de problemas ou mudanças (estímulos). Esse processo pressupõe resultados cognitivos, isto é, considera um comportamento planejado ou uma decisão tomada conscientemente, o que implica na necessidade de monitoração.

Monitoração. A monitoração é a busca por compreensão - por meio de feedbacks - das escolhas e decisões tomadas concomitantemente ao seu planejamento e execução. A revisão das próprias decisões inclui a avaliação/reavaliação das metas, conhecimentos, experiências e capacidade de controle, em que quanto "maior a consciência metacognitiva de um indivíduo, mais adaptável um indivíduo é em um contexto de decisão em mudanças" (Haynie & Shepherd, 2009, p. 698). A depender do contexto e do desempenho na execução de determinada tarefa ou realização de um objetivo, o processo de monitoramento pode modificar motivações e objetivos (Nelson, 1996; Shea & Frith, 2019; Veenman et al., 2006).

Nesse contexto, Haynie e Shepherd (2009) desenvolveram um estudo com 432 estudantes universitários de administração, no oeste norte-americano, para construir e obter evidências de validade da Measure of Adaptive Cognition (MAC), traduzida como Escala de Adaptabilidade Cognitiva (EAC). A princípio, os autores procederam a uma Análise Fatorial Exploratória (AFE) com método de extração de máxima verossimilhança, extraindo-se 5 fatores (36 itens) com 67,93% de variância explicada. As estatísticas iniciais de Kaiser-Meyer-Olkin (KMO) = 0,848 e Teste de Esfericidade de Bartlett ao valor-p = 0,000, ambas satisfatórias, evidenciaram a fatoriabilidade da matriz de correlação entre os itens do instrumento.

Em sequência, os autores encontraram parâmetros satisfatórios de evidência de validade da estrutura e consistência interna, sendo reportados na Tabela 1 os seguintes valores para cada fator:

 

 

Além disso, Haynie e Shepherd (2009) reportaram evidências de validade da estrutura interna por meio da Análise Fatorial Confirmatória (AFC) para o modelo multifatorial de 5 fatores da EAC (χ2/gl = 3,69; GFI = 0,912; NFI = 0,931; RMSEA = 0,07). No entanto, como limitação na construção da EAC, o estudo original se utilizou da mesma amostra para todos os procedimentos de evidências de validade (AFE e AFC). Compreendendo-se que a EAC já apresentava inicialmente uma estrutura interna com evidências de validade satisfatórias, após sua adaptação, optou-se por confirmar a sua estrutura interna no contexto brasileiro.

Vale destacar que a EAC tem sido utilizada em diversos países e contextos ao redor do mundo, em sua integralidade ou utilizando seus fatores como subescalas independentes, especialmente na testagem de hipóteses ou mediações relacionados ao constructo (e.g., Burlea & Remmé, 2017; Galletta et al., 2016; Hurst, 2019; Learning, 2019; Pan & Sun, 2018; Rastkhiz, Dehkordi, & Farsi, 2019) ou mesmo discutida dentro da literatura sobre empreendedorismo (Naumann, 2017; Hisrich, Peters, & Shepherd, 2020; Vahidnia, Mitchell, Mitchell, & Chen, 2020), o que incentiva e justifica a sua adaptação aqui apresentada.

 

Método

Participantes

Contou-se com uma amostra não-probabilística, de conveniência, de 313 participantes (empresários brasileiros), oriundos de 26 Estados, com maior incidência em: Minas Gerais (47,3%), São Paulo (14,1%) e Rio de Janeiro (6,4%). A maioria dos participantes se declarou do sexo masculino (55%; ƒ = 172) e possuindo o ensino superior como grau de escolaridade (82%), com idade variando entre 18 e 74 anos (M = 41,15; DP = 11,96).

Instrumentos

Os participantes foram solicitados a responder dois instrumentos de pesquisa, conforme descritos a seguir:

Escala de Adaptabilidade Cognitiva (EAC), versão traduzida da Measure of Adaptive Cognition (MAC), desenvolvida por Haynie e Shepherd (2009). A EAC foi operacionalizada como um teste de autorrelato, respondido em uma escala tipo Likert de 11 pontos contínuos (variando de 0 = Nada a Ver Comigo a 10 = Tudo a Ver Comigo), composto por 36 itens, como: "conscientemente, foco a minha atenção em informações relevantes" e "em geral, eu mesmo(a) defino minhas metas e objetivos".

Questionário sociodemográfico. Constituído por dados que visaram caracterizar a amostra, contando com os itens a seguir: Gênero, Idade, Escolaridade, Local onde mora e Ramo do Negócio.

Procedimentos de Coleta de Dados e Cuidados Éticos

Inicialmente, o estudo foi autorizado pela Comissão Nacional de Ética em Pesquisa (CONEP) (C.A.A.E.: 30555420.4.0000.0008). Em seguida, a coleta de dados ocorreu por meio on-line, em que os participantes foram convidados pelas redes sociais ou e-mail a responderem voluntariamente aos questionários supracitados. A amostra foi definida a partir do escopo teórico e funcional da EAC, que pressupõe a aplicabilidade do instrumento na pesquisa em empreendedorismo. Para a seleção da amostra, foram realizadas divulgações em redes sociais abertas ou enviados e-mails, solicitando que empresários se voluntariassem à participação na pesquisa.

Os participantes foram esclarecidos sobre o objetivo da pesquisa e acerca do anonimato e sigilo de suas respostas, sendo requerida a concordância ao Termo de Consentimento Livre e Esclarecido (TCLE), garantindo o caráter voluntário da participação e respeito às diretrizes éticas que regem a pesquisa com seres humanos. Em média, os participantes levaram 9 minutos respondendo ao questionário on-line.

Procedimentos de tradução. Para a tradução da EAC, foi adotado o procedimento de tradução reversa (back translation). No primeiro estágio, os itens foram traduzidos para o português por dois tradutores, professores com expertise em empreendedorismo e formação em Administração. No segundo estágio, as duas versões em português foram traduzidas de volta ao inglês por dois tradutores bilíngues com formação em Letras/Inglês, que não conheciam o instrumento previamente. As traduções demonstraram similaridades em alguns itens e disparidades em outros. Assim, as traduções em português foram confrontadas e, em seguida, mescladas conforme o melhor ajustamento ao instrumento original.

No terceiro estágio, a versão preliminar do instrumento foi aferida por um comitê de três pesquisadores (um doutor em Administração, um mestre em Psicologia e uma mestra em Gestão de Instituições Educacionais), que avaliou a confiabilidade de cada item da versão original com as versões traduzidas, considerando também a definição do construto, por meio de uma escala de 5 pontos (variando de 1 "Pobre" à 5 "Excelente"), em que todos os itens foram avaliados com uma pontuação média > 4.

Procedimentos de validação de conteúdo. Visando aferir a adequabilidade prática, teórica e de inteligibilidade dos itens da EAC, procedeu-se à validação do conteúdo. Contou-se com a participação de quatro juízes (dos quais dois possuíam formação em psicologia com expertise em psicometria e dois em administração com expertise em empreendedorismo). Os juízes responderam uma escala de cinco pontos, variando de 1 "muito pouco" a 5 "totalmente", quanto à (i) pertinência teórica, (ii) pertinência prática, e (iii) clareza de linguagem dos itens. Foram estabelecidos os coeficientes de validade de conteúdo (CVC), em que a concordância entre os juízes foi determinada por coeficientes > 0,8 (Hernández-Nieto, 2002). Todos os itens se demonstraram satisfatórios, com os seguintes valores: pertinência teórica = 0,94; pertinência prática = 0,91; clareza de linguagem = 0,96.

Procedimentos de Análise de Dados

Inicialmente, foram realizadas análises de estatística descritivas de parametrização simples (frequência, média, desvio-padrão, erro padrão e intervalo de confiança de 95%), para a caracterização amostral e a descrição dos escores dos itens e fatores da EAC, por meio do software PSPP.

Após isso, buscou-se testar a adequação do modelo multifatorial confirmatório de 5 fatores da EAC, conforme a disposição empírica e os pressupostos teóricos do estudo original (Haynie & Shepherd, 2009), por meio da Análise Fatorial Confirmatória, por meio da modelagem por equações estruturais com o software AMOS 7, seguindo procedimentos e critérios recomendados por Byrne (2001) e Hair Jr., Black, Babin, Anderson e Tatham (2010). Ao testar o modelo multifatorial confirmatório de 5 fatores da EAC, não foram encontrados índices de qualidade do ajuste satisfatórios: χ2/gl = 3,675; p = 0,000; GFI = 0,721; CFI = 0,820; NFI = 0,770; RMR = 0,247; RMSEA = 0,093.

De tal modo, optou-se pela realização de uma Análise Fatorial Exploratória (AFE), ao entender que o estudo original de construção da EAC, ao ter utilizado a mesma amostra para todos os procedimentos de evidências de validade (AFE e AFC), pode ter reforçado uma estrutura latente subjacente à amostra (ver, Hauck-Filho, 2019).

Assim, foram realizados os procedimentos de evidências de validade da estrutura interna por meio da AFE, visando aferir os parâmetros psicométricos para a EAC (Damásio, 2012), em que foi utilizado o executável Factor v10.10.03. Inicialmente, foi verificada a adequação dos dados e a fatoriabilidade da matriz de correlações dos itens das escalas, respectivamente, por meio do Kaiser-Meyer-Olkin (KMO) e do Teste de Esfericidade de Bartlett, para então realizar a análise fatorial. Além disso, o teste de Kolmogorov-Smirnov indicou a normalidade das variáveis e não foi verificada a presença de outliers. A AFE realizada utilizou a matriz de correlação policórica, com o método de extração Robust Diagonally Weighted Least Squares (RDWLS) (Asparouhov & Muthen, 2010). O valor mínimo aceitável de saturação foi estabelecido em |0,30|.

A análise de consistência interna foi realizada por meio do alfa de Cronbach (α) e da Confiabilidade Composta (CC). Em complemento, para dar suporte à interpretação dos resultados, foi utilizada a correlação r de Pearson (2 extremidades - bicaudal) e a Variância Média Extraída (VME).

 

Resultados

Inicialmente, as estatísticas KMO = 0,930 e do Teste de Esfericidade de Bartlett, χ2 (630) = 8815,735; p = 0,000 indicaram a adequação dos dados e a fatoriabilidade da matriz de correlações dos itens da EAC. Então, procedeu-se à AFE fixada em 5 fatores. Na Tabela 2, dispõem-se as cargas fatoriais dos itens nos 5 fatores extraídos da EAC, a variância explicada e os índices de consistência interna para cada fator. Para fins de análise e comparação, os fatores da EAC estão apresentados com o agrupamento de itens correspondente ao modelo original, porém as cargas fatoriais dos itens são apresentadas conforme os fatores de saturação em |0,30|.

De modo geral, os fatores da EAC e os seus respectivos itens se mantiveram na estrutura fatorial e teórica do estudo original (Haynie & Shepherd, 2009). Assim, nenhum item da EAC apresentou saturação abaixo de 0,30. Apesar disso, os itens 6, 7, 14, 15, 16, 17 e 30 demonstraram saturação abaixo de 0,30 em seus respectivos fatores originais, migrando suas cargas fatoriais para outros fatores, conforme pode ser visualizado na Tabela 2. Optou-se por reter os itens nos novos fatores em que apresentaram maior carga fatorial. A análise indicou a necessidade de readequação de alguns itens dentro do modelo de 5 fatores.

Assim, a AFE apontou que o fator 1 (autovalor = 15,98), responsável por 44,41% da variação total e denominado de "Monitoração", foi composto por um total de 10 itens (7, 14, 15, 16, 31, 32, 33, 34, 35, 36) com cargas fatoriais variando entre 0,33 (item 33) e 0,77 (Item 36). Os itens 7, 14, 15 e 16 foram incluídos neste fator, mas originalmente faziam parte do fator Conhecimento Metacognitivo. A análise do conteúdo dos itens deste fator - incluindo aqueles incluídos - indica um forte senso de consciência sobre a própria regulação (parar, pensar e agir) e sobre detalhes específicos inerentes ao processo de monitoração. O item 30, "periodicamente, faço uma revisão que possa me ajudar a compreender as coisas importantes", migrou deste fator, demonstrando saturação no fator Controle Metacognitivo.

O fator 2 (autovalor = 2,46), responsável por 6,85% da variação total e denominado de "Orientação para Metas", foi composto por um total de seis itens (1, 2, 3, 4, 5, 6) com cargas fatoriais variando entre 0,34 (item 6) e 0,86 (item 3). Este fator agrupa itens relacionados à consciência dos próprios objetivos pessoais, profissionais ou organizacionais, cuja preocupação se centra no cumprimento efetivo desses objetivos. O item 6 apresentou saturação neste fator, embora originalmente fizesse parte do fator Conhecimento Metacognitivo. Depreende-se que este item, "penso em várias formas de resolver um problema e escolho a melhor forma", é ambíguo e não apresenta unicidade (impossibilitando uma única interpretação), bem como sua semântica pode ser atribuída ao novo fator.

O fator 3 (autovalor = 1,87), responsável por 5,21% da variação total e denominado de "Conhecimento Metacognitivo", foi composto por um total de seis itens (8, 9, 10, 11, 12, 13) com cargas fatoriais variando entre 0, 34 (item 13) e 0,80 (item 10). Este fator apresenta itens que ressaltam os conhecimentos prévios que podem ser úteis ou facilitar uma tomada de decisão consciente, com baixo risco de erro ou imperícia. Este fator perdeu os itens 6, 7, 14, 15 e 16, em relação à EAC original. Depreende-se que o conteúdo e a semântica destes itens não saturados apresentam baixa adesão ao novo conjunto de seis itens, que apresentam um fator mais parcimonioso e coeso.

O fator 4 (autovalor = 1,58), responsável por 4,40% da variação total e denominado de "Experiência Metacognitiva", foi composto por um total de sete itens (18, 19, 20, 21, 22, 23, 24) com cargas fatoriais variando entre 0, 37 (item 19) e 0, 82 (item 23). A leitura dos itens deste fator indica o uso consciente da intuição, da prática cotidiana, do instinto e da crença para tomar decisões ou escolher opções (ações, atitudes e comportamentos) consideradas mais viáveis. O item 17, "penso no que eu realmente preciso fazer antes começar uma tarefa.", originalmente deste fator, apresentou saturação no fator Controle Metacognitivo, provavelmente devido a uma semântica que induz ao supervisionamento ou autocontrole.

O fator 5 (autovalor = 1,34), responsável por 3,73% da variação total e denominado de "Controle Metacognitivo", foi composto por um total de sete itens (17, 25, 26, 27, 28, 29, 30) com cargas fatoriais variando entre 0,47 (item 28) e 0, 84 (item 27). Este fator manteve os seus itens originais e, adicionalmente, reteve os itens 17 "penso no que eu realmente preciso fazer antes começar uma tarefa" e 30 "periodicamente, faço uma revisão que possa me ajudar a compreender as coisas importantes". Este fator compreende o autogerenciamento e controle efetivo sobre opções, possibilidades, caminhos, tarefas, metas e decisões.

Quanto à análise de confiabilidade (Tabela 2), os fatores de modo geral apresentaram valores excelentes de consistência interna, a saber: Monitoração (α) = 0,92; Orientação para Metas (α) = 0,90; Conhecimento Metacognitivo (α) = 0,81; Experiência Metacognitiva (α) = 0,86; e Controle Metacognitiva (α) = 0,896.

A análise da CC e da VME, na Tabela 3, cujos valores, respectivamente, acima de 0,70 e 0,50, demonstram conjuntamente validade convergente adequada e asseguram a precisão (Fornell & Larcker, 1981; Nunnally & Bernstein, 1994; Valentini & Damásio, 2016) da EAC em sua readequação para empreendedores brasileiros. Associado a isso, verificaram-se correlações médias e fortes entre os fatores, corroborando os pressupostos teóricos da medida (Haynie & Shepherd, 2009).

 

 

Discussão

Este estudo teve por objetivo adaptar e reunir evidências de validade de estrutura interna e de conteúdo da Escala de Adaptabilidade Cognitiva (EAC) de Haynie e Shepherd (2009) em empreendedores brasileiros, que se apresenta como uma medida para a mensuração de constructos relacionados à metacognição, cuja aplicabilidade e funcionalidade estão centradas nas pesquisas sobre comportamento organizacional, liderança e empreendedorismo.

Inicialmente, buscou-se testar (replicar) o modelo original de cinco fatores, por meio da análise fatorial confirmatória, porém, não foram obtidos índices de qualidade do ajuste satisfatórios para o aceite do modelo (procedimento e resultado reportados na seção de Métodos). Isto é, o modelo original de Haynie e Shepherd (2009) não foi confirmado com base na amostra de empreendedores deste estudo. Em virtude disso, evidenciou-se a necessidade de realizar os procedimentos de extração de fatores e análise da consistência interna do instrumento.

Os resultados da AFE indicaram a readequação dos itens da EAC. Apesar disso, a AFE manteve os cinco fatores com a totalidade dos 36 itens conforme o instrumento original proposto por Haynie e Shepherd (2009): (1) Monitoração, (2) Orientação para Metas, (3) Conhecimento Metacognitivo, (4) Experiência Metacognitiva, e (5) Controle Metacognitivo. Os itens que migraram para outros fatores demonstraram justificativa semântica e/ou de conteúdo, cujas readequações foram todas aceitas. Concomitantemente, as análises da VME, da CC e da correlação entre os fatores corroboram a qualidade psicométrica e teórica do instrumento. Apesar disso, novos estudos devem ser realizados com a EAC para aferir se os padrões aqui encontrados são mantidos, se os padrões do estudo original são confirmados, ou se novos padrões podem se demonstrar efetivos.

Embora o instrumento original tenha sido desenvolvido para a pesquisa em empreendedorismo, o modelo teórico básico não é restrito a empresários. Haynie e Shepherd (2009) utilizaram uma amostra de estudantes universitários para os seus procedimentos de evidências de validade. Os autores da EAC defendem o uso de amostras de estudantes para explorar as bases psicológicas de comportamentos gerenciais, bem como outros autores (Audia, Locke & Smith, 2000; Dipboye & Flanagan, 1980).

Apesar disso, empresários se mostram mais pragmáticos e objetivos que estudantes universitários. Estudos de Souza, Coelho, Esteves, Lima e Santos (2016) e Souza et al. (2017), por exemplo, utilizando de escalas de mensuração de perfil empreendedor, demonstram diferenças comportamentais evidentes entre estudantes e empresários. Portanto, analisa-se que discrepâncias em relação ao estudo original podem ser decorrentes do tipo de amostra, o que provavelmente influenciou na disposição dos itens e no padrão da EAC neste estudo. Burlea e Remmé (2017) também observaram a necessidade de adaptação ou reformulação de alguns itens da EAC. Nesse sentido, defende-se a necessidade de análise da estrutura psicométrica da EAC nos públicos-alvo do instrumento, como empreendedores e gestores.

Além disso, tais resultados devem ser interpretados com cautela, dada a necessidade de evidências complementares de adequação psicométrica da EAC, inclusive por meio de outros métodos e amostras. No entanto, deve-se destacar que este é o primeiro estudo que buscou adaptar e investigar as evidências de validade e confiabilidade da EAC no Brasil, sugerindo que novos estudos podem agregar e contribuir para a robustez do instrumento.

Em geral, as propriedades psicométricas da ECA reportadas nesta pesquisa podem ser consideradas satisfatórias e corroboram o modelo das dimensões hierárquicas da consciência metacognitiva. A adaptação do instrumento reuniu evidências de adequação para a amostra de empresários brasileiros, sustentando a possibilidade de uso desta ferramenta para a investigação sobre cognição e aprendizagem empreendedora, acompanhando e incentivando estudos nessa direção. Ademais, possibilita a utilização e aplicação do instrumento para o campo do trabalho, para as organizações de um modo geral, e para a orientação profissional e de carreira associada ao empreendedorismo.

Como limitação deste estudo, pode-se destacar o tamanho amostral e o uso de apenas um instrumento na coleta de dados, que impossibilitou a realização de procedimentos de validade complementares. Além disso, devido ao item Ramo de Negócio (no questionário sociodemográfico) ter sido utilizado como uma questão aberta, foram recebidos diversos formulários sem resposta ao item ou com respostas inconsistentes, o que impossibilitou a caracterização dos empreendedores por ramo do respectivo negócio.

Tais limitações são também a abertura para novas frentes de pesquisa com a EAC. Então, sugere-se que novos estudos ampliem a amostra, buscando reunir mais evidências da estrutura fatorial aqui reportada, e comparando os resultados entre empresários, administradores e estudantes universitários, verificando também a interação entre os fatores da EAC e variáveis sociodemográficas. Possivelmente, seria interessante uma comparação entre os empreendedores (deste estudo) e os estudantes universitários do estudo original. No entanto, o estudo original (Haynie & Shepherd, 2009) não fornece os dados descritivos de sua amostra.

Ademais, sugere-se que a EAC seja avaliada frente a outros instrumentos como, por exemplo, a Escala de Potencial Empreendedor (Souza et al., 2017) e a Escala de Avaliação de Estilos Cognitivos (Bariani, Sisto, & Santos, 2000). Ressalta-se, desse modo, que novos estudos poderiam estabelecer parâmetros normativos e de interpretação para a EAC.

 

Referências

Abubakar, A. M., Elrehail, H., Alatailat, M. A., & Elçi, A. (2019). Knowledge management, decision-making style and organizational performance. Journal of Innovation & Knowledge, 4(2),104-114. https://doi.org/10.1016/j.jik.2017.07.003        [ Links ]

Akinci, C., & Sadler-Smith, E. (2019). Collective intuition: Implications for improved decision making and organizational learning. British Journal of Management, 30(3),558-577. https://doi.org/10.1111/1467-8551.12269        [ Links ]

Asparouhov, T., & Muthen, B. (2010). Simple second order chi-square correction. Unpublished manuscript. Recuperado de https://www.statmodel.com/download/WLSMV_new_chi21.pdf        [ Links ]

Barati, M., Joo, S. B., & Aria, A. M. (2018). The effect of metacognitive beliefs and self-regulation strategies on students' academic motivation. Journal of Social Sciences and Humanities Research, 6(1),19-23. https://doi.org/10.24200/jsshr.vol6iss01pp19-23        [ Links ]

Bariani, I. C. D, Sisto, F. F., & Santos, A. A. A. (2000). Construção de um instrumento de avaliação de estilos cognitivos. In F. F. Sisto, E. T. B. Sbardelini & R. Primi (Orgs.), Contextos e questões da avaliação psicológica (pp.173-188). São Paulo: Casa do Psicólogo.         [ Links ]

Baron, R., & Ward, T. (2004). Expanding entrepreneurial cognition's toolbox: Contributions from the field of cognitive science. Entrepreneurship Theory and Practice, 28(6),553-573. https://doi.org/10.1111%2Fj.1540-6520.2004.00064.x        [ Links ]

Bedford, J., Enria, D., Giesecke, J., Heymann, D. L., Ihekweazu, C., Kobinger, G., ... Wieler, L. H. (2020). COVID-19: Towards controlling of a pandemic. The Lancet, 395(10229),1015-1018. https://doi.org/10.1016/S0140-6736(20)30673-5        [ Links ]

Braem, S., Bugg, J. M., Schmidt, J. R., Crump, M. J., Weissman, D. H., Notebaert, W., & Egner, T. (2019). Measuring adaptive control in conflict tasks. Trends in Cognitive Sciences, 23(9),769-783. https://doi.org/10.1016/j.tics.2019.07.002        [ Links ]

Bressan, F., & Toledo, G. L. (2013). A influência de características pessoais do empreendedor nas escolhas estratégicas e no processo de tomada de decisão. Revista Psicologia Organizações e Trabalho, 13(3),309-324. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1984-66572013000300008        [ Links ]

Burlea, A. S., & Remmé, J. (2017). The dangers of dispersal of responsibilities. Amfiteatru Economic, 19(45),464-476.         [ Links ]

Byrne, B. M. (2001). Structural equation modeling with Amos: Basic concepts, applications, and programming. Mahwah, NJ: Lawrence Erlbaum Associates.         [ Links ]

Cho, Y. S., & Linderman, K. (2019). Metacognition-based process improvement practices. International Journal of Production Economics, 211,132-144. https://doi.org/10.1016/j.ijpe.2019.01.030        [ Links ]

Damásio, B. F. (2012). O uso da análise fatorial exploratória em psicologia. Avaliação Psicológica, 11(2),213-228. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000200007&lng=pt&tlng=pt.         [ Links ]

Dancey, C. P., & Reidy, J. (2019). Estatística sem matemática para psicologia (7ª ed.). Porto Alegre: Penso.         [ Links ]

Dipboye, R., & Flanagan, M. (1980). Research setting in industrial and organizational psychology: Are findings in the field more generalizable than in the laboratory? American Psychologist, 35(4),388-390. https://doi.org/10.1037/0003-066X.35.4.388        [ Links ]

Earley, P. C., & Ang, S. (2003). Cultural intelligence: Individual interactions across cultures. Palo Alto, CA: Stanford University Press.         [ Links ]

Flavell, J. (1987). Speculations about the nature and development of metacognition. Em F. E. Weinert & R.H. Kluwe (Eds.), Metacognition, motivation, and understanding (pp. 21-29). Hillside, NJ: Erlbaum.         [ Links ]

Fornell, C., & Larcker, D. F. (1981). Evaluating structural equation models with unobservable variables and measurement error. Journal of Marketing Research, 18(1),39-50. https://doi.org/10.2307/3151312        [ Links ]

Foster, J., & Lin, A. (2003). Individual differences in learning entrepreneurship and their implications for web-based instruction in e-business and e-commerce. British Journal of Educational Technology, 34(4),455-465. https://doi.org/10.1111/1467-8535.00342        [ Links ]

Fuller, B., Liu, Y., Bajaba, S., Marler, L. E., & Pratt, J. (2018). Examining how the personality, self-efficacy, and anticipatory cognitions of potential entrepreneurs shape their entrepreneurial intentions. Personality and Individual Differences, 125,120-125. https://doi.org/10.1016/j.paid.2018.01.005        [ Links ]

Galletta, S., Licciardello, O., Rampullo, A., Mauceri, M., & Damigella, D. (2016). Trust, cooperation, and self-efficacy. A research with Sicilian Entrepreneurs. International Journal of Developmental and Educational Psychology, 2(1),99-108. https://doi.org/10.17060/ijodaep.2016.n1.v2.242        [ Links ]

Glöckner, A., Hilbig, B. E., & Jekel, M. (2014). What is adaptive about adaptive decision making? A parallel constraint satisfaction account. Cognition, 133(3),641-666. https://doi.org/10.1016/j.cognition.2014.08.017        [ Links ]

Gouveia, V. V., Milfont, T. L., Fischer, R., & Coelho, J. A. P. de M. (2009). Teoria funcionalista dos valores humanos: Aplicações para organizações. Revista de Administração Mackenzie, 10(3),34-59. https://doi.org/10.1590/S1678-69712009000300004        [ Links ]

Gouveia, V. V., Milfont, T. L., Fischer, R., & Santos, W. S. (2008). Teoria funcionalista dos valores humanos. Em M. L. M. Teixeira (Org.), Valores humanos & gestão: Novas perspectivas (pp. 47-80). São Paulo: Senac.         [ Links ]

Gouveia, V. V., Milfont, T. L., & Guerra, V. M. (2014). Functional theory of human values: Testing its content and structure hypotheses. Personality and Individual Differences, 60,41-47. https://doi.org/10.1016/j.paid.2013.12.012        [ Links ]

Hair Jr., J. F., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2010). Multivariate data analysis. Upper Saddle River: Pearson Education.         [ Links ]

Harrison, R. T., & Leitch, C. M. (2005). Entrepreneurial learning: researching the interface between learning and the entrepreneurial context. Entrepreneurship Theory and Practice, 29(4),351-371. https://doi.org/10.1111/j.1540-6520.2005.00089.x        [ Links ]

Hauck-Filho, N. (2019). Editorial. Avaliação Psicológica, 18(1),1-110. https://doi.org/10.15689/ap.2019.1801.ed        [ Links ]

Haynie, M., & Shepherd, D. A. (2009). A measure of adaptive cognition for entrepreneurship research. Entrepreneurship Theory and Practice, 33(3),695-714. https://doi.org/10.1111%2Fj.1540-6520.2009.00322.x        [ Links ]

Hernández-Nieto, R. A. (2002). Contributions to Statistical Analysis (pp. 119). Mérida: Universidad de Los Andes.         [ Links ]

Hisrich, R. D., Peters, M. P., & Shepherd, D. A. (2020). Entrepreneurship (11ª ed.). Dubuque, IA: McGraw-Hill Education.         [ Links ]

Hosking, J. G., Cocker, P. J., & Winstanley, C. A. (2016). Prefrontal cortical inactivations decrease willingness to expend cognitive effort on a rodent cost/benefit decision-making task. Cerebral Cortex, 26(4),1529-1538. https://doi.org/10.1093/cercor/bhu321        [ Links ]

Hurst, C. G. (2019). An axiological measure of entrepreneurial cognition. International Journal of Entrepreneurial Behavior & Research, 25(2),394-412. https://doi.org/10.1108/IJEBR-05-2018-0337        [ Links ]

Learning, M. (2019). Entrepreneurial social support, performance, and well-being: The mediating effects of metacognition (Dissertação de Mestrado não publicada). University of Calgary, Calgary, AB.         [ Links ]

Loiola, E., Gondim, S. M. G., Pereira, C. R., & Ferreira, A. S. M. (2016). Ação planejada e intenção empreendedora entre universitários: analisando preditores e mediadores. Revista Psicologia Organizações e Trabalho, 16(1),22-35. https://doi.org/10.17652/rpot/2016.1.706        [ Links ]

McDowell, L. D. (2019). The roles of motivation and metacognition in producing self-regulated learners of college physical science: a review of empirical studies. International Journal of Science Education, 41(17),2524-2541. https://doi.org/10.1080/09500693.2019.1689584        [ Links ]

Mevarech, Z. R., & Kramarski, B. (2003). The effects of metacognitive training versus worked-out examples on students' mathematical reasoning. British Journal of Educational Psychology, 73(4),449-471. https://doi.org/10.1348/000709903322591181        [ Links ]

Minniti, M., & Bygrave, W. (2001). A dynamic model of entrepreneurial learning. Entrepreneurship Theory and Practice, 25(3),5-16, 2001. https://doi.org/10.1177/104225870102500301        [ Links ]

Mitchell, R., Busenitz, L., Lant, T., McDougall, P., Morse, E., & Smith, B. (2002). Toward a theory of entrepreneurial cognition: Rethinking the people side of entrepreneurship research. Entrepreneurship Theory and Practice, 27(2),93-105. https://doi.org/10.1111/1540-8520.00001        [ Links ]

Naumann, C. (2017). Entrepreneurial mindset: A synthetic literature review. Entrepreneurial Business and Economics Review, 5(3). https://doi.org/149-172.10.15678/EBER.2017.050308        [ Links ]

Nelson, T. (1996). Consciousness and metacognition. American Psychologist, 51,102-129. https://doi.org/10.1037/0003-066X.51.2.102        [ Links ]

Pan, W., & Sun, L. Y. (2018). A self-regulation model of Zhong Yong thinking and employee adaptive performance. Management and Organization Review, 14(1),135-159. https://doi.org/10.1017/mor.2017.33        [ Links ]

Rastkhiz, S. E. A., Dehkordi, A. M., & Farsi, J. Y. (2019). Introducing a model for evaluating entrepreneurial opportunities based on fuzzy approach. Management Research in Iran, 23(1),75-97. Recuperado de http://mri.modares.ac.ir/article-19-23116-en.html        [ Links ]

Schmidt, A., & Ford, K. (2003). Learning within a learner control training environment: The interactive effects of goal orientation and metacognitive instruction on learning outcomes. Personnel Psychology, 56(2),405-429. https://doi.org/10.1111/j.1744-6570.2003.tb00156.x        [ Links ]

Shea, N., & Frith, C. D. (2019). The global workspace needs metacognition. Trends in Cognitive Sciences, 23(7),560-571. https://doi.org/10.1016/j.tics.2019.04.007        [ Links ]

Shepherd, D., & Krueger, N. (2002). An intentions-based model of entrepreneurial teams' social cognition. Entrepreneurship Theory and Practice, 27(2),167-185. https://doi.org/10.1111/1540-8520.00005        [ Links ]

Snowden, D. J., & Boone, M. E. (2007). A leader's framework for decision making. Harvard business review, 85(11),68-76.         [ Links ]

Souza, G. H. S., Coelho, J. A. P. de M., Esteves, G. G. L., Lima, N. C., & Santos, P. da C. F. dos (2016). Inventário de barreiras e facilitadores ao empreendedorismo: construção e validação de um instrumento. REAd. Revista Eletrônica de Administração, 22(3),381-412. https://doi.org/10.1590/1413-2311.04315.57744        [ Links ]

Souza, G. H. S., Esteves, G. G. L, Coelho, J. A. P. de M., & Lima, N. C. (2018). Human values among brazilian informal entrepreneurs. Revista de Administração da UFSM, 11(4),1030-1050. https://doi.org/10.5902/1983465919401        [ Links ]

Souza, G. H. S., Santos, P. da C. F. dos, Lima, N. C., Cruz, N. J. T. da, Lezana, Á. G. R., & Coelho, J. A. P. de M. (2017). Escala de Potencial Empreendedor: evidências de validade fatorial confirmatória, estrutura dimensional e eficácia preditiva. Gestão & Produção, 24(2),324-337. https://doi.org/10.1590/0104-530x3038-16        [ Links ]

Staniewski, M. W. (2016). The contribution of business experience and knowledge to successful entrepreneurship. Journal of Business Research, 69(11),5147-5152. https://doi.org/10.1016/j.jbusres.2016.04.095        [ Links ]

Stevens, C. A., & Carlson, R. A. (2019). Is simpler always better? Effects of perceptual detail and viewpoint on spatial cognition and metacognition. The American Journal of Psychology, 132(3),293-302. https://doi.org/10.5406/amerjpsyc.132.3.0293        [ Links ]

Vahidnia, H., Mitchell, R. K., Mitchell, J. R., & Chen, H. S. (2020). Socially situated entrepreneurial cognition: promising linkage and directions in studying entrepreneurial behavior, practice and process. Em W. B. Gartner, & B. T. Teague (Eds.), Research handbook on entrepreneurial behavior, practice and process (Capítulo 13, pp. 283-308). Cheltenham: Edward Elgar Publishing.         [ Links ]

Valentini, F., & Damásio, B. F. (2016). Variância média extraída e confiabilidade composta: indicadores de precisão. Psicologia: Teoria e Pesquisa, 32(2),1-7. https://doi.org/10.1590/0102-3772e322225        [ Links ]

Veenman, M. V. J., Van Hout-Wolters, B. H. A. M., & Afflerbach, P. (2006). Metacognition and learning: Conceptual and methodological considerations. Metacognition and Learning, 1(1),3-14. https://doi.org/10.1007/s11409-006-6893-0        [ Links ]

Winne, P. H. (2018). Cognition and metacognition within self-regulated learning. Em B. J. Zimmerman, & D. H. Schunk (Eds.), Handbook of self-regulation of learning and performance (pp. 36-48). Abingdon: Routledge.         [ Links ]

 

 

Informações sobre os autores:
Gustavo Henrique Silva de Souza
Instituto Federal de Educação, Ciência e Tecnologia do Norte de Minas Gerais (IFNMG)
R. Prof. Monteiro Fonseca, 216 - Vila Brasilia
39400-149 Montes Claros, MG, Brasil
E-mail: gustavo.souza@ifnmg.edu.br

Germano Gabriel Lima Esteves
E-mail: germanoesteves@unirv.edu.br

Jorge Artur Peçanha de Miranda Coelho
E-mail: jorge.coelho@laccan.ufal.br

Submissão: 25/06/2020
Primeira decisão editorial: 30/08/2021
Versão final: 03/09/2021
Aceite: 13/09/2021

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons