SciELO - Scientific Electronic Library Online

 
vol.22 número1Rotina e saúde do professor universitário: impacto da COVID-19Escala de estresse acadêmico: avaliando a estabilidade dos parâmetros psicométricos na pandemia da COVID-19 índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Revista Psicologia Organizações e Trabalho

versão On-line ISSN 1984-6657

Rev. Psicol., Organ. Trab. vol.22 no.1 Brasília jan./mar. 2022

http://dx.doi.org/10.5935/RPOT/2022.1.21656 

10.5935/RPOT/2022.1.21656 ARTIGOS

 

Questionário dimensões da organização que aprende (DLOQ): validação para o contexto brasileiro

 

Dimensions of the learning organization questionnaire (DLOQ): validation for the brazilian context

 

Cuestionario dimensiones de la organización que aprende (DLOQ): validación para el contexto brasileño

 

 

Giovana Urrutia Pereira; Wagner de Lara Machado; Manoela Ziebell de Oliveira

Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS), Brasil

Informações sobre os autores

 

 


RESUMO

A globalização exige que organizações se adequem a constantes mudanças, flexibilizem estruturas e adaptem suas formas de trabalho, buscando uma cultura de aprendizagem organizacional. Este estudo apresenta as evidências de validade e adequação ao contexto brasileiro da versão completa do Dimensions of the Learning Organization Questionaire (DLOQ) através de sua aplicação em cinco organizações. Participaram do estudo 188 profissionais que atuavam em empresas privadas brasileiras no segmento de Tecnologia da Informação. O instrumento apresentou 46 itens sobre cultura de aprendizagem e os dados foram coletados on-line por meio de survey. A Análise Fatorial Confirmatória manteve o modelo multidimensional do instrumento, os indicadores de confiabilidade foram superiores a 0,87. A análise de redes mostrou fortes correlações e associações entre os itens de cada dimensão. O DLOQ aparece como uma medida válida e uma ferramenta útil para o contexto acadêmico e organizacional, fornecendo informações que permitem estabelecer e monitorar objetivos relacionados à aprendizagem.

Palavras-chave: aprendizagem; cultura organizacional; validade dos testes.


ABSTRACT

Globalization requires organizations to adapt to constant changes, make structures more flexible, and to adapt their ways of working whilst seeking a culture of organizational learning. This study presents evidence of validity and adequacy to the Brazilian context of the full version of the Dimensions of the Learning Organization Questionnaire (DLOQ) through its application in five organizations. The study participants were 188 professionals, who worked in private Brazilian information technology companies. The instrument had 46 items on learning culture and data were collected online through a survey. Confirmatory factor analysis maintained the instrument's multidimensional model, and the reliability indicators were above 0.87. Network analysis showed strong correlations and associations between items in each dimension. The DLOQ appears to be a valid measure and a useful tool for the academic and organizational context, providing information that allows the establishment and monitoring of objectives related to learning.

Keywords: learning; organizational culture; test validity.


RESUMEN

La globalización exige que las organizaciones se adapten a los cambios constantes, flexibilicen las estructuras y adapten sus formas de trabajo, buscando la cultura del aprendizaje organizacional. Este estudio presenta las evidencias de la validez y adecuación al contexto brasileño de la versión completa del Dimensions of the Learning Organization Questionaire (DLOQ) a través de su aplicación en cinco organizaciones. Los participantes del estudio fueron 188 profesionales que trabajaban en empresas privadas brasileñas de tecnología de la información. El instrumento presentó 46 ítems sobre cultura de aprendizaje y los datos se recolectaron en línea a través de una survey. El Análisis Factorial Confirmatorio mantuvo el modelo multidimensional del instrumento, los indicadores de confiabilidad estuvieron por encima de 0,87. El análisis de redes mostró fuertes correlaciones y asociaciones entre ítems en cada dimensión. El DLOQ surge como una medida válida y una herramienta útil para el contexto académico y organizacional, proporcionando informaciones que permiten el establecimiento y seguimiento de objetivos relacionados con el aprendizaje.

Palabras clave: aprendizaje; cultura organizacional; validacion de las pruebas.


 

 

As últimas décadas têm sido marcadas pela acelerada globalização, que vem impactando diferentes âmbitos da sociedade. Mais especificamente no contexto das organizações observa-se a exigência de que se adequem às constantes mudanças da atualidade, flexibilizando estruturas hierárquicas, adaptando suas formas de trabalho (Duarte et al., 2018) e aprendendo.

A aprendizagem organizacional (AO) pode ser entendida como o processo pelo qual a aquisição de conhecimentos e de entendimentos sobre a realidade possibilita uma melhoria da ação organizacional (Fiol & Lyles, 1985). As primeiras discussões sobre o tema datam da década de 60, e tem como ponto de partida os estudos de Cyert e March (1963) e Argyris e Schön (1978). Desde sua proposição, e conforme vê-se nas revisões, as teorias sobre AO mostram-se extensas e, muitas vezes, complexas, fazendo com que sua compreensão apresente variações, as quais decorrem dos múltiplos enfoques adotados por diferentes autores. Em um estudo de revisão de literatura sobre o tema, Antonello e Godoy (2011) buscaram apresentar as diferentes perspectivas teóricas a partir das coletâneas organizadas por Dierkes, Antal, Child,e Nonaka (2001) e Easterby e Lyles (2003).

Tomando como base a referida publicação, segundo a perspectiva psicológica, é possível entender AO a partir da a aprendizagem individual e considerando a visão da psicologia aplicada. Mais especificamente, entende-se que a AO está fundamentada na experiência direta (Antonello & Godoy, 2011). Dentro desta abordagem de aprendizagem na ação observa-se as influências de Reavens (1982), que refere o action learning, e de Argyris e Schon (1978), que apresentam a perspectiva da Teoria da ação, desenvolvida desde as investigações de Lewin (1946) sobre dinâmica de grupos.

Pawlowsky (2001), por sua vez, sistematizou as diferentes abordagens em um modelo que procura auxiliar sob a perspectiva da ciência da administração e o gerenciamento da aprendizagem nas organizações. Dentro desta sistematização, o autor menciona a aprendizagem na ação, inspirada em autores como Argyris e Schon (1978), na abordagem das práticas de Reavens (1982), e ainda, pesquisadores como Pedler, Burgoyne & Boydell (1991) e Garvin (1993) com as Organizações que aprendem (OA). Watkins e Marsick (1993), por sua vez, realizaram extensa revisão da literatura sobre aprendizagem organizacional e suas diferentes perspectivas, sendo influenciadas por autores como Lewin (1946). A partir desta revisão, desenvolveram um modelo explicativo que buscou integrar as teorias existentes, defendendo a ideia de que a maioria do aprendizado ocorre de forma orgânica e espontânea, evoluindo a partir do próprio trabalho, de forma natural e informal.

Seguindo a teoria proposta pelas autoras, uma cultura de aprendizado é necessária para facilitar os processos organizacionais de aprendizado, definidos como processos sociais de descoberta de experiências, crenças, valores e premissas compartilhadas que definem comportamentos e atitudes dos funcionários (Marsick & Watkins, 2003). Organizações que viabilizam estes comportamentos tendem a ser receptivas aos esforços individuais para empregar aquilo que é aprendido, e a implementar mecanismos apropriados para permitir, apoiar e recompensar o uso de novos aprendizados (Marsick & Watkins, 2003). Assim, quando os indivíduos aumentam sua capacidade de aprender, eles podem, de forma coletiva, aumentar a capacidade geral da organização de aprender, propiciando uma cultura de aprendizado organizacional (Sidani & Reese, 2018). Dito de outra forma, a cultura de aprendizagem é identificada com as oportunidades de aprendizagem ou intervenções de aprendizagem organizacional que visam facilitar a aprendizagem no ambiente de trabalho (Gil & Mataveli, 2017), buscando aumentar a capacidade e competitividade necessárias para sobreviver em um ambiente de constante transformação (Kim, Egan, & Tolson, 2015).

Marsick e Watkins iniciaram seu trabalho sobre o tema na década de 1990 e utilizaram do termo organizações que aprendem (OA). Ao longo dos anos dedicados à investigação, as autoras enfatizaram que a cultura de aprendizagem organizacional deve ser um campo da pesquisa em Gestão de pessoas e Desenvolvimento Organizacional (Sidani & Reese, 2018). Um exemplo do avanço proporcionado por elas foi o desenvolvimento e a validação do instrumento Dimensions of the Learning Organization Questionnaire - DLOQ (Marsick & Watkins, 2003; Watkins & Marsick, 1997). Este instrumento tem como objetivo auxiliar profissionais e acadêmicos que buscam aprimorar pesquisas e práticas na área, a fim de identificar competências que permitam a transformação organizacional.

Desde que a versão original em inglês foi publicada, o DLOQ já foi traduzido para mais de 14 idiomas. Os estudos de adaptação e validação do instrumento foram realizados em diversas partes do mundo: América do Norte e Sul, Europa, Ásia e Oceania. Estiveram principalmente relacionados aos estudos nas áreas de gestão de pessoas (Chermack & Nimon, 2013; Marsick, 2013; Song, Chermack, & Kim, 2013). São exemplos recentes: (a) estudo realizado na Romênia que demonstrou a aplicabilidade da DLOQ no contexto da saúde (Consuela-Mădălina, Lorin, Iuliana-Raluca, & Ovidiu, 2018); (b) Gil, Carrrillo e Fonseca-Pedrero (2019) com o estudo em organizações escolares espanholas; (c) pesquisa na Estônia também em contexto educacional (Voolaid & Ehrlich, 2017); (d) estudo que analisou a relação de cultura de aprendizagem e o comprometimento afetivo em organizações privadas da Malásia (Yin et al., 2017). Além da versão integral, o instrumento apresenta uma versão reduzida, o DLOQ A (Yang, Watkins, & Marsick, 2004) também bastante utilizado pela área de Gestão de Pessoas. São estudos recentes: (a) pesquisa realizada na Indonésia analisando cultura de aprendizagem organizacional como preditor de desempenho no trabalho (Anggara, Febriansyah, Darmawan & Cintyawati, 2019), (b) estudo de validação da versão reduzida no contexto Libanês (Chai & Dirani, 2018), e (c) estudo realizado nos Emirados Árabes que buscou identificar recursos organizacionais que aprimorassem a cultura de aprendizagem (Siddique, 2018).

Contexto Brasileiro

No Brasil, Correa e Guimarães (2006) buscaram validar a DLOQ e testar sua relação com desempenho em organizações. Os autores consideraram a escala validada com quatro fatores da cultura de aprendizagem (evidenciando alteração na arquitetura dos sete fatores da cultura de aprendizagem proposta pelas autoras da versão original): (1) Relações Interpessoais e Aprendizagem, (2) Compartilhamento e Controle de Aprendizagem, (3) Suporte à Aprendizagem e Delegação, e (4) Liderança; mais dois fatores do desempenho organizacional, que são (5) Desempenho Econômico-financeiro e (6) Desempenho do conhecimento. Identificaram que a percepção da cultura de aprendizagem prediz a percepção de melhoria do desempenho econômico-financeiro em 27% e em 32% o desempenho do conhecimento.

Em 2012, Menezes, Guimarães e Bido (2012), empreenderam um novo esforço de validação do DLOQ para o contexto nacional. Todavia, os resultados das análises realizadas não permitiram validar a versão completa do instrumento. Assim, os autores validaram uma versão reduzida, a DLOQ A, criada por Yang (2003). Este instrumento foi utilizado posteriormente em nos estudos de Leal, Palácios e Nazareth (2020) e Silva, Cabral, Santos e Matos Filho (2013). Os resultados obtidos pelos autores evidenciam uma relação positiva entre as dimensões da aprendizagem organizacional e a adoção de novas tecnologias educacionais por docentes de uma Instituição de Ensino Superior do estado do Pará (Leal et al., 2020). Demonstraram também que a cultura de aprendizagem exerce forte influência no desempenho organizacional de emissoras de televisão cearenses (coeficiente de regressão (ββ) de 0,76). Mais especificamente, os fatores de Cultura de Aprendizagem com maior capacidade explicativa encontravam-se nos níveis individual (oportunidades para a aprendizagem contínua) e organizacional (estímulo à liderança estratégica para a aprendizagem e desenvolvimento da visão sistêmica da organização) (Silva et al., 2013).

Apesar dos avanços promovidos pelas pesquisas de cunho quantitativo, uma parte importante das investigações recentes acerca da AO no Brasil tem tido como foco a abordagem baseada em práticas (EBP), sendo a perspectiva social vista como tendência de evolução do tema. Segundo esta abordagem, a AO é entendida como um processo em que os atores refletem sobre as práticas para entender conexões entre antecedentes, ações e resultados (Antonello e Godoy, 2011). Os principais métodos de investigação adotados por estes estudos são qualitativos, como estudos de casos e entrevistas (Durante, Veloso, Machado, Cabral, & Santos, 2019).

Apesar desta tendência observada na literatura nacional, o presente estudo foi proposto tendo em vista a revisão apresentada e considerando que: 1) o DLOQ é uma ferramenta amplamente utilizada em diversas partes do globo; 2) sua versão completa ainda não está adaptada e validada para uso no Brasil e 3) observa-se a necessidade de um instrumento que permita investigar e apoiar o desenvolvimento organizacional na prática. Assim, tem como objetivo verificar as evidências de validade e adequação ao contexto brasileiro da versão completa do Dimensions of the Learning Organization Questionnaire (DLOQ) por meio de sua aplicação em diferentes organizações.

Esse estudo está, portanto, alinhando à agenda de estudos proposta por Antonello e Godoy (2011), que aponta a necessidade de buscar formas de examinar as práticas informais de aprendizagem nas organizações e como os ambientes e formas de participação podem produzir práticas de aprendizagem. Contudo, utilizará de abordagem teórica distinta, com maior enfoque na cultura de aprendizagem organizacional. Portanto, a partir da apresentação do estudo de adaptação cultural e validação do DLOQ, este estudo propõe instrumentalizar as organizações para que possam identificar como a cultura de aprendizagem tem sido percebida pelos seus membros, de forma a apoiar promoção de uma cultura focada em aprender (Marsick & Watkins, 2003). Entende-se que a utilização de um instrumento que mapeie como a cultura de aprendizagem é percebida vem a somar na reflexão sobre as práticas organizacionais voltadas ao tema.

Questionário de Dimensões da Organização que Aprende (DLOQ)

O Dimensions of the Learning Organization Questionnaire (DLOQ) tem o objetivo de medir a cultura de aprendizagem, a fim de diagnosticar o status atual e orientar mudanças para as organizações, visando também ser utilizado por estudiosos que buscam uma medida mais adequada para avaliar a cultura de aprendizado e comparar organizações. Proposto por Marsick e Watkins (2003), mensura mudanças importantes na cultura, nos sistemas e nas estruturas de uma organização, considerando que estes elementos influenciam o aprendizado dos indivíduos, segundo a teoria proposta pelas autoras de que grande parte do aprendizado ocorre de maneira informal e espontânea (Marsick & Watkins, 2003).

O questionário original é composto por 43 itens que avaliam a cultura de aprendizagem e 12 itens que avaliam o desempenho organizacional. Seus itens foram desenvolvidos a partir de discussões com diversas organizações e refinados com a ajuda de um metodólogo e um estatístico, que criaram itens para capturar os indicadores que haviam observado empiricamente nas organizações que participaram das discussões da concepção dos itens do instrumento. O formato do item foi projetado para manter o foco na organização. Portanto, cada item começa com a expressão "Na minha organização, ... " (Watkins & O'neil, 2013).

A proposta da DLOQ é trabalhar com foco na ação, dado que para começar a construir uma cultura de aprendizagem, primeiro é preciso saber em qual estágio a empresa está, nos níveis:

• Individual: Comportamento, conhecimento, motivação e capacidade de aprender de um indivíduo;

• Grupo: Capacidade de um grupo de inovar e gerar novos conhecimentos;

• Organizacional: Capacidade organizacional de inovação e produção de novos conhecimentos;

• Social: Capacidade geral da comunidade e da sociedade por meio da qualidade de vida no trabalho e outros meios.

Watkins e Marsick (1993) propuseram elementos que refletem uma cultura e uma mentalidade organizacional que é gradualmente reforçada (Sidani & Reese, 2018). Estas dimensões, constituintes do DLOQ, foram adequadamente renomeadas e encontram-se brevemente descritas na Tabela 1, exibida a seguir:

 


Clique para ampliar

 

A escala utilizada para avaliar os itens do DLOQ é do tipo Likert e fornece uma gama livre de respostas ao longo de um contínuo com âncoras em cada extremidade. As autoras foram influenciadas pela teoria do construto pessoal e abordagem de escala de Kelly (1963), que refere que os significados são construídos pessoalmente - e podem ser discernidos pedindo aos indivíduos que se posicionem ao longo de um contínuo dicotômico de respostas. Com isso, ancoraram apenas os dois pólos da escala de resposta com "quase nunca" e "quase sempre", indicando com que frequência a afirmação é verdadeira para sua organização, segundo a percepção dos respondentes. Além disso, foi usada uma escala de seis pontos para distribuir respostas e evitar um agrupamento em torno da média, levando os respondentes a escolherem um lado do contínuo ou outro (Watkins & O'neil, 2013).

 

Método

Participantes

Com relação às empresas participantes, três (n=3) eram de porte pequeno e duas de porte médio (n=2), totalizando cinco (n=5) empresas privadas. Todas eram do segmento de Tecnologia da Informação (TI) e sediadas no Brasil, sendo a escolha por conveniência. Buscou-se seguir a orientação de Hair Jr., Tatham, Anderson, e Black (2005) que defendem que para assegurar resultados mais robustos, a razão entre o número de casos e a quantidade de variáveis seja pelo menos igual a cinco (5:1). Os participantes eram residentes em três estados do Brasil (RS, PR e SP). Destes, 41,5% (n=78) se identificaram com o gênero masculino, 39,9% (n=75) se identificam com o gênero feminino e 18,6% (n=35) com o gênero neutro. A média de idade foi de 33,7 anos (DP= 8,74), com idade mínima de 19 anos e máxima de 62 anos.

O presente estudo foi submetido e aprovado pelo comitê de ética da Pontifícia Universidade Católica do Rio Grande do Sul, sob o número CAAE: 12218119.6.0000.5336. Após sua aprovação, no segundo semestre de 2019, teve início a coleta de dados. Foram critérios de inclusão dos participantes na amostra: ser maior de 18 anos e estar trabalhando em uma das organizações participantes da pesquisa. A composição final da amostra da pesquisa foi de 188 indivíduos (4:1), seguindo a média da maioria dos estudos utilizando análises fatoriais (25,8%), relatada por Osborne et al. (2008) em estudos de instrumentos psicológicos.

Instrumentos

1) Questionário sociodemográfico e laboral. Esse instrumento teve como objetivo coletar dados sociodemográficos dos respondentes (idade, gênero com qual se identifica, Estado, tempo de empresa, nível funcional, formação, carga-horária, entre outros).

2) Dimensions of the Learning Organization Questionnaire - DLOQ. Trata-se do questionário a ser adaptado e validado em sua versão completa. Proposto por Watkins e Marsick (1997), objetiva medir a cultura de aprendizagem organizacional. O instrumento possui 43 itens sobre cultura de aprendizagem e 12 itens sobre Desempenho Organizacional. No processo de adaptação e validação foram considerados apenas os itens de cultura de aprendizagem, conforme será detalhado na seção de procedimentos do estudo.

O DLOQ é pontuado a partir de escala Likert de seis pontos, variando de (1) quase nunca até (6) quase sempre. O questionário é composto pelas sete dimensões de Cultura para aprendizagem organizacional descritas na Tabela 1: (1) Oportunizar Aprendizagem contínua (α = 0,82; exemplo de item: "Na minha organização, as pessoas ajudam umas às outras a aprender."); (2) Promover questionamento e diálogo (α= 0,87; exemplo de item: "Na minha organização, as pessoas são encorajadas a perguntar 'por que', independentemente do cargo que ocupam."); (3) Incentivar colaboração e aprendizagem em equipe (α = 0,86; exemplo de item: "Na minha organização, as equipes/grupos são recompensadas pelas suas conquistas enquanto um grupo."); (4) Estabelecer sistemas para capturar e compartilhar aprendizagem (α =0,85; exemplo de item: "Minha organização mede os resultados de tempo e recursos que são gastos em treinamentos."); (5) Empoderar Pessoas para uma visão sistêmica (α =0,85; exemplo de item: "Minha organização convida as pessoas a contribuir com a visão da organização."); (6) Conectar a organização com seu ambiente (α =0,85; exemplo de item: "Minha organização encoraja todos a trazer as visões de clientes para o processo de tomada de decisão."); e (7) Estimular liderança estratégica para o aprendizado (α =0,83; exemplo de item: "Na minha organização, líderes geralmente apoiam pedidos para oportunidades de aprendizado e treinamento.").

Procedimentos de Coleta de Dados e Cuidados Éticos

Considerando-se a natureza desta investigação, podemos classificar o estudo como quantitativo e transversal. A fim de preservar as evidências de equivalência semântica dos itens e observar a aderência cultural ao contexto brasileiro, foram adotadas as etapas sugeridas por Borsa, Damásio e Bandeira (2012).

Como etapa inicial, a escala foi traduzida para o português por dois tradutores independentes nativos na língua portuguesa e fluentes em inglês. Com estas informações, foi realizada a consolidação inicial do instrumento adaptado para o Brasil. Um especialista avaliou os significados dos itens traduzidos para averiguar a fidedignidade, e então, um novo participante da amostra aferiu a clareza das instruções, questões e respostas da escala. Na segunda etapa, após novos ajustes, foi dado início a uma fase pré-piloto com entrevistas cognitivas individuais com 10 participantes, realizadas em duas rodadas, cada uma com cinco participantes, tendo o objetivo de analisar profundamente o processo de resposta a cada item gerado. A Entrevista Cognitiva (EC) como etapa anterior aos testes-piloto vem se mostrando um procedimento importante para a análise de aspectos teóricos e práticos, além do processo de resposta de evidências de validade em testes psicológicos (Castillo-Díaz & Padilla, 2013). Possibilita ampliar a compreensão de como os respondentes processam os pensamentos, ideias, visões, percepções e experiências enquanto respondem a cada item dos questionários (Ryan, Gannon-Slater, & Culbertson, 2012).

Conforme mencionam Peterson, Peterson e Powell (2017), para responder os itens, os entrevistados se envolvem em quatro etapas cognitivas: compreensão, recordação, julgamento e resposta. Cada uma destas operações são fontes potenciais de erro e, por isso, a importância da certeza de interpretação correta por parte dos respondentes. Nesta etapa, foi solicitado que os participantes relatassem sua experiência, grau de dificuldade de responder o instrumento, compreensibilidade dos itens e que fizessem sugestões de alteração no seu conteúdo ou grafia, se julgassem necessário. As entrevistas foram gravadas com autorização dos participantes, sendo que a partir de sua análise e revisão da literatura, alguns itens foram ajustados e novos itens foram produzidos. Este processo foi realizado a fim de permitir a avaliação mais global e precisa dos itens propostos na cultura brasileira, tendo em vista que solicitava aos participantes que expressassem, entre outros aspectos, sua percepção acerca do item, seu significado e pertinência considerando o contexto em que atuavam profissionalmente.

Finalizada esta fase, realizou-se a terceira etapa, a back translation. Nela, os itens foram traduzidos novamente para o idioma original do instrumento, por um tradutor que ainda não havia participado das etapas anteriores do processo de validação. O material resultante foi enviado para a revisão das autoras do instrumento original.

Realizou-se então um estudo piloto para o contexto brasileiro, que contou com uma amostra equivalente a 10% do tamanho da amostra necessário para a validação do instrumento. Os dados foram submetidos a uma análise fatorial, de consistência interna dos itens e de confiabilidade (Borsa et al., 2012). A partir de então, deu-se início à etapa de coleta de dados, realizada on-line, através da ferramenta do tipo survey, hospedada no website Qualtrics. No link da pesquisa foram disponibilizados o Termo de Consentimento Livre e Esclarecido (TCLE), questionário sociodemográfico e o DLOQ. Os participantes tiveram acesso aos instrumentos de coleta de dados somente após consentirem em participar do estudo por meio do TCLE.

Procedimentos de Análise de Dados

Fidedignidade. Através do Software R a consistência interna de cada subescala da DLOQ foi verificada por meio do coeficiente Alfa de Cronbach, seguindo as orientações das autoras para validação do instrumento original (Watkins & O'neil, 2013). Considerando orientações relativas a algumas limitações do uso deste coeficiente para estimativa de fidedignidade em testes psicológicos, foi incluída também a determinação do coeficiente de Mc Donalds Ômega, sendo este o índice mais apropriado para testes congenéricos (Schweizer, 2011).

Análise Fatorial Confirmatória. Por meio do pacote Lavaan do software R, as análises fatoriais confirmatórias foram conduzidas utilizando o método de estimação de máxima verossimilhança robusto para os erros-padrão e a matriz de correlações policóricas dos itens (Holgado-Tello, Chacón-Moscoso, Barbero-García, & Vila-Abad, 2010). Optou-se pela análise fatorial confirmatória devido ao grande número de estudos em diferentes línguas e culturas que corroboram a estrutura fatorial teórica de sete fatores (dimensões). Em virtude da correlação alta entre os componentes do modelo, foram comparados dois modelos para a DLOQ: um multidimensional e um unidimensional.

O modelo unidimensional representa a hipótese de que as sete dimensões teóricas da DLOQ podem ser sumarizadas em um único construto, de forma indiscriminada, enquanto o modelo de sete fatores ortogonais presume que essas dimensões não são relacionadas entre si. Os índices utilizados para avaliar o ajuste dos modelos, e seus valores de referência (Schreiber, Stage, King, Nora & Barlow, 2006): Comparative Fit Index (CFI ≥0,90), Non-normed Fit Index (NNFI ≥0,90), Root Mean Square Error of Approximation (RMSEA ≤ 0,06 ou 0,08 com intervalo de confiança de 90%). A carga fatorial mínima para retenção dos itens foi de λ = 0,32, e a consistência interna das subescalas foi estimada por meio do índice de fidedignidade composta, que é baseado nas cargas fatoriais padronizadas dos itens (Hair, Black, Babin, Anderson, & Tatham, 2006).

Análise de redes. A análise de redes utiliza raciocínio abdutivo, sendo adequado quando se buscam novas ideias. Na representação gráfica adotada, apresentam-se as relações entre as dimensões, sendo que as arestas podem variar de cor e intensidade indicando a direção e magnitude da associação (Machado, Vissoci, & Epskamp, 2015). Um algoritmo de posicionamento foi utilizado para aproximar ou expelir as variáveis de acordo com a magnitude de suas associações, fazendo com que as variáveis com maior número de associações se posicionassem ao centro do grafo, e o método de regularização Least Abssolute Shrinkage and Selection Operator (LASSO) foi empregado para estimar uma rede de relações condicionais (correlações parciais) entre os itens (Friedman, Hastie, & Tibshirani, 2008). Este método foi empregado com o propósito de evitar o superajuste, fixando em zero as associações de baixa magnitude. O modelo gráfico de melhor ajuste foi selecionado a partir do índice Extended Bayesian Information Criterion (EBIC; Chen & Chen, 2008). Além de estimar as correlações parciais e gerar o grafo da rede dessas associações, medidas descritivas são úteis para identificar as variáveis mais influentes neste sistema. A medida de proximidade (closeness) indica o inverso da distância de uma variável em relação às demais, representando o grau geral de associação desta. A medida de influência esperada (expected influence), por sua vez, é obtida por meio da soma das arestas de primeiro e segundo grau de cada variável, representando o quão influente é cada variável uma vez que esteja ativada (Robinaugh, Millner, & McNally, 2016).

 

Resultados

Análise Fatorial Confirmatória

Concorrente ao modelo original de sete fatores, foi testado um modelo unidimensional, que representa a hipótese de que os indicadores comportamentais da escala poderiam ser representados por um único contínuo. Esta hipótese foi afastada tendo em vista que o ajuste do modelo multidimensional se mostrou melhor do que o modelo unidimensional. Os índices de ajuste dos dois modelos analisados e sua estrutura fatorial são apresentados na Tabela 2 e Tabela 3, respectivamente.

 

 

Fidedignidade

Todos os indicadores de confiabilidade apresentaram valores satisfatórios, superiores a 0.87, e estão descritos na Tabela 4. Em sua composição final, os indicadores de fidedignidade para as escalas do instrumento se mantiveram os mesmos do instrumento original e foram: 1) Oportunizar aprendizagem Contínua (OAC; questões 1 a 7; α: 0,87); 2) Promover questionamento e diálogo (PQD, questões 8 a 13; α: 0,91); 3) Incentivar colaboração e aprendizagem em Equipe (ICAE; questões 14 a 20; α: 0,91); 4) Estabelecer sistemas para capturar e compartilhar aprendizagem (ESCCA); questões 21 a 26 ; α: 0,88); 5) Empoderar Pessoas para uma visão sistêmica (EPVS; questões 27 a 32; α: 0,92); 6) Conectar a organização com seu ambiente (COA; questões 33 a 40; α:0,89 ); 7) Estimular liderança estratégica para o aprendizado (ELEA; questões 41 a 46; α: 0,94).

 

 

Análise de Redes

Na análise gráfica, pode-se perceber que as correlações e associações entre os itens dentro de cada dimensão se mantiveram fortes mesmo depois de eliminadas as correlações espúrias. O valor das correlações está indicado pelos valores numéricos (com exclusão de valores espúrios) e a intensidade da associação pela espessura das arestas entre os itens (Machado et al., 2015).

As análises de rede indicaram que a associação entre as dimensões da escala foi mais forte (arestas mais grossas na Figura 1) entre as dimensões: 1) Promover Questionamento e Diálogo (PQD) e Oportunizar aprendizagem Contínua (OAC); 2) Estimular Liderança Estratégica para o Aprendizado (ELEA) e Conectar a Organização com seu Ambiente (COA) e 3) Empoderar Pessoas para uma Visão Sistêmica (EPVS) e Conectar a Organização com seu Ambiente (COA).

 

 

Discussão

O estudo apresentado teve como objetivo verificar as evidências de validade e adequação ao contexto brasileiro da versão completa do Dimensions of the Learning Organization Questionnaire (DLOQ). Para isso, teve sua amostra constituída a partir de profissionais que trabalhavam em diferentes empresas do segmento de tecnologia da informação.

Durante o processo de adaptação do instrumento ao contexto brasileiro foram inseridos três novos itens na escala. Esta inserção foi realizada em decorrência das sugestões feitas pelos participantes das entrevistas cognitivas realizadas no processo de adaptação e validação, em que foram percebidos através das entrevistas, revisão da literatura e diálogo com as autoras do instrumento original a importância da separação de um item em dois distintos, assim como a inserção de dois itens novos. Desta forma, os itens 15 e 16 constituíam um único item e foram desmembrados em dois itens distintos, sendo os novos itens "15) Na minha organização, as equipes/grupos tratam os membros como iguais, independentemente da posição ou hierarquia", que obteve carga fatorial de 0,791 e "16) Na minha organização, as equipes/grupos tratam os membros como iguais, independentemente de cultura, raça, gênero ou outras diferenças", carga fatorial 0,675. O item 38, elaborado para o presente estudo, "38) Minha organização trabalha junto à comunidades menos favorecidas para desenvolvimento e capacitação de futuros profissionais.", obteve carga fatorial de 0,423, e o item 39, também elaborado para este estudo, "39) Minha organização possui ações internas voltadas a redução e prevenção de impactos ambientais, como: redução de consumo de água e energia elétrica, impressão de documentos, consumos de copos plásticos, dentre outros." teve carga fatorial de 0,513, o que justifica sua inclusão na versão brasileira do instrumento. Os dois itens reformulados, assim como os dois novos itens, se mostraram com carga fatorial satisfatória.

O processo de validação seguiu as orientações publicadas no The Dimensions of the Learning Organization Questionnaire (the DLOQ): A Nontechnical Manual (Watkins & O'neil 2013). Durante o processo, houve a decisão de ser retirado do estudo as duas dimensões que abordavam Desempenho Organizacional do instrumento. Esta decisão ocorreu alinhada com as autoras do instrumento original a partir da análise das entrevistas cognitivas realizadas durante a etapa de adaptação e validação, em que foi constatado que os participantes não tinham conhecimento suficiente para responder os itens do questionário no que se refere a Desempenho Financeiro e Desempenho de Conhecimento, optando por responder de forma aleatória. Este não acesso às informações inviabilizou a utilização das dimensões de Desempenho Organizacional para o contexto brasileiro, considerando a amostra estudada.

A partir de uma análise confirmatória, foi possível coletar evidências que suportam a validade da escala em relação a sua estrutura fatorial e sua consistência com a proposta original de avaliar sete dimensões de cultura de aprendizagem, relacionadas entre si. Considerando as orientações propostas pelas autoras do instrumento original, é possível afirmar que os indicadores de confiabilidade apontam ótima precisão para avaliar as dimensões do instrumento, no que tange a sua estrutura interna. Ressalta-se que a análise de confiabilidade também reúne, tanto evidências baseadas na teoria clássica dos testes (coeficiente alpha de Cronbach), quanto baseadas em modelos de equações estruturais. Assim, a convergência de ambos os indicadores confere maior robustez aos achados referentes à confiabilidade.

Os resultados deste estudo apresentam evidências suficientes para considerar o instrumento como uma medida compreensível, válida, confiável, e com utilidade prática. Como contribuição acadêmica e para a área de conhecimento pode-se destacar que os métodos empregados apresentam caminhos inovadores para análise de instrumentos psicométricos, adicionando a etapa de entrevistas cognitivas no processo de adaptação bem como os integrando aos avanços recentes da análise de redes às já bem estabelecidas análises fatoriais e de confiabilidade.

Como limitação do estudo, sua amostra foi composta apenas por empresas privadas e de um único segmento, o que não permite sua generalização. Além disso, apesar de haver contemplado cinco diferentes organizações, a amostra pode ser considerada pequena, quando comparada a busca de validação da DLOQ em contexto nacional realizada por Correa e Guimarães (2006) e versão reduzida DLOQ-A validada por Menezes et al., (2012). Também foi mantida a estrutura de níveis de aprendizado, buscando manter a estrutura adotada no instrumento original, embora novas perspectivas já considerem que a aprendizagem ocorre independentemente do nível em questão, mas sim do indivíduo e suas interações, ou seja, nível interpessoal (Antonello & Godoy, 2011)

Com relação à teoria, os resultados confirmam empiricamente a validade de construto da teoria de Watkins e Marsick (1997) no que tange cultura de aprendizagem e cada uma de suas sete dimensões. Todavia com a retirada das dimensões relacionadas a desempenho organizacional, não foi possível a validação da teoria em sua forma completa para o contexto brasileiro. Este percalço corrobora o mencionado por Pedler e Borgoyne (2017) de que existem relativamente poucos estudos evidenciando melhora no desempenho organizacional. As autoras proponentes do instrumento analisado, Marsick e Watkins, recentemente também pontuaram que sua teoria está mais voltada para a cultura de aprendizagem organizacional, podendo ser compreendida como as oportunidades de aprendizagem ou intervenções de aprendizagem organizacional para facilitar a aprendizagem no ambiente de trabalho (Gil & Mataveli, 2017). Por fim, a retirada destas dimensões também se mostra alinhada à discussão teórica de AO a respeito de noção de mudança, em que é discutido que nem todo processo de aprendizagem é manifestado como mudança de comportamento ou desempenho (Antonello e Godoy, 2011).

No contexto corporativo e considerando a aplicabilidade prática, recomenda-se que as informações geradas pelo instrumento sejam utilizadas como suporte para diversas proposições de ações organizacionais. Estas ações poderão ser pensadas a partir da aplicação do questionário na organização e levantamento dos resultados de cada dimensão e os itens que a compõem, relacionando-as com os objetivos da organização no que tange à aprendizagem. Por exemplo, na análise da resposta ao item "Na minha organização, as equipes/grupos reavaliam suas opiniões a partir das discussões do grupo, informações coletadas e/ou feedbacks recebidos.", possibilita refletir, elaborar e promover ações relacionadas ao tema, como facilitações com a equipe, estimular o processo de feedback contínuo, dentre outras. Esse item faz parte da dimensão Incentivar colaboração e trabalho em equipe que, somado aos demais itens da dimensão, auxiliam a organização com norteadores de como a empresa vem sendo sentida neste aspecto. Este mesmo processo pode ser pensado e proposto frente a cada dimensão. Ou seja, entender como a organização está sendo percebida por seus funcionários, assim como quais dimensões influenciam outras em determinado contexto, permite traçar estratégias voltadas ao seu desenvolvimento.

Sugere-se expandir a investigação sobre a temática, incluindo outras variáveis, de forma a ampliar a compreensão das diversas relações que a cultura de aprendizagem organizacional pode ter com outros construtos relevantes à gestão de pessoas. Considerando-se os resultados e limitações apresentados por este estudo e tendo em vista a relevância de compreender e desenvolver cultura de aprendizagem nas organizações, advoga-se pela continuidade de pesquisas com este instrumento, ampliando ainda a sua aplicação em outros segmentos e em outros tipos de organizações.

 

Referências

Anggara, W. G., Febriansyah, H., Darmawan, R., & Cintyawati, C. (2019). Learning organization and work performance in Bandung city government in Indonesia: a path modeling statistical approach. Development and Learning in Organizations: An International Journal, DLO-03-2018-0033. https://doi.org/10.1108/DLO-03-2018-0033        [ Links ]

Antonello, C. S., & Godoy, A. S. (2011). Aprendizagem organizacional e as raízes de sua polissemia. Em C. S., Antonello & A. S. Godoy (Orgs.), Aprendizagem Organizacional no Brasil (pp. 31 - 50). Bookman.         [ Links ]

Argyris, C., & Schõn, D. A. (1978). Organizational learning: A theory of action perspective. Reading, MA: Addison - Wesley.         [ Links ]

Argyris, C., & Schön, D. (1996). Organizational learning II: Theory, method, and practice. Reading, MA: Addison-Wesley.         [ Links ]

Borsa, J. C., Damásio, B. F., & Bandeira, D. R. (2012). Adaptação e Validação de Instrumentos Psicológicos entre Culturas: Algumas Considerações. Paidéia, 22(53),423-432. https://doi.org/10.1590/1982-43272253201314        [ Links ]

Castillo-Díaz, M., & Padilla, J. L. (2013). How Cognitive Interviewing can Provide Validity Evidence of the Response Processes to Scale Items. Social Indicators Research, 114(3),963-975. https://doi.org/10.1007/s11205-012-0184-8        [ Links ]

Cyert, R. M., & March, J.G. (1963). A Behavioral Theory of the Firm. Prentice Hall, Englewood Cliffs, NJ.         [ Links ]

Chai, D. S., & Dirani, K. (2018). The dimensions of the learning organization questionnaire (DLOQ): A validation study in the Lebanese context. Learning Organization, 25(5),320-330. https://doi.org/10.1108/TLO-03-2016-0017        [ Links ]

Chen, J., & Chen, Z. (2008). Extended Bayesian information criteria for model selection with large model spaces. Biometrika, 95(3),759-771. https://doi.org/10.1093/biomet/asn034        [ Links ]

Consuela-Mădălina, G., Lorin, P. V., Iuliana-Raluca, G., & Ovidiu, P.-V. (2018). Investigating the dimensions of learning organizations questionnaire (DLOQ) in a Romanian private ophthalmology organization. Romanian Journal of Ophthalmology, 62(4),288-295. https://doi.org/10.22336/rjo.2018.44        [ Links ]

Correa, E. A., & Guimarães, T. A. (2006). Cultura de Aprendizagem e Desempenho em Organizações. Validação de Escala de Medida e Análise de suas Relações. Em Encontro da Associação Nacional de Pós-Graduação e Pesquisa em Administração, 30, Salvador. Anais eletrônicos. Rio de Janeiro: Anpad.         [ Links ]

Dierkes, M., Antal, A. B., Child, J., & Nonaka, I. (2001). Handbook of organizational learning and knowledge. Oxford University Press.         [ Links ]

Duarte, M. E., Lassance, M. C., Savickas, M. L., Nota, L., Rossier, J., Dauwalder, J.-P., & Vianen, A. E. M. (2018). Construção da vida: Um novo paradigma para compreender a carreira no século XXI. Revista Portuguesa de Psicologia, 42,13-44. https://doi.org/10.21631/rpp42_13        [ Links ]

Durante, D. G., Veloso, F. R., Machado, D. Q., Cabral, A. C. A., & Santos, S. M. (2019). Aprendizagem Organizacional na Abordagem dos Estudos Baseados em Prática: Revisão da Produção Científica. Revista de Administração Mackenzie, 20(2),1-27. https://doi.org/10.1590/1678-6971/eRAMG190131        [ Links ]

Easterby-Smith, M., & Lyles, M. A. (2003). The Blackwell handbook of organizational learning and knowledge management. Oxford Blackwell Publishing.         [ Links ]

Fiol, C. M., & Lyles, M. A. (1985). Organizational learning. Academy of Management Review, 10, 803-813.         [ Links ]

Friedman, J., Hastie, T., & Tibshirani, R. (2008). Sparse inverse covariance estimation with the graphical lasso. Biostatistics, 9(3),432-441. Recuperado de http://statweb.stanford.edu/~tibs/ftp/graph.pdf        [ Links ]

Garvin, D. (1993). Building learning organizations. Harvard Business Review, 71(4),78-91.         [ Links ]

Gil, A. J., Carrillo, F. J., & Fonseca-Pedrero, E. (2019). Assessing a learning organization model: A teacher's perspective. Management in Education, 33(1),21-31. https://doi.org/10.1177/0892020618783815        [ Links ]

Gil, A. J., & Mataveli, M. (2017). "The relevance of information transfer in learning culture: A multigroup study by firm size in the wine industry". Management Decision, 55(8),1698-1716. https://doi.org/10.1108/MD-11-2016-0800        [ Links ]

Hair Jr., J. F., Anderson, R. E., Tatham, R. L., & Black, W. C. (2005). Análise multivariada de dados. Porto Alegre: Bookman.         [ Links ]

Hair Jr., J. F., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2006). Multivariate data analysis (6ª ed.). Upper Saddle River, NJ: Pearson Prentice Hall.         [ Links ]

Holgado-Tello, F., Chacón-Moscoso, S., Barbero-García, I., & Vila-Abad, E. (2010). Polychoric versus Pearson correlations in exploratory and confirmatory factor analysis of ordinal variables. Quality and Quantity, 44(1),153-166. https://doi.org/10.1007/s11135-008-9190-y        [ Links ]

Kelly, G. A. (1963). A theory of personality: The psychology of personal constructs [New ed.]. New York: Norton.         [ Links ]

Kim, J., Egan, T., & Tolson, H. (2015). Examining the Dimensions of the Learning Organization Questionnaire: A Review and Critique of Research Utilizing the DLOQ. Human Resource Development Review, 14(1),91-112. https://doi.org/10.1177/1534484314555402        [ Links ]

Leal, E., Palácios, F., & Nazareth, P. (2020). Cultura de Aprendizagem Organizacional e Adoção de Novas Tecnologias Educacionais em uma Instituição de Ensino Superior em Castanhal - Pará, Brasil. Navus - Revista de Gestão e Tecnologia, 10,01-18. https://doi.org/10.22279/navus.2020.v10.p01-18.1281.         [ Links ]

Lewin, K. (1946). Action research and minority problems. Journal of Social Issues, 2(4),34-46.         [ Links ]

Machado, W., Vissoci, J., & Epskamp, S. (2015). Análise de rede aplicada à psicometria e à avaliação psicológica. Em C. S. Hutz, D. R. Bandeira, & C. M. Trentini (Orgs.), Psicometria (pp. 125-146). Porto Alegre, RS: Artmed.         [ Links ]

Marsick, V. (2013). The Dimensions of a Learning Organization Questionnaire (DLOQ): Introduction to the Special Issue Examining DLOQ Use Over a Decade. Advances in Developing Human Resources, 15(2),127-132. https://doi.org/10.1177/1523422313475984        [ Links ]

Marsick, V., & Watkins, K. E. (2003). Demonstrating the value of a Organizational Learning Culture: The Dimensions of the Learning Organization. Advances in Developing Human Resources, 5(2),132-151. https://doi.org/10.1177/1523422303251341        [ Links ]

Menezes, E. A. C., Guimarães, T. de A., & Bido, D. de S. (2012). Dimensões da aprendizagem em organizações: validação do Dimensions of the Learning Organization Questionnaire (DLOQ) no contexto brasileiro. RAM. Revista de Administração Mackenzie, 12(2),4-29. https://doi.org/10.1590/s1678-69712011000200002        [ Links ]

Pawlowsky, P. (2001). The treatment of organizational learning in management science. Em M. Dierkes, A. B. Antal, J. Child, & I. Nonaka (Eds.), Handbook of organizational learning and knowledge (pp. 61-88). Oxford: Oxford University Press.         [ Links ]

Pedler, M., & Burgoyne, J. G. (2017)."Is the learning organisation still alive?". The Learning Organization, 24(2),119-126. https://doi.org/10.1108/TLO-12-2016-0087        [ Links ]

Pedler, M., Burgoyne, J., & Boydell, T. (1991). The learning company. New York: McGraw-Hill.         [ Links ]

Peterson, C. H., Peterson, N. A., & Powell, K. G. (2017). Cognitive interviewing for item development: Validity evidence based on content and response processes. Measurement and Evaluation in Counseling and Development, 50(4),217-223. https://doi.org/10.1080/07481756.2017.1339564        [ Links ]

Robinaugh, D. J. , Millner, A.J., & McNally, R.J. (2016). Identifying highly influential nodes in the complicated grief network. Journal of Abnormal Psychology, 125(6),747-757. https://doi.org/10.1037/abn0000181        [ Links ]

Ryan, K., Gannon-Slater, N., & Culbertson, M. J. (2012). Improving Survey Methods With Cognitive Interviews in Small- and Medium-Scale Evaluations. American Journal of Evaluation, 33(3),414-430. https://doi.org/10.1177/1098214012441499        [ Links ]

Schreiber, J. B., Nora, A., Stage, F. K., Barlow, E. A., & King, J. (2006). Reporting structural equation modeling and confirmatory factor analysis results: A review. The Journal of educational research, 99(6),323-338. https://doi.org/10.3200/JOER.99.6.323-338        [ Links ]

Schweizer, K. (2011). On the changing role of Cronbach's α in the evaluation of the quality of a measure. European Journal of Psychological Assessment, 27(3),143-144. https://doi.org/10.1027/1015-5759/a000069        [ Links ]

Sidani, Y., & Reese, S. (2018). A journey of collaborative learning organization research: Interview with Victoria Marsick and Karen Watkins. The Learning Organization, 25(3),199-209. https://doi.org/10.1108/TLO-01-2018-0015        [ Links ]

Siddique, C. M. (2018). Learning organization and firm performance Making a business case for the learning organization concept in the United Arab Emirates. International Journal of Emerging Markets, 13(4),689-708. https://doi.org/10.1108/IJoEM-07-2016-0184        [ Links ]

Silva, A., Cabral, A. C. A., Santos, S. M., & Matos Filho, J. C. (2013). Cultura de aprendizagem e desempenho nas TVs Cearenses. R. Adm. FACES Journal Belo Horizonte, 12(4),30-48.         [ Links ]

Song, J. H., Chermack, T. J., & Kim, W. (2013). An Analysis and Synthesis of DLOQ-Based Learning Organization Research. Advances in Developing Human Resources, 15(2),222-239. https://doi.org/10.1177/1523422313475995        [ Links ]

Voolaid, K., & Ehrlich, Ü. (2017). Organizational learning of higher education institutions: the case of Estonia. The Learning Organization, 24(5),340-354. https://doi.org/10.1108/TLO-02-2017-0013        [ Links ]

Watkins, K., & Marsick, V. (1997). Dimensions of the learning organization questionnaire. Warwick, RI: Partners for the Learning Organization. https://doi.org/10.1177/1523422313475854        [ Links ]

Watkins, K., & Marsick, V. (1993). Sculpting the learning organization: Lessons in the art and science of systemic change. San Francisco: Jossey-Bass. https://doi.org/10.1002/hrdq.3920060410        [ Links ]

Watkins, K. E., & O'neil, J. (2013). The Dimensions of the Learning Organization Questionnaire (the DLOQ): A Nontechnical Manual. Advances in Developing Human Resources, 15(2),133-147. https://doi.org/10.1177/1523422313475854        [ Links ]

Yang, B., Watkins, K. E., & Marsick, V. J. (2004). The Construct of the Learning Organization: Dimensions, Measurement, and Validation. Human Resource Development Quarterly, 15(1),31-55. Recuperado de http://assets.csom.umn.edu/assets/21929.pdf        [ Links ]

Yin, P., Lau, Y., Mclean, G. N., Hsu, Y.-C., Ya, B., & Lien, H. (2017). Learning organization, organizational culture, and affective commitment in Malaysia: A person-organization fit theory. Human Resource Development International, 20(2),159-179. https://doi.org/10.1080/13678868.2016.1246306        [ Links ]

 

 

Informações sobre os autores:
Giovana Urrutia Pereira
E-mail: giovapereira@gmail.com

Wagner de Lara Machado
E-mail: wagner.machado@pucrs.br

Manoela Ziebell de Oliveira
E-mail: manoela.ziebell@gmail.com

Submissão: 27/09/2020
Primeira Decisão Editorial: 08/01/2021
Versão Final: 13/09/2021
Aceito em: 18/11/2021

Creative Commons License