ARTIGOS

 

Adaptação e propriedades psicométricas da escala de intenção de turnover e busca de emprego

 

Adaptation and psychometric properties of the turnover intention and job search scale

 

Adaptación y propiedades psicométricas de la escala de intención de turnover y búsqueda de empleo

 

 

Adão Ademir da Silva; Wagner de Lara Machado; Lucas André Schuster de Souza; Nathália Mambrini Sandoval Barbosa; Rodrigo Soares de Assis; Manoela Ziebell de Oliveira

Pontifícia Universidade Católica do Rio Grande do Sul

Endereço para correspondência

 

 

---

RESUMO

O estudo testou as propriedades psicométricas da Escala de Intenção de Turnover e Busca de Emprego. A escala inova em relação a outras medidas ao contemplar cognições sobre a saída do emprego e comportamentos de busca de emprego na avaliação da intenção e comportamento de turnover. Participaram 70 homens e 131 mulheres com idade média de 33,7 anos, provenientes de três cidades do sul do Brasil. A pesquisa foi divulgada on-line e os dados analisados no Programa R. A análise gráfica e fatorial confirmatória indicaram quatro fatores, apresentando as seguintes medidas de ajustes: χ2 = 66,41, CFI = 0,998, TLI = 0,997, RMSEA = 0,08. Os resultados indicam que a escala apresenta evidência de validade interna, de conteúdo e convergente com uma medida já consagrada de intenção de turnover. Evidencia ainda o potencial da escala para análise de intenção de turnover e tomada de decisão sobre a gestão do capital humano nas organizações.

Palavras-chave: intenção de turnover, psicologia organizacional, cognições de saída, comportamento de busca de emprego

---

ABSTRACT

The study tested the psychometric properties of the Turnover Intention and Job Search Scale. The scale innovates by combining measures of Withdrawal Cognitions and Job Search Behavior to evaluate turnover intention and behavior. Participants were 70 men and 131 women with average age of 33.7 years, from three cities in southern Brazil. Data was collected using an online survey, and analyzed using the Software R. The Graphical Analysis and the Confirmatory Factorial Analysis indicated four factors presenting the following fit measures: χ2 = 66.41, CFI = 0.998, TLI = 0.997, RMSEA = 0.08. The results provide evidence for internal and content validity, besides convergent validity with an already established measure of turnover intention. Findings also indicate the potential of the scale for the analysis of turnover intention and decision making on human capital management in organizations.

Keywords: Turnover Intent, Organizational Psychology, Outcome Cognitions, Job Seeking Behavior

---

RESUMEN

El estudio examinó las propiedades psicométricas de la Escala de Intención de Turnover y Búsqueda de Empleo. La escala innova al combinar el Withdrawal Cognitions con el Job Search Behavior para la evaluación de la intención y comportamiento de turnover. Participaron 70 hombres y 131 mujeres con edad media de 33,7 años, provenientes de tres ciudades del sur de Brasil. La investigación fue divulgada online y los datos fueron analizados en el Programa R. El análisis gráfico y factorial confirmatorio indicaron cuatro factores, presentando las siguientes medidas de ajustes: χ²= 66,41,CFI= 0,998, TLI= 0,997, RMSEA= 0,08. Los resultados indican que la escala presenta evidencia de validez interna, de contenido y convergente con una célebre medida de intención de turnover. Así mismo, evidencia el potencial de la escala para el análisis de intención turnover y toma de decisión sobre la gestión del capital humano en las organizaciones.

Palabras clave: Intención de Turnover, Psicología Organizacional, Cogniciones de salida, Comportamiento de Búsqueda de empleo.

---

 

 

O turnover, movimento de entrada e saída de pessoas de determinada instituição, é determinado pelo número de funcionários que foram contratados e desligados, sobre o total de funcionários atuantes em uma organização em um determinado espaço de tempo (Perroni & Souza, 2016). A literatura evidencia que o ingresso de novos profissionais pode trazer conhecimento e novos valores ao ambiente de trabalho; por outro lado, índices de turnover elevados, aumentam os custos da organização devido à necessidade de recrutamento, seleção, treinamento, tempo de adaptação do novo funcionário e perda de mão de obra qualificada. (Guse & Carvalho, 2015; Perroni & Souza, 2016). Esses indicadores tornam-se especialmente preocupantes quando a decisão de deixar a organização parte do funcionário - o fenômeno do turnover voluntário (Hom, Lee, Shaw, & Hausknecht, 2017).

Desde a proposição do primeiro modelo explicativo do turnover de profissionais, publicado por March e Simon (1958), foram produzidos e testados inúmeros modelos, mais abrangentes e complexos (Lee & Mitchell, 1994; Maertz & Griffeth, 2004), os quais incluíram novos constructos explicativos (Mitchell, Holtom, Lee, Sablynski, & Erez, 2001) e propuseram diferentes soluções metodológicas para avaliar os preditores de turnover (Bryant & Allen, 2013; Griffeth, Steel, Allen, & Bryan, 2005; Maertz & Boyar, 2012; Rothausen, Henderson, Arnold, & Malshe, 2015). Apesar das diferenças entre eles, há um consenso sobre o fato de que a intenção de turnover seja resultante de um processo que começa com a insatisfação no emprego e pode culminar com a saída voluntária do posto de trabalho e da instituição (Li, Lee, Mitchell, Hom, & Griffeth, 2016; Mobley, 1977). Dentre os bens de uma empresa, tem crescido o reconhecimento de que o capital humano é um recurso de alto impacto no desempenho organizacional, uma vez que, quando um profissional, especialmente o de alta qualificação, deixa o trabalho, há perda do conhecimento acumulado, comprometimento da produção e perda do investimento feito no profissional que vai para outra empresa (Vidotto, Bentancourt, & Bastos, 2016).

Dentre os diversos modelos explicativos sobre a intenção de turnover voluntário, destaca-se o proposto por Hom e Griffeth (1991), o qual mostra que as cognições de saída e comportamento de busca de emprego têm efeitos diretos no comportamento de turnover ao longo do tempo de trabalho. São considerados comportamentos de busca de emprego: comportamento preparatório de busca de emprego; comportamento ativo de busca de novo emprego; intensidade de busca de emprego e autoeficácia para a busca de emprego (Blau, 1993; Saks, Zikic, & Koen, 2015).

No comportamento preparatório de busca de emprego, o empregado reúne fontes para obter informação sobre vagas de emprego e acompanha, ao longo do tempo, essas informações, dependendo do seu grau de autonomia (Blau, 1994; Koen, Van Vianen, Van Hooft, & Klehe, 2016). As fontes usadas incluem fontes informais, como amigos e conhecidos, e fontes formais, como anúncios de emprego impressos e digitais e serviços de recolocação de emprego (Koen et al., 2016). A fase preparatória de busca de emprego diz respeito, portanto, aos esforços que o indivíduo reúne para produzir informações sobre vagas de emprego.

A fase de busca ativa, por sua vez, começa quando o indivíduo dá início, concretamente, à sua busca por emprego, entrando em contato com outras organizações, procurando novas posições em consultorias e empresas especializadas e conversando com colegas e amigos que podem lhe ajudar a alcançar sua recolocação (Koen et al., 2016). A intensidade, por sua vez, diz respeito ao tempo dedicado à exploração de diferentes opções e a consideração de futuros possíveis (Koen et al., 2016). Por fim, a autoeficácia para a busca de emprego é a crença que o indivíduo tem de que pode realizar com sucesso comportamentos específicos de procura de emprego (Saks & Ashforth, 1999).

Dado o impacto e a complexidade dos fenômenos da intenção e do comportamento de turnover voluntário, é evidente a necessidade de dispor de instrumentos adequados para mensurá-los. A Escala de Intenção de Turnover e Busca de Emprego EITBE (Turnover Intention and Job Search Scale; TIJSS), criada por Hom e Griffeth e apresentada a um dos autores deste estudo (R. W Griffeth, Personal Communication, February 22, 2012), se apresenta como uma alternativa relevante para esta finalidade, uma vez que contempla a variável busca de emprego, ausente nos demais instrumentos de intenção de turnover disponíveis no Brasil.

A respeito dos instrumentos utilizados para avaliar a intenção de turnover em artigos científicos brasileiros, a revisão da literatura produzida por Beria, Ligorio, Pinhatti, Boucinha e Oliveira (2017) indicou a presença de apenas um artigo o qual empregava uma medida unidimensional de seis itens para avaliar a intenção de turnover (Lopes, Moretti, & Alejandro, 2011). Outro instrumento disponível para avaliação desse fenômeno no contexto brasileiro é a Medida de Intenção de Rotatividade, publicada por Siqueira, Gomide Júnior, Oliveira e Polizzi Filho (2014) em livro. Trata-se de uma medida unidimensional de três itens que pretende avaliar o grau em que o indivíduo elabora planos sobre sua saída da empresa na qual trabalha.

O presente estudo tem como objetivo apresentar as propriedades psicométricas da EITBE. Especificamente busca apresentar evidências de validade de conteúdo, estrutural e por relação com variáveis externas (concorrente e convergente) da escala, bem como indicadores de confiabilidade. São, portanto, hipóteses deste estudo:

• Hipótese 1: A versão adaptada da escala se mostrará clara e compreensível e, portanto, adequada para avaliar os construtos que se propõe a avaliar.

• Hipótese 2: A escala adaptada reproduzirá a estrutura fatorial proposta para o instrumento original.

• Hipótese 3: A escala adaptada apresentará índices de confiabilidade aceitáveis ou superiores aos do instrumento original.

• Hipótese 4: Os escores da EITBE apresentarão associação negativa com níveis de satisfação no emprego.

• Hipótese 5: Os escores da EITBE apresentarão associação positiva com outra medida de intenção de turnover.

 

Método

Etapa 1 - Adaptação Transcultural da EITBE

Após aprovação pelo Comitê de Ética em Pesquisa, a escala original americana foi adaptada para a língua portuguesa brasileira seguindo os passos sugeridos por Borsa, Damásio e Bandeira (2012). Para tanto, foi traduzida para o português brasileiro e avaliada por três juízes com experiência acadêmica e profissional reconhecida na área de investigação. Posteriormente, foi realizada a tradução reversa para o inglês, a qual foi submetida à avaliação de um dos autores da escala original, a fim de verificar a equivalência semântica da versão traduzida.

Após essa etapa, buscou-se obter evidências de validade de face mediante a aplicação da escala a 10 profissionais da população-alvo, em um grupo focal no qual foram discutidos aspectos da clareza e compreensibilidade da escala. Os participantes foram solicitados a emitirem suas opiniões e julgamentos a respeito da escala, além de uma avaliação sobre a capacidade dos itens de medirem aquilo que se propunham a medir (Borsa et al., 2012).

Etapa 2 - Avaliação das Propriedades Psicométricas da EITBE

Participantes

A composição da amostra seguiu as orientações de Byrne (2010), de que para produzir um modelo adequado e suficiente para uma análise fatorial são necessários cinco a 20 participantes por item do instrumento avaliado. Devido à composição heterogênea da amostra, foram considerados 20 participantes por item do instrumento, totalizando 200 participantes.

Os critérios de inclusão dos participantes na amostra foram: estar em atividade laboral em alguma organização privada e ser maior de 18 anos. Foram excluídos participantes que não concluíram o preenchimento do instrumento. A pesquisa foi divulgada pela internet, usando canais diversos como Facebook e LinkedIn. Inicialmente foram enviados convites a pessoas da rede de contatos dos pesquisadores por meio de e-mail e Whatsapp. Em seguida, solicitou-se que os participantes fornecessem contatos de outras pessoas que poderiam ter interesse em participar. A coleta de dados foi realizada pela plataforma Qualtrics.

A composição final da amostra da pesquisa foi de 201 indivíduos, residentes em três cidades da região sul do Brasil. Destes, 34,8% (n = 70) eram homens e 65,2% (n = 131) eram mulheres. A média de idade foi de 33,7 anos (SD = 9,8) com idade mínima de 18 anos e máxima de 64 anos. Quanto à atuação profissional, 36,3% (n =73) atuavam na área de serviços, 25% atuavam profissionalmente no comércio (n = 51), 13,4% eram profissionais do ensino (n = 27), 11,9%, profissionais da indústria (n = 24), 10,4% atuavam na área da saúde (n = 21) e 2,4% não responderam (n = 05). O procedimento de coleta foi realizado de abril a junho de 2016.

Instrumentos

Escala de Intenção de Turnover e Busca de Emprego-EITBE (Turnover Intention Job Search Scale - TIJSS). Trata-se de uma escala que avalia intenções e comportamentos de saída do emprego. Esse instrumento traz uma inovação importante para a avaliação da intenção de turnover, uma vez que avalia a variável "cognições de saída" e o "comportamento de busca de emprego". A EITBE foi composta originalmente por 10 itens que constituem quatro dimensões: intenção de deixar o emprego atual (exemplo de item: "Quais são as chances de você deixar esta organização nos próximos 12 meses?"); intenção de buscar novas oportunidades de emprego (exemplo de item: "Durante os próximos meses eu pretendo procurar outra ocupação (outro emprego, voltar a estudar em tempo integral, etc. e deixar meu emprego atual"); reflexões sobre sair do emprego atual (exemplo de item: "Eu pretendo pedir demissão de meu emprego atual"); comportamento de busca de emprego (exemplo de item: "Eu tenho procurado outros empregos desde que eu entrei nesta organização"). A versão utilizada para o presente estudo foi resultado do processo de adaptação descrito anteriormente. As respostas são fornecidas por meio de uma escala ordinal de 5 pontos que vai de 1 = nenhuma chance a 5 = 100% de chance.

Escala de intenção de rotatividade (EIR). Criada por Siqueira, Gomide, Moura e Marques (1997), revisada por Siqueira, Martins, Gomide, Oliveira e Filho (2014). A EIR é um instrumento que visa a avaliar em que medida um indivíduo planeja sair da empresa onde trabalha. Mais especificamente, é composta por três frases: "Penso em sair da empresa onde trabalho"; "Planejo sair da empresa onde trabalho"; "Tenho vontade de sair da empresa onde trabalho". O alfa geral da escala é α = 0,95. A escala avalia o quanto o profissional pensa, planeja, e tem vontade de, no futuro, deixar de trabalhar na empresa com a qual mantém vínculo de trabalho. O participante responde o instrumento a partir de uma escala Likert de cinco pontos (1 = nunca a 5 = sempre) que indica com que frequência vivencia a situação descrita em cada frase.

Versão reduzida da Escala de Satisfação no Trabalho (EST). A escala EST é uma medida multidimensional, construída e validada por Siqueira, Gomide, Moura e Marques (1997), com o objetivo de avaliar quão satisfeito o trabalhador se sente em relação a cinco dimensões do seu trabalho: colegas (exemplo de item: "com a maneira como me relaciono com os colegas"; α = 0,86), salário (exemplo de item: "com o meu salário comparado com o quanto eu trabalho"; α = 0,92), chefia (exemplo de item: "com a capacidade profissional do meu chefe"; α = 0,90), natureza do trabalho (exemplo de item:" com a capacidade do meu trabalho absorver-me"; α = 0,82), e promoções (exemplo de item: "com as oportunidades de ser promovido nessa empresa"; α = 0,87). A versão reduzida do instrumento, utilizada neste estudo, é composta por 15 itens que devem ser respondidos utilizando uma escala Likert de sete pontos (1 = totalmente insatisfeito a 7 = totalmente satisfeito).

Procedimentos Éticos

Previamente à coleta de dados, este estudo foi aprovado pelo Comitê de Ética da Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) sob o número: 51784515.1.0000.5336. O caráter voluntário da participação, foi assegurado mediante a utilização de um Termo de Consentimento Livre e Esclarecido (TCLE).

 

Análise de Dados

Validade de Construto

Buscou-se obter evidências de validade de construto da escala por meio do estudo das relações entre os itens que a compõem, tendo em vista que os construtos avaliados tendem a se expressar em agrupamentos consistentes que podem ser identificados mediante a análise das correlações entre os escores dos itens que compõem o teste. Para tanto, inicialmente empregou-se um procedimento de caráter exploratório, baseado na geração de modelos gráficos utilizados para representar a estrutura formada pelos itens da escala. As chamadas análises de rede, bem como os algoritmos de comunidade, foram utilizados neste caso, como alternativa aos modelos de traço latente, para a estimação dos agrupamentos de itens em instrumentos psicométricos (Bringmann, Lemmens, Huibers, Borsboom, & Tuerlinckx, 2015). Em seguida, análises fatoriais confirmatórias foram realizadas para fundamentar a tomada de decisão sobre qual dos modelos gerados nas análises gráficas se ajustaria melhor aos dados.

Análise de Rede e Análise Fatorial Confirmatória

Primeiramente, considerando o nível de mensuração categórico ordinal das variáveis investigadas, estimou-se a matriz de correlações policóricas entre os itens do instrumento. Em seguida, procedeu-se uma análise de rede para representar graficamente as relações entre os itens (Lauritzen, 1996). Na representação gráfica adotada, as arestas podem variar de cor e intensidade indicando a direção e magnitude da associação (Machado, Vissoci, & Epskamp, 2015). Um algoritmo de posicionamento foi utilizado para aproximar ou repelir as variáveis de acordo com a magnitude de suas associações, fazendo com que as variáveis com maior número de associações se posicionassem ao centro do grafo (Fruchterman & Reingold, 1991). O método de regularização Least Abssolute Shrinkage and Selection Operator (LASSO) (Friedman, Hastie, & Tibshirani, 2008) foi empregado para estimar uma rede de relações condicionais (correlações parciais) entre os itens. Esse método foi empregado com o propósito de evitar o superajuste do modelo, fixando em zero as associações de baixa magnitude. Após a estimação de diferentes níveis de penalização do modelo, aquele com melhor ajuste foi selecionado a partir do índice Extended Bayesian Information Criterion (EBIC; Chen & Chen, 2008). Posteriormente, análises de comunidade baseadas na modularidade (Blondel, Guillaume, Lambiotte, & Lefebvre, 2008; Pons & Latapy, 2005) e no modelo Potts (Reichardt & Bornholdt, 2006) foram conduzidas com a finalidade de identificar subgrupos de itens. Essas análises têm por objetivo identificar agrupamentos dentro do modelo gráfico final.

Os modelos gerados pela análise de comunidade foram então avaliados por meio de análise fatorial confirmatória a fim de determinar qual das estruturas de fatores apresentou melhor ajuste aos dados. Tendo em consideração a natureza ordinal dos itens da EITBE, utilizou-se o estimador WLSMV (Mean and variance adjusted weighted least squares), mais indicado para AFCs com dados não normais (Li, 2016). Foram utilizadas como medidas de ajuste de modelo a razão entre o qui-quadrado (χ2) e os graus de liberdade (gl), o Comparative Fit Index (CFI), Tucker-Lewis índex (TLI) e Root Mean Square Error of Approximation (RMSEA). Os pontos de corte adotados para aceitar o modelo foram (χ2/gl) entre 1 e 3 (Kline, 2005), CFI e TLI > 0,95, e RMSEA < 0,08 (Brown, 2006; Schreiber, Nora, Stage, Barlow, & King, 2006).

Os índices CFI (Comparative Fit Index) e TLI (Tucker Lewis Index) calculam o ajuste relativo do modelo observado ao compará-lo com um modelo base, cujos valores acima de 0,95 indicam ótimo ajuste e os superiores a 0,90 indicam ajuste adequado (Bentler, 1990; Hu & Bentler, 1999). Por sua vez, o RMSEA (Root-Mean-Square Error of Aproximation) é também uma medida de discrepância, sendo esperados resultados menores que 0,05, mas aceitáveis até 0,08, apesar de tal coeficiente penalizar modelos complexos. Por fim, o SRMR (Standardized Root Mean Square Residual) reporta a média padronizada dos resíduos (discrepâncias entre a matriz observada e modelada), sendo que índices menores que 0,10 são indicativos de bom ajuste (Hair et al., 2009; Kline, 2005). O script contendo os comandos para executar as análises de rede, comunidade e fatorial confirmatória no software R estão no Apêndice A.

Confiabilidade

A consistência interna de cada subescala da EITBE foi verificada por meio do coeficiente alfa de Cronbach ordinal, Gadermann, Guhn e Zumbo (2012), e pela determinação dos coeficientes de confiabilidade composta e medida de variância média extraída (Tabela 2). O coeficiente de Confiabilidade Composta (CC) e a medida de Variância Média Extraída (VME) são indicadores de fidedignidade que levam em conta as cargas fatoriais e estimativas de erro identificadas no modelo de equações estruturais. Assim, torna-se possível obter uma medida de consistência interna mais precisa, uma vez que não se parte do pressuposto de que os erros de medida são homogêneos e de que os pesos dos itens nos fatores são equivalentes (Valentini & Damásio, 2016).

Validação por Relação com Variáveis Externas

Buscou-se coletar evidências adicionais de validade do instrumento mediante a análise de sua relação com variáveis externas. Para tanto estimou-se a associação entre os escores compostos das quatro dimensões da EITBE e outras medidas teoricamente associadas, averiguando se essas associações ocorreriam de modo coerente com as previsões teóricas (Pacico e Hutz, 2015). Para tanto, foram verificadas as associações monotônicas entre os escores das escalas utilizadas, mediante a determinação do coeficiente de correlação de Spearman (r_s), teste escolhido por se tratar de uma distribuição não normal dos dados. Neste estudo, utilizou-se a Escala de Satisfação no Trabalho (EST) como critério, por ser a satisfação/insatisfação um construto indicado pela literatura como correlacionado forte e negativamente à intenção de turnover (Mobley, 1977; Liu, While, Li, & Ye, 2013).

Adicionalmente, verificou-se a associação dos resultados da escala a uma outra medida de um construto semelhante já validada no contexto brasileiro. Isso foi feito por meio da análise da correlação entre os resultados da EITBE e a Escala de Intenção de Rotatividade (EIR), que é uma escala validada e amplamente usada no Brasil para avaliar um construto muito semelhante ao investigado no presente estudo (Siqueira, Martins, Gomide, Oliveira, & Filho, 2014). Nesse caso, para que se possa concluir acerca da convergência entre as medidas, é necessário que as correlações entre as escalas sejam altas e positivas (Pasquali, 2007).

Todas as análises foram conduzidas no ambiente de programação estatística R. As análises de correlação e coeficiente alpha foram realizadas com o pacote psych (Revelle, 2016). Para as análises de redes e comunidades, utilizaram-se os pacotes qgraph, (Epskamp, Cramer, Waldorp, Schmittmann, & Borsboom, 2012) e igraph (Csardi & Nepusz, 2006). As análises fatoriais foram conduzidas usando o pacote lavaan (Rosseel, 2012), enquanto as análises de confiabilidade composta e variância média extraída foram realizadas utilizando o pacote semTools (semTools Contributors, 2016).

 

Resultados

Verificação dos Modelos de Ajustes da EITBE

A partir da análise gráfica de rede, os itens da escala convergiram em um modelo esparso no qual as variáveis se agruparam de modo coerente com seus conteúdos. Os diferentes algoritmos de comunidades utilizados geraram modelos diferentes, sendo que o modelo gerado pelo método Walktrap, baseado em modularidade, foi composto de três comunidades, enquanto o modelo gerado pelo método Spinglass, baseado no modelo Potts, foi composto por quatro comunidades.

Na análise de rede com quatro comunidades, o item 5, intenção de deixar o emprego atual, migrou para a dimensão reflexões sobre sair do emprego. As demais dimensões originais, contudo, se mantiveram (Figura 1). Na análise gráfica, pode-se perceber que as correlações e associações entre os itens dentro de cada dimensão se mantiveram fortes mesmo depois de eliminadas as correlações espúrias, sendo a correlação indicada pelos valores numéricos (com exclusão de valores espúrios) e a associação pela espessura das arestas entre os itens (Machado, Vissoci, & Epskamp, 2015).

 

 

As análises indicaram ainda que, independentemente de o modelo ser composto de três ou de quatro dimensões, as associações entre o item 2 e o item 4 e entre o item 6 e o item 10 foram fortes. No modelo de quatro fatores, a associação entre as dimensões da escala foi mais forte nas dimensões Comportamento de busca de emprego (itens 7, 8 e 9) e reflexões sobre sair do emprego (itens 5, 6 e 10) e entre as dimensões intenção de deixar o emprego (itens 2, 4) e intenção de buscar novas oportunidades de emprego (itens 1 e 3) (Figura 1).

Como sinalizado anteriormente a análise gráfica apontou dois modelos possíveis para a escala EITBE, contendo três e quatro fatores. A determinação do modelo mais adequado se deu com base nos indicadores de ajuste das análises fatoriais confirmatórias, que evidenciaram que o modelo de quatro fatores apresenta melhor ajuste aos dados. Para testar os ajustes levando em conta os resíduos presentes nas análises, um outro modelo foi gerado e comparado aos anteriores considerando algumas relações relevantes entre itens de comunidades diferentes, análogas às cargas fatoriais cruzadas nos modelos fatoriais. Este modelo foi chamado de "quatro fatores modificados" e contemplou a correlação residual entre os itens que fez com que os valores de ajuste ficassem quase perfeitos. O intervalo de confiança do RMSEA para 3 fatores ficou entre 0,103 a 0,147 e para 4 fatores ficou entre 0,055 a 0,106. Os índices de ajustes absolutos e comparativos estão descritos na Tabela 1.

Dentre os modelos testados, foi utilizado o de quatro fatores composto por 10 itens e quatro dimensões. Este modelo pode ser visualizado no diagrama constante na Figura 2, em que são representados os fatores e itens que o compõem, bem como as cargas fatoriais de cada item e correlações entre fatores. O erro padrão para cada item foi: item1= 0,011, item2 = 0,007, item 3 = 0,010, item 4 = 0,007, item 5 = 0,008, item 6 = 0,009, item 7 = 0,027, item 8 = 0,020, item 9 = 0,027, item 10 = 0,015.

Confiabilidade

A confiabilidade da escala foi mensurada por meio de uma avaliação de sua consistência interna, utilizando-se o coeficiente alfa de Cronbach ordinal, calculado a partir de uma matriz de correlações policórica (Zumbo, Gadermann, & Zeisser, 2007; Cohen et al., 2014), bem como pela determinação do coeficiente de confiabilidade composta e da variância média extraída pelos fatores (Valentini & Damásio, 2016). Todos os indicadores de confiabilidade apresentaram valores satisfatórios, superiores a 0,70 (Valentini & Damásio, 2016). Os indicadores de confiabilidade para as dimensões da EITBE estão descritos na Tabela 2. Em sua composição final, os indicadores de confiabilidade para as escalas do instrumento foram: Intenção de Deixar o emprego (IDE; questões 2, 4; α = 0,98); Intenção de buscar novas oportunidades de emprego (IBE; questões 1 e 3; α = 0,96); Reflexões sobre sair do emprego atual (RSE; questões 5, 6 e 10; α = 0,97); e Comportamento de busca de emprego (CBE; questões 7, 8 e 9; α = 0,92).

Relações com Variáveis Externas

Quanto à associação com variáveis externas, verificou-se um coeficiente de correlação não paramétrica de magnitude moderada de -0,463 entre as escalas da EITBE e da EST. As escalas da EITBE também apresentaram associações lineares significativas de magnitude forte de 0,825 com a Escala de Intenção de Rotatividade (EIR). A descrição das correlações entre a EITBE e suas dimensões com as escalas EST e EIR estão descritas na Tabela 3.

 

Discussão

Após a adaptação e validação para a realidade brasileira, a escala manteve uma estrutura fatorial consistente com a proposta original, constituindo-se de quatro fatores relacionados entre si. A partir de uma análise em duas etapas, uma exploratória e outra confirmatória, foi possível coletar evidências que suportam a validade da escala em relação a sua estrutura. Ademais, os indicadores de confiabilidade apontam uma ótima precisão das subescalas, no que tange a sua estrutura interna. Ressalta-se que a análise de confiabilidade também reúne tanto evidências baseadas na teoria clássica dos testes (coeficiente alfa de Cronbach), quanto evidências baseadas em modelos de equações estruturais. A convergência de ambos indicadores confere maior robustez aos achados referentes à confiabilidade.

As associações estatisticamente significativas e coerentes com as predições teóricas sugerem a plausibilidade das Hipóteses 1, de que a EITBE se mostra um instrumento claro e compreensível e, portanto, adequado para avaliar os construtos que se pretende mensurar e Hipótese 3, de que apresentará índices de confiabilidade aceitáveis ou superiores. Dessa forma, os resultados aqui apresentados conferem evidências suficientes para considerar a escala como uma medida compreensível, válida, confiável, e com utilidade prática.

As quatro dimensões (IDE, IBE, RSE, CBE) avaliadas pela escala demonstraram ser capazes de mensurar aspectos cognitivos e comportamentais presentes no processo de refletir e pensar em sair do emprego, bem como buscar outras oportunidades de trabalho. Esse resultado confirma a Hipótese 2, de que a escala adaptada mantém a estrutura fatorial proposta para o instrumento original.

As três primeiras dimensões referidas são chamadas teoricamente de cognições sobre a saída do emprego (Mobley, 1977; Hom & Griffeth, 1991). Estudos que investigam os fatores preditores do turnover voluntário vêm apontando que o comportamento de busca de emprego é um dos antecedentes desse fenômeno (Blau, 1993, Fort, Jacquet, & Leroy, 2011). Esta variável está contemplada na EITBE, tanto na dimensão de cognições de saída, quanto na dimensão de busca ativa por outro emprego (CBE). A dimensão CBE se refere às ações em direção ao encontro de um novo emprego. Embora esta variável já seja mencionada em estudos nas décadas de 70 e 80 (Mobley, 1977; Hom, Griffeth, & Sellaro, 1984), é a partir do estudo desenvolvido por Hom e Griffeth (1991) que é mais claramente definida, e ganha papel central na predição do turnover voluntário. Segundo Blau (1993; 1994) o comportamento de busca de emprego é estruturado em comportamento preparatório de busca de emprego e em comportamento ativo de busca de novo emprego.

Em estudo conduzido por Hom e Griffeth (1991), os autores apresentaram um modelo de intenção de sair e ficar no trabalho que pode ser relacionado à escala EITBE. Para os autores, a permanência ou saída das organizações começa com a insatisfação no emprego e leva o indivíduo a pensar e planejar sua saída do emprego (cognições de saída do emprego, que são contempladas pelas dimensões IDE e RSE. Quando o empregado pensa em sair, passa a planejar sua saída do emprego, no sentido de buscar novas oportunidades de emprego, etapa que está contemplada pela dimensão IBE. Finalmente, quando o empregado passa da etapa introspectiva de pensar e planejar para a etapa de buscar ativamente novas oportunidades de emprego, este movimento de busca de emprego é contemplado pela dimensão CBE (Hom & Griffeth, 1991; Blau, 1994; Lim, Lent, & Penn, 2016).

No que concerne às evidências de validade por relação com variáveis externas, se pôde evidenciar correlações significativas entre a EITBE com a escala EST e escala EIR, confirmando as Hipóteses 5 e 6. A correlação entre a EITBE e EST foi negativa e de magnitude moderada (-0,46) e a correlação entre a EITBE e a EIR foi forte de (0,82). Tanto os resultados entre itens e resultados gerais entre as escalas mostram que a correlação negativa entre a EITBE e a EST é um indicativo de que a EITBE apresenta o comportamento esperado em comparação a outros estudos que testaram as relações entre satisfação e intenção de sair do emprego (Mobley, 1977; Knapp, Smith, & Sprinkle, 2017). Estatisticamente a relação entre a EITBE e a escala EIR se mostrou forte e positiva, o que indica que a EITBE e a EIR medem de forma semelhante o mesmo construto, intenção de sair do emprego.

Considera-se que este estudo representa uma importante contribuição ao campo da pesquisa sobre turnover voluntário, ao apresentar um instrumento com grande potencial para a aplicação prática e em pesquisas, e excelentes indicadores de validade. Os resultados encontrados são comparáveis a outros estudos brasileiros que abordaram intenção de Turnover. O estudo de validação da Escala de Intenção de Rotatividade, realizado por Siqueira, Gomide Júnior, Oliveira e Polizzi Filho (2014), por exemplo, apresentou KMO de 0,772, Teste de Esfericidade de Bartlett com qui-quadrado igual a 669,102 (gl = 3; p < 0,01) com um fator extraído explicando 91,475% de variância total, autovalor de 2,617 e Alpha de Cronbach de 0,95. De forma semelhante, no estudo Lopes, Moretti e Alejandro (2011) o qual investigou a avaliação de justiça e intenção de Turnover, foram obtidos índices aceitáveis de mensuração (c2= 142,36 / 59 gl; p < 0,05, RMSEA = 0,08; CFI = 0,93;GFI = 0,90; NFI = 0,89; RMR = 0,06).

Além disso, os métodos empregados apresentam caminhos inovadores para análise de instrumentos psicométricos, integrando avanços recentes da análise de redes e comunidades às já bem estabelecidas análises fatoriais e de confiabilidade. Embora detenha importantes virtudes, este estudo apresenta também algumas limitações. Em primeiro lugar, utilizou-se um conjunto pequeno de variáveis de critério para a escala, o que dificulta o estabelecimento de uma rede nomológica de maior complexidade. Um conjunto maior de variáveis critério conferiria evidências de validade de construto ainda mais robustas (por exemplo, incluindo variáveis de qualidade de vida no trabalho, estresse ocupacional, satisfação com clima organizacional e relacionamentos interpessoais no trabalho, etc.).

Por fim, a ausência de um controle para estados psicopatológicos dos participantes também impede que se avalie a sensibilidade do instrumento em pessoas com sofrimento psicológico associado ao trabalho. Ainda, o fato de a amostra não ser probabilística, pode aumentar a chance de viés amostral, o que poderia ser atenuado com a replicação do estudo em novas amostras, com características diferentes. Dessa forma, advoga-se pela continuidade dos estudos com esse instrumento, especialmente em desenhos longitudinais que permitam avaliar a capacidade preditiva da EITBE e também que incluam outras variáveis de critério, ampliando assim a compreensão das diversas facetas do fenômeno do turnover voluntário em sua relação com outros construtos relevantes à gestão de pessoas.

 

Referência

Beria, F. M., Ligorio, I., Pinhatti, M. M., Boucinha, D., & Oliveira, M. Z. (2017). Revisão bibliométrica da produção brasileira sobre turnover no período de 1980 a 2015. Estudos e Pesquisas em Psicologia, 17(1), 118-140. doi: 10.12957/epp.2017.34768        [ Links ]

Blau, G. (1993). Further exploring the relationship between job search and voluntary individual turnover. Personnel Psychology, 46(2), 313-330. doi: 10.1111/j.1744-6570.1993.tb00876.x        [ Links ]

Blau, G. (1994). Testing a two-dimensional measure of job search behavior. Organizational Behavior and Human Decision Processes, 59, 288-312. doi: 10.1006/obhd.1994.1061        [ Links ]

Blondel, V. D., Guillaume, J. L., Lambiotte, R., & Lefebvre, E. (2008). Fast unfolding of communities in large networks. Journal of statistical mechanics: theory and experiment, 10, 1-12. doi: 10.1088/1742-5468/2008/10/P10008        [ Links ]

Borsa, J. C., Damásio, B. F., & Bandeira, D. R. (2012). Adaptação e validação de instrumentos psicológicos entre culturas: Algumas considerações. Paidéia, 22(53), 423-432. doi: 10.1590/1982-43272253201314        [ Links ]

Bringmann, L. F., Lemmens, L. H. J. M., Huibers, M. J. H., Borsboom, D., & Tuerlinckx, F. (2015). Revealing the dynamic network structure of the Beck Depression Inventory-II. Psychological medicine, 45(04), 747-757. doi: 10.1017/S0033291714001809        [ Links ]

Brown, T. A. (2006). Confirmatory factor analysis for applied research. United Kingdom: Guilford Press.         [ Links ]

Bryant, P. C., & Allen, D. G. (2013). Compensation, benefits and employee turnover: HR strategies for retaining top talent. Compensation & Benefits Review,45(3), 171-175. doi: 10.1177/0886368713494342        [ Links ]

Byrne, B. M. (2010). Structural equation modeling with AMOS: basic concepts, applications, and programming. (2. ed.). Multivariate applications series. New York: Routledge Taylor & Francis Group.         [ Links ]

Chen, J., & Chen, Z. (2008). Extended Bayesian information criteria for model selection with large model spaces. Biometrika, 95(3), 759-771. doi: 10.1093/biomet/asn034        [ Links ]

Cohen, R. J., Swerdlik, M. E., & Sturman, E. D. (2014). Testagem e Avaliação Psicológica: Introdução a Testes e Medidas. (8. ed.). Porto Alegre: AMGH.         [ Links ]

Csardi, G., & Nepusz, T. (2006). The igraph software package for complex network research. InterJournal, Complex Systems, 1695(5), 1-9. Recuperado de https://www.researchgate.net/publication/221995787_The_Igraph_Software_Package _for_Complex_Network_Research        [ Links ]

Epskamp, S., Cramer, A. O. J., Waldorp, L. J., Schmittmann, V. D., & Borsboom, D. (2012). qgraph: Network Visualizations of Relationships in Psychometric Data. Journal of Statistical Software, 48(4), 1-18. doi: 10.18637/jss.v048.i04        [ Links ]

Fort, I., Jacquet, F., & Leroy, N. (2011). "Self-efficacy, goals, and job search behaviors". Career Development International, 16 (5), 469-481. doi: 10.1108/13620431111168886        [ Links ]

Friedman, J., Hastie, T., & Tibshirani, R. (2008). SpaWR invOICES covariance estimation with the graphical lasso. Biostatistics, 9(3), 432-441. Recuperado de http://statweb.stanford.edu/~tibs/ftp/graph.pdf        [ Links ]

Fruchterman, T. M. J., & Reingold, E. M. (1991). Graph drawing by force-directed placement. Software - Practice and Experience, 12, 1129-1164. Recuperado de http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.13.8444&rep=rep1&type=pdf        [ Links ]

Gadermann, A. M., Guhn, M., & Zumbo, B. D. (2012). Estimating ordinal reliability for Likert-type and ordinal item response data: A conceptual, empirical, and practical guide Practical Assessment, Research & Evaluation, 17(3), 1-13. Recuperado de https://pareonline.net/pdf/v17n3.pdf        [ Links ]

Griffeth, R. W., Steel, R., Allen, D, & Bryan, N. (2005). Development and validation of a multidimensional measure of perceived alternatives: The employment opportunity index (EOI). Journal of Applied Psychology, 90(2), 335-349.doi: 10.1037/0021-9010.90.2.335        [ Links ]

Guse, C., & Carvalho, D. R. (2015). Rotatividade nos profissionais de enfermagem. Ciências Biológicas e da Saúde, 21(1), 47-64. doi: 10.5212/Publ.Biologicas.v.21i1.0006        [ Links ]

Hom, P. W., Griffeth, R. W., & Sellaro, C. L. (1984). The Validity of Mobley's (1977) Model of Employee Turnover. Organizational Behavior and Human Performance, 34, 141-174. doi: 10.1016/0030-5073(84)90001-1        [ Links ]

Hom, P. W., & Griffeth, R. W. (1991). Structural equations modeling test of a Turnover theory: Cross-sectional and longitudinal analyses. Journal of Applied Psychology, 76(3), 350-366. doi: 10.1037/0021-9010.76.3.350        [ Links ]

Hom, P. W., Lee, T. W., Shaw, J. D., & Hausknecht, J. P. (2017). One hundred years of employee turnover theory and research. Journal of Applied Psychology, 102(3), 530-545. doi: 10.1037/apl0000103        [ Links ]

Kline, R. B. (2005). Principles and practice of structural equation modeling (2a ed.). New York: The Guilford Press        [ Links ]

Knapp, J. R., Smith, B. R., & Sprinkle, T. A. (2017). Is It the Job or the Support? Examining structural and relational predictors of job satisfaction and turnover intention for nonprofit employees. Nonprofit and Voluntary Sector Quarterly, 46(3), 642-671. doi: 10.1177/0899764016685859        [ Links ]

Koen, J., Van Vianen, A. E. M., Van Hooft, E. A. J., & Klehe, U. C. (2016). How experienced autonomy can improve job seekers' motivation, job search, and chance of finding reemployment. Journal of Vocational Behavior, 95-96 (2016), 31-44. doi: 10.1016/j.jvb.2016.07.003        [ Links ]

Lauritzen, S. L. (1996). Graphical models. Oxford, UK: Clarendon Press.         [ Links ]

Lee, T. W., & Mitchell, T. R. (1994). An alternative approach: The unfolding model of voluntary employee turnover. The Academy of Management Review, 19, 51-89. doi: 10.2307/258835        [ Links ]

Li, C. H. (2016). Confirmatory factor analysis with ordinal data: Comparing robust maximum likelihood and diagonally weighted least squares. Behavior research methods, 48(3), 936-949. doi: 10.3758/s13428-015-0619-7        [ Links ]

Li, J. J., Lee, T. W., Mitchell, T. R., Hom, P. W., & Griffeth, R. W. (2016). The effects of proximal withdrawal states on job attitudes, job searching, intent to leave, and employee turnover. Journal of Applied Psychology, 101(10), 1436-1456. doi:10.1037/apl0000147        [ Links ]

Lim, R. H., Lent, R. W., & Penn, L. T. (2016). Prediction of job search intentions and behaviors: Testing the social cognitive model of career self-management. Journal of Counseling Psychology, 63(5), 594-603. doi: 10.1037/cou0000154        [ Links ]

Liu, Y. E., While, A., Li, S. J., & Ye, W. Q. (2013). Job satisfaction and work related variables in Chinese cardiac critical care nurses. Journal of nursing management, 23(4), 487-497. doi: 10.1111/jonm.12161        [ Links ]

Lopes, E. L., Moretti, S. L. A., & Alejandro, T. B. (2011). Avaliação de justiça e intenção de turnover em equipes de vendas: teste de um modelo teórico. Revista de Administração de Empresas, 51(6), 553-567. doi: 10.1590/S0034-75902011000600005        [ Links ]

Machado, W., Vissoci, J., & Epskamp, S. (2015). Análise de rede aplicada à psicometria e à avaliação psicológica. Em C. S. Hutz, D. R. Bandeira & C. M. Trentini (Eds.) Psicometria (pp. 125-146). Porto Alegre, RS: Artmed.         [ Links ]

March, J. G., & Simon, H. A. (1958). Organizations. New York, NY: Wiley        [ Links ]

Maertz, C. P. Jr., & Griffeth, R.W. (2004). Eight motives of employee attachment and turnover: A theoretical synthesis with implications for research. Journal of Management, 30(5), 667-684. doi: 10.1016/j.jm.2004.04.001        [ Links ]

Mitchell, T. R., Holtom, B. C., Lee, T. W., Sablynski, C. J., & Erez, M. (2001). Why people stay: Using job embeddedness to predict voluntary turnover. Academy of Management Journal, 44(6), 1102-1121. Recuperado de https://ie.technion.ac.il/~merez/papers/mitchell_embeddedness.pdf        [ Links ]

Mobley, W. H. (1977). Intermediate linkages in the relationship between job satisfaction and employee turnover. Journal of Applied Psychology, 62(2), 237-240. doi: 10.1037/0021-9010.62.2.237        [ Links ]

Pacico, J. C., & Hutz, C. S. (2015). Validade. Em C. S. Hutz, D. R. Bandeira & C. M. Trentini (Eds.) Psicometria (pp. 71-95) Porto Alegre, RS: Artmed.         [ Links ]

Pasquali, L. (2007). Psicometria. Revista Escola de Enfermagem, 43(Esp), 992-999. doi: 10.1590/S0080-62342009000500002        [ Links ]

Perroni, A. C., & Souza, E. P. (2016). Índice de Turnover em uma instituição de nível superior privada. Revista Sul Americana de Psicologia, 4(1), 120-139. Recuperado de http://www.revista.unisal.br/am/index.php/psico/article/view/108        [ Links ]

Pons, P., & Latapy, M. (2005). Computing communities in large networks using random walks. International Symposium on Computer and Information Sciences, 10(2), 191-218. Recuperado de http://jgaa.info/accepted/2006/PonsLatapy2006.10.2.pdf        [ Links ]

Reichardt, J., & Bornholdt, S. (2006). Statistical mechanics of community detection. Physical Review E, 74(1), 16-110. doi: 10.1103/PhysRevE.74.016110        [ Links ]

Revelle, W. (2016) Psych: Procedures for Personality and Psychological Research, Northwestern University, Evanston, Illinois, USA. Recuperado de https://CRAN.R-project.org/package=psychVersion=1.6.12.         [ Links ]

Rosseel, Y. (2016). Package 'lavaan'. Recuperado de https://cran.r-project.org/web/packages/lavaan/lavaan.pdf        [ Links ]

Rothausen, T., Henderson, K., Arnold, J., & Malshe, A. (2017). Should I stay or should I go? Identity and well-being in sensemaking about retention and turnover. Journal of Management, 43(17), 2357-2385. doi: 10.1177/0149206315569312        [ Links ]

Saks, A. M., & Ashforth, B. E. (1999). Effects of individual differences and job search behaviors on the employment status of recent university graduates. Journal of Vocational Behavior, 54(2), 335-349. doi:10.1006/jvbe.1998.1665        [ Links ]

Saks, A. M., Zikic, J., & Koen, J. (2015). Job search self-efficacy: Reconceptualizing the construct and its measurement. Journal of Vocational Behavior, 86(2015), 104-114. doi: 10.1016/j.jvb.2014.11.007        [ Links ]

Schreiber, J. B., Nora, A., Stage, F. K., Barlow, E. A., & King, J. (2006). Reporting structural equation modeling and confirmatory factor analysis results: A review. The Journal of educational research, 99(6), 323-338. doi: 10.3200/JOER.99.6.323-338        [ Links ]

semTools Contributors. (2016). sem Tools: Useful tools for structural equation modeling. R package version 0.4-14. Recuperado de https://CRAN.R-project.org/package=semTools        [ Links ]

Siqueira M. M. M., Gomide, J., Moura, O. I., & Marques, T. M. (1997). Um modelo pós-cognitivo para intenção de rotatividade: Antecedentes afetivos e cognitivos [Resumo], Em, XXVI Congresso Interamericano de Psicologia, São Paulo.         [ Links ]

Siqueira, M. M. M., Martins, M. C. F., Gomide, J., Oliveira, A. F., & Filho, A. P. (2014). Escala de Intenção de Rotatividade. Em M. M. M. Siqueira (Ed.), Novas medidas de comportamento organizacional: ferramentas de diagnóstico e de gestão (pp. 214). Porto Alegre, RS: Artmed.         [ Links ]

Valentini, F., & Damásio, B. F. (2016). variância média extraída e confiabilidade composta: Indicadores de precisão. Psicologia: Teoria e Pesquisa, 32(2), 1-7. doi: 10.1590/0102-3772e322225        [ Links ]

Vidotto, J. D. F., Bentancourt, S. M. P., & Bastos, R. C. (2016). Reflexões sobre a percepção do capital humano nas últimas cinco décadas. International Journal of Knowledge Engineering and Management, 4(10), 169-187. Recuperado de https://bit.ly/2ISAfBC        [ Links ]

Zumbo, B. D., Gadermann, A. M., & Zeisser, C. (2007). Ordinal versions of coefficients alpha and theta for likert rating scales. Journal of Modern Applied Statistical Methods, 6(1), 21-29. Recuperado de http://digitalcommons.wayne.edu/jmasm/vol6/iss1/4        [ Links ]

 

 

Endereço para correspondência:
Manoela Ziebell de Oliveira
Programa de Pós-Graduação em Psicologia da Pontifícia Universidade Católica do Rio Grande do Sul.
Av. Ipiranga, 6681 - Prédio 11 - Sala 938
CEP: 90619-900 Porto Alegre - RS, Brasil
E-mail: manoela.ziebell@gmail.com

Recebido em setembro de 2017
Aceito em dezembro de 2018

 

 

Sobre os autores
Adão Ademir da Silva é enfermeiro e psicólogo pela Universidade Federal de Santa Maria (UFSM). Especialista em Educação pela UFSM. Mestre em Enfermagem pela UFSM e Doutor em Psicologia pela Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS). Atualmente é enfermeiro no Hospital Universitário de Santa Maria (Unidade de Psiquiatria).
Manoela Ziebell de Oliveira é psicóloga, mestre e doutora em Psicologia pela Universidade Federal do Rio Grande do Sul (UFRGS). Atualmente, é Professora Adjunta no Programa de Pós-Graduação Stricto Sensu em Psicologia da Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS).
Wagner de Lara Machado é psicólogo pela Universidade Luterana do Brasil (ULBRA), mestre e doutor em Psicologia pela Universidade Federal do Rio Grande do Sul (UFRGS). Atualmente, é Professor Adjunto no Programa de Pós-Graduação Stricto Sensu em Psicologia da Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS).
Lucas André Schuster de Souza é psicólogo, especialista em Psicologia Clínica pelo Instituto Fernando Pessoa (IFP) e emTerapias Contextuais de Terceira Geração pelo centro de estudos da família e do Indivíduo (CEFI), e mestre em Psicologia Clínica pela Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS)
Nathalia Sandoval Barbosa Mambrini é psicóloga pela Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS). Atualmente é mestranda em Psicologia Social na PUCRS.
Rodrigo Soares de Assis é graduado em Psicologia pela Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS).

 

 

Apêndice A - Clique para Ampliar