SciELO - Scientific Electronic Library Online

 
vol.15 issue4Escala de suporte laboral: correlation with social support, stress, and organizational supportHuman values and job satisfaction of teachers and technical-administrative staff at a public university author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Revista Psicologia Organizações e Trabalho

On-line version ISSN 1984-6657

Rev. Psicol., Organ. Trab. vol.15 no.4 Brasília Dec. 2015

http://dx.doi.org/10.17652/rpot/2015.4.649 

Adaptação transcultural da Workplace Deviance Scale (WDS) para o contexto brasileiro1

 

Cross-cultural adaptation of the Workplace Deviance Scale (WDS) for the brazilian context

 

Adaptación transcultural de la Workplace Deviance Scale (WDS) al contexto brasileño

 

 

Elizabeth do Nascimento; Ana Cecília Araújo Morais Coutinho; Jéssica Evelyn de Andrade; Lívia Maria Maia Mendonça

Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brasil

Endereço para correspondência

 

 


RESUMO

Dentre o grupo de comportamentos organizacionais relacionados ao desempenho no trabalho existem aqueles denominados contraproducentes, ou seja, que causam danos ou prejuízos à organização e aos diferentes colaboradores (colegas, clientes, fornecedores, entre outros). Tendo em vista o crescente interesse social e científico pelo tema e a carência de pesquisas no contexto brasileiro, a proposta deste estudo é descrever o processo de adaptação transcultural e o estudo psicométrico de uma escala para avaliação de comportamentos contraproducentes no ambiente de trabalho denominada Workplace Deviance Scale (WDS). Para tanto, foram seguidas as recomendações preconizadas na literatura sobre adaptação de instrumentos de medida e levantadas as primeiras evidências de validade (semântica, estrutura interna e convergente). Para alcançar os objetivos propostos, foram realizados dois estudos. O primeiro contemplou a adaptação e o levantamento de validade semântica, e o segundo, a análise psicométrica da versão adaptada. Participaram do primeiro estudo três especialistas e uma amostra de trabalhadores (n = 20). Para o estudo psicométrico, foram coletados dados (n = 467) em meio eletrônico e presencial. Foi estabelecida equivalência entre as versões original e adaptada com evidências de validade semântica. Evidências de validade baseada na estrutura interna e convergente foram alcançadas. Dois, entre três índices de precisão estimados, foram satisfatórios. A versão brasileira da referida escala passou a ser intitulada WDS-BR.

Palavras-chave: Adaptação cultural; comportamentos contraproducentes no trabalho; análise fatorial.


ABSTRACT

Among the group of organizational behaviors related to job performance are those called counter-productive, i.e., that cause damage or harm to the organization and colleagues (co-workers, clients, suppliers, etc.). Considering the growing social and scientific interest in the subject and the lack of research in the Brazilian context, the aim of this study is to describe the process of cross-cultural adaptation and the psychometric study of a scale for assessment of counter productive behaviors in the workplace, called the Workplace Deviance Scale (WDS).To do so, the recommendations outlined in the literature on adaptation of measurement instruments were followed, and primary evidence of validity (semantic, internal and convergent structure) was investigated. To achieve the proposed objectives, two studies were conducted. The first one included the adaptation and semantic validity survey, and the second study, the psychometric analysis of the adapted version. The first study had three specialists and a sample of workers (n = 20). For the psychometric study, data were collected (n = 467) electronically and in-person. Equivalence was established between the original and adapted versions with evidence of semantic validity. Evidence of validity based on internal and convergent structure was found. Among three estimated precision indexes, two were satisfactory. The Brazilian version of the scale became entitled WDS-BR.

Keywords: Cultural adaptation; counterproductive work behaviors; factor analysis


RESUMEN

Entre los comportamientos organizacionales relacionados con el desempeño en el trabajo existen aquellos denominados contraproducentes, es decir, que causan daños o perjuicios a la organización y a los diferentes colaboradores (colegas, clientes, proveedores, etc.). Considerando el creciente interés social y científico por el tema y la carencia de investigaciones en el contexto brasileño, la propuesta de este estudio es describir el proceso de adaptación transcultural y el estudio psicométrico de una escala para la evaluación de comportamientos contraproducentes en el ambiente de trabajo denominada Workplace Deviance Scale (WDS). Para ello, se siguieron las recomendaciones preconizadas en la literatura sobre la adaptación de instrumentos de medida y se plantearon las primeras evidencias de validez (semántica, estructura interna y convergente). Para alcanzar los objetivos propuestos se realizaron dos estudios. El primero contempló la adaptación y la pesquisa de validez semántica, y el segundo estudió el análisis psicométrico de la versión adaptada. Participaron del primer estudio tres especialistas y una muestra de trabajadores (n=20). Para el estudio psicométrico se recopilaron datos (n=467) en soporte electrónico y manual. Se estableció una equivalencia entre las versiones original y adaptada con evidencias de validez semántica. Se alcanzaron evidencias de validez basadas en la estructura interna y convergente. Dos de los tres índices de precisión estimados fueron satisfactorios. La versión brasileña de la referida escala pasó a llamarse WDS-BR.

Palabras-clave: Adaptación cultural; comportamientos contraproducentes en el trabajo; análisis factorial.


 

 

Aspectos positivos do comportamento dos empregados como motivação, satisfação e desempenho têm constituído objeto de interesse dos profissionais que atuam no campo das organizações (p. ex., Coelho Junior & Borges-Andrade, 2011; Lunenburg, 2011; Taylor & Westover, 2011). No entanto, os comportamentos podem tomar também direções negativas, sendo então denominados contraproducentes. Esses podem ser definidos como quaisquer atos voluntários realizados por empregadores ou funcionários, que prejudicam ou têm a intenção de prejudicar a organização ou as pessoas que nela trabalham (Fine, Horowitz, Weigler, & Basis, 2010; Robinson & Bennett, 1995; Spector & Fox, 2005). Exemplos de comportamentos contraproducentes incluem roubo, absenteísmo, procrastinação, uso de drogas, retaliação, vingança, assédio sexual, entre outros (Bennett & Robinson, 2000; Bowling & Beehr, 2006; Mendonça, Torres, & Zanini, 2008; Ones, 2002).

O interesse em estudar a manifestação de comportamentos contraproducentes no ambiente de trabalho (CCTs) repousa nos prejuízos financeiros e psicossociais que podem causar. Estudos atuais apontam que os Estados Unidos gastam bilhões de dólares com o fenômeno todos os anos, o que parece vir aumentando (Bowling & Gruys, 2010; Stewart, Bing, Davison, Woehr, & MacIntyre, 2009), e evidências similares são apresentadas em outros países (Dong & Torgler, 2013; Shabbir & Anwar, 2007). Entretanto, o levantamento dos custos, tanto de ordem econômica quanto psicossocial, é de difícil estimativa, pois envolve também prejuízos na qualidade de vida e na saúde física e mental de trabalhadores.

Na literatura, vários termos são empregados para se referir aos CCTs (p. ex., Greenberg, 1997; Hunt, 1996; Robinson & Bennett, 1995; Smith & Lilienfeld, 2013). No entanto, a nomenclatura mais comumente empregada é counterproductive workplace behavior ou comportamentos contraproducentes no trabalho, que será utilizada nesse estudo (Ansari, Maleki, & Mazraeh, 2013; Bolton, Becker, & Barber, 2010; Omar, Vaamonde, & Delgado, 2012; Spector et al., 2006).

Diferentes modelos teóricos são propostos para explicar os CCTs, indicando haver falta de consenso no que diz respeito à dimensionalidade do construto. Estudos empíricos os apontam como um fator geral (Sackett, 2002) ou possuindo duas ou mais dimensões (Bennett & Robinson, 2000; Gruys & Sackett, 2003) e organizado de modo hierárquico (Spector et al., 2006).

Conforme Marcus, Taylor, Hastings, Sturm e Weigelt (2013), atualmente, dentre os modelos de maior destaque na literatura está o de Bennett e Robinson (2000). Esse será descrito a seguir, por ser o que fundamenta a Workplace Deviance Scale (WDS), escala que constitui o foco do estudo de adaptação cultural para o contexto brasileiro aqui reportado. As autoras da WDS (Bennett & Robinson, 2000) empregam o termo workplace deviance, cuja tradução mais próxima para o português brasileiro poderia ser "desvio no local de trabalho". Como apontado anteriormente, ao longo deste texto será adotada a expressão comportamento contraproducente no trabalho, tradução livre das autoras para o termo counterproductive workplace behavior, posto ser esse o mais comumente utilizado na literatura estrangeira.

O modelo proposto foi delineado por Sandra L. Robinson e Rebecca J. Bennett, em 1995, considerando dois aspectos em relação aos comportamentos: a direção e o grau de severidade. Em relação à direção, os CCTs podem ser de dois tipos: os que se referem a ações que visam prejudicar a organização (CCT organizacional - CCT O) e os que se referem a ações nas quais o alvo é um próprio membro da organização (CCT interpessoal - CCT I). Quanto ao grau de severidade, os comportamentos são classificados em um continuum, variando de formas mais brandas para mais severas.

Quando consideradas a direção e a severidade simultaneamente, quatro quadrantes abarcando diferentes categorias de comportamentos são definidos: (a) aqueles mais brandos e direcionados aos membros da organização (Desvio Político - DP); (b) os direcionados aos membros da organização, porém mais severos (Agressão Pessoal - AP); (c) os mais brandos e direcionados à organização (Desvio de Produção - DPd); e (d) os direcionados à organização, porém mais severos (Desvio de Propriedade - DPp).

Em 2000, Bennett e Robinson desenvolveram a escala denominada Workplace Deviance Scale (WDS)para a população norte-americana por meio de três estudos distintos (Bennett & Robinson, 2000). No primeiro, as autoras criaram uma lista contendo 314 diferentes comportamentos considerados por elas representativos de comportamentos contraproducentes no ambiente de trabalho. A lista foi então submetida à avaliação de especialistas, o que gerou um subconjunto com 58 itens. No segundo estudo, esses 58 itens foram refinados, reduzidos a 28, e então submetidos a análises correlacionais, de variância, e estimadas as cargas fatoriais por meio de análise fatorial exploratória dos eixos principais com rotação oblimin forçando a solução de dois fatores. Por fim, um terceiro estudo, já com 24 itens, foi conduzido para verificar a dimensionalidade do construto por meio de análise fatorial confirmatória (AFC), o que apontou para dois fatores representativos da estrutura interna da escala.

Realizadas todas as análises, a estrutura final da WDS no estudo original ficou composta por 19 itens, sendo 12 relativos a CCT-O e sete a CCT-I. O valor encontrado para a correlação entre as duas dimensões foi moderado (r =0, 46), sugerindo que são distintas, mas relacionadas. A consistência interna, calculada por meio do Alpha de Cronbach, foi de 0, 81 para CCT-O e de 0, 78 para CCT-I, indicando níveis satisfatórios de precisão.

É importante ressaltar que, das quatro categorias de CCTs apresentadas a partir da relação entre os aspectos direção e severidade na proposta teórica original das autoras, apenas o aspecto da direção emergiu empiricamente nas análises fatoriais. Assim, com a WDS foi abandonada a dimensão severidade, mas continuou sustentada a distinção entre as dimensões organizacional e interpessoal. De acordo com Marcus et al. (2013), essas subcategorias são provavelmente as mais bem estabelecidas e frequentemente pesquisadas.

Estudos empregando a WDS vêm revelando valores robustos para a associação entre as duas dimensões (CCT-O e CCT-I), assim como para o coeficiente de precisão. Informações sobre as propriedades psicométricas foram localizadas predominantemente em pesquisas em que essa escala foi utilizada como instrumento de pesquisa (Babamiri, Sabbagh, & Harsini, 2013; Bowling, Burns, Stewart, & Gruys, 2011; Lee & Allen, 2002; O'Neill, Lewis, & Carswell, 2011). Com relação à associação entre CCT-O e CCT-I, as correlações reportadas variaram entre 0, 65 a 0, 96. Nos casos em que tais correlações foram acima de 0, 80, os autores decidiram por estimar também o CCT geral. Quanto ao índice de precisão, os coeficientes de Alpha de Cronbach descritos variaram entre 0, 82 e 0, 94 para a escala total, entre 0, 82 e 0, 87 para CCT-O e entre 0, 88 e 0, 90 para CCT-I.

Sobre a estrutura interna da WDS, análises conduzidas são heterogêneas no que se refere ao número de itens, ao procedimento de coleta de dados e ao tipo de análise empregada. No estudo Lee e Allen (2002), por exemplo, o conjunto de 27 itens da versão piloto da WDS foi analisado e, por meio de AFCs, concluíram por uma solução unidimensional com 23 itens; sendo que a CCT-O e CCT-I revelaram-se altamente correlacionados (r = 0, 96). Já no estudo de Zoghbi-Manrique-de-Lara (2010) apenas CCT-O foi utilizado e analisado conjuntamente com uma escala de satisfação no trabalho e uma de justiça procedural utilizando-se de Análises Fatoriais Exploratórias (AFE) e AFC. Um estudo que apontou para uma solução com os fatores CCT-O e CCT-I utilizando-se de AFC foi o de Banks, Whelpley, Oh e Shin (2012), tendo-se verificado correlação significativa de 0, 78 entre ambos. No entanto, nesse estudo a escala de resposta foi reduzida de sete para cinco opções e foi utilizada uma versão de heterorrelato, em que os supervisores responderam sobre subordinados.

Diante da panorâmica apresentada e considerando que não há ainda instrumentos que mensurem CCTs em nosso país, pode-se justificar a escolha pela adaptação da WDS dentre os instrumentos existentes na literatura estrangeira pelas seguintes razões: (a) é um dos mais utilizados em pesquisas internacionais sobre CCTs; (b) estudos que utilizaram a escala apresentaram evidências psicométricas satisfatórias (Babamiri et al., 2013; Bowling et al., 2011; Lee & Allen, 2002; O'Neill et al., 2011); (c) a investigação nas duas dimensões distintas permite identificar ainda para qual direção o empregado se orienta quando se envolve em CCTs; e (d) é constituído de um número relativamente pequeno de itens, o que permite uma avaliação geral e rápida, sendo, portanto, um meio de se proceder a um rastreamento da manifestação de tais comportamentos.

Partindo do entendimento de que o processo de adaptação de um instrumento se efetiva quando evidências de validade são estimadas, dois estudos de levantamento foram desenvolvidos: o de evidências de validade semântica e o de evidências de precisão e validade baseadas na estrutura interna e convergente.

 

Estudo 1. Levantamento de evidências de validade semântica

Esta pesquisa é parte de um estudo maior que tem como objetivo avaliar as contribuições das dimensões de personalidade do modelo CGF na predição de CCTs. Sua aprovação foi concedida pelo COEP/UFMG, sob o nº ETIC 0114.0.203.000-10.

MÉTODO

A WDS foi submetida ao processo de validação semântica, o que exigiu um complexo roteiro de procedimentos com o objetivo de se alcançar uma versão adaptada adequada. Primeiramente, solicitou-se às autoras da versão original, por meio de correio eletrônico, a autorização para a adaptação. Obtida a autorização, o processo foi realizado de acordo com as seguintes etapas: (a) tradução direta (inglês - português), (b) tradução inversa (português - inglês), (c) comparação dos itens originais e traduzidos, (d) análise de juízes quanto à equivalência entre as versões original e traduzida e (e) análise com representantes da população-alvo. Essas duas últimas etapas possibilitaram efetivar o levantamento de evidências de validade semântica para a WDS (AERA, APA, & NCME, 1999; Beaton, Bombardier, Guillemin, & Ferraz, 2000), sendo a versão traduzida daqui por diante denominada WDS-BR.

Participantes

Nas etapas 1 a 3, descritas anteriormente, contou-se com uma equipe de pesquisa composta por uma doutora, uma doutoranda e quatro alunos de graduação em psicologia, bem como uma turma de alunos de graduação do mesmo curso e profissionais bilíngues que auxiliaram nas traduções direta e inversa. Na etapa 4, participaram três juízes especialistas na área do trabalho e/ou em medida em psicologia. Finalmente, a quinta etapa foi realizada em uma subamostra de 20 trabalhadores, de ambos os sexos, com diferentes tempos de experiência e níveis de instrução, e idades entre 19 e 56 anos (M = 37, DP = 9, 10).

Instrumentos

Questionário para os juízes: elaborado para este estudo com a finalidade de investigar a apresentação das instruções e a pertinência de cada um dos itens quanto aos quesitos de equivalência semântica (paridade de significado), idiomática (equivalência de expressões idiomáticas e coloquiais), cultural (coerência de expressões e termos com o contexto cultural) e conceitual (manutenção do conceito original), conforme preconizado na literatura (Beaton et al., 2000). Para a avaliação foram utilizados os critérios "equivale", "indeciso" e "não equivale".

Escala piloto da WDS-BR: versão adaptada da WDS, composta por um conjunto de 19 itens formulados com base nos procedimentos de tradução e análise de juízes. Tal como na versão original, a instrução refere-se à manifestação do comportamento no último ano, sendo a resposta em escala do tipo Likert, com sete categorias, variando de nunca (1) a sempre (7).

Procedimentos de coleta de dados

A tradução da escala do inglês para o português foi realizada por um profissional bilíngue e também por alunos de graduação em psicologia de uma instituição federal de ensino. As duas versões geradas foram reunidas e enviadas a uma segunda especialista bilíngue, visando a tradução do português para inglês. Na sequência, a equipe de pesquisa comparou a tradução reversa com a versão original. A análise mostrou que alguns itens geraram mais de uma tradução, o que levou a uma nova consulta à segunda especialista. As sugestões dadas por ela foram rediscutidas pela equipe, que optou por fazer novos ajustes na redação, originando-se assim a versão piloto enviada aos juízes.

Com a finalidade de verificar a equivalência entre as versões original e piloto, os juízes tiveram como tarefa avaliar a tradução dos itens utilizando o questionário descrito anteriormente. Esse procedimento contribuiu para a estimação do coeficiente de validade de conteúdo (CVC).

Depois de analisada pelos juízes, a WDS-BR, versão piloto, foi aplicada em adultos (n=20) a fim de que fosse avaliada a inteligibilidade dos itens e das instruções e feito o levantamento de sugestões de formulação em favor da compreensão. A composição da amostra foi de conveniência, adotando-se como critério de inclusão possuir vínculo empregatício. Considerando que a compreensão de estímulos verbais depende da educação formal, adotou-se como delineamento a composição de dois grupos, com mesmo número de participantes. O primeiro grupo ficou composto de adultos com nível educacional correspondente ao ensino médio incompleto e o segundo grupo por adultos com ensino superior. A aplicação se deu na forma lápis e papel, com tempo médio de 13 minutos, seguida de inquérito sobre dúvidas e sugestões.

Procedimentos de análise de dados

Nas etapas de tradução/retradução, análises de juízes e semântica, os itens foram analisados qualitativamente por meio de reuniões com membros da equipe de pesquisa. Para a tomada de decisão, a equipe considerou aspectos relativos tanto ao construto (p. ex., adequação da representação do construto ao contexto brasileiro) quanto ao instrumento em si (p. ex., formato das instruções, disposição da escala de resposta e formato dos itens).

As respostas dos juízes ao questionário foram analisadas quantitativamente por meio do CVC, conforme apresentado por Cassepp-Borges, Balbinotti e Teodoro (2010). Para tanto, os resultados da avaliação foram transformados em escores, de acordo com os seguintes critérios: (a) o item considerado equivalente recebeu escore 3, (b) o item que causou indecisão escore 2 e (c) o item considerado não equivalente, 1. De acordo com Cassepp-Borges et al. (2010), para o cálculo do CVC tomou-se como aceitável o ponto de corte de 0, 70. Para todos os itens, independente do ponto de corte do CVC, as sugestões e/ou opiniões dos juízes foram analisadas e, em alguns dos casos, aceitas.

Os dados da análise semântica com os representantes da população-alvo foram analisados qualitativamente. Os comentários e as sugestões dos respondentes, registrados durante a aplicação, foram analisados pela equipe de pesquisa que decidiu por incorporá-los ou não.

RESULTADOS

No que diz respeito ao processo de tradução direta/inversa, do total, 12 dos itens mostraram-se duvidosos quanto à manutenção do significado original e a sua correspondência na língua portuguesa. Para alguns deles foram elaboradas até três alternativas. As versões com duas ou três alternativas, revisadas pela equipe de pesquisa, apontaram que três dos itens (15, 79% da escala) permaneciam ainda gerando impasses (itens 5, 8 e 10).

O grau de concordância entre os juízes, expresso pelo CVC, mostrou que o item 5 alcançou valor inferior a 0, 70 em um quesito (CVC semântico) e os itens 8 e 10 em três quesitos (CVC semântico, idiomático e cultural), enquanto que os demais alcançaram valores satisfatórios. A Tabela 1 apresenta o sumário dos resultados encontrados.

Oito itens receberam ainda sugestões por parte de algum juiz relativamente ao modo como estavam redigidos. Por exemplo, para o item 5 "Played a mean prank on someone at work" a versão apresentada aos juízes foi " Já fiz brincadeiras maldosas com pessoas do trabalho" (CVC semântico 0, 63). Como sugestão, foi proposta a mudança na pessoa do sujeito, pois a frase em português dá a entender que o indivíduo já não realiza mais tal comportamento. Todas as sugestões apresentadas continham pequenas alterações como a do exemplo, e foram acatadas quando consideradas pertinentes.

Na etapa de análise com representantes da população-alvo, em relação à praticidade e à compreensibilidade da versão adaptada, algumas dúvidas foram levantadas pelos participantes, como por exemplo, no item 1 ("Zombou de alguém no trabalho"), no qual a palavra zombou gerou estranhamento, vista algumas vezes como ambígua. Também no item 18 ("Dedicou pouco esforço ao seu trabalho"), alguns participantes consideraram a expressão pouco esforço confusa, dando como sugestão "Dedicou-se pouco ao trabalho". A equipe de pesquisa optou por considerar a última opção. Finalmente, na versão da WDS-BR, por causa do modo como a instrução terminou por ser definida, os verbos dos itens são apresentados no infinitivo, diferentemente da versão original em inglês. Concluída a etapa de validação semântica, procedeu-se ao ajuste final das instruções e dos itens que constituíam a escala adaptada, a WDS-BR.

 

Estudo 2: Levantamento de evidências de validade

MÉTODO

Participantes

Participaram do estudo psicométrico 467 indivíduos de ambos os sexos com idade média de 35 anos (DP = 11, 05), residentes em diferentes cidades e estados brasileiros. Quanto ao grau de escolaridade, a maior parte possui nível superior (56, 9%). A Tabela 2 fornece o perfil dos participantes quanto ao sexo, idade e nível educacional.

Instrumentos

Questionário Geral: utilizado para a obtenção de dados demográficos, educacionais e funcionais dos participantes (sexo, idade, escolaridade, função e cargo ocupado na empresa, e tempo de serviço) e das organizações (porte e tipo).

Workplace Deviance Scale-BR (WDS-BR): versão adaptada da Workplace Deviance Scale (WDS), desenvolvida por Bennett e Robinson (2000), composta de 19 itens. Em relação à obtenção dos escores, como na escala original, na aplicação os respondentes são instruídos a avaliar a frequência com que praticaram atos contraproducentes no último ano respondendo a uma escala tipo Likert de sete pontos, com opções entre nunca (1) a sempre (7). Nenhum item é computado de modo invertido. Os resultados são calculados separadamente por domínio, sendo que quanto maior o escore, maior a tendência ao envolvimento em CCTs. O domínio interpessoal (CCT-I) é composto pelos sete primeiros itens, enquanto o organizacional (CCT-O) pelos 12 itens restantes.

German Self-Report Questionnaire (GSRQ ): desenvolvida por Marcus, Schuler, Quell e Hümpfner (2002). Essa escala original foi submetida aos procedimentos de adaptação e validação para o contexto brasileiro simultaneamente à WDS. A versão alcançada, ainda não publicada, foi intitulada GSRQ-BR (Coutinho, Nascimento, Mendonça, & Andrade, 2011). É composta por 74 itens que descrevem explicitamente CCTs. As instruções de aplicação dos itens solicitam que o respondente informe a frequência com que o respectivo ato foi executado durante os últimos 12 meses. A escala é do tipo Likert, de sete pontos, variando entre nunca (0) a sempre (6). Com base nos resultados das análises fatoriais conduzidas, Marcus et al. (2002) sugerem a possibilidade tanto de estimar um escore geral, quanto escores por domínios, definidos por eles segundo os alvos para os quais os CCTs são dirigidos (para a organização ou para as pessoas). Para a versão adaptada, os coeficientes Alpha de Cronbach estimados foram: domínio interpessoal (DI - 18 itens, α = 0, 71), organizacional (DO - 57 itens, α = 0, 88) e conjunto total (Geral - 74 itens, α = 0, 89).

Procedimentos de coleta de dados

Foram utilizados dois procedimentos de coleta de dados: (a) por meio eletrônico, utilizando-se da ferramenta SurveyMonkey (www.surveymonkey.com); e (b) por meio presencial. Para o primeiro procedimento, foi encaminhado convite de participação via e-mail a pessoas pertencentes à rede de contatos do grupo de pesquisadores envolvidos no estudo. A esses destinatários foi também solicitado que repassassem o convite a outras pessoas suas conhecidas que atendessem aos requisitos exigidos, configurando uma metodologia de coleta de dados "bola de neve". A escala GSRQ foi aplicada somente nesse procedimento.

Na coleta de dados presencial, o convite para participação ficou a cargo de cada aplicador, que acionou sua rede social. Desse modo, a amostra, de conveniência, foi constituída por empregados em diferentes organizações, atuando em áreas diversificadas. Para evitar qualquer tipo de transtorno, os horários de aplicação foram todos previamente agendados e a coleta de dados ocorreu em uma única sessão.

Em ambos os procedimentos, antes de responder aos instrumentos, ao participante foi solicitado que lesse o Termo de Consentimento Livre e Esclarecido. Após o aceite, com vistas a encorajar que as respostas fossem as mais honestas possíveis, foi garantido o sigilo absoluto, não sendo necessária a identificação pelo nome ou dados de documentos oficiais (Registro Geral -RG ou Cadastro de Pessoa Física -CPF).

Procedimentos de análise de dados

Estimou-se o tamanho do efeito (d) do procedimento de coleta de dados entre as duas subamostras alcançadas (eletrônico, n = 170 e presencial, n = 297) sobre o escore na WDS-BR. O índice d foi igual a 0, 42, indicando que a sobreposição das distribuições dos escores nas duas subamostras foi de aproximadamente 73%. Frente a esse resultado considerou-se pertinente analisar os dados das duas amostras conjuntamente (Lindenau & Guimarães, 2012). Reunidos os dois bancos de dados, foram realizadas análises descritivas (média e desvio-padrão) para cada item, bem como para visualização do percentual de respostas de manifestação do comportamento abordado no item pelo menos uma vez no último ano.

Com o intuito de levantar evidência de validade baseada na estrutura interna foram realizadas Análises Fatoriais dos Eixos Principais (AFEP). As análises foram conduzidas por meio do programa FACTOR (Lorenzo-Seva & Ferrando, 2006). A estimativa do número de componentes a extrair da matriz de correlações baseou-se na análise paralela de Horn. Utilizou-se rotação oblimin para as análises com mais de um fator. Para investigação da adequação de uma solução interna hierárquica, recorreu-se à análise de segunda ordem de Schmid-Leiman disponível no programa estatístico. Para cálculo do índice de consistência interna, calculou-se o coeficiente Alpha de Cronbach.

Adotou-se como hipótese que as correlações seriam positivas e com magnitudes moderadas a altas (> 0, 40; Cohen, 1988). Correlações de Pearson foram estimadas para levantar evidência de validade convergente, associando os escores na WDS-BR com os da GSRQ-BR (Coutinho et al., 2011).

RESULTADOS

As estatísticas descritivas dos itens e o percentual de respostas de manifestação do comportamento abordado no item pelo menos uma vez no último ano são apresentadas na Tabela 3. As médias de respostas variaram entre 1, 12 (DP = 0, 59) e 2, 55 (DP = 1, 72). Quanto ao percentual de resposta, o item 17 (sobre consumo de drogas e álcool no ambiente de trabalho) foi o que obteve a menor frequência de resposta indicando tal comportamento no último ano. O item 1 ("fazer piada de alguém no trabalho") foi o que apresentou maior percentual de resposta no mesmo período.

Para o levantamento de validade baseada na estrutura interna foram realizadas análises fatoriais exploratórias. Com base no teste Kaiser-Meyer-Olkin (KMO), cujo valor foi igual a 0, 88, constatou-se que a matriz das variáveis era passível de redução. Por meio da análise paralela de Horn associada com a análise dos componentes principais, identificou-se a possibilidade de reduzi-la em até três componentes (eingenvalues 6, 08; 1, 86 e 1, 36) responsáveis por explicar até 48, 90% da variância. A inspeção dos eingenvalues ou valores próprios e do gráfico scree de Cattel indicaram a presença de um forte componente.

Em caráter exploratório foram testadas três soluções pela AFEP com um fator (unidimensional, representando CCT geral), dois fatores (bidimensional, representando CCT-I e CCT-O, tal como proposto por Bennett e Robinson (2000)) e três fatores (conforme indicação da análise paralela de Horn). A solução unidimensional revelou-se adequada (os itens 1, 3 e 11 apresentaram cargas fatoriais entre 0, 29 e 0, 38 e os demais itens cargas fatoriais superiores a 0, 40). A solução com dois fatores não se configurou de acordo a versão original da WDS, ou seja, com um fator claramente representado com os sete itens de CCT-I e outro com os 12 de CCT-O. Da mesma forma, a solução com três fatores não foi passível de interpretação semântica.

De posse dessas informações, optou-se por explorar uma solução com um fator geral de segunda ordem e dois ou três fatores de primeira ordem. A solução final com melhor ajuste foi a hierárquica. No entanto, mais uma vez, os dois fatores de primeira ordem não replicaram a proposta da versão original. Conforme apresentado na Tabela 3, a estrutura interna da WDS-BR alcançada ficou com três fatores de primeira ordem e um fator geral de segunda ordem.

Nessa solução final, o fator 1 ficou composto de seis itens, sendo os dois primeiros originalmente da dimensão interpessoal. O fator 2 é representado exclusivamente por quatro itens da dimensão interpessoal, enquanto o fator 3 por cinco itens da dimensão organizacional. No fator geral, todos os itens apresentaram cargas fatoriais superiores a 0, 30. Os índices de consistência interna para essa solução fatorial foram 0, 84, 0, 60, 0, 74 e 0, 85, respectivamente.

Para levantamento de evidência de validade convergente, considerando que as escalas WDS-BR e GSRQ avaliam o mesmo construto, as correlações entre os escores foram estimadas com base em uma amostra de 170 participantes. As magnitudes das correlações variaram entre moderadas e altas (0, 40 e 0, 72). Foram identificados coeficientes de correlação com magnitudes altas entre os escores gerais nas duas escalas (r = 0, 72) e para a dimensão organizacional da GSRQ com a WDS-BR (r = 0, 71). No que se refere à dimensão relacionada aos CCTs dirigidos a outras pessoas da GSRQ , a magnitude da correlação com a WDS-BR foi moderada (r = 0, 40).

DISCUSSÃO

Esta pesquisa teve por objetivo descrever o processo de adaptação transcultural da Workplace Deviance Scale (WDS), instrumento que avalia comportamentos contraproducentes no ambiente de trabalho, assim como os estudos psicométricos de validação semântica, estrutura interna e convergente. A escolha da WDS - desenvolvida por Bennet e Robinson em 2000 - para tradução deveu-se à facilidade e à rapidez na aplicação, que demora somente poucos minutos (13 minutos, em média). Além disso, é um instrumento dos mais utilizados em pesquisas internacionais sobre CCTs, pelo que se conclui que se mostra adequado para avaliar o construto, envolvendo sua medição de modo explícito e objetivo.

Os CCTs são reconhecidamente ações que causam danos ou prejuízos tanto à organização quanto aos diferentes colaboradores (colegas, clientes, fornecedores, entre outros). Porém, mesmo diante do crescente interesse social e científico pelo tema devido aos prejuízos financeiros e psicossociais que podem causar, ainda não existia em nosso país um instrumento voltado para avaliação do construto.

O processo de validação da WDS compreendeu um complexo roteiro de procedimentos. Todos os cuidados contribuíram para o aperfeiçoamento da escala no que diz respeito à equivalência entre as versões original e adaptada. Consequentemente, ao longo das etapas percorridas, algumas alterações foram realizadas na apresentação final dos itens.

As análises classificatórias feitas pelos juízes especialistas permitiram calcular o índice de validade de conteúdo. Os índices atingiram o critério esperado na maioria dos itens, revelando bom grau de concordância e indicando equivalência entre a versão original e a adaptada, então denominada WDS-BR. Nos itens 8 e 10, o grau de concordância pode ter sido prejudicado pelo próprio processo de adaptação. Isso por que as alterações realizadas nos conteúdos para ajustá-los melhor à realidade brasileira podem ter afetado o julgamento sobre a equivalência entre as afirmativas no original e as respectivas adaptações.

Para realização do segundo estudo, considerou-se como estratégia a ser adotada a coleta de dados via web e presencial. A opção pelo ambiente on-line pode ser considerada positiva por dois motivos: primeiramente, pelo respaldo que encontra quanto ao seu emprego (Bethlehem, 2010; Wachelke, Natividade, Andrade, Wolter, & Camargo, 2014) e em segundo lugar por ter permitido que os respondentes, devido ao anonimato, pudessem se posicionar de forma honesta frente a questões delicadas. No presente estudo, esperava-se alcançar uma grande amostra por meio desse procedimento. Como isso não ocorreu, agregou-se a essa amostra a obtida por meio presencial. De acordo com Bennett e Robinson (2000) a garantia do anonimato é um recurso útil pela inerente dificuldade das pessoas em admitir que praticam comportamentos socialmente inaceitáveis, principalmente quando a avaliação é feita nas próprias organizações. Nesta pesquisa, a coleta presencial foi realizada com garantias de anonimato. Em que pese os cuidados tomados nos dois procedimentos de coleta de dados, as porcentagens de respostas indicando a emissão de tais comportamentos pelo menos uma vez no último ano foram baixas, o que reforça as afirmativas encontradas na literatura sobre a dificuldade em avaliar CCTs.

A análise descritiva permitiu a comparação entre o percentual de resposta por item no estudo original (Bennett & Robinson, 2000) e no de adaptação, ficando esse último inferior ao do original. Para alguns comportamentos, a diferença mostrou-se bastante expressiva como, por exemplo, no item 17, que indaga sobre

o uso de álcool e drogas. Na amostra brasileira, praticamente ninguém afirmou realizar o comportamento no último ano, enquanto que pouco mais de um quarto dos respondentes o fizeram na amostra original americana. Esse fato levou à reflexão sobre a manutenção ou exclusão desse item. Tendo em vista ser esse comportamento tipicamente contemplado na literatura sobre CCTs (Bennett & Robinson, 2000; Omar et al., 2012; Spector et al., 2006) a opção foi por mantê-lo.

Suposições podem ser levantadas sobre as baixas frequências encontradas em alguns itens. Uma pode estar relacionada à especificidade do comportamento descrito no item, pois aqueles não aceitos socialmente tenderiam a não ser admitidos pelos respondentes. Outra suposição é que a amostra investigada exerceria atividades ocupacionais que não contemplam alguns dos comportamentos elencados na WDS, como por exemplo, fazer hora extra. Portanto, dadas as implicações teóricas e metodológicas para a compreensão e medição de CCTs, estudos posteriores com outras amostras de trabalhadores brasileiros permitirão investigar se o baixo percentual de respostas ora identificado se mantém.

No tocante à investigação da estrutura interna, a solução fatorial final alcançada por meio de AFE revelou uma estrutura hierárquica, com um fator de segunda ordem representando o construto CCT e três fatores de primeira ordem. Quanto a esses três fatores, destaca-se que as dimensões CCT-I e CCT-O são identificadas, tal como proposto na versão original, mas com menor número de itens representando cada uma delas. O terceiro fator (F1) ficou representado por itens de ambas as dimensões. Ao analisar o conteúdo semântico dos itens que representam esse fator, uma hipótese levantada é de que são os que descrevem comportamentos que podem ter sido considerados graves pelos respondentes (insultar alguém, envergonhar publicamente alguém, falsificar recibos, discutir informações confidenciais com pessoas não autorizadas, usar drogas ilegais ou álcool no trabalho e enrolar no trabalho para ganhar hora extra). No modelo original de Robinson e Bennett, proposto em 1995, esses comportamentos estão relacionados com desvio de propriedade e agressão pessoal. Embora as autoras tenham abandonado a avaliação da severidade quando operacionalizaram o modelo por meio da WDS, os resultados aqui apresentados sugerem que esse aspecto deva se melhor investigado.

Sobre o fator de segunda ordem, cabe reportar que, embora na versão original da WDS as autoras não tenham identificado esse fator geral, em estudos subsequentes (Babamiri et al., 2013; Bowling et al., 2011; Lee & Allen, 2002; O'Neill et al., 2011) o escore geral foi estimado tendo como argumento as altas correlações encontradas entre CCT-I e CCT-O. Esse dado aponta que a solução hierárquica possa ser a que melhor expressa a estrutura interna da escala, embora não tenham sido localizados estudos empíricos com essa mesma solução.

O índice de consistência interna para esse fator geral foi 0, 85, sendo, portanto, satisfatório e semelhante ao reportado na literatura (Babamiri et al., 2013; Bowling et al., 2011; Lee & Allen, 2002; O'Neill et al., 2011). Já os índices para CCT-O e CCT-I foram baixos, o que pode se dever ao fato de tais dimensões ficarem representadas no presente estudo por um número menor de itens

Os resultados da investigação sobre a evidência de validade convergente corroboraram as hipóteses formuladas. As correlações de alta magnitude encontradas entre as duas escalas nas dimensões organizacional e geral apontam que ambas avaliam o mesmo construto.

Embora o primeiro estudo tenha apontado que os itens da versão adaptada são equivalentes aos da versão original, a estrutura interna proposta pelas autoras da WDS não foi identificada. Espera-se que novos estudos sejam realizados com esse instrumento, incluindo diferentes amostras da população-alvo, de modo a permitir a condução de análises psicométricas robustas, tais como análises fatoriais confirmatórias, com o intuito de melhor compreender a sua estrutura interna. Como resultante deste estudo, sugere-se ainda que seja viabilizada a criação de um instrumento considerando comportamentos mais frequentemente observados em nossa cultura.

Como parte do processo de adaptação, o levantamento das primeiras evidências de validade é relevante e os achados oferecem legitimidade para a medida do construto comportamentos contraproducentes no trabalho no contexto brasileiro. Pode-se dizer que pela evidente insuficiência de instrumentos brasileiros que mensurem CCTs no nosso país, o presente estudo de adaptação torna-se útil para as comunidades acadêmica e profissional brasileiras.

Do ponto de vista acadêmico, novas investigações poderão ser desenvolvidas utilizando-se a WDS-BR para melhor compreensão do próprio fenômeno e também, por exemplo, dos seus antecedentes. No âmbito profissional, a WDS-BR é recomendada como instrumento de fácil aplicação e útil para avaliação de CCTs, pois pode ser relevante identificar a tendência ao envolvimento nesses comportamentos no contexto organizacional. O instrumento permitirá, por exemplo, gerar informações que possam auxiliar na implantação de estratégias de prevenção e no desenvolvimento de pessoas.

 

REFERÊNCIAS

American Educational Research Association, American Psychological Association, & National Council of Measurement in Education (1999). Standards for educational and psychological testing. Washington: AERA.         [ Links ]

Ansari, M. E., Maleki, S., & Mazraeh, S. (2013). An analysis of factors affected on employees' counterproductive work behavior: The moderating role of job burnout and engagement. Journal of American Science, 9(1),350-359.         [ Links ]

Babamiri, M., Sabbagh, U., & Harsini, A. Z. (2013). Investigate the relationship between organizational justice and personality characteristics with counterproductive work behavior. Journal of Life Science and Biomedicine, 3(4),268-272.         [ Links ]

Banks, G. C, Whelpley, C. E., Oh, I. S., & Shin, K. H. (2012). (How) are emotionallly exhausted employees harmful? International Journal of Stress Management, 19(3),198-216.         [ Links ]

Beaton D. E., Bombardier C., Guillemin F., & Ferraz M. B. (2000). Guidelines for the process of cross-cultural adaptation of self-report measures. Spine, 25(24),3186-3191.         [ Links ]

Bennett, R. J., & Robinson, S. L. (2000). Development of a measure of workplace deviance. Journal of applied psychology, 85(3),349. doi: 10.1037/0021-9010.85.3.349        [ Links ]

Bethlehem, J. (2010). Selection bias in web surveys. International Statistical Review, 78(2),161-188. doi: 10.1111/j.17515823.2010.00112.x        [ Links ]

Bolton, L. R., Becker, L. K., & Barber, L. K. (2010). Big Five trait predictors of differential counterproductive work behavior dimensions. Personality and Individual Differences, 49(5),537-541. doi:10.1016/j.paid.2010.03.047        [ Links ]

Bowling, N. A., & Beehr, T. A. (2006). Workplace harassment from the victim's perspective: A theoretical model and metaanalysis. Journal of Applied Psychology, 91(5),998. doi: 10.1037/0021-9010.91.5.998        [ Links ]

Bowling, N. A., Burns, G. N., Stewart, S. M., & Gruys, M. L. (2011). Conscientiousness and agreeableness as moderators of the relationship between neuroticism and counterproductive work behaviors: A constructive replication. International Journal of Selection and Assessment, 19(3),320-330. doi 10.1111/j.1468-2389.2011.00561.x        [ Links ]

Bowling, N. A., & Gruys, M. L. (2010). Overlooked issues in the conceptualization and measurement of counterproductive work behavior. Human Resource Management Review 20(1),54-61. doi:10.1016/j.hrmr.2009.03.008        [ Links ]

Cassepp-Borges, V., Balbinotti, M. A. A., & Teodoro, M. L. M. (2010). Tradução e validação de conteúdo: Uma proposta para a adaptação de instrumentos. In L. Pasquali (Org.), Instrumentação psicológica: Fundamentos e prática (pp. 506-520). Porto Alegre: Artmed.         [ Links ]

Coelho Junior, F. A., & Borges-Andrade, J. E. (2011). Efeitos de variáveis individuais e contextuais sobre desempenho individual no trabalho. Estudos de Psicologia, 16(2),111-120. doi: http://dx.doi.org/10.1590/S1413-294X2011000200001        [ Links ]

Cohen, J. (1988). Statistical power analysis for the behavioral sciences. Hillsdale: Lawrence Erlbaum Associates.         [ Links ]

Coutinho, A. C. A. M., Nascimento, E., Mendonça, L. M. M., & Andrade, J. E. (2011). Adaptação de uma escala alemã sobre CCT para o contexto brasileiro. Anais do V Congresso Brasileiro de Avaliação Psicológica. Bento Gonçalves: Instituto Brasileiro de Avaliação Psicológica.         [ Links ]

Dong, B., & Torgler, B. (2013). Causes of corruption: Evidence from China. China Economic Review, 26,152-169. doi:10.1016/j.chieco.2012.09.005        [ Links ]

Fine, S., Horowitz, I., Weigler, H., & Basis, L. (2010). Is good character good enough? The effects of situational variables on the relationship between integrity and counterproductive work behaviors. Human Resource Management Review, 20(1),73-84. doi:10.1016/j.hrmr.2009.03.010        [ Links ]

Greenberg, J. (1997). The STEAL motive: Managing the social determinants of employee theft. In R. A. Giacalone & J. Greenberg (Eds.), Antisocial behavior in organizations (pp. 85-108). Thousand Oaks: Sage Publication.         [ Links ]

Gruys, M. L., & Sackett, P. R. (2003). Investigating the dimensionality of counterproductive work behavior. International Journal of Selection and Assessment, 11(1),30-41. doi: 10.1111/1468-2389.00224        [ Links ]

Hunt, S. T. (1996). Generic work behavior: An investigation into the dimensions of entry-level, hourly job performance. Personnel Psychology, 49(1),51-83. doi: 10.1111/j.1744-6570.1996.tb01791        [ Links ]

Lee, K., & Allen, N. J. (2002). Organizational citizenship behavior and workplace deviance: The role of affect and cognitions. Journal of Applied Psychology, 87(1),131-142. doi: 10.1037/0021-9010.87.1.131        [ Links ]

Lindenau, J. D., & Guimarães, L. S. P. (2012). Calculando o tamanho do efeito no SPSS. Revista HPCA, 32(3),363-381.         [ Links ]

Lorenzo-Seva, U., & Ferrando, P. J. (2006). FACTOR: A computer program to fit the exploratory factor analysis model. Behavior Research Methods, 38(1),88-91.         [ Links ]

Lunenburg, F. C. (2011). Self-efficacy in the workplace: Implications for motivation and performance. International journal of Management, Business, and Administration, 14(1),1-6.         [ Links ]

Marcus, B., Schuler, H., Quell, P., & Hümpfner, G. (2002). Measuring counterproductivity: Development and initial validation of a german self-report questionnaire. International Journal of Selection and Assessment, 10(1-2),18-35.doi: 10.1111/14682389.00191        [ Links ]

Marcus, B., Taylor, O. A., Hastings, S. E., Sturm, A., & Weigelt, O. (2013). The structure of counterproductive work behavior a review, a structural meta-analysis, and a primary study. Journal of Management, 20(5),1-31. doi: 10.1177/0149206313503019        [ Links ]

Mendonça, H., Torres, A. R. R., & Zanini, D. S. (2008). Assédio moral e retaliação organizacional: Interfaces teóricometodológicas. Revista Psicologia, 8(1),60-72.         [ Links ]

O'Neill, T. A., Lewis, R. J., & Carswell, J. J. (2011). Employee personality, justice perceptions, and the prediction of workplace deviance. Personality and Individual Differences, 51(5),595-600. doi:10.1016/j.paid.2011.05.025        [ Links ]

Omar, A., Vaamonde, J. D., & Delgado, H. U. (2012). Comportamientos contraproducentes en el trabajo: Diseño y validación de una escala. Diversitas, 8(2),249-265.         [ Links ]

Ones D. S. (2002). Introduction to the special issue on counterproductive behaviors at work. International Journal of Selection and Assessment, 10(1-2),1-3. doi: 10.1111/1468-2389.00188        [ Links ]

Robinson, S. L., & Bennett, R. J. (1995). A typology of deviant workplace behaviors: A multidimensional scaling study. Academy of Management Journal, 38(2),555-572. doi: 10.2307/256693        [ Links ]

Sackett, P. R. (2002). The structure of counterproductive work behaviors: Dimensionality and relationships with facets of job performance. International Journal of Selection and Assessment, 10(1-2),5-11. doi: 10.1111/1468-2389.00189        [ Links ]

Shabbir, G., & Anwar, M. (2007). Determinants of corruption in developing countries. The Pakistan Development Review, 2(11)751-764.         [ Links ]

Smith, S. F., & Lilienfeld, S. O. (2013). Psychopathy in the workplace: The knowns and unknowns. Aggression and Violent Behavior, 18(2),204-218. doi: 10.1016/j.avb.2012.11.007        [ Links ]

Spector, P. E., & Fox, S. (2005). A model of counterproductive work behavior. In S. Fox & P. E. Spector (Eds.), Counterproductive workplace behavior: Investigations of actors and targets (pp. 151-174). Washington: American Psychological Association.         [ Links ]

Spector, P. E., Fox, S., Penney, L. M., Bruursema, K., Goh, A., & Kessler, S. (2006). The dimensionality of counterproductivity: Are all counterproductive behaviors created equal? Journal of Vocational Behavior, 68(3),446-460. doi:10.1016/j. jvb.2005.10.005        [ Links ]

Stewart, S. M., Bing, M. N., Davison, H. K., Woehr, D. J., & MacIntyre, M. D. (2009). In the eyes of the beholder: A non-self report measure of workplace deviance. Journal of Applied Psychology, 94(1),207-215. doi: 10.1037/a0012605        [ Links ]

Taylor, J., & Westover, J. H. (2011). Job satisfaction in the public service: The effects of public service motivation, workplace attributes and work relations. Public Management Review, 13(5),731-751. doi: 10.1080/14719037.2010.532959.         [ Links ]

Wachelke, J., Natividade, J., Andrade, A. D., Wolter, R., & Camargo, B. (2014). Caracterização e avaliação de um procedimento de coleta de dados on-line (CORP). Avaliação Psicológica, 13(1),143-146.         [ Links ]

Zoghbi-Manrique-de-Lara, P. (2010). Employee deviance as a response to injustice and task-related discontent. The Psychologist-Manager Journal, 13(3),131-146. doi: 10.1080/10887156.2010.500256        [ Links ]

 

 

Endereço para correspondência:
Elizabeth do Nascimento
Rua Professor Pimenta da Veiga, 805/802. Bairro Cidade Nova
Belo Horizonte, MG, Brasil 31170-190
Telefones: (31) 3426-5394, (31) 99195-3393
Email: bethdonascimento@gmail.com

Recebido em: 29/07/2015
Primeira decisão editorial em: 06/09/2015
Versão final em: 18/09/2015
Aceito em: 21/09/2015

 

 

1 Projeto desenvolvido com financiamento CNPQ - Brasil, FAPEMIG. Os autores agradecem a Rafael de Paula Silva e a Guilherme Júnior Lopes Lima, pelo apoio na coleta de dados.

Creative Commons License