Portuguese (pdf)
Article in xml format
Article references
Automatic translation
Permalink
A violência é um fenômeno multideterminado que atinge todos os setores da sociedade, sendo, em algumas situações, velada e de difícil identificação. Esse é o caso do assédio moral, uma forma de violência que pode ocorrer no ambiente de trabalho e que está relacionada a diferentes consequências negativas, tanto para as vítimas e testemunhas, quanto para as organizações e sociedade (Antunes, 2017; Branch et al., 2013; Escartín, 2016). Estudos sobre intervenção antiassédio moral têm sido relatados na literatura científica, os quais foram, em sua maioria, conduzidos em países europeus e norte-americanos (p. ex.: Escartín, 2016; Gillen et al., 2017; Hodgins et al., 2014). Contudo, para ampliar a probabilidade de sucesso dessas intervenções em outros contextos, como nos países latino-americanos, é relevante identificar e sistematizar o que tem sido publicado sobre o assunto nesses países. Esses dados permitirão caracterizar o estado da arte desta área de investigação e identificar os pontos de sucesso e/ou melhoria destes estudos, possibilitando o planejamento de intervenções específicas às características regionais.
Desde que o assédio moral foi reconhecido por Carroll M. Brodsky nas relações de trabalho em 1976, diferentes países têm desenvolvido investigações sobre o tema, o que reflete no uso de múltiplas terminologias para descrever essa forma de violência. Mais comum entre esses termos são as palavras “bullying” em inglês, “harcèlement moral” em francês e “acoso moral” em espanhol (Soares, 2012), os quais são apontados por alguns teóricos como intercambiáveis (Soares, 2012; Stephan et al., 2018). No Brasil, por sua vez, a expressão “assédio moral” tem sido a mais utilizada, sendo por isso adotada nesta pesquisa (Andrade & Assis, 2018; Soares, 2012).
Como consequência dos achados desses estudos, desenvolvidos há mais de três décadas e em regiões distintas do mundo, a definição de assédio moral foi sendo estruturada. Amplamente utilizada, pode-se mencionar a definição proposta por Marie-France Hirigoyen (2001/2009), que escreve:
O assédio moral é definido como qualquer conduta abusiva (gesto, palavras, comportamento, atitude...) que atente, por sua repetição ou sistematização, contra a dignidade ou integridade psíquica ou física de uma pessoa, ameaçando seu emprego ou degradando o clima de trabalho (p. 17).
A característica sistemática dos comportamentos hostis é central em definições apresentadas na literatura (p. ex.: Nielsen & Einarsen, 2018; Vieira et al., 2012). Teóricos defendem que para ser qualificado como assédio moral, as condutas abusivas devem ser frequentes e ter duração prolongada. Conquanto muitos considerem essas características em suas definições, isso não é consenso e há um predomínio na literatura de definições que julgam o assédio moral como sendo aqueles comportamentos que acontecem por um período igual ou superior a seis meses (Glina & Soboll, 2012).
Segundo Hirigoyen (1998/2019), o assédio moral pode se dar de maneira: (a) vertical descendente, em que um ou mais superiores hierárquicos assediam um ou mais trabalhadores, (b) vertical ascendente, no qual um ou mais trabalhadores assediam outro(s) em posição mais elevada e (c) horizontal, em que um ou mais trabalhadores apresentam condutas hostis direcionadas a(s) pessoa(s) que ocupa(m) o mesmo nível dentro da organização. Destaca-se, ainda, que um trabalhador pode ser agressor e alvo ao mesmo tempo, além de alvo de múltiplas hierarquias.
Quando presente, o assédio moral é uma violência de difícil identificação, especialmente em suas fases iniciais. Nielsen e Einarsen (2018) apresentam estudos que sugerem que essa é uma forma de violência progressiva, que se inicia de modos mais brandos e menos frequentes, evoluindo para comportamentos mais evidentes e sistemáticos. O assédio moral pode ser expresso de diferentes formas: (a) ataques pessoais; (b) ataques direcionados ao trabalho; (c) isolamento social; e (d) violência física (Einarsen & Raknes, como citado em Salin et al., 2019). Como exemplos dos dois primeiros, é possível mencionar a difamação e a atribuição de tarefas, respectivamente, que dificultam a realização das atividades do trabalhador.
A propriedade velada de algumas dessas condutas e aspectos como: uso de múltiplas definições; cultura; instrumentos de mensuração (Nielsen & Einarsen, 2018); e população estudada (Andrade & Assis, 2018), influenciam nos dados sobre a prevalência do fenômeno nas organizações. Contudo, mesmo não sendo conclusivo, estima-se que cerca de 15% da classe trabalhadora é vítima do assédio moral no trabalho (Branch et al., 2013; Nielsen & Einarsen, 2018).
Nos países latino-americanos esses índices podem ser ainda mais significativos. Ansoleaga et al. (2015) citam estudos que investigaram a prevalência de violência psicológica no contexto laboral (que inclui o assédio moral) em países como Bolívia, Chile, Cuba, Colômbia e Equador. Os resultados indicaram que, dentre a amostra investigada, 45% a 79% foram vítimas dessa forma de agressão. No Brasil, esses números parecem seguir a mesma tendência (p. ex.: Pooli & Moteiro, 2018).
Tais índices tornam-se ainda mais preocupantes quando associados aos desdobramentos negativos dessa violência para a(s) vítima(s), testemunha(s), organização(ões) e sociedade. Estudos desenvolvidos nas últimas décadas relacionam essa agressão a prejuízos à saúde física e psicológica dos trabalhadores (ver Martini et al., 2017; A. Silva et al., 2018; Soares, 2012) e a custos econômicos para as organizações, já que estudos vinculam o assédio moral a índices maiores de absenteísmo, ausência por doenças, turnover entre outros fatores caracterizados como prejudiciais para a instituição (Antunes, 2017; Branch et al., 2013; Escartín, 2016; Nielsen & Einarsen, 2018).
Considerando a prevalência do assédio moral nas organizações e as consequências negativas destacadas, intervenções antiassédio moral primárias, secundárias e terciárias são citadas na literatura científica. Como intervenções primárias, entende-se as ações que visam a prevenir essa forma de violência, secundarias as intervenções que buscam reduzir ou eliminar o assédio moral quando presente, e terciárias as tentativas de tratamento e reabilitação dos envolvidos após serem expostos a essas relações hostis (Antunes, 2017; Glina & Soboll, 2012).
Intervenções antiassédio moral primárias, secundárias e terciárias são conduzidas e disseminadas na literatura científica há mais de duas décadas, mas aquelas realizadas com rigor metodológico ainda parecem incipientes. Em uma revisão sistemática realizada por Gillen et al. (2017), a qual teve como objetivo identificar e sistematizar os dados de intervenções primárias publicadas até 2016, apenas cinco estudos foram identificados e incluídos em seu trabalho. Dessas intervenções, todas apresentaram baixa qualidade, segundo os critérios de avaliação adotados, indicando pouca confiança em relação aos seus efeitos. Esses dados são corroborados por Escártin (2016), que recuperou em sua revisão sistemática, somente oito artigos que empregaram métodos experimentais ou quase- experimentais, a fim de avaliar os efeitos das intervenções realizadas. Informações parecidas são também relatadas por Hodgins et al. (2014) e por Rutherford et al. (2018), evidenciando as lacunas da área relacionadas à quantidade e à qualidade das intervenções antiassédio moral realizadas nas últimas décadas.
Outro aspecto também importante sobre as intervenções antiassédio moral, é que muitas foram conduzidas em países europeus e norte-americanos. Nielsen e Einarsen (2018) apresentam em seu overview, três revisões sistemáticas sobre intervenções antiassédio moral (Escártin, 2016; Gillen et al., 2017; Hodggins et al., 2014). Dos estudos incluídos nessas três revisões, oito foram desenvolvidos na Europa, cinco na América do Norte, três na Oceania e um em mais de um continente. Informações semelhantes são também apresentadas por estudos de revisão mais recentes, como os de Park et al. (2018) e Rutherford et al. (2018), os quais também incluíram estudos realizados na Ásia.
Ao avaliar o método utilizado em algumas dessas revisões sistemáticas mencionadas, é possível identificar características que podem ter levado os autores a não encontrarem estudos sobre intervenções antiassédio moral realizadas em países latino-americanos. As revisões de Escártin (2016) e Gillen et al. (2017), por exemplo, utilizaram apenas descritores em inglês durante a etapa de busca, assim como não incluíram bases de dados referência em estudos latino-americanos. Além disso, esses estudos selecionaram apenas pesquisas com delineamento quase-experimentais ou experimentais. A revisão sistemática de Hodgins et al. (2014), por sua vez, selecionou apenas estudos que foram revisados por pares e escritos no idioma inglês, apresentando um viés de seleção.
Identificar e avaliar as intervenções antiassédio moral realizadas na América Latina é importante por diferentes razões. Alguns estudos ressaltam que o assédio moral é um fenômeno de ocorrência mundial, que é influenciado por variáveis culturais, regionais e políticas (p. ex.: Salin et al., 2019). Essas variáveis podem refletir nos índices desse tipo de violência (Nielsen & Einarsen, 2018), na percepção sobre o que a caracteriza e nos meios empregados para manejá-la (Antunes, 2017). Nos países latino-americanos, por exemplo, o sistema de produção vigente é o capitalista. Tal sistema pressupõe, dentre outros aspectos, a busca pelo lucro e produtividade, refletindo muitas vezes na precarização das condições de trabalho. Dada a dependência do trabalhador(a) do emprego para sua subsistência, muitos se expõem a situações inapropriadas, marcadas pela exploração, competitividade, e, não raramente, pelo assédio moral (Freire, 2008; Martini et al., 2017; Silva & Raichelis, 2015). Por fim, são escassos os estudos conduzidos na América Latina que visam ao enfrentamento dos assédios tanto o sexual quanto o moral.
Diante dessas especificidades, o objetivo desta pesquisa foi analisar os estudos sobre intervenções antiassédio moral conduzidos na América Latina. A partir desses dados espera- se, produzir conhecimento novo e caracterizar o atual estado da arte dessa área de investigação, o que pode auxiliar no planejamento de intervenções futuras.
Método
Para o cumprimento do objetivo desta revisão sistemática de literatura foram delineadas quatro etapas: (a) busca bibliográfica; (b) seleção dos materiais; (c) caracterização dos estudos; e (d) avaliação da qualidade individual dos estudos selecionados. A revisão buscou responder a seguinte pergunta de pesquisa: O que tem sido publicado sobre intervenções antiassédio moral conduzidas na América Latina?
Etapa 1 – Busca Bibliográfica
Bases de Dados e Estratégias de Busca
A busca bibliográfica teve como objetivo identificar estudos sobre intervenções antiassédio moral que foram conduzidos em países latino-americanos. Para tanto, em maio de 2020, foi realizada a primeira busca na base de dados REDALYC. Para a busca foram usados os seguintes descritores e combinações: (bullying OR mobbing OR harassment) AND (intervention OR training OR management OR prevention); (assédio OR intimidação) AND (treinamento OR intervenção OR prevenção OR manejo); (“acoso moral”) AND ( formación OR gesttión OR intervención).
Além disso, foi utilizado o filtro temporal (2010 a 2020) e regional (seleção apenas de publicações produzidas em países latino-americanos). Foram recuperados 1632 estudos, sendo selecionados apenas três. Os demais artigos recuperados nessa base de dados tratavam de intervenções antiassédio moral realizadas em outros países que não a América Latina. Em razão disso, em março de 2021, realizou-se uma nova busca nas seguintes bases de dados: REDIB, SCIELO, EBSCO, Scopus e no site do Núcleo de Estudos de Processos Psicossociais e de Saúde nas Organizações e no Trabalho (NEPPOT). As duas primeiras fontes foram selecionadas por indexarem, segundo profissionais da área, estudos latino-americanos; a antepenúltima e a penúltima por serem referência em estudos multidisciplinares; e a última por ser mencionada em estudos da área como fonte de informações sobre assédio moral no Brasil. Além disso, foram selecionadas apenas as bases de dados que apresentavam a função ‘busca avançada’, de modo que fosse possível refinar a pesquisa.
Para a nova busca realizou-se uma consulta prévia ao Thesaurus APA para delimitação dos descritores. Foram utilizadas as palavras: aggressive, agression, antissocial, conflict, abuse, harassment, victimization, persecución, incivility, mobbing, bullying, violence, psychoterrorism, intervention, prevention, program, traning, assessment, workplace, organization. As palavras correlatas em português e espanhol também foram usadas por serem os idiomas predominantes dos países latino-americanos. Diferentes estratégias de busca foram adotadas de acordo com as características das bases de dados. A Tabela 1 apresenta um exemplo das combinações de descritores. De modo geral, a busca foi realizada da seguinte forma: (a) as palavras correlatas a ‘assédio moral’ e ‘intervenção’ deveriam estar no título; (b) palavras correlatas a ‘criança’ e ‘escola’ não poderiam estar presentes no título, resumo ou palavras-chave; (c) o filtro relacionado ao país em que o estudo foi conduzido foi selecionado nas bases de dados que possuíam essa função; (d) o filtro de idioma foi utilizado nas bases de dados que possuíam essa função; e (e) não foi adotado qualquer recorte temporal nesta segunda busca. A partir dessa estratégia, nas bases de dados em que o retorno da busca foi inferior a 100 resultados, uma nova pesquisa foi conduzida, e nesta, apenas as palavras correlatas a ‘assédio moral’ deveriam estar no título.
Tabela 1 Exemplo de combinações de descritores utilizados no processo de busca bibliográfica em uma das bases de dados selecionadas.
| Bases de Dados | Combinações |
|---|---|
| Scopus | (TITLE-ABS-KEY(Aggressi* OR agres* OR antisocial OR antissocial OR conflict* OR conflito OR abus* OR harassment OR acoso OR assedio OR victimization OR vitimiza* OR persecución OR incivili* OR mobbing OR bullying OR violenc* OR psicoterror* OR psychoterror* OR hostigamiento) AND TITLE-ABS-KEY (interven* OR preven* OR program* OR training OR treinamento OR formación OR assessment OR avaluation OR avalia*) AND TITLE-ABS-KEY (workplace OR trabalho OR trabajo OR organiza* OR laboral) AND NOT TITLE-ABS-KEY (school OR children OR escola OR criança OR colégio OR escolar OR nino) AND LIMIT-TO (Brazil OR México OR colombia OR Argentina OR chile OR peru OR ecuador OR Venezuela OR bolivia OR Costa rica OR Guatemala OR Uruguai OR cuba OR Haiti OR el salvador OR panamá OR dominican republic OR paraguay) |
Etapa 2 – Seleção dos Materiais
A Etapa 2 teve como finalidade selecionar os estudos que atendiam ao objetivo da pesquisa. Para isso, foram adotados critérios de inclusão e exclusão.
Critérios de Inclusão
Foram incluídos nesta revisão estudos que aplicavam alguma intervenção antiassédio moral com as seguintes características: (a) intervenções primárias, secundárias ou terciárias; (b) em nível individual, coletivo ou organizacional; (c) estudos empíricos; (d) artigos, teses, dissertações, livros ou capítulos de livros; e (e) conduzidos em países da américa-latina. Entendeu-se como intervenção nesta pesquisa, a manipulação deliberada de alguma variável independente com o objetivo de avaliar os seus efeitos sobre uma variável dependente.
Critérios de Exclusão
Foram excluídos desta revisão, estudos com as seguintes características: (a) em idiomas diferentes do inglês, português e espanhol; (b) intervenções antiassédio moral conduzidas em outros contextos que não o organizacional (p. ex.: bullying escolar); (c) intervenções em que a amostra não era latino- americana; (d) outras formas de violência (p. ex.: violência intrafamiliar, adolescentes em conflito com a lei, violência de gênero etc.); (e) escalas e testes; (f) estudos de revisão; (g) estudos que não especificavam o país em que a intervenção foi realizada; (h) estudos indisponíveis; (i) estudos que não aplicavam alguma forma de intervenção; (j) estudos que não possuíam o assédio moral como objeto de estudo; (k) estudos teóricos; e (l) estudos sobre assédio sexual no ambiente de trabalho.
Procedimento de Seleção
Em um primeiro momento, os estudos duplicados foram descartados; após essa etapa, os títulos dos estudos restantes foram consultados e aqueles que não atenderam ao objetivo desta pesquisa foram excluídos. Depois os resumos dos estudos remanescentes foram avaliados, permanecendo apenas aqueles que se enquadravam nos critérios definidos. Em seguida, iniciou-se a busca pelos estudos completos, sendo desconsiderados aqueles que não estavam disponíveis. Os estudos foram lidos integralmente (ou até a identificação de algum dos critérios de exclusão definidos) e aqueles que atenderam aos critérios de inclusão foram selecionados. Para conduzir esta etapa, foi utilizada a plataforma START (Stateofhe Artthrough Systematic Review), uma vez que ela é específica para a realização de revisões sistemáticas (Fabbri et al., 2016).
Etapa 3 – Caracterização dos Estudos
Para caracterização dos estudos incluídos nesta revisão foram elaboradas três planilhas e registrados, respectivamente, os seguintes aspectos: (a) ano de publicação, país em que a intervenção foi conduzida, revista em que o estudo foi publicado, contexto de atuação profissional e filiação institucional dos autores; (b) nível (Nível 1 voltadas para os indivíduos diretamente envolvidos na situação de violência; Nível 2 para as equipes, grupos e colegas de trabalho; e Nível 3 para a organização) e direcionamento da intervenção (primárias, secundárias e terciárias); estratégia de intervenção adotada, participantes, variável dependente; e delineamentos e métodos empregados; e (c) instrumentos de mensuração utilizados e resultados obtidos.
Etapa 4 - Avaliação da Qualidade Individual dos Estudos Selecionados
Avaliação da Qualidade Individual dos Estudos Selecionados
Os estudos foram analisados a partir da proposta do grupo Building Evidence in Education (BE2 - 2015). Para tanto, cada um dos estudos foi avaliado pelos princípios: (a) enquadramento conceitual, que considera a relevância científica e social do estudo, a fundamentação teórico-conceitual adotada e a adequação da pergunta de pesquisa em relação ao atual estado da arte; (b) abertura e transparência, que se refere à divulgação dos dados brutos encontrados, das características da amostra, das fraquezas do estudo e das fontes de financiamento, quando existentes; (c) robustez da metodologia, que avalia a adequação do delineamento e do método empregado em relação à questão de pesquisa e a sua aplicação criteriosa; (d) adequação cultural, que investiga o quanto o estudo considerou os aspectos contextuais ao delimitar o instrumento de mensuração e ao analisar os dados coletados; (e) validade, que examina a validade de medição, a validade interna, a externa e a ecológica dos estudos; (f) confiabilidade, que se refere à precisão com que o fenômeno estudado foi medido e à precisão da técnica de análise; e (g) clareza, que diz sobre a lógica da linha argumentativa do(s) autor(es) ao longo do texto e sobre a relação entre as conclusões e os dados apresentados.
O BE2 foi desenvolvido para avaliar a qualidade de estudos conduzidos no âmbito educacional, contudo, os itens mensurados pelo instrumento (enquadramento conceitual; transparência; robustez metodológica; adequação cultural; validade; confiabilidade; e convincência) são aspectos importantes para apreciar a qualidade de pesquisas em quaisquer áreas do conhecimento, inclusive no contexto organizacional. Por esse motivo, essa ferramenta foi utilizada para avaliar a qualidade dos estudos incluídos nesta revisão sistemática.
Segundo Avaliador
Como a avaliação individual dos estudos é inferencial, foi solicitado que um segundo pesquisador realizasse a Etapa 4 para que as avaliações pudessem ser comparadas. O objetivo desta etapa foi trazer precisão e confiança aos dados apresentados nesta revisão.
Concordância entre Avaliadores
O cálculo de concordância foi realizado para cada estudo avaliado. Obteve-se o índice de concordância a partir da seguinte fórmula: concordância / concordância + discordância x 100 (cf. Cooper et al., 2014). O relato e a síntese da revisão sistemática foram orientados pelas diretrizes do checklist PRISMA - Preferred Reporting Items for Systematic review and Meta-Analysis Protocols (Liberati et al., 2009).
Resultados
A Figura 1 apresenta as etapas de identificação, seleção inicial, avaliação de elegibilidade e análise para inclusão dos estudos. A partir das estratégias de busca adotadas, foram recuperados, ao todo, 4679 estudos, dos quais apenas 9 atenderam aos critérios de inclusão delimitados. Desses, 77% tiverem como objeto de pesquisa o ‘assédio moral no ambiente de trabalho’ (Estudos A, B, C, D, E, F e I), 11% as ‘diferentes formas de violência no ambiente de trabalho’ (Estudo G) e 11% (Estudo H) o ‘assédio moral no ambiente de trabalho e nas universidades’. As referências dos estudos incluídos nesta revisão são apresentadas na Tabela 2.
Nota. O símbolo (*) indica que alguns estudos foram excluídos por dois ou mais critérios (p. ex.: amostra não era latino-americana e tratava sobre outras formas de violência).
Figura 1 Fluxograma das etapas de busca até a inclusão dos artigos
Tabela 2 Identificação e referências dos estudos incluídos
| ID | Referências dos estudos constituintes da revisão |
|---|---|
| A | Albanaes, P., Rodrigues, K. J. R., Pellegrini, P. G., & Tolfo, S. R. (2017). Intervenção em grupo de apoio psicológico a trabalhadores vítimas de assédio moral. Revista de Psicología (PUCP), 35(1), 61–96. https://doi.org/10.18800/psico.201701.003 |
| B | Anaya, B. P. P., Hernández, A. M., Barrios, K. M., & Ruiz, E. J. C. (2017). Evaluación de intervención formativa sobre el reconocimiento del acoso a un grupo de trabajadores de servicios de limpieza. Medicina y Seguridad Del Trabajo, 63(249), 300–310. |
| C | Câmara, R. de A., Maciel, R. H., & Gonçalves, R. C. (2012). Prevenção e combate ao assédio moral entre servidores públicos do estado do Ceará. Revista Brasileira de Saúde Ocupacional, 37(126), 243–255. https://doi.org/10.1590/S0303-76572012000200006 |
| D | Martins, F. S., Caldas, D. B., Cugnier, J. S., Goulart, L., & Tolfo, S. R. (2012). Restabelecendo o poder de agir: Atendimento grupal para assediados mo- ralmente no trabalho. Revista Brasileira de Psicodrama, 20(2), 97–113. http://pepsic.bvsalud.org/scielo.php?pid=S0104-53932012000200007&script=s-ci_arttext |
| E | Nunes, T. S., Cugnier, J. S., & Tolfo, S. R. (2015). Prevención y combate al acoso moral en el trabajo: De la información e la acción. Em Hostigamiento Psicológico Laboral e Institucional en Iberoamérica: Estado del arte y experiencias de intervención (1a ed., Issue October 2015, pp. 815). Sb editorial. |
| F | Oliveira, F., Sato, L., Queiroz, C. C. M., Sakô, D. H., Oliveira, F. M. U. , Bastos, J. A., Andrada, C. F., & Mortada, S. P. (2018). Pesquisa-intervenção par- ticipativa com trabalhadores da Unidade de Manutenção de uma universidade pública: Precarização, memória e resistência. Revista Brasileira de Saúde Ocupacional, 43(1), 1–9. https://doi.org/10.1590/2317-6369000012518 |
| G | Pintor, E. A. da S., & Garbin, A. D. C. (2019). Notificações de violência relacionadas ao trabalho e vigilância em saúde do trabalhador: Rompendo a invisibilidade. Revista Brasileira de Saúde Ocupacional, 44(20), 1–9. https://doi.org/10.1590/2317-6369000006918 |
| H | Rosas, M. A. T., & López, S. O. (2011). El Instituto Politécnico Nacional innovando en políticas en prevención de violencia con perspectiva de género. Innovación Educativa, 11(57), 195–205. |
| I | Silva, A. K. L. da, Marinho, M. I. D., Machado, L. S. da S. X., Queiroz, J. L. F. de, & Jucá, R. M. N. (2019). Assédio moral no trabalho: do enfrentamento individual ao coletivo. Revista Brasileira de Saúde Ocupacional, 44(22), 1–9. https://doi.org/10.1590/2317-6369000015918 |
Nota. ID = identificação.
Todos os estudos foram publicados entre os anos de 2011 e 2019, sendo 55% entre os anos de 2017 e 2019. Desses estudos, 77% (Estudos A, C, D, E, F, G e I) foram conduzidos em diferentes regiões do Brasil e 22% no México (Estudos B e H). Com relação às revistas que publicaram esses estudos, há uma variedade de fontes, sendo a Revista Brasileira de Saúde Ocupacional a única com mais de uma ocorrência (Estudos C, F, G e I). Quanto aos autores, 55% deles possui formação em Psicologia e/ou atua como docentes em cursos de Psicologia. A Tabela 3 apresenta de modo detalhado essas informações.
Tabela 3 Caracterização dos estudos incluídos
| ID | Ano | Região/País | Revista / Livro | Contexto de atuação dos autores | Filiação institucional do(s) autor(es) |
|---|---|---|---|---|---|
| A | 2017 | Sul do Brasil | Revista de Psicologia | Psicologia / Administração | Universidade Estadual de Santa Catarina |
| B | 2017 | Zona leste do México | Medicina y Seguridad del Trabajo | Não relatado | Universidad Autónoma del Estado de México |
| C | 2012 | Ceará/Brasil | Revista Brasileira de Saúde Ocupacional | Psicologia | Universidade de Fortaleza |
| D | 2012 | Brasil | Revista Brasileira de Psicodrama | Psicologia | Universidade Federal de Santa Catarina |
| E | 2015 | Santa Catarina / Brasil | Hostigamiento Psicológico Laboral e Institucional en Iberoamérica: Estado del arte y experiencias de intervención | Administração e Psicologia | Universidade Federal de Santa Catarina |
| F | 2018 | Brasil | Revista Brasileira de Saúde Ocupacional | Psicologia / Educação | Universidade de São Paulo; Pontifícia Universidade Católica de São Paulo; Instituto Federal de Educação, Ciência e Tecnologia da Bahia. |
| G | 2018 | São Bernardo do Campo / Brasil | Revista Brasileira de Saúde Ocupacional | Não relatado | Secretaria de Estado de Saúde de São Paulo; Pontifícia Universidade Católica de São Paulo; Universidade Presbiteriana Mackenzie. |
| H | 2011 | México | Innovación Educativa | Não relatado | Não relatado |
| I | 2019 | Brasil | Revista Brasileira de Saúde Ocupacional | Não relatado | Universidade Potiguar |
Nota. ID = identificação. As informações sobre o contexto de atuação foram retiradas do próprio estudo a partir da formação ou da filiação institucional dos autores. As informações sobre a filiação institucional foram retiradas do próprio estudo considerando o vínculo dos autores na época em que o estudo foi publicado.
Das intervenções descritas nesses estudos, 44% foram exclusivamente em nível terciário (Estudos A, D, F e I) e 22% em nível secundário (Estudos B e C). Outras 22% foram intervenções em nível primário e secundário (Estudos G e H) e 11% em nível secundário e terciário (Estudo E). Quanto ao direcionamento, 55% foram voltadas às vítimas da violência no ambiente de trabalho (Estudos A,D, F e I), 11% à equipe de trabalho (Estudos B) e 22% à organização (Estudos C e G). Por fim, 11% dos estudos focaram em mais de uma categoria, como o organizacional e coletivo (Estudo H).
Quanto às estratégias de intervenção, 22% dos estudos (Estudos B e C) foram em formato de capacitações, treinamentos ou programas educacionais, 33% conduziram grupos de apoio aos envolvidos (Estudos A, D e I) e 44% (Estudos E, F, G e H) utilizaram mais de uma estratégia de intervenção (p. ex.: capacitações, grupos de apoio, campanhas informativas, palestras etc.) Sobre os participantes, há um predomínio de mulheres nos grupos de apoio (70%). Os setores de atuação dos participantes foram diversos.
Com relação às variáveis dependentes (VDs) dos estudos, 88% deles (Estudos A, C, D, E, F, G, H e I) não indicaram claramente o que estavam avaliando, sendo a VD inferida a partir das informações apresentadas ao longo do texto. Apenas 11% (Estudo B) evidenciaram qual era a variável dependente. 66% dos estudos verificaram os efeitos da intervenção sobre a conscientização dos participantes acerca do assédio moral e das habilidades de manejo contra essa violência (Estudos A, C, D, E, H e I). O Estudo F avaliou os efeitos do assédio moral sobre a saúde emocional dos participantes, além das habilidades de manejo e o G investigou os efeitos sobre a conscientização e a prevalência do assédio moral. O Estudo B avaliou as implicações da intervenção sobre a prevalência do assédio moral e sobre a saúde mental dos trabalhadores
Sobre os delineamentos adotados, 88% foi descritivo observacional com diferentes níveis de controle de variáveis (Estudos A, C, D, E, F, G, H e I) e 11% utilizaram delineamentos quase-experimentais (Estudo B). Quanto aos métodos empregados, 62,5% dos estudos descritivos observacionais (Estudos A, C, D, F e I) foram do tipo estudo de caso e 37,5% utilizaram métodos mistos (Estudos E, G e H). O estudo que utilizou delineamento quase experimental fez uso de pré e pós- teste sem grupo controle.
Todos os estudos relataram que as intervenções promoveram resultados favoráveis, como demonstrado em detalhes na Tabela 5. Com relação à forma como esses dados foram mensurados, o Estudos B usou ferramentas (p. ex.: inventários e questionários) antes e depois da intervenção, outros 33% (Estudos C, D e E) apenas após a intervenção (p. ex.: entrevistas semiestruturadas e questionários) e os Estudos A e H somente antes da intervenção (p. ex.: entrevistas semiestruturadas e questionários). Dois estudos (F e G) não indicaram como os resultados foram medidos e o Estudo I realizou a coleta durante a intervenção por meio de diários de campo.
Tabela 4 Nível (primária, secundária e terciária) e direcionamento (individual, coletivo e organizacional) da intervenção, estratégias empregadas para a realização da intervenção, número e gênero dos participantes, variável dependente e delineamento e método empregado
| ID | Nível e direcionamento da intervenção | Estratégia de intervenção | Participantes | Variável Dependente (VD) | Delineamento / Método |
|---|---|---|---|---|---|
| A | Terciária / Individual. | Grupo de apoio fundamentado no psicodrama – 8 encontros de 1h30min. | 5 mulheres vítimas de assédio moral. | Conscientização e manejo de situações de assédio moral*. | Descritivo Observacional / Estudo de caso. |
| B | Secundária / Coletiva. | Programa educacional – 6 sessões com duração de 1 hora. | 20 homens do setor de limpeza. | (1) Prevalência do assédio moral e (2) saúde mental dos participantes. | Quase-experimental / Longitudinal (pré e pós- teste sem grupo controle). |
| C | Secundária / Organizacional. | Capacitação – 2 vezes ao mês durante 5 meses. | 5 servidores públicos da Comissão Setorial de Combate ao Assédio moral. | Manejo de situações de assédio moral* | Descritivo Observacional / Estudo de caso. |
| D | Terciária / Individual. | Psicoterapia em grupo fundamentada no psicodrama – 6 encontros com 2 horas de duração. | 5 mulheres. | Conscientização e manejo de situações de assédio moral*. | Descritivo Observacional / Estudo de caso. |
| E | Duas intervenções: (1) Secundária / Não se aplica;(2) Terciária / Individual. | Duas intervenções:(1) Seminário para divulgação de informações sobre o assédio moral;(2) Grupo de apoio. | Duas intervenções:(1) 497 participantes de diferentes áreas do conhecimento e regiões do Brasil;(2) 5 mulheres vítimas de assédio moral. | Duas intervenções:(1) Conscientização sobre o fenômeno ‘assédio moral’*;(2) Conscientização e manejo de situações de assédio moral*. | Descritivo Observacional / Métodos mistos. |
| F | Terciária / Individual. | Três intervenções: (1) Processo administrativo; (2) Atendimento psicológico emergencial; (3) Discussões em grupo. | Ações realizadas em uma universidade pública que empregava cerca de 260 trabalhadores. | Três intervenções: (1) Não se aplica*;(2) Saúde emocional e manejo de situações de assédio moral*;(3) Construção de memória e sentido do trabalho*. | Descritivo Observacional / Estudo de caso. |
| G | Duas intervenções: (1) Secundária / Organizacional;(2) Primária / Não se aplica. | Duas intervenções:(1) Capacitação;(2) Ações de vigilância / fiscalização em três empresas distintas. | Duas intervenções:(1) Profissionais da rede municipal de saúde;(2) Três empresas distintas: (a) empresa tradicional; (b) empresa de teleatendimento; e (c) supermercado. | Duas intervenções:(1) Avaliar situações de violência no ambiente de trabalho*;(2) Prevalência de situações de violência no ambiente de trabalho*. | Descritivo Observacional / Métodos mistos. |
| H | Três intervenções:(1) Primária / Organizacional;(2) Secundária / Coletiva;(3) Primária / Organizacional. | Três intervenções:(1) Campanha informativa;(2) Cursos / oficinas / concursos e Desenvolvimento de materiais didáticos sobre assédio moral. (3) Implementação de uma comissão para tratar de casos de violência nas universidades. | Três intervenções:(1) 159935 estudantes e profissionais de uma instituição de ensino;(2) Ao todo, 624 profissionais e estudantes de ensino participaram de diferentes cursos / oficinas / concursos oferecidos pela instituição de ensino;(3) Representantes de 11 instituições de ensino superior. | Três intervenções:(1) Conscientização sobre o assédio moral com foco na perspectiva de gênero*;(2) Identificação e Manejo de situações de assédio moral*;(3) Manejo e prevalência do assédio moral*. | Descritivo Observacional / Métodos mistos. |
| I | Duas intervenções: (1) Terciária / Individual;(2) Terciária / Individual. | Duas intervenções: (1) Psicoterapia individual – 8 sessões; (2) Psicoterapia em grupo – 9 sessões. | Duas intervenções:(1) 1 homem servidor público;(2) 7 servidores públicos (duas mulheres e cinco homens). | Manejo de situações de assédio moral* | Descritivo Observacional / Estudo de caso. |
Nota. ID = identificação. O Símbolo (*) indica que o dado apresentado é inferencial, formulado pela autora a partir das informações relatadas no texto.
Tabela 5 Medidas empregadas para a coleta de informações e principais resultados
| ID | Momento e instrumentos | Principais resultados |
|---|---|---|
| A | T1: Entrevista semiestruturada para seleção das participantes. | Segundo o relato dos autores, a partir da intervenção, as participantes puderam: (a) caracterizar o assédio moral; (b) identificar formas de enfrentamento contra o assédio moral; e (c) fortalecer os vínculos sociais. |
| B | T1: LIPT-60 e GHQ28;T2 (6 semanas depois): LIPT-60 e GHQ28. | Segundo os dados apresentados no estudo, a intervenção promoveu: (a) uma redução estatisticamente significativa em relação às atitudes de desprestígio laboral e ameaças encobertas (formas de assédio moral); e (b) uma redução dos sintomas somáticos (indicador de saúde mental). |
| C | T2 (1 ano após a capacitação): Análise documental e entrevistas semiestruturadas com os participantes. | Segundo o relato dos participantes, a capacitação os auxiliou a compreender o que é o ‘assédio moral’ e quais são as formas de manejá-lo. Contudo, destacaram que não se sentiam preparados para atuar frente a essas situações. Além disso, aspectos como a falta de tempo, a ausência de espaço físico e apoio da gerência e a falta de empenho da equipe foram apontados como fatores que limitaram a atuação do grupo. |
| D | T2 (cinco meses após o encerramento do grupo): feedback por e-mail. | Segundo o relato dos autores, a intervenção possibilitou: (a) o desenvolvimento de estratégias para manejar situações de assédio moral e o sofrimento; (b) a conscientização acerca do assédio moral; e (c) o acolhimento dos participantes. |
| E | Duas intervenções: (1) T2: questionário para avaliação do seminário quanto às instalações, atendimento, estrutura e objetivos; (2) T2 (cinco meses após o encerramento do grupo): feedback por e-mail. | Duas intervenções: (1) Todos os itens foram avaliados positivamente, com média superior a 8,5 pontos; (2) Duas participantes responderam o e-mail indicando que o grupo auxiliou na compreensão sobre o que é o assédio moral e sobre como enfrentá-lo. |
| F | Quatro intervenções: Não relatado | Quatro intervenções: (1) Não relatado;(2) Não relatado; (3) O diagnóstico organizacional realizado possibilitou a identificação de melhorias a serem realizadas no cotidiano de trabalho. Contudo, ao apresentar essas melhorias para a gerência, os autores foram informados que a universidade fecharia, não sendo possível promover tais alterações; (4) Segundo os autores, as discussões realizadas promoveram o cuidado e a valorização dos trabalhadores, além de os auxiliarem a manejar as situações de precarização no trabalho. |
| G | Duas intervenções: (1) Não relatado;(2) Não relatado. | Duas intervenções: (1) Estudo não indica se a capacitação foi efetiva no ensino dos comportamento- objetivo, mas relata que após a inserção da equipe capacitada nas redes de atenção e pessoas em situação de violência, houve um aumento exponencial do número de denúncias de situações de violência no ambiente de trabalho; (2) As ações de vigilância / fiscalização foram realizadas em três empresas: (a) após a ação, a empresa apresentou uma proposta de intervenção, alguns trabalhadores relataram mudanças positivas e em alguns setores da organização as ameaças passaram a ser mais brandas; (b) as queixas relacionadas a violência no ambiente de trabalho diminuíram; (c) não relatado. |
| H | T1: Foi aplicado um questionário para a avaliação da prevalência e das características do assédio moral nas instituições de ensino. | Três intervenções: (1) Após a campanha, estudantes e profissionais passaram a denunciar as situações de assédio moral (192 denúncias), sendo a maioria dos casos acompanhados e resolvidos; (2) não relatado; (3) Até o momento do estudo, a comissão havia definido as diretrizes gerais de funcionamento para a atuação dos membros frente a situações de violência. |
| I | Duas intervenções: (1) e (2): Coleta continuada por meio de diários de campo. | Duas intervenções: (1) Os autores relatam que durante a intervenção, o participante apresentou melhoras relacionadas a motivação e ao desenvolvimento de estratégias de manejo frente a situações de assédio moral; (2) Os autores relatam que o grupo de apoio promoveu a conscientização dos participantes sobre ao assédio moral; a diminuição do sofrimento; e o desenvolvimento de estratégias de manejo coletivas frente ao assédio moral. |
Nota. ID = identificação; T1 = pré-teste; T2 = pós-teste; LIP-60 = Leymann Inventory of Psychological Terrorization; GHQ28 = General Health Questionnarie by Goldberg.
Avaliação da Qualidade Individual dos Estudos
A Tabela 6 apresenta a avaliação realizada pela pesquisadora dos estudos incluídos nesta revisão em relação aos sete itens do manual de avaliação da qualidade das evidências da BE2 (2015). A concordância média entre pesquisadores foi de 80% (75% a 85%).
Tabela 6 Pontuação da Avaliação da Qualidade Individual dos Estudos Incluídos
| Pontuação obtida por estudo em cada princípio de avaliação em relação a pontuação máxima possível | |||||||||
|---|---|---|---|---|---|---|---|---|---|
| ID | Enquadramento conceitual | Abertura | Robustez de método | Adequação cultural | Validade | Confiabilidade | Convincência | Total | Qual. |
| A | 5/6 | 2/8 | 5/6 | 0/4 | 1/8 | 0/4 | 4/4 | 17/40 42,5% | Baixa |
| B | 6/6 | 6/8 | 5/6 | 2/4 | 5/8 | 4/4 | 4/4 | 32/40 80% | Alta |
| C | 6/6 | 6/8 | 5/6 | 0/4 | 0/8 | 0/4 | 4/4 | 21/40 52,5% | Baixa |
| D | 4/6 | 3/8 | 1/6 | 0/4 | 0/8 | 0/4 | 2/4 | 10/40 25% | Baixa |
| E | 4/6 | 3/8 | 4/6 | 0/4 | 0/8 | 0/4 | 2/4 | 13/40 32,5% | Baixa |
| F | 5/6 | 5/8 | 4/6 | 0/4 | 2/8 | 0/4 | 4/4 | 20/40 50% | Baixa |
| G | 3/6 | 7/8 | 4/6 | 0/4 | 0/8 | 0/4 | 3/4 | 17/40 42,5% | Baixa |
| H | 5/6 | 6/8 | 3/6 | 0/4 | 1/8 | 0/4 | 3/4 | 18/40 45% | Baixa |
| I | 5/6 | 7/8 | 3/6 | 0/4 | 0/8 | 0/4 | 4/4 | 19/40 47,5% | Baixa |
| Total | 43/54 79,6% | 45/72 62,5% | 34/54 62,9% | 02/36 5,5% | 09/72 12,5% | 04/36 11,1% | 30/36 83,3% | 167/360 46,3% | |
Apesar de todos os estudos terem relatado resultados favoráveis, observa-se na Tabela 6 que apenas o Estudo B foi avaliado com qualidade ‘alta’, enquanto o restante (88%) foi avaliado com ‘baixa’ qualidade. Aqueles classificados com qualidade ‘baixa’ (Estudos A, C, D, E, F, G, H e I), apresentaram, de modo geral, déficits nos itens ‘robustez metodológica’, ‘validade’ e ‘confiabilidade’. O item ‘robustez metodológica’ refere-se à adequação do delineamento e do método empregado em relação à questão de pesquisa e a sua aplicação criteriosa. Sobre o item ‘validade’, esse considera o quanto os indicadores mensurados no estudo são precisos, qual o grau de controle de variáveis empregado e em que medida a intervenção pode ser generalizada para outros contextos. Com relação ao item ‘confiabilidade’, esse investiga o quanto as formas de mensuração e as técnicas de análise adotadas são precisas e confiáveis. Além desses aspectos, 94,5% dos estudos apresentaram déficits também no item ‘adequação cultural’.
Discussão
Os estudos recuperados indicam que as pesquisas sobre intervenções antiassédio conduzidas em países latino- americanos são, ainda, limitadas e incipientes. Considerando o período dos estudos incluídos nesta revisão (2011 – 2019), a média de publicações sobre o tema foi de um estudo por ano. Contudo, é possível observar um aumento discreto no número de pesquisas a partir de 2017 (1,6/ano), indicando um interesse crescente da área sobre intervenções contra violência no ambiente de trabalho.
O objetivo dessa revisão foi recuperar estudos conduzidos em países latino-americanos, mas somente dois (Brasil e México) dos 20 países da região foram contemplados. Desses estudos, 77% eram de brasileiros. Ainda que a escolha da base de dados NEPPOT (fonte brasileira) possa ter influenciado nesses dados, estudos de revisões sistemáticas como de Ansoleaga et al. (2015) corroboram essa tendência. Na revisão das autoras, 50% dos estudos recuperados também foram realizados no Brasil e os outros 50% em 10 países da América Latina. Dados como esses, reforçam a importância de realizar pesquisas sobre intervenções antiassédio moral em países latino-americanos, uma vez que as evidências científicas sobre o assunto nesse contexto têm se mostrado escassas. Além disso, como evidenciado por Salin et al. (2019), a forma como o assédio moral é expresso nas relações de trabalho é particular de cada país, ratificando a necessidade do desenvolvimento de intervenções específicas, as quais considerem tanto a realidade das organizações quanto a cultura regional.
As intervenções conduzidas nos países latino-americanos foram, em sua maioria (44%), em nível terciário, seguidas das intervenções em nível secundário (22%). Nenhum estudo foi exclusivamente em nível primário. Como apresentado por Vieira et al. (2012), existe na área uma inclinação pela psicologização do assédio moral, isto é, há uma atribuição de culpa às vítimas e/ou aos agressores pelos comportamentos violentos sofridos ou praticados. Como consequência desse modelo explicativo, as intervenções podem também ter um direcionamento individual, em que buscam resolver as situações de violência por meio do tratamento dos envolvidos, como corroborado por esta pesquisa. No entanto, para que o assédio moral seja combatido, é importante que intervenções se estendam também para o nível primário, buscando a prevenção dessas condutas violentas (Escartín, 2016).
Quanto às estratégias de intervenção utilizadas nos estudos, elas foram diversificadas. Para reabilitar as vítimas, os grupos de apoio foram o meio predominante; e para aumentar os recursos individuais, os programas educacionais foram a maioria. Estratégias como campanhas informativas, seminários, ações de vigilância e comissões para tratar o assédio moral também foram adotadas em alguns estudos. Esses dados são evidenciados também por Glina e Soboll (2012), que indicam a diversidade de estratégias utilizadas para prevenir e reduzir o assédio moral no ambiente de trabalho. Informações como essas, por sua vez, destacam que não há um único meio para combater essa forma de violência, mas uma série de possibilidades que devem ser consideradas de acordo com a realidade da organização, da fase em que a violência se encontra e das características dos envolvidos na situação.
Outro aspecto demonstrado nesta revisão, diz respeito às características dos envolvidos nas situações de violência. Observa-se que 70% dos participantes dos grupos de apoio eram mulheres. Essa informação, por conseguinte, sugere que as mulheres são os alvos mais frequentes de assédio moral em detrimento dos homens, como também indicado em outras pesquisas (p. ex.: Ansoleaga et al., 2015). Importante destacar que essa informação não é conclusiva e exige dados de outras pesquisas para ser corroborada. Contudo, a prevalência de mulheres nas intervenções que visam a reabilitação das vítimas, oferece alguns indicativos sobre o perfil dos trabalhadores que são alvo de assédio moral, o que deve ser considerado no planejamento de políticas contra essa violência.
Com relação às variáveis dependentes dos estudos, 66% deles buscaram promover a conscientização dos participantes sobre o assédio moral e ensiná-los a manejar essas situações de violência. Aqui, novamente, é possível observar um direcionamento da responsabilidade pela resolução das condutas violentas aos envolvidos, como destacado por Vieira et al. (2012). Ainda que essas sejam variáveis importantes, que devem ser consideradas ao propor intervenções nesse cenário, é preciso também lembrar que as organizações possuem papel fundamental na prevenção e redução da violência no ambiente de trabalho. Dessa forma, além da conscientização, as organizações devem promover uma cultura antiassédio moral, capacitar líderes para manejar adequadamente essas situações de violência, garantir que os casos de assédio moral serão investigados e acompanhados, entre outras ações necessárias (Glina & Soboll, 2012).
Por ser uma área de pesquisa recente, particularmente nos países latino-americanos, 88% das intervenções realizadas foram exploratórias e adotaram delineamentos descritivos observacionais. Pesquisas dessa natureza, por sua vez, são relevantes e trazem dados importantes que podem auxiliar na elaboração de novas intervenções. No entanto, apesar de todos os estudos terem relatado resultados favoráveis, não é possível atribuir uma relação causal entre a intervenção e os efeitos observados, limitando possíveis conclusões. Dessa forma, ressalta-se a necessidade que futuras pesquisas sejam conduzidas usando um delineamento experimental mais rigoroso para que os efeitos da intervenção sejam atribuídos às manipulações experimentais realizadas e não a outras variáveis.
Outra limitação dos estudos avaliados é que mais de 50% deles não descrevem com detalhes a intervenção realizada. As informações apresentadas, de modo geral, referem-se aos objetivos da intervenção e aos temas/conteúdos abordados; e as atividades realizadas são descritas em tópicos. Informação semelhante é também apresentada por Escartín (2016), o qual aponta que muitos dos estudos recuperados em sua revisão apresentam poucas informações sobre como as intervenções foram conduzidas. Por mais que os resultados relatados nesses estudos sejam positivos, a ausência dessas informações prejudica a avaliação do processo de intervenção e a sua replicação em outros contextos.
Ainda, muitos dos estudos recuperados apresentaram problemas no referente à mensuração. A maioria deles não utilizou instrumentos validados para medir os resultados da intervenção e alguns não indicaram como essa etapa foi conduzida. Daqueles que indicaram como a mensuração foi realizada, muitos não adaptaram os instrumentos à realidade do público-alvo e/ou consideraram as especificidades culturais ao analisarem os resultados. Isso, por sua vez, indica que os resultados relatados são pouco confiáveis, assim como evidenciam um déficit na área relacionado ao exame do assédio moral de acordo com a realidade da população. Salin et al. (2019) enfatizam que essa forma de violência pode diferir de região para região, sendo necessário atentar para as especificidades culturais ao avaliá-la. Apesar dessa relevância, é possível observar que mais de 50% dos estudos conduzidos na América Latina sobre o tema não consideraram claramente esse aspecto, colocando em questão as conclusões apresentadas.
Embora a maioria dos estudos tenha ressaltado a relevância científica e social da pesquisa e redigido o texto de forma clara e coerente, deficiências nos itens destacados comprometem a qualidade dos estudos e a confiança com relação aos efeitos descritos. Essas informações, no entanto, trazem alguns indicativos daquilo que deve ser melhorado e podem auxiliar no planejamento de novas pesquisas.
Conclusão
Conclui-se, portanto, a partir da qualidade individual e quantidade de estudos avaliados, do contexto em que essas intervenções foram realizadas e das variáveis investigadas em cada estudo, que a qualidade do corpo de evidências desta revisão é limitada. Isso significa que as evidências reunidas apresentam deficiências, que limitam a confiança em relação aos resultados apresentados.
Pontua-se ainda que esta pesquisa apresentou algumas limitações, como: ausência de um segundo pesquisador nas fases de busca, seleção e caracterização dos estudos; ausência de um protocolo de registro da revisão; e restrições de idiomas. Para que esses dados sejam corroborados, outras revisões precisam ser feitas, as quais devem, além de suprir essas limitações relatadas, conduzir a busca em novas bases de dados. As limitações apontadas, contudo, não excluem a importância dos dados coletados para a caracterização do estado da arte desta área de investigação, assim como a relevância desses achados para a execução de futuras pesquisas.
