SciELO - Scientific Electronic Library Online

 
vol.70 número1Personalidade e bem-estar subjetivo de trabalhadores: moderação da regulação emocionalHumor mórbido: defesa e tradução do horror na Shoah índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Arquivos Brasileiros de Psicologia

versão On-line ISSN 1809-5267

Arq. bras. psicol. vol.70 no.1 Rio de Janeiro jan./abr. 2018

 

ARTIGOS

 

Pesquisas transculturais em psicologia do desenvolvimento: considerações teórico-metodológicas

 

Cross-cultural research in developmental psychology: theoretical and methodological considerations

 

Investigaciones transculturales en psicología del desarrollo: consideraciones teórico-metodológicas

 

 

Lauren Beltrão GomesI; Carina Nunes BossardiII; Simone Dill Azeredo BolzeIII; Marc BigrasIV; Daniel PaquetteV; Maria Aparecida CrepaldiVI; Mauro Luís VieiraVII

IDocente. Departamento de Psicologia da Fundação Universidade Regional de Blumenau (FURB). Blumenau. Estado de Santa Catarina. Brasil
IIDocente. Curso de Psicologia e Mestrado em Saúde e Gestão do Trabalho da Universidade do Vale do Itajaí (UNIVALI). Itajaí. Estado de Santa Catarina. Brasil
IIIDocente. Departamento de Psicologia da Universidade Anhanguera. São José. Estado de Santa Catarina. Brasil
IVDocente. Departamento de Psicologia da Université du Québec à Montréal (UQÀM). Montreal. Québec. Canadá
VDocente. Departamento de Psicoeducação. Université de Montréal (UdeM). Montreal. Québec. Canadá
VIDocente. Programa de Pós-Graduação em Psicologia. Universidade Federal de Santa Catarina (UFSC). Florianópolis. Estado de Santa Catarina. Brasil
VIIDepartamento de Psicologia. Universidade Federal de Santa Catarina (UFSC). Florianópolis. Estado de Santa Catarina. Brasil

Endereço para correspondência

 

 


RESUMO

A cultura e os contextos sociais são aspectos importantes na investigação de fenômenos concernentes ao desenvolvimento humano. Tem-se como objetivo apresentar considerações teórico-metodológicas, baseadas na experiência de uma pesquisa realizada por pesquisadores brasileiros e canadenses, acerca dos procedimentos adotados na produção científica envolvendo a Psicologia Transcultural e a Psicologia do Desenvolvimento, apontando desafios e possibilidades para superá-los. Salienta-se a importância da adequação da pesquisa para diferentes culturas e recomenda-se atentar para os seguintes procedimentos: definição do tema de pesquisa, escolha e adaptação dos instrumentos de medida, definição do construto, treinamento dos pesquisadores e estudo piloto. A indicação de critérios dessa natureza tem como objetivo aprimorar a sistematização e descrição de estudos transculturais na área da Psicologia do Desenvolvimento para que se possam produzir resultados consistentes e válidos.

Palavras-chave: Comparação transcultural; Psicologia intercultural; Psicologia transcultural; Adaptação de instrumentos; Pesquisa transcultural.


ABSTRACT

The culture and social contexts are important in the investigation of aspects related to human development. The objective was to present theoretical and methodological considerations, based on our experience related to a research carried out by Brazilian and Canadian researchers, on the procedures adopted in the scientific literature involving the Transcultural Psychology and Developmental Psychology, pointing challenges and possibilities of overcoming them. The importance of adequacy of research for different cultures was stressed and it is recommended be attentive to the following: definition of the research topic, choice of the measuring instrument, definition of the construct, instrument adaptation, training researchers and pilot study. Indication criteria of this nature aims to improve the systematization and description of cross-cultural studies in Developmental Psychology, in order to make possible to produce consistent and valid results.

Keywords: Cross-cultural comparison; Intercultural psychology; Cross-cultural psychology; Adaptation of instruments; Cross-cultural research.


RESUMEN

La cultura y los contextos sociales son aspectos importantes en la investigación de fenómenos concernientes al desarrollo humano. Se tiene como objetivo presentar consideraciones teórico-metodológicas, basadas en la experiencia de una investigación realizada por investigadores brasileños y canadienses, acerca de los procedimientos adoptados en la producción científica envolviendo la Psicología Transcultural y la Psicología del Desarrollo, apuntando desafíos y posibilidades. Se destaca la importancia de la adecuación de la investigación para diferentes culturas y se recomienda atentar para los siguientes procedimientos: definición del tema de investigación, elección y adaptación de los instrumentos de medida, definición del constructo, entrenamiento de los investigadores y estudio piloto. La indicación de criterios de esa naturaleza tiene como objetivo mejorar la sistematización y descripción de estudios transculturales en el área de la Psicología del Desarrollo para que se puedan producir resultados consistentes y válidos.

Palabras clave: Comparación transcultural; Psicología intercultural; Psicología transcultural; Adaptación de instrumentos; Investigación transcultural.


 

 

Introdução

O estudo do desenvolvimento humano deve ser pensado a partir do curso de vida em sua totalidade, da interação entre componentes genéticos e adquiridos na determinação do comportamento e do indivíduo como um sistema biológico, psicológico, social, inserido em um contexto sociocultural. Analisar diferentes contextos de desenvolvimento humano torna possível compreender como tarefas básicas de desenvolvimento, tais como os cuidados parentais e o brincar, são solucionadas de diferentes maneiras diante de condições culturais e ecológicas específicas (Keller, 2013). Dessa forma, ressalta-se a importância da intensificação de estudos envolvendo diferentes contextos a fim de produzir resultados que possibilitem testar teorias e hipóteses acerca das variações do funcionamento dos mecanismos psicológicos, além da apreciação das diferenças e semelhanças entre as culturas (Keller, 2013; Shiraev, & Levy, 2016; Smith, Fischer, Vignoles, & Bond, 2013).

De acordo com pesquisadores dos diversos aspectos culturais que influenciam o desenvolvimento na espécie humana (Kağitçibaşi, 2009; Keller, 2013), o período da infância tem despertado o interesse de estudiosos de diferentes áreas de conhecimento, os quais buscam entender como ocorre a interação da criança com seu ambiente. Sem desconsiderar aspectos biológicos e hereditários, são apontadas as influências do complexo ambiente social que constitui seu nicho de desenvolvimento. As características de dependência dos bebês do seu meio social indicam a necessidade de intensa estimulação social juntamente à capacidade de o bebê se adaptar a esse contexto, bem como demonstram a importância de considerar o papel da cultura nesse complexo de processos ecológicos, sociais e psicológicos (Keller, 2013). Tais reflexões têm implicações para o desenvolvimento infantil e, consequentemente, para os estudos realizados pela Psicologia do Desenvolvimento, pois levam a crer que não é possível compreender o funcionamento humano sem entender como as variações entre as culturas interagem com aspectos individuais e ontogenéticos.

A abordagem da Psicologia Transcultural tem como objetivo investigar a relação entre cognição, emoção, comportamento e cultura, com vistas a identificar o papel do contexto no sentido de influenciar o desenvolvimento humano. Busca-se encontrar similaridades e diferenças individuais em grupos culturais e etnoculturais diversos com foco em variáveis biológicas, ecológicas, socioculturais e psicológicas (Berry, Poortinga, Breugelmans, Chasiotis, & Sam, 2011; Shiraev, & Levy, 2016). Shiraev e Levy (2016) definem cultura como um conjunto de atitudes, comportamentos e símbolos, compartilhados por um grupo de pessoas e, geralmente, comunicados de geração a geração. Ao fazer uma análise crítica a respeito da Psicologia Transcultural, os autores indicam a necessidade de que as perspectivas atuais em Psicologia considerem as similaridades e diferenças nos comportamentos humanos, as quais não podem ser explicadas sem que haja a consciência acerca do complexo contexto de influências e, nesses termos, sem incluir análises da cultura da qual os sujeitos fazem parte.

Em todo o ciclo vital, o contexto cultural deve ser enfatizado enquanto teoria, pesquisa e intervenção. Tal indicação seria possível por meio da Psicologia Transcultural, tendo em vista que tal perspectiva engloba tópicos mais gerais e multiculturais do desenvolvimento, atendendo às exigências da pesquisa contemporânea (Gardiner, & Kosmitzki, 2011). Contudo, a Psicologia do Desenvolvimento é indicada para compreender como o desenvolvimento ocorre em diversas culturas pelo mundo, especialmente no que se refere aos estudos sobre famílias, haja vista que as primeiras experiências sociais são essenciais para organizar o desenvolvimento subsequente. Modelos de sistemas e crenças parentais provenientes de uma cultura específica podem gerar consequências também específicas, o que precisa ser descrito e considerado nos estudos da área (Keller, 2013; Smith et al., 2013).

Estudiosos da Psicologia Transcultural propõem três orientações teóricas importantes nesse campo de estudo: absolutismo, relativismo e universalismo (Berry et al., 2011; Shiraev, & Levy, 2016). Enquanto o absolutismo assume que o fenômeno psicológico é o mesmo em todas as culturas (depressão em uma cultura continua sendo depressão em outra cultura), o relativismo afirma que todo comportamento pode ser modelado (a diversidade humana pode ser explicada no contexto cultural no qual a pessoa se desenvolve) e, por fim, a perspectiva universalista propõe uma ligação entre as duas primeiras posições, expondo que processos psicológicos básicos são comuns a todos os membros da espécie e que a cultura influencia o desenvolvimento de características psicológicas (a cultura pode explicar as variações nos comportamentos). Portanto, a abordagem transcultural permite vislumbrar não somente as similaridades comportamentais (universais), como também as diferenças entre os grupos humanos (específicas em cada cultura) (Berry et al., 2011; Shiraev, & Levy, 2016).

A Psicologia Transcultural representa um avanço para as pesquisas em Psicologia e tem seu desenvolvimento teórico consolidado. No entanto, na prática ainda persistem numerosos desafios para os pesquisadores (Egisdóttir, Gerstein, & Çinarbas, 2008; Shiraev, & Levy, 2016), pois seus procedimentos envolvem muito mais do que coletar dados em diferentes países e comparar os resultados (Berry et al., 2011; Egisdóttir et al., 2008; Shiraev, & Levy, 2016). Pesquisas desta natureza geralmente envolvem um alto grau de dificuldade, já que existem variadas possibilidades de explicações para os fenômenos que devem ser operacionalizadas. Entretanto, com a utilização de uma ampla gama de conceitos e métodos e com o reconhecimento da importância das variáveis contextuais, é possível alcançar uma interpretação válida em termos científicos.

Um estudo que examinou um total de 1.150 artigos produzidos no domínio da Psicologia Transcultural publicados na revista Journal of Cross-Cultural Psychology entre os anos de 1970 e 2004 revelou que as pesquisas empíricas representaram a maioria (87,6%), seguidas das teóricas (4,9%). Aquelas que enfocaram a metodologia utilizada corresponderam a somente 3,7% do total. Dos 200 artigos empíricos selecionados para uma análise mais aprofundada, a maior parte (74,5%) teve como foco o comportamento social e envolveu comparações entre duas ou mais culturas. Os resultados identificaram aprimoramentos metodológicos e conceituais no decorrer dos anos, bem como o desenvolvimento de novos modelos e perspectivas teóricas (Brouwers, Hemert, Breugelmans, & Vijver, 2004).

Egisdóttir et al. (2008) enfatizam a ocorrência de informações metodológicas especialmente no que diz respeito à tradução e à adaptação de instrumentos em pesquisas internacionais e transculturais. Entretanto, apontam que, embora existam reflexões teóricas sobre benefícios, riscos e desafios de produzir conhecimentos em Psicologia Transcultural, a literatura ocidental carece de publicações que ofereçam um detalhamento de como executar estudos dessa natureza. Os autores fazem uma análise de pesquisas publicadas sobre a temática e concluem que poucas delas focalizam ou descrevem o rigor científico exigido metodologicamente neste tipo de estudo. Algumas concentram-se apenas na tradução do instrumento e poucas investem em um processo aprofundado acerca da equivalência dos procedimentos adotados na pesquisa envolvendo diferentes culturas. Dessa forma, Egisdóttir et al. (2008) sugerem que sejam apresentadas informações e recomendações mais detalhadas a fim de que estes possam garantir a validade de seus resultados.

Certamente, a Psicologia Transcultural é um campo que precisa ser melhor explorado e desenvolvido. Nesse sentido, aponta-se a importância de investir em pesquisas que discutam os aspectos metodológicos envolvidos na realização de estudos dentro dessa abordagem, visando contemplar o rigor científico já existente nas pesquisas em psicologia geral, mas considerando agora a exigência de um nível de análise mais abrangente em função da inserção de diferentes grupos culturais, o que traz desafios conceituais e metodológicos.

Embora a abordagem transcultural possa ser utilizada em várias áreas do conhecimento em Psicologia, o foco central desse artigo será sobre a Psicologia do Desenvolvimento. A escolha dessa área se deve ao fato de que o desenvolvimento humano sempre ocorre em relação a algum contexto. Nesse sentido, o objetivo do presente artigo é apresentar considerações teórico-metodológicas, baseadas na experiência de uma pesquisa realizada por pesquisadores brasileiros e canadenses, acerca dos procedimentos adotados na produção científica envolvendo a Psicologia Transcultural e a Psicologia do Desenvolvimento, apontando desafios e possibilidades para superá-los.

As reflexões trazidas adiante terão como base uma experiência de pesquisa realizada em convênio entre pesquisadores de uma universidade brasileira e de duas universidades canadenses, a qual vem sendo desenvolvida desde 2009 e assumiu, já na sua origem, a intenção de comparar dois contextos específicos - o Sul do Brasil e a região do Quebec no Canadá - a fim de investigar os papéis da cultura e do contexto social no sentido de influenciar os desenvolvimentos infantil e familiar (Bolze, 2016, Bossardi, 2015, Gomes, 2015). Tal pesquisa é oriunda de um projeto intitulado "A transmissão intergeracional da violência: a relação do conflito conjugal e parental com a agressividade entre pares de crianças de 4 a 6 anos de idade" (TIV). Participaram dessa pesquisa pais, mães e professores de crianças entre quatro e seis anos de idade, sendo 160 famílias (pais e mães) residentes no Canadá e 150 famílias residentes no Brasil. Foram produzidas cinco dissertações de mestrado e três teses de doutorado vinculadas à pesquisa.

A partir dos pressupostos teóricos da Psicologia Transcultural, bem como da referida experiência prática, serão apresentados os procedimentos a serem considerados em pesquisas que envolvem diferentes grupos culturais. Embora o presente artigo busque enfatizar as especificidades da pesquisa transcultural, vale ressaltar que nem todas as etapas apresentadas a seguir são exclusivas a tal abordagem, já que o intuito aqui é discutir todo o processo de construção de um estudo dessa natureza.

 

Procedimentos para a realização de pesquisas em Psicologia Transcultural

Optar por uma abordagem transcultural em pesquisas na área da Psicologia não envolve somente utilizar os mesmos instrumentos ou fazer uma adaptação semântica de questionários e aplicá-los em diferentes culturas, assim como não se baseia exclusivamente em demarcar diferenças e similaridades nos comportamentos. Tal escolha requer conhecimentos teóricos e metodológicos próprios aos estudos comparativos que capacitem o pesquisador a apontar o papel efetivo da cultura na definição das variações do fenômeno, bem como os fatores que influenciam seu desenvolvimento (Berry et al., 2011; Egisdóttir et al., 2008; Shiraev, & Levy, 2016). Dessa forma, os instrumentos devem partilhar construtos comuns entre as culturas e a produção dos resultados necessita atentar aos princípios do relativismo, do absolutismo ou do universalismo (Berry et al., 2011; Shiraev, & Levy, 2016).

A partir de reflexões teórico-metodológicas de estudos na área da Psicologia Transcultural e tendo como referencial a pesquisa realizada em parceria entre pesquisadores brasileiros e canadenses, na qual se utilizou a abordagem quantitativa, serão apresentados procedimentos que objetivam aprimorar a validade de estudos transculturais. Vale mencionar que os pressupostos epistemológicos estarão focados em paradigmas quantitativos, que inclui a utilização de instrumentos (escalas, inventários, questionários etc.) de coleta de dados. Nesse sentido, são instrumentos que podem ser usados em diferentes contextos, mas que precisam passar por processos de adaptação e validação psicométrica.

Definição do(s) tema(s) de pesquisa

Com base nos princípios da Psicologia Transcultural, o pesquisador pode testar hipóteses concernentes ao comportamento humano e examinar a validade de teorias psicológicas em diferentes contextos. Ademais, é possível explorar aspectos de outras culturas partindo-se do que já se conhece acerca de sua própria cultura ou pode-se buscar conhecer outras culturas a fim de identificar variações culturais e psicológicas que não estão presentes na sua experiência cultural. A perspectiva oferecida pela Psicologia Transcultural pode também ajudar a integrar os resultados obtidos em uma teoria psicológica mais geral e ampliada (Berry et al., 2011; Shiraev, & Levy, 2016).

Assim como ocorre em pesquisas que utilizam outras abordagens, no momento de optar pelo tema de pesquisa é importante decidir se ela vai assumir um caráter exploratório ou se buscará testar hipóteses. A pesquisa exploratória ocorre quando não se sabe ao certo o que pesquisar e propõe-se verificar as diferenças existentes entre os grupos culturais. O modelo por hipóteses é baseado em concepções teóricas prévias que serão testadas a partir do acesso ao fenômeno. É frequente estabelecer uma variável dependente que será influenciada pelas variáveis do contexto (Berry et al., 2011; Shiraev, & Levy, 2016).

Quanto à pesquisa que pauta a presente discussão, o projeto TIV foi construído com o intuito de investigar os papéis da cultura e do contexto social nos desenvolvimentos familiar e infantil, tendo como objetivo geral estabelecer um elo entre três formas de violência familiar (a conjugal, a parental e a agressão das crianças com seus pares), propondo-se um modelo de transmissão intergeracional das estratégias de resolução de conflitos. A partir do interesse comum dos pesquisadores brasileiros e canadenses em investigar a relação entre as três formas de violência supracitadas, iniciou-se a etapa de refletir acerca da concepção de um projeto que abarcasse as demandas de pesquisa das duas regiões e que respeitasse as diferenças entres elas. Definidos os temas de pesquisa, buscou-se encontrar instrumentos que pudessem ser utilizados para medir o fenômeno.

Definição de instrumentos para acessar o fenômeno

Pesquisas quantitativas que utilizam a abordagem da Psicologia Transcultural tradicionalmente utilizam os princípios da metodologia quase-experimental e da psicometria para definir a forma de acesso ao fenômeno. É mais usual, em pesquisas comparativas, a utilização de instrumentos já existentes, visto que a construção de um instrumento implica um processo de validação longo e complexo, o qual requer a elaboração de um plano de pesquisa próprio e coleta de dados (Berry et al., 2011).

A escolha do instrumento demanda que o pesquisador tenha um bom conhecimento dos instrumentos disponíveis para acessar o fenômeno de interesse. Caso se decida pela construção de um novo instrumento, podem-se utilizar os exemplos já encontrados e a fundamentação teórica correspondente. Se a opção for utilizar um instrumento já disponível, é necessário investigar sua origem, validação ou adaptação para o contexto pretendido e quais propriedades psicométricas são apresentadas (Berry et al., 2011; Egisdóttir et al., 2008; Mello et al., 2010; Shiraev, & Levy, 2016). A utilização de instrumentos validados ou adaptados oferece maior confiabilidade ao estudo, aumentando as chances de que se alcance maior precisão nos resultados (Egisdóttir et al., 2008). Enfatiza-se que a divulgação, em artigos científicos, de informações acerca das qualidades psicométricas dos instrumentos de medida utilizados nas pesquisas é crucial, visto que permite ao leitor a possibilidade de uma maior compreensão e de uma apreciação crítica acerca do estudo (Gomes, Bossardi, Cruz, Crepaldi, & Vieira, 2014).

Um instrumento é válido se de fato mede o que supostamente deve medir e se apresenta fidedignidade, precisão ou confiabilidade, conceitos que se referem à exatidão e à qualidade de medir com o mínimo de erro possível. A fidedignidade é expressa por sua propriedade de medir com constância. Frequentemente o coeficiente de confiabilidade alfa de Cronbach é apresentado nas pesquisas, pois indica uma medida de precisão ou fidedignidade do instrumento, sendo utilizado para calcular a consistência interna dos itens (Sampieri, Collado, & Lúcio, 2015). É importante ressaltar que esses aspectos não são específicos da Psicologia Transcultural, mas que são destacados aqui para indicar que são importantes para quem faz estudos empíricos utilizando a abordagem transcultural.

A fim de possibilitar a comparação sistemática entre o Sul do Brasil e o Quebec, optou-se por compartilhar os mesmos instrumentos de coleta de dados e por seguir os mesmos critérios metodológicos, atentando-se aos aspectos sociodemográficos de Brasil e Canadá. Com relação ao contexto brasileiro, nem todos os instrumentos de origem externa possuíam validação ou adaptação para seu contexto cultural. Realizaram-se alguns procedimentos de equivalência, seguindo os princípios teóricos concernentes à utilização de instrumentos em diferentes culturas.

Adaptação de instrumentos

O processo de adaptação de um instrumento envolve procedimentos teóricos, tais como a análise do construto no qual o mesmo se baseia, a tradução, a equivalência semântica e a análise por juízes especialistas no assunto. Realizados estes processos, o pesquisador pode comparar dados obtidos em diferentes contextos, aumentando as chances de se tratar de uma mesma medida e de uma mesma perspectiva teórica e metodológica (Borsa, Damásio, & Bandeira, 2012).

Borsa et al. (2012) elencam os passos a serem seguidos no processo de adaptação de instrumentos de medida: 1) tradução do instrumento, 2) síntese da versão traduzida, 3) análise da versão sintetizada por juízes experts na área da qual trata o instrumento, 4) backtranslation, e 5) estudo piloto. Os autores referem ainda a necessidade de que a versão adaptada do instrumento seja autorizada pelo(s) autor(es) do instrumento original após discussão acerca dos ajustes e modificações propostos.

Para realizar a equivalência entre os instrumentos escolhidos é importante seguir alguns passos; mesmo que esses não representem um consenso na literatura é preciso atender a certo rigor metodológico antes de prosseguir com a coleta de dados (Berry et al., 2011; Borsa et al., 2012; Egisdóttir et al., 2008; Gjersing, Caplehom, & Clausen, 2010). Inicialmente, deve-se definir um construto que possa ser utilizado nas culturas em que se pretende realizar a pesquisa. Essa etapa garante que o instrumento medirá o mesmo constructo em contextos variados. A utilização de instrumentos que possuem viés de construto pode ser enganosa quando não é feita com base na conceitualização dos comportamentos associados ao construto, considerando as diferentes culturas (Berry et al., 2011; Gjersing et al., 2010; Vijver, & Hambleton, 1996). Nesse sentido, a violência, por exemplo, que se caracterizou como um constructo investigado no presente trabalho, precisou ter sua base conceitual definida pelos pesquisadores do Brasil e do Canadá, com o intuito de garantir que se mediria o mesmo constructo nas duas culturas.

Parte-se então para a tradução do instrumento para o idioma pretendido. Recomenda-se que o tradutor possua bom conhecimento da cultura para a qual o instrumento será traduzido, de forma que aspectos específicos da cultura local possam ser considerados facilitando a compreensão dos itens pelos participantes da pesquisa (Borsa et al., 2012; Gjersing et al., 2010). Portanto, é fundamental que todos os itens tenham sua formulação adequada aos aspectos culturais e à população envolvida. Esse processo de atenção aos processos linguísticos e contextuais concernentes à tradução é chamado de adaptação semântica (Borsa et al., 2012; Egisdóttir et al., 2008).

Ainda é necessária uma avaliação de especialistas na área de avaliação psicológica ou que conheçam profundamente o assunto previsto nos construtos para julgar se os itens descrevem bem o construto e se as expressões estão adequadas à população e à cultura. Investiga-se, nesta etapa, a adequação geral do instrumento ao contexto (Borsa et al., 2012; Gjersing et al., 2010). O processo de backtranslation envolve a tradução reversa para o idioma de origem. Nesse caso, é feita uma análise cuidadosa da tradução, comparando com os aspectos originais e faz-se uma revisão da tradução (Borsa et al., 2012; Gjersing et al., 2010). Para essa etapa, indica-se contar com a consultoria de profissionais em tradução e retradução.

Uma das últimas etapas do processo de equivalência transcultural consiste em fazer uma análise das propriedades psicométricas do instrumento. Esta etapa é o resultado de um processo empírico que fornece dados para testar estatisticamente sua validade (Egisdóttir et al., 2008; Gjersing et al., 2010; Mello et al., 2010). O objetivo é avaliar se todos os itens estão adequados para medir o fenômeno e seu construto. São realizadas análises correlacional e fatorial exploratória, nas quais as equivalências item-item e item-dimensão são analisadas estatisticamente e é calculada a consistência interna do instrumento por dimensões e como um todo por meio do alfa de Cronbach. Nesse processo, é possível identificar a adequação de todos os itens para avaliar o construto ou dimensão a que ele se refere (Gjersing et al., 2010). Ao final, realizam-se as adequações necessárias, procurando garantir o mesmo número e mesma ordem dos itens para permitir a geração de escores que possam ser comparáveis entre as culturas (Berry et al., 2011; Mello et al., 2010).

De acordo com o exemplo da pesquisa trazida pelos autores desse artigo, realizou-se a formulação dos construtos para cada um dos instrumentos. Para isso, foram definidas a conceitualização dos fenômenos que seriam investigados de modo que estivessem adequados para as duas culturas, bem como os objetivos propostos por tais instrumentos. Além disso, também foram investigadas as explicações fornecidas pelos autores acerca das dimensões que compunham cada um dos instrumentos de medida.

Os instrumentos originais provindos de um contexto diferente (Canadá) foram traduzidos para o português por pessoas com fluência nas línguas em questão. A tradução e a versão original foram revisadas e comparadas. A seguir, foi feita uma análise semântica dos mesmos com o objetivo de adaptá-los ao contexto brasileiro, havendo a substituição de algumas palavras e expressões a fim de que pudessem ser melhor compreendidas pelos participantes da pesquisa. Por exemplo, a tradução literal de um dos itens do Questionário de Engajamento Parental (QEP) seria "supervisionar seu filho quando ele brinca fora" e decidiu-se por modificar a tradução visando facilitar o entendimento por parte dos participantes, de modo que a tradução final ficou da seguinte forma: "olhar seu filho quando ele brinca no jardim ou na rua".

Para os instrumentos de medida ainda sem validação ou adaptação transcultural no Brasil, foram convidados profissionais experts na área de investigação de cada instrumento para que avaliassem a correspondência entre os itens e o construto e para que julgassem a adequação dos itens à população focal. Escolheram-se dois juízes para avaliar cada um dos instrumentos e contou-se com o auxílio de um especialista na área de avaliação psicológica para orientar os pesquisadores nesse processo.

Os juízes receberam informações sobre o objetivo do instrumento, bem como a descrição do material para aplicação. Receberam também, além das versões do instrumento - a original (em inglês ou francês) e a traduzida para o português -, o constructo teórico que o embasa, o qual abrangia um apanhado da literatura sobre o tema, bem como a demonstração da relevância da utilização do instrumento. Neste processo, que consistiu em uma avaliação da versão original comparada com a traduzida, foram sugeridas pelos juízes alterações na tradução visando facilitar o entendimento de algumas expressões para a população brasileira, de forma que algumas palavras foram substituídas por equivalentes semânticos ou foram acrescentados exemplos para as questões que pudessem gerar dificuldades de entendimento.

Realizou-se, então, um treinamento para a aplicação dos instrumentos, por meio do qual foi possível, além de treinar os pesquisadores e padronizar a forma de aplicação de cada um deles, fazer correções nos instrumentos, tais como erros de digitação, e definir algumas medidas que poderiam facilitar a coleta de dados e a compreensão dos participantes. O treinamento dos pesquisadores serve como uma prévia para a coleta de dados e consiste em discussões teóricas e práticas a respeito da aplicação do instrumento. Essa fase também pode gerar modificações ou ajustes para a aplicação do instrumento (Mello et al., 2010). A realização de um estudo piloto refere-se à aplicação do instrumento a pessoas que tenham características sociodemográficas semelhantes e que poderiam fazer parte da amostra desejada para a pesquisa. Nesse processo verifica-se e discute-se sobre a compreensão de todos os itens do instrumento pelos participantes e também se examina a adequação do mesmo no sentido de acessar o fenômeno pretendido (Gjersing et al., 2010; Mello et al., 2010).

Após o treinamento, todo o procedimento foi colocado em teste por meio do estudo piloto, quando foram entrevistadas oito pessoas que se enquadravam nos critérios de inclusão da população pretendida para o estudo. Esta etapa teve por objetivo avaliar a adequação dos instrumentos à realidade do campo de pesquisa, além de servir como treinamento aos entrevistadores no sentido de padronizar o processo de aplicação dos instrumentos. A compreensão dos participantes quanto às questões e o tempo que cada participante levava para responder cada questionário foi verificada por meio do estudo piloto, uma vez que o procedimento seguiu todos os passos da coleta de dados propriamente dita. As questões destacadas pelos participantes desta etapa do processo como geradoras de dúvidas ou dificuldades de interpretação foram debatidas pelo grupo de pesquisadores envolvidos.

Ademais, com base no procedimento descrito, previram-se também algumas das interferências que poderiam acontecer no campo de pesquisa, como, por exemplo, a presença da criança ou de outros familiares durante as entrevistas. As etapas precedentes à coleta de dados permitiram a construção de um manual de aplicação que forneceu uma melhor preparação aos pesquisadores para a coleta, conforme será discutido a seguir.

Coleta de dados

O momento de coleta de dados deve seguir procedimentos próprios adequados à pesquisa. A forma de coletar os dados deve ser padronizada com o intuito de eliminar possíveis vieses nos resultados (Sampieri et al., 2015; Shiraev, & Levy, 2016). Esse procedimento é comum para as pesquisas em geral. Contudo, é ainda mais importante para a pesquisa na abordagem transcultural, pois dependendo do contexto cultural, a relação entre pesquisador e sujeito pode ser diferente. Em alguns contextos a relação pode ser mais formal do que em outros, dependendo dos valores e costumes vigentes.

Especificamente no caso do Brasil, toda pesquisa com seres humanos deve atender aos aspectos éticos previstos na Resolução do Conselho Nacional de Saúde (CNS) no 196/1996, sendo que um dos requisitos é passar pela avaliação de um Comitê de Ética. Após a aprovação de um projeto de pesquisa, no momento de sua realização, faz-se necessária a informação aos participantes a respeito da pesquisa por meio da utilização do Termo de Consentimento Livre e Esclarecido, o qual inclui a ponderação entre riscos, benefícios e dificuldades e a relevância social da pesquisa.

Para a pesquisa realizada em parceria entre pesquisadores brasileiros e canadenses, foi construído um "Manual de Procedimentos para Coleta de Dados" com o objetivo de descrever todas as etapas da coleta, visando padronizar os procedimentos. Este Manual foi submetido a alterações após o treino dos aplicadores e, também, após as discussões do grupo de pesquisa em face aos resultados do estudo piloto. Constam no Manual todos os passos a serem seguidos desde a busca e primeiro contato com os participantes até a etapa final de despedida e agradecimento ao término da coleta de dados.

A coleta de dados ocorreu com participantes que preenchiam critérios de inclusão bem delimitados nos dois contextos, como por exemplo, constituir famílias biparentais, formadas pelo casal e por, pelo menos, um filho entre quatro e seis anos de idade. A mãe e o pai da criança, biológicos ou não, deveriam estar vivendo juntos há pelo menos seis meses. Foram incluídos na amostra apenas pais e mães que já haviam completado 18 anos quando do nascimento da criança focal. Também participaram do estudo os professores das crianças focais.

Realizaram-se visitas domiciliares às famílias que aceitaram participar e os instrumentos foram aplicados em forma de entrevista. Ainda no momento do treinamento foi observada a necessidade de oferecer uma possibilidade de o participante acompanhar as questões, bem como, as opções de respostas contidas nos instrumentos. Dessa forma, foi oferecido a ele uma cópia impressa dos instrumentos, idêntica ao do aplicador, para que ele pudesse acompanhar as questões que lhe estavam sendo feitas, visando, portanto, facilitar o processo de aplicação e de compreensão. Os procedimentos de coleta seguiram as instruções previstas pela Resolução CNS no 196/1996, conforme mencionado anteriormente. Após a coleta de dados, procedeu-se a sua análise.

Análise de dados

A produção de resultados provém do delineamento do estudo e também do conhecimento cultural, de forma que não se podem fazer generalizações ou inferências sem antes considerar o contexto onde estão sendo produzidos os dados (Berry et al., 2011; Shiraev, & Levy, 2016). Para a realização de uma comparação sistemática, é necessário que os instrumentos utilizados nos dois contextos sejam os mesmos, lembrando que estes devem passar por processos de equivalência naquelas culturas para os quais não possui adaptação.

Além da equivalência entre os instrumentos, deve-se buscar a equivalência entre os dados sociodemográficos, especialmente no que se refere à renda e à escolaridade, já que as moedas variam entre os países, bem como a organização do sistema educacional. Nesse sentido, recomenda-se que a escolaridade seja usada como uma variável contínua. A utilização da variável escolaridade distribuída em categorias pode ser perigosa, na medida em que a estruturação do sistema educacional pode sofrer modificações de um país para outro. Assim, indica-se que a escolaridade seja avaliada em anos.

No que se refere à renda, também se aplica a sugestão, embora neste caso não seja possível fazer comparações entre as diferentes regiões em função da variação das moedas. As conversões monetárias, na maioria das vezes, são arbitrárias e comprometem os resultados encontrados. É pertinente investigar qual a média salarial da cidade ou região onde o estudo é realizado a fim de utilizá-la como parâmetro de comparação com a média de rendimentos mensais da amostra pesquisada. Assim, é possível saber a porcentagem de participantes que se situam acima ou abaixo da média salarial do lugar onde habitam. Ademais, a possibilidade de controlar algumas variáveis, tais como o número de filhos, deve ser analisada tendo em vista os testes estatísticos que serão utilizados.

Evidencia-se uma tendência, nas pesquisas internacionais, pela preferência em trabalhar com análises paramétricas dos dados. No Brasil, muitos estudos na área da Psicologia do Desenvolvimento utilizam análises não paramétricas em função de não haver uma distribuição simétrica das variáveis investigadas. Todavia, quando se realiza um estudo transcultural com abordagem quantitativa de dados, é necessário que se opte pelo mesmo tipo de testes estatísticos e, dessa forma, recomenda-se a utilização de testes paramétricos, o que implica em normalizar, por meio do uso de fórmulas estatísticas, as curvas de distribuição das variáveis de forma a garantir a correção da curtose, ou seja, do grau de achatamento da curva de distribuição.

Caso as análises de um estudo comparativo objetivem descrever ou explorar um determinado fenômeno de acordo com o contexto, é necessário estar atento a todas as diferenças e também a similaridades que possam ser explicadas pela variação cultural (Berry et al., 2011; Shiraev, & Levy, 2016; Smith et al., 2013). Se as análises incluem um modelo por hipóteses, então o estudo possui uma variável dependente em função de um ou mais contextos culturais e busca-se determinar se existe alguma diferença significativa nas diferentes culturas. Nesse caso, procura-se explicar quanto é essa variância e se ela pode ser explicada pelas variáveis do contexto. Ainda, busca-se delimitar quais variáveis do contexto produzem as diferenças encontradas (Berry et al., 2011; Shiraev, & Levy, 2016; Smith et al., 2013).

Estudos transculturais costumam utilizar testes que possibilitem a comparação entre grupos. Nesse sentido, tendo como referência os testes paramétricos, alguns dos testes usados com frequência nas pesquisas são: o Teste t para amostras independentes, que possibilita a comparação de médias de variáveis escalares, as quais apresentam distribuição normal, entre grupos distintos e a análise de variância Anova, a qual permite verificar a existência de diferenças entre médias de uma determinada variável dependente (contínua) em relação a uma variável preditora com dois ou mais níveis categóricos (Anova de um fator).

Os estudos que fazem parte da pesquisa que subsidia essa discussão buscam testar hipóteses prévias formuladas de acordo com os contextos socioculturais das duas regiões baseadas na literatura disponível. Dessa forma, estão sendo usadas análises paramétricas no sentido de comparar fenômenos específicos entre a população residente nos dois contextos, tais como o envolvimento parental e o desenvolvimento social de pré-escolares. Também estão sendo realizadas análises de regressão linear multivariada com o intuito de encontrar modelos preditivos das variáveis dependentes.

Resultados preliminares têm indicado a impossibilidade de usar os mesmos modelos para as duas amostras, especialmente no que tange às variáveis sociodemográficas, visto que variáveis com alto valor de predição em uma das regiões, tal como a jornada de trabalho, por exemplo, não apresentaram a mesma força preditiva, dentro dos modelos propostos, na outra região. Tais achados sugerem que a influência de variáveis do contexto em fenômenos como o envolvimento parental e o desenvolvimento social de crianças pré-escolares é diferente dependendo da região. Dessa forma, as variáveis sociodemográficas parecem ter maior valor de predição na amostra residente no Brasil em comparação às famílias residentes no Quebec (Gomes, 2015).

Ainda sobre os estudos integrantes da pesquisa envolvendo pesquisadores brasileiros e canadenses, optou-se por manter algumas diferenças no questionário sociodemográfico, sem que houvesse prejuízo à análise de dados, a fim de preservar particularidades culturais locais. Nesse sentido, foram acrescentadas, no questionário aplicado às famílias residentes no Quebec, questões referentes à imigração, visto ser notória a quantidade de imigrantes naquele local. A região do Quebec, em função da abertura de sua política de imigração, recebe imigrantes do mundo inteiro e, consequentemente, caracteriza-se pela grande diversidade cultural, de forma que a própria cultura local é marcada pela miscigenação de povos e pela convivência harmônica das diferenças. Dados acerca do ano de imigração e grupo étnico ao qual o participante se diz pertencente têm se mostrado relevantes na interpretação dos resultados. Dessa forma, enfatiza-se que, embora seja condição imprescindível a utilização dos mesmos instrumentos de medida em pesquisas transculturais com abordagem quantitativa, o pesquisador deve estar atento às especificidades locais que podem gerar vieses nos resultados.

A fim de propiciar o maior conhecimento da cultura do Quebec, foram realizados intercâmbios de pesquisadores, sendo que três pesquisadoras brasileiras fizeram a modalidade doutorado sanduíche naquele país; duas delas com duração de um ano e outra com duração de quatro meses. A imersão na cultura do Quebec, bem como a possibilidade de maior acesso às pesquisas locais acerca da temática de interesse, traz, sem dúvida, inúmeras vantagens. O maior conhecimento dos contextos que se deseja comparar traz mais clareza sobre como devem ser realizadas as análises e auxilia que o pesquisador visualize possíveis vieses e evite erros.

 

Conclusão

No presente artigo buscou-se apresentar reflexões teórico-metodológicas envolvendo a pesquisa transcultural. Como forma de ilustrar procedimentos e desafios encontrados no percurso de estudos que adotam tal abordagem, apresentou-se uma situação prática de pesquisa realizada por pesquisadores brasileiros em convênio com pesquisadores de duas universidades de Quebec, no Canadá.

Haja vista o importante avanço nos estudos em Psicologia do Desenvolvimento e a inserção da cultura como uma possibilidade de explicar a complexidade dos fenômenos, optou-se por realizar uma pesquisa transcultural que pudesse fornecer informações mais detalhadas a respeito do funcionamento familiar e infantil. Nas buscas teóricas sobre aspectos da Psicologia Transcultural e adaptação e validação de instrumentos, percebeu-se a carência de estudos que sistematizassem os procedimentos necessários para a realização de um estudo nesta área. Constataram-se contradições acerca do assunto e verificou-se que grande parte das pesquisas descrevia apenas alguns procedimentos em detrimento de outros, como é o caso da tradução, que quase sempre é mencionada, mas nem sempre vem acompanhada de uma equivalência semântica, conceitual e estatística apropriadas.

Nesse sentido, é necessário informar aos investigadores acerca de quais procedimentos devem ser adotados em um estudo transcultural e quais desafios devem ser superados para evitar críticas e vieses em pesquisa, além de oferecer recomendações sobre o processo de equivalência metodológica. Trata-se aqui especificamente de pesquisas na ciência psicológica, mas as ponderações realizadas estendem-se aos pesquisadores de outras áreas que buscam realizar estudos em diferentes contextos.

Salienta-se que fazer um estudo incluindo dois ou mais contextos não é uma tarefa simples e, cada vez mais, exige-se um maior rigor e preocupação com relação à qualidade dos dados produzidos, a partir dos procedimentos de equivalências de medidas adotados. Produzir conhecimento transcultural não é somente utilizar instrumentos criados em outros países e aplicá-los em outro contexto sem fazer uma análise cuidadosa desse instrumento (quanto à origem, construto, validade, fidedignidade e adaptação transcultural). Ademais, é fundamental ressaltar que quando são feitas comparações entre grupos, os resultados não podem ser avaliados como se houvesse uma única rota para a competência ou para o "melhor" desempenho, mas é necessário reconhecer que as culturas diferem em termos do que consideram ser competência e desempenho mais elevado (Tudge, & Freitas, 2012).

A Psicologia pode unir esforços para contribuir com os conhecimentos a respeito dos aspectos que permitem compreender o desenvolvimento humano, abordando o contexto cultural no qual o fenômeno ocorre. Nesse sentido, as intervenções devem aliar o entendimento sobre as características humanas em interação com a cultura, de modo que as pesquisas devem considerar a diversidade existente. Assim, torna-se necessário tomar como base as comparações entre as características similares, ou seja, aquelas que fazem parte de mecanismos universais, bem como as características que permitem distinguir diferenças no desenvolvimento humano. As diferenças e também as similaridades são estudadas pela Psicologia Transcultural, abordagem que possibilita a realização de estudos comparativos e críticos dos efeitos culturais no desenvolvimento humano (Shiraev, & Levy, 2016).

A Psicologia do Desenvolvimento torna-se importante nessa perspectiva, visto que, partindo de uma compreensão dos processos de desenvolvimento que ocorrem desde os anos iniciais da infância e ao longo de todo o ciclo vital, permite uma melhor compreensão sobre a diversidade e, para além disso, proporciona o entendimento da influência que diversos fatores (biológicos, sociais, psicológicos e culturais) podem exercer sobre tais processos. Atenção especial é direcionada aos fatores culturais, já que nenhuma conclusão pode ser totalmente tomada sem investigar os contextos culturais nos quais o desenvolvimento se processa (Gardiner, & Kosmitzki, 2011; Shiraev, & Levy, 2016; Smith et al., 2013).

O compromisso ético com a pesquisa científica exige que os instrumentos sejam adaptados ao contexto cultural e ao fenômeno que pretende medir, tal como ocorre com os testes psicológicos utilizados em diagnósticos clínicos. Na produção de uma pesquisa confiável, alguns passos e orientações teóricas precisam ser seguidos na prática. Esses procedimentos devem ser melhor sistematizados e descritos nas pesquisas para que se possa conhecer de forma mais aprofundada a metodologia adotada, validar os resultados obtidos e proporcionar avanços em pesquisas futuras. Estudos transculturais precisam ser realizados para gerar ou reforçar teorias psicológicas, considerando o contexto cultural, e para produzir melhorias na prática psicológica por meio do conhecimento aprofundado a respeito do comportamento humano.

Aponta-se como desafios: fornecer indícios de adaptação nas publicações; elaborar e testar mais hipóteses, procurando descrever quais comportamentos variaram em função da cultura; oferecer explicações consistentes com a literatura e com o contexto, sem deixar de apresentar também as semelhanças encontradas; explicar as razões para as escolhas culturais e, ainda, indicar caminhos que devam ser percorridos em pesquisas futuras.

Salienta-se ainda que algumas limitações encontradas quando se trata de Psicologia Transcultural podem ser resolvidas com a utilização de métodos mistos. A investigação que inclui ambas as abordagens, quantitativa e qualitativa, pode oferecer avanços científicos importantes. Por exemplo, métodos de observação e de entrevista podem gerar tipos de dados descritivos que tornam a cultura mais concreta e passível de conhecimento. O trabalho de campo pode ajudar a identificar os processos sociais e culturais locais que ocorrem ao longo do tempo.

 

Referências

Berry, J.W., Poortinga, Y. H., Breugelmans, M. S., Chasiotis, A., & Sam, D. L. (2011). Cross-cultural psychology: Research and applications (3a ed.). Cambridge: Cambridge University Press.         [ Links ]

Bolze, S. A. (2016). Táticas de resolução de conflitos conjugais e parentais: uma perspectiva da transmissão intergeracional (Tese de Doutorado). Univerrsidade Federal de Santa Catarina, Florianópolis, SC, Brasil.         [ Links ]

Borsa, J. C., Damásio, B.F., & Bandeira, D. R. (2012). Adaptação e validação de instrumentos psicológicos entre culturas: Algumas considerações. Paidéia, 22(53), 423-432. https://doi.org/10.1590/S0103-863X2012000300014        [ Links ]

Bossardi, C. N. (2015). Envolvimento e interação paternas com filhos de 4 a 6 anos: relações com os sistemas parental e conjugal (Tese de Doutorado). Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil.         [ Links ]

Brouwers, S. A., Hemert, D. A., Breugelmans, S. M., & Vijver, F. J. R. (2004). A historical analysis of empirical studies published in the Journal of Cross-Cultural Psychology 1970-2004. Journal of Cross-Cultural Psychology, 35(1), 251-262. https://doi.org/10.1177/0022022104264121        [ Links ]

Egisdóttir, S., Gerstein, L. H., & Çinarbas, D. C. (2008). Methodological issues in cross-cultural counseling research: Equivalence, bias, and translations. The Counseling Psychologist, 36(2), 188-219. https://doi.org/10.1177/0011000007305384        [ Links ]

Gardiner, H. W., Kosmitzki, C. (2011) Lives across cultural: Cross-cultural human development (5a ed.). Boston, MA: Allyn & Bacon.         [ Links ]

Gjersing, L., Caplehorn, J. R. M., & Clausen, T. (2010). Cross-cultural adaptation of research instruments: Language, setting, time and statistical considerations. BMC Medical Research Methodology, 10(13). https://doi.org/10.1186/1471-2288-10-13        [ Links ]

Gomes, L. B. (2015). Envolvimento parental, desenvolvimento social e temperamento de pré-escolares: Um estudo comparativo com famílias residentes em Santa Catariana e em Montreal (Tese de Doutorado não-publicada). Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil.         [ Links ]

Gomes, L. B., Bossardi, C. N., Cruz, R. M., Crepaldi, M. A., & Vieira, M. L. (2014). Propriedades psicométricas de instrumentos de avaliação do envolvimento paterno: Revisão de literatura. Avaliação Psicológica, 13(1), 19-27.         [ Links ]

Kağitçibaşi, C. (2009). Familly, self and human development across cultures: Theory and applications. Mahwah, NJ: Lawrence Erlbaum Associates.         [ Links ]

Keller, H. (2013). Culture and development: Developmental pathways to psychological autonomy and hierarchical relatedness. Online Readings in Psychology and Culture, 6(1), 1-14.         [ Links ]

Mello, M.F., Schoedl, A. F., Pupo, M. C., Souza, A. A. L., Andreoli, S. B., Mari, J. J. (2010). Adaptação transcultural e consistência interna do early trauma inventory (ETI). Cadernos de Saúde Pública, 26(4), 713-724. https://doi.org/10.1590/S0102-311X2010000400014        [ Links ]

Resolução Nº 196, de 10 de outubro de 1996. Aprova diretrizes e normas regulamentadores de pesquises envolvendo seres humanos. Recuperado de http://bvsms.saude.gov.br/bvs/saudelegis/cns/1996/res0196_10_10_1996.html        [ Links ]

Sampieri, R. H., Collado, C. F., & Lúcio, P. B. (2015). Metodologia de pesquisa (5a ed.). São Paulo, SP: McGraw-Hill.         [ Links ]

Shiraev, E. B., & Levy, D. (2016). Cross-cultural psychology: Critical thinking and contemporary applications. New York, NY: Routledge.         [ Links ]

Smith, P., Fischer, R., Vignoles, V.I., Bond, M.H. (2013) Understanding social psychology across cultures: Engaging with others in a changing world (2a ed.). London: Sage.         [ Links ]

Tudge, J. R. H. & Freitas, L. B. L. (2012). Internationalization, globalization and culture. Psicologia & Sociedade; 24(3): 547-556. https://doi.org/10.1590/S0102-71822012000300008        [ Links ]

Vijver, F. J. R., & Hambleton, R. K. (1996). Translating tests: Some practical guidelines. European Psychologist, 1(2), 89-99. https://doi.org/10.1027/1016-9040.1.2.89        [ Links ]

 

 

Endereço para correspondência
Carina Nunes Bossardi
carinabossard@yahoo.com.br

Daniel Paquette
biguas.marc@uqam.ca

Lauren Beltrão Gomes
laurenbeltrao@yahoo.com.br

Marc Bigras
daniel.paquette@umontreal.ca

Maria Aparecida Crepaldi
maria.crepaldi@gmail.com

Mauro Luís Vieira
maurolvieira@gmail.com.br

Simone Dill Azeredo Bolze
simoneazeredo@yahoo.com.br

Submetido em: 28/01/2016
Revisto em: 11/05/2017
Aceito em: 03/08/2017

Creative Commons License