SciELO - Scientific Electronic Library Online

 
vol.26 número4Estudo de sistemas de codificação do teste de Wartegg e suas relações com o Rorschach (R-PAS)Acurácia do desempenho funcional em idosos saudáveis, com comprometimento cognitivo leve e doença de Alzheimer índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Temas em Psicologia

versão impressa ISSN 1413-389X

Temas psicol. vol.26 no.4 Ribeirão Preto out./dez. 2018

http://dx.doi.org/10.9788/TP2018.4-07Pt 

ARTIGOS

 

Evidências de validade do inventário de organização da personalidade - Brasil (IPO-Br): relação com o modelo dos cinco grandes fatores da personalidade

 

Evidencias de validez del inventario de organización de la personalidad - Brasil (IPO-Br): relación con el modelo de los cinco grandes factores de la personalidad

 

 

Liége Barbieri SilveiraI; Sérgio Eduardo Silva de OliveiraII; Denise Ruschel BandeiraIII

IOrcid.org/0000-0003-1948-928. Universidade Federal da Fronteira do Sul, Erechim, RS, Brasil
IIOrcid.org/0000-0003-2109-4862. Universidade de Brasília, Brasília, DF, Brasil
IIIOrcid.org/0000-0001-9867-2718. Universidade Federal do Rio Grande do Sul, Porto Alegre, Brasil

Endereço para correspondência

 

 


RESUMO

O objetivo deste trabalho foi investigar evidências de validade convergente e incremental da versão brasileira do Inventário de Organização da Personalidade (IPO-Br), sendo este um instrumento que avalia o funcionamento patológico da personalidade. Participaram do estudo 170 indivíduos, sendo 61,2% pacientes em atendimento psiquiátrico ou psicológico. Comparou-se a diferença das médias dos grupos clínico e não-clínico. Foram realizadas também análises correlacionais e multivariadas entre o IPO-Br e as dimensões da Bateria Fatorial da Personalidade (BFP), baseada no modelo dos Cinco Grandes Fatores de Personalidade. Foram encontradas correlações positivas, moderadas a altas, entre os fatores do IPO-Br com o fator Neuroticismo. Além disso, as facetas da BFP explicaram entre 27 a 68% da variância dos fatores do IPO-Br. O IPO-Br também mostrou-se capaz de diferenciar pessoas com e sem indicadores psicopatológicos, assim como de incrementar explicação para a severidade dos sintomas psiquiátricos para além da explicação dada pelos fatores da BFP, indicando adequadas evidências de validade e utilidade clínica do IPO-Br.

Palavras-chave: Personalidade, patologia da personalidade, Modelo dos Cinco Grandes Fatores, evidências de validade.


RESUMEN

El presente estudio investigó evidencias de validez convergente e incremental de la versión brasileña del Inventario de Organización de la Personalidad (IPO-Br), un instrumento que evalúa el funcionamiento patológico de la personalidad. Participaron 170 personas, siendo el 61,2% pacientes en tratamiento psiquiátrico o psicológico. Se compararon las medias de las diferencias en los grupos clínicos y no clínicos, y se realizaron análisis de correlación y multivariado entre el IPO-Br y la Bateria Fatorial da Personalidade (BFP). Se encontraron correlaciones, positivas moderadas a altas entre los factores del IPO-Br con Neuroticismo. Además, las facetas de BFP explicaron entre el 27-68% de la varianza de los factores del IPO-Br. El IPO-Br también demostró ser capaz de diferenciar personas con y sin indicadores psicopatológicos y de incrementar la explicación para la severidad psiquiátrica de la personalidad más allá de la explicación dada por el BFP, lo que indica una evidencia adecuada de la validez y la utilidad clínica del IPO-Br.

Palabras clave: Personalidad, patología de la personalidade, Cinco Grandes Factores de la Personalidad, evidencias de validez.


 

 

A personalidade pode ser definida como uma integração dinâmica da totalidade de experiências subjetivas e padrões de comportamento de uma pessoa. Assim, representa uma entidade muito mais complexa e sofisticada do que um simples somatório de características e traços (Kernberg, 2016), impulsionando estudos em diferentes épocas e culturas (Millon, 2012).

Dezenas de abordagens se dedicaram ao estudo da personalidade normal e patológica no século passado. Dentre as mais relevantes estão a abordagem psicodinâmica e a psicologia do traço, as quais optou-se por trabalhar neste estudo em função das importantes contribuições que oferecem para o entendimento do funcionamento patológico da personalidade. A abordagem psicodinâmica é uma das mais difundidas e utilizadas na prática clínica e foi a que utilizou pela primeira vez o conceito de transtorno da personalidade. Por outro lado, a psicologia do traço, é uma abordagem empiricamente baseada e com sólidos alicerces no estudo da personalidade normal, e, nas últimas décadas, vem se estendendo às patologias relacionadas à personalidade (Heim & Westen, 2009).

 

Perspectiva Psicodinâmica

De um ponto de vista psicodinâmico, uma das mais importantes características dos transtornos da personalidade, se refere ao fato de eles representarem constelações de processos psicológicos ao invés de sintomas distintos, que podem ser entendidos isoladamente. Além disso, esses transtornos estão localizados em um continuum que varia de um funcionamento saudável a patológico da personalidade, e refletem processos profundamente arraigados e resistentes a mudanças (Heim & Westen, 2009).

Uma das teorias mais utilizadas que abrange esses princípios é a teoria estrutural da personalidade desenvolvida por Otto F. Kernberg (Heim & Westen, 2009). Esse modelo propõe a existência de organizações estruturais responsáveis pelo funcionamento do aparato mental, estabelecidas a partir de um continuum e dispostas de acordo com as características dominantes do paciente no que se refere ao grau de integração da identidade, aos tipos de operações defensivas que ele habitualmente emprega e à sua capacidade de testar a realidade (Kernberg & Caligor, 2005).

A partir do modelo proposto por Kernberg, foi desenvolvido o Inventory of Personality Organization (IPO), um instrumento de autorrelato que avalia dimensões patológicas da personalidade e que auxilia na construção de um diagnóstico estrutural. O instrumento foi construído para cobrir cinco dimensões da personalidade, sendo que as três primeiras, chamadas de Escalas Clínicas Primárias, se propõem a avaliar o grau de patologia da identidade (Difusão da Identidade - DI), o nível do uso de mecanismos defensivos imaturos (Defesas Primitivas - DP) e o grau de prejuízo na capacidade de testar a realidade (Teste de Realidade - TR). As outras duas dimensões, agrupadas nas chamadas Escalas Adicionais, buscam estimar o nível de agressão dirigida contra a própria pessoa e contra os outros (Agressão - Ag) e o grau de prejuízo na formação de valores morais e éticos (Valores Morais - VM; Clarkin, Foelsch, & Kernberg, 2001; Ruiz & Sánchez, 2008). Contudo, recentes estudos empíricos sobre a matriz de covariância dos dados têm indicado uma solução fatorial distinta dessa teoricamente estabelecida (Ellison & Levy, 2012; Oliveira, 2016; Preti et al., 2015). As Escalas Clínicas Primárias têm apresentado uma estrutura tetrafatorial ao invés de trifatorial (Ellison & Levy, 2012; Oliveira, 2016; Preti et al., 2015), sendo os domínios denominados de Instabilidade do Self e Outros (ISO), Instabilidade nos Objetivos (IO), Instabilidade do Comportamento (IC) e Psicose (PSI). Estes fatores estão intrinsecamente relacionados com a proposta teórica de Kernberg (1995), sendo os domínios ISO e IO componentes da síndrome da difusão da identidade. O domínio IC reflete as características impulsivas e erráticas da Organização da Personalidade Borderline. Por fim, o fator PSI ficou constituído de itens que refletem alterações sensoperceptivas, que são os aspectos centrais da Organização da Personalidade Psicótica. No que se refere às Escalas Adicionais, Oliveira (2016) encontrou uma solução de três fatores ao invés de dois, onde o fator Agressão se dividiu em Agressão Autodirigida (AA) e Agressão Sádica (AS), e o fator Valores Morais ficou praticamente o mesmo, contudo sendo denominado de Distorção dos Valores Morais (DVM) para representar o nível mal adaptativo dessa dimensão.

A partir da versão original (Lenzenweger, Clarkin, Kernberg, & Foelsch, 2001), o IPO já foi traduzido e adaptado para diferentes idiomas, apresentando, em todas as versões, adequadas propriedades psicométricas em países como Canadá (Normandin et al., 2002), Colombia (Ruiz & Sánchez, 2008), Japão (Igarashi et al., 2009), Holanda (Berghuis, Kamphuis, Boedijn, & Verheul, 2009), Bélgica (Smits, Vermote, Claes, & Vertommen, 2009; Lowyck, Luyten, Verhaest, Vandeneede, & Vermote, 2013), Alemanha (Zimmermann et al., 2013), Itália (Preti et al., 2015), entre outros. Além disso, estudos demonstraram validade convergente do instrumento com diversos construtos psicológicos, tais como depressão, ansiedade, sintomas psicóticos, frágil autocontrole e baixa satisfação conjugal (Caligor, Kernberg, & Clarkin, 2007; Critchfield, Levy, Clarkin, & Kernberg, 2008; Smits et al., 2009; Verreault, Sabourin, Lussier, Normandin, & Clarkin, 2013). O IPO também teve utilidade em estudos que investigaram a qualidade do vínculo entre mães e filhos, apontando associação entre difusão da identidade com pouca sensibilidade de mães na interação com seus filhos (Ensink, Rousseau, Biberdzic, Bégin, & Normardin, 2017) e com maior frequência de comportamentos externalizantes apresentados pelas crianças (Goodman, Bartlett, & Stroh, 2013).

No Brasil, o instrumento foi traduzido e adaptado por Oliveira e Bandeira (2011), sendo feitas investigações psicométricas em uma amostra da comunidade (Oliveira & Bandeira, 2011) e em amostras clínica e não clínica (Oliveira, 2016). Nos estudos de adaptação e validação para o Brasil, observou-se evidências de validade convergente e concorrente com medidas de estados e funções psicológicos adaptativos e mal adaptativos e com critérios de saúde geral. No entanto, não foram realizados estudos com o IPO-Br comparando-o com outro instrumento de personalidade.

 

Psicologia do Traço

A segunda perspectiva a ser discutida neste estudo é a psicologia do traço, sendo esta uma abordagem que se destaca no estudo da personalidade pela grande produção de pesquisas empíricas, especialmente em relação ao modelo dos cinco grandes fatores da personalidade (Heim & Westen, 2009). Esse modelo, em sua formulação atual, descreve a personalidade de forma simples e compreensiva, através da proposição dos traços de Extroversão, Neuroticismo, Conscienciosidade ou Realização, Socialização e Abertura à Experiência (Costa & Widiger, 2002). Além disso, esse modelo se refere a mais proeminente teoria contemporânea dos traços, segundo a qual os transtornos de personalidade não são considerados como entidades distintas da personalidade normal, mas sim como uma expressão extrema dos polos destes traços (Heim & Westen, 2009). Pesquisas têm mostrado que altos escores em Neuroticismo combinados com baixos escores em Socialização e Conscienciosidade estão fortemente ligados a patologias severas da personalidade (Berghuis et al., 2009; Costa & Widiger, 2002; Laverdière et al., 2007; Quilty, Ayearst, Chmielewski, Pollock, & Bagby, 2013; Saulsman & Page, 2004; Widiger, Trull, Clarkin, Sanderson, & Costa, 2002). Alguns autores referem ainda que uma baixa extroversão também pode estar associada a estas patologias (Malouff, Thorsteinsson, & Schutte, 2005).

 

Objetivos do Estudo

Considerando-se o fato de não ter sido encontrado, até o momento, estudos que investiguem a relação dos fatores do IPO-Br com outro instrumento de personalidade, e com base em pesquisas prévias sobre a relação do modelo dos cinco grandes fatores da personalidade com a patologia da personalidade, o presente estudo teve como objetivo investigar evidências de validade convergente e incremental do IPO-Br com a Bateria Fatorial da Personalidade (BFP; Nunes, Hutz, & Nunes, 2010). A BFP é um instrumento que foi desenvolvido no Brasil, considerando os aspectos culturais e linguísticos do país, e que avalia a personalidade no modelo dos cinco grandes fatores.

Dessa forma, na investigação de evidências de validade convergente, tomando-se por base o estudo desenvolvido por Berghuis et al. (2009), espera-se encontrar correlações positivas entre os fatores do IPO-Br com Neuroticismo, e negativas com Socialização e Realização. Em relação à validade incremental, espera-se que os fatores do IPO-Br acrescentem, de forma estatisticamente significativa, informação na predição do nível de severidade do funcionamento mental dos participantes para além da capacidade preditiva dos fatores da BFP, uma vez consideradas as diferenças teóricas, que são também refletidas nos fatores que cada instrumento possui.

 

Método

Participantes

A amostra foi composta por 170 indivíduos (idade variou de 17 a 73 anos; M = 34,4, DP = 12,6). A maioria dos participantes eram do sexo feminino (59,4%), brancos (80%), com nível socioeconômico entre 1 e 5 salários mínimos (68,1%) e escolaridade de nível superior completo ou incompleto (51,7%). Dentre os participantes, 61,2% eram pacientes que estavam em tratamento psicoterápico e/ou psiquiátrico, compondo o grupo clínico. Não foi levado em consideração, neste estudo, o diagnóstico psiquiátrico destes pacientes, mas sim o diagnóstico estrutural, realizado por seus clínicos com base em uma avaliação dimensional das proposições de Kernberg (1995) acerca da difusão da identidade, dos mecanismos de defesa mais comumente utilizados e da capacidade em testar a realidade. Desta forma, a amostra contou com pacientes estruturalmente organizados a partir de diferentes níveis de prejuízo no funcionamento da personalidade, desde um comprometimento mais leve até um mais severo.

Instrumentos

Questionário sóciodemográfico: questionário elaborado pelos autores para caracterização da amostra, investigando dados clínicos e sociodemográficos.

Inventário de Organização de Personalidade - Brasil (IPO-Br; Oliveira & Bandeira, 2011): adaptado da versão original do IPO (Clarkin et al., 2001). Trata-se de um instrumento de autorrelato composto por 83 itens, que são pontuados em uma escala tipo Likert de cinco pontos (1 "Nunca verdadeiro" - 5 "Sempre verdadeiro"). Estudos apresentam adequadas propriedades psicométricas da versão brasileira (Oliveira, 2016; Oliveira & Bandeira, 2011).

Bateria Fatorial de Personalidade (BFP; Nunes et al., 2010): instrumento que avalia a personalidade no modelo dos cinco grandes fatores. A BFP é composta por 126 itens, com resposta em escala tipo Likert de sete pontos (1 "Absolutamente não me identifico com a frase" - 7 "Descreve-me perfeitamente"). Os itens são distribuídos em 17 facetas que compõem cinco dimensões: Neuroticismo, Extroversão, Socialização, Realização e Abertura à Experiência. A BFP apresenta adequadas propriedades psicométricas (Nunes et al., 2010).

Self-Reporting Questionnaire (SRQ-20; Harding et al., 1980): trata-se de um instrumento desenvolvido pela Organização Mundial da Saúde para rastreio de transtornos mentais comuns em serviços de atenção primária. A versão brasileira do instrumento conta com 20 questões indicativas de transtornos não-psicóticos. As alternativas de respostas são do tipo 'sim' ou 'não' e cada resposta positiva equivale a um ponto, sendo o escore total possível variando de 0 a 20 pontos. O ponto de corte estabelecido para a determinação da presença de transtornos mentais comuns é de 8 pontos para homens e mulheres (Gonçalves, Stein, & Kapczinski, 2008).

Procedimentos

Coleta de dados. Participaram da amostra não clínica estudantes da modalidade Ensino de Jovens e Adultos (EJA) e de cursos superiores de instituições de ensino. A aplicação foi realizada de forma coletiva e os instrumentos foram entregues em ordem aleatória aos participantes para evitar o viés de resposta por cansaço. Para aplicação dos protocolos da pesquisa com os participantes da amostra clínica, diferentes estratégias foram empregadas, conforme o local de aplicação. O procedimento de aplicação em clínicas de atendimento, clínicas-escola de universidades e ambulatórios de saúde mental se deu com a colaboração do clínico (profissional da psicologia ou estagiário do último ano da graduação), que convidava seus pacientes a responder os instrumentos. Os clínicos passaram por um breve treinamento para que pudessem eleger, para participar da pesquisa, pacientes que apresentassem um determinado perfil possível de ser classificado dentro do modelo estrutural da personalidade proposto por Kernberg (1995). Além disso, escolheram pacientes que julgavam possuir condições físicas e psicológicas para a participação, visto que estes responderiam os instrumentos de forma autônoma, sem auxílio no preenchimento das questões. Em alguns casos específicos houve a necessidade do clínico auxiliar o paciente no preenchimento dos protocolos. Foram casos em que o paciente possuía alguma patologia mais grave e/ou baixa escolaridade, o que poderia comprometer as respostas se o paciente respondesse sozinho. No entanto, torna-se importante ressaltar que o auxílio do profissional era focado no procedimento de preenchimento do protocolo e não na escolha das respostas. Com os pacientes provenientes de Centros de Atenção Psicossocial (CAPS) e de clínicas de internação, toda a aplicação foi realizada por um dos pesquisadores desse estudo, considerando-se o grau de comprometimento dos pacientes para o preenchimento de forma individual.

Análise dos dados. Os dados foram analisados pelo softwareStatistical Package for the Social Sciences (SPSS, v.17.0). Inicialmente foram feitas análises descritivas dos instrumentos utilizados no estudo. Para a escolha dos testes estatísticos a serem utilizados foram realizadas análises de normalidade por meio do teste Kolmogorov-Smirnov (K-S). A normalidade foi confirmada para a maioria das escalas, e, portanto, foram utilizados testes estatísticos paramétricos.

Para verificar a necessidade de variáveis controle, foram realizadas correlações de Pearson entre a idade dos participantes e as variáveis de interesse, assim como foram verificadas diferenças entre sexos pelo teste t. Não foram encontradas correlações significativas com a idade e, com relação ao sexo, verificou-se não haver diferença estatisticamente significativa para nenhuma das dimensões do IPO-Br ou da BFP, exceto para o fator Extroversão e para o SRQ-20. Por se tratar de apenas duas variáveis que apresentaram diferença para sexo, optou-se por realizar as análises com grupo total.

A consistência interna das escalas dos instrumentos foi analisada pelo método do Alpha de Cronbach. Esse coeficiente varia de 0 (zero) a 1 (um), sendo classificada sua propriedade como muito boa (>0,90), boa (entre 0,80 e 0,90), razoável (de 0,70 a < 0,80), fraca (de 0,60 a 0,70) e inadmissível (<0,60; Pestana & Gagueiro, 2014). Os tamanhos de efeito foram calculados e classificados pelo método do d de Cohen em: d > 0,3 pequeno, d > 0,5 moderado, d > 0,8 grande (Cohen, Cohen, West, & Aiken, 2003).

Para investigar a validade convergente do IPO foram realizadas análises correlacionais e de regressão múltipla. Primeiramente, utilizou-se análises de correlação de Pearson entre as cinco dimensões da BFP e os fatores do IPO-Br. Os tamanhos dos efeitos dos coeficientes de correlação foram interpretados conforme Pestana e Gagueiro (2014), com r de 0,0 a 0,3 muito fraca; de 0,3 a 0,5 fraca; de 0,5 a 0,7 moderada; de 0,7 a 0,9 forte; e de 0,9 a 1,0 muito forte.

Além disso, foram conduzidas análises de regressão linear múltipla, tendo como variáveis independentes as facetas da BFP e como variável dependente cada um dos fatores do IPO-Br individualmente. De acordo com Hair, Black, Babin, Anderson e Tatham (2009), emprega-se o método de seleção de preditores quando se objetiva maximizar a predição do modelo utilizando o menor número de variáveis possíveis. Visto que neste estudo trata-se de um modelo exploratório, cujo objetivo é observar as relações de possíveis preditores que geralmente são negligenciados, optou-se por utilizar o método de entrada forçada.

Para investigar a validade incremental do IPO-Br, foram realizadas regressões lineares hierárquicas (Dancey & Reidi, 2013). Na primeira análise, as dimensões da BFP foram colocadas no primeiro bloco e as do IPO no segundo, para verificar se os fatores do IPO forneciam informação adicional para a predição de sintomas psicopatológicos, medidos pelo SRQ-20, para além da informação obtida pelos fatores da BFP.

Procedimentos éticos. Este estudo foi aprovado pelo Comitê de Ética em Pesquisa do Instituto de Psicologia da Universidade Federal do Rio Grande do Sul (CEP-PSICO), em concordância com a resolução do Conselho Nacional de Saúde nº 466, de 12 de dezembro de 2012 (CAAE da Plataforma Brasil: 31610114.9.0000.5334). Todos os participantes do estudo aceitaram participar da pesquisa voluntariamente.

 

Resultados

A Tabela 1 apresenta as médias das escalas dos instrumentos utilizados e o tamanho dos efeitos das diferenças encontradas. Também são apresentados na tabela os coeficientes de consistência interna, os quais são considerados satisfatórios para a maior parte das dimensões dos instrumentos.

Os resultados mostraram que a maior parte dos fatores do IPO-Br discriminaram os grupos clínico e não clínico com tamanhos de efeito de magnitude moderada ou grande. Já dentre os fatores da BFP, apenas os fatores Neuroticismo e Socialização apresentaram tamanho de efeito significativo na discriminação dos grupos. Em relação ao SRQ-20, a quantidade de sintomas psicopatológicos evidenciados foi significati- vamente maior, com grande tamanho de efeito, no grupo clínico.

Validade Convergente

Para verificar a validade convergente, correlações entre os fatores do IPO-Br e da BFP foram estimadas, conforme apresentado na Tabela 2. Foram encontradas correlações positivas, fracas a altas, entre todos os fatores do IPO-Br com o fator Neuroticismo. Também foram observadas correlações negativas de magnitude fraca a moderada com o fator Socialização e correlações negativas fracas, porém significativas, com o fator Realização. Correlações negativas de baixa magnitude ou sem significância estatística foram observadas com os fatores Extroversão e Abertura à Experiência.

Para compreender de maneira mais detalhada a relação entre os construtos estudados nas análises bivariadas, foram conduzidas análises de regressão linear múltipla utilizando-se como variáveis independentes as facetas da BFP. Para a seleção das facetas que entrariam na análise de regressão, foram realizadas análises de correlação com os fatores do IPO-Br. Foram selecionadas apenas as facetas que apresentaram correlações com valor de p < 0,25, segundo critério de Hosmer, Lemeshow e Sturdivant (2013). A Tabela 3 apresenta os resultados das regressões.

As facetas da BFP explicaram mais de 42% da variância dos fatores do IPO-Br, exceto para o fator IO, que teve cerca de 27% de sua variância explicada. As facetas Vulnerabilidade (β = 0,28), Depressão (β = 0,28), Competência (β = -0,22), Empenho (β = 0,18), Altivez (β = 0,14), Confiança nas Pessoas (β = -0,13) e Ponderação (β = -0,12) contribuíram de forma estatisticamente significativa na explicação da variância dos escores do fator ISO. Referente ao fator IC, observou-se que as facetas Instabilidade Emocional (β = 0,22), Depressão (β = 0,19), Vulnerabilidade (β = 0,19), Pró-sociabilidade (β = -0,18) e Ponderação (β = -0,14) foram aquelas que contribuíram de modo significativo com o modelo de regressão. Para o fator IO, as facetas que apresentaram poder explicativo foram Pró-sociabilidade (β = -0,19), Busca por novidades (β = -0,19), Confiança nas Pessoas (β = 0,08) e Depressão (β = 0,06). Já em relação ao fator PSI, as facetas Depressão (β = 0,28), Dinamismo (β = 0,25), Abertura a Ideias (β = 0,24), Ponderação (β = -0,22), Confiança nas Pessoas (β = -0,21), Instabilidade Emocional (β = 0,17) e Busca por Novidades (β = -0,15) apresentaram poder explicativo no modelo.

Com relação aos fatores das Escalas Adicionais, observou-se que a variância do fator AA foi explicada de forma significativa pelas facetas Depressão (β = 0,39), Passividade (β = -0,35), Competência (β = -0,27), Pró-Sociabilidade (β = -0,26), Altivez (β = 0,18) e Instabilidade Emocional (β = 0,16). O fator DVM, por sua vez, teve a variância explicada apenas pelas facetas Vulnerabilidade (β = 0,22), Confiança nas Pessoas (β = -0,18) e Pró-sociabilidade (β = -0,15). Por fim, o fator AS teve sua variância explicada por Depressão (β = 0,21), Amabilidade (β = -0,16), Pró-sociabilidade (β = -0,24), Confiança nas Pessoas (β = -0,15) e Ponderação (β = -0,15).

Validade Incremental

Para avaliação da validade incremental do IPO-Br foram conduzidas análises de regressão hierárquica para verificar o grau de incremento de informação sobre a quantidade de sintomas psicopatológicos apresentados pelos participantes (variável dependente foi o escore total no SRQ-20). Os resultados são apresentados na Tabela 4.

Num primeiro momento foram introduzi- dos os cinco grandes fatores da personalidade (Passo 1) seguido pela introdução das sete dimensões do funcionamento da personalidade (medidas pelo IPO-Br). Os resultados mostraram que o modelo composto pelos cinco grandes fatores explicou 51% da variância do SRQ-20. Depois de controlado o efeito da BFP, observou-se que o IPO-Br incrementou, de forma estatisticamente significativa, 13% da explicação da variância do SRQ-20. Dessa forma, observou-se que os fatores do IPO-Br incrementam o poder preditivo do nível de sintomatologia psicopatológica, para além do poder preditivo dos fatores da BFP. Invertida a ordem de inclusão das variáveis no modelo, observou-se valores semelhantes tanto para as dimensões do IPO-Br na explicação da variância do SRQ-20 quanto para os fatores da BFP no incremento desta explicação. Portanto, não parece haver diferença substancial entre o grau de incremento do IPO-Br e da BFP na explicação da variação da quantidade de sintomas psiquiátricos dos participantes. Os fatores que apresentaram poder preditivo com significância estatística foram: Neuroticismo (β = 0,38), ISO (β = 0,25), AA (β = 0,24), AS (β = -0,17) e Extroversão (β = -0,17).

 

Discussão

O presente estudo teve como objetivo investigar evidências de validade para o IPO-Br. Conforme esperado, observou-se que o padrão de correlações entre os fatores do IPO-Br e as dimensões da BFP é congruente com o indicado pela literatura. Pesquisas têm mostrado que pacientes com transtornos de personalidade tendem a apresentar elevados níveis do traço Neuroticismo e baixos níveis de Socialização, Realização e Extroversão (Amini et al., 2015; Laverdière et al., 2007; Malouff et al., 2005; Quilty et al., 2013; Reardon, Tackett, & Lynam, 2017; Saulsman & Page, 2004; Watson & Naragon-Gainey, 2014; Widiger et al., 2002). Berghuis et al. (2009) chamam especial atenção para o "NAC profile", isto é, altos traços de Neuroticismo (N-Neuroticism) e baixos traços de Socialização (A-Agreeableness) e Realização (C-Conscientiousness). Segundo os autores, pessoas com transtornos de personalidade tendem a apresentar esse padrão de traços de acordo com o modelo dos cinco grandes fatores. Os resultados das correlações do presente estudo foram congruentes com esse perfil, sugerindo que as escalas do IPO-Br estão mensurando características mal adaptativas do funcionamento da personalidade, uma vez que, embora os pacientes da amostra clínica não necessariamente possuam um diagnóstico nosológico de transtorno de personalidade, todos eles apresentam algum grau de prejuízo em seu funcionamento.

O fator IO apresentou correlações somente com os traços Neuroticismo e Abertura à Experiência e estas de magnitude fraca, apresentando um resultado não esperado para as associações entre o IPO-Br e o modelo dos cinco grandes fatores. Dentre os fatores relacionados às Escalas Clínicas Primárias, foi o único que não apresentou pelo menos correlações de magnitude moderada com Neuroticismo, e correlações de magnitude fraca com Socialização. Esses resultados podem ser atribuídos ao fato de que o fator IO é composto por apenas dois itens, o que pode representar um viés metodológico. Ainda assim, na estrutura fatorial esse fator emergiu claramente e apresentou adequada consistência interna (Oliveira, 2016), de maneira semelhante à estrutura fatorial apresentada no estudo de Ellison e Levy (2012), sugerindo que uma alternativa para essa questão poderia ser a elaboração de maior quantidade de itens para o fator IO em futuras reformulações do instrumento.

A convergência teórica apontada pelas correlações entre o modelo de Kernberg e o dos cinco grandes fatores foi confirmada pelos resultados das análises de regressão, realizadas para aprofundar o entendimento da relação entre os modelos. Os dados indicaram que indivíduos com prejuízos na manutenção de uma experiência contínua do self e instabilidade nas relações e percepções dos outros (ISO), parecem apresentar de forma mais proeminente características como vivência de sofrimento emocional em relação à aceitação dos outros e baixa autoestima, expressas pela faceta Vulnerabilidade (Kernberg & Caligor, 2005). Os resultados apontaram também uma associação com sentimentos de solidão, falta de objetivos claros para a vida e percepção grandiosa sobre seu valor, indicados pelas facetas Depressão e Altivez. A associação entre ISO e a faceta Confiança nas Pessoas indica que a descontinuidade na consistência do self está relacionada também a dificuldade de acreditar nas pessoas (Horz-Sagstetter et al., 2017). O ISO aparece ainda associado negativamente a todas as facetas de Realização, indicando pouca motivação para lidar com tarefas complexas e interesse difuso em relação ao planejamento geral de suas vidas, o que pode ocasionar prejuízo nas relações (Jensen-Campbell & Malcom, 2007; Nunes et al., 2010).

O modelo de regressão do fator IC, que se refere a condutas impulsivas e mudanças no comportamento (Oliveira, 2016), mostrou forte associação com a faceta Instabilidade Emocional, que se refere à tendência a agir impulsivamente frente a algum desconforto psicológico e à tomada de decisões precipitadas (Critchfield et al., 2008). O fator também mostrou-se associado à Vulnerabilidade, sugerindo que pessoas com instabilidade no comportamento apresentam maior tendência a serem vulneráveis e muito dependentes das pessoas mais próximas. Observou-se também associação com o traço Depressão, dada a relação entre funcionamento mal adaptativo e expectativas negativas em relação ao futuro (Kernberg & Caligor, 2005). O fator teve sua variância explicada ainda pelas facetas Pró-Sociabilidade e Ponderação, apontando que a instabilidade do comportamento está associada a condutas de risco, transgressão de regras e prejuízo na capacidade de avaliação das possíveis consequências das ações (Ucho, Terwase, & Ucho, 2016).

A associação do fator IO com Confiança nas Pessoas, Depressão, Pró-sociabilidade e Busca por Novidades sugere que pessoas que apresentam dificuldade em estabelecer objetivos na vida demonstram problemas para confiar nas pessoas, alto nível de desesperança, tendência a se expor a situações de risco e a entediar-se facilmente quando são submetidos a rotinas. Resultados semelhantes foram relatados por Preti et al. (2015), onde sujeitos com instabilidade de objetivos apresentavam grande dificuldade em assumir responsabilidades.

A presença de experiências psicóticas, tais como alucinações, delírios e confusão mental, descritos pelo fator PSI, demonstrou estar associada positivamente com as facetas Depressão, Instabilidade Emocional, Dinamismo e Abertura à Ideias. Assim, pessoas com crenças incomuns parecem apresentar expectativas pessimistas em relação ao futuro, baixa tolerância à frustração e preferência em manter-se ocupadas com atividades variadas. Também costumam demonstrar tendência a participar de atividades que envolvam uso de fantasia. Esse dado vai ao encontro de pesquisas prévias (Widiger et al., 2002), as quais descrevem altos escores em Abertura a Ideias em alguns quadros psicopatológicos, com dificuldade na manutenção do teste de realidade, como no Transtorno da Personalidade Esquizotípica. Por outro lado, a associação negativa de PSI com Confiança nas Pessoas, Ponderação e Busca por Novidades aponta que pessoas com características psicóticas podem ser mais paranóides, tendo dificuldade em acreditar que as pessoas são bem intencionadas. Além disso, em geral têm pouca cautela ao expor suas opiniões em função das dificuldades de avaliar seus sentimentos de acordo com as normas sociais (Caligor et al., 2007), e apresentam resistência em seguir uma rotina.

Em relação aos fatores das Escalas Adicionais, observou-se que o fator AA tem relação com sentimentos de ter uma vida monótona e sem emoção, percepção desfavorável de si mesmo e descrença acerca da própria capacidade (Critchfield et al., 2008; Di Pierro, Preti, Vurro, & Madeddu, 2017), evidenciados pelas facetas Depressão e Competência. O fator mostrou-se relacionado também à necessidade de receber atenção das pessoas e à tendência a colocar-se a si mesmo em risco, conforme associação com as facetas Altivez e Pró-sociabilidade. O fator DVM, por sua vez, apresentou relação significativa com Vulnerabilidade, Pró-Sociabilidade e Confiança nas Pessoas. Estas relações evidenciam que aspectos mal integrados e distorcidos da moralidade mostraram-se associados à insegurança e dependência excessiva das pessoas próximas, e manipulação e dificuldade em confiar nos outros (Critchfield et al., 2008). Por fim, o fator AS, que envolve uma heteroagressividade e o controle e manipulação dos outros, mostrou-se associado a um padrão hostil de interação, uma perspectiva negativa em relação ao futuro, falta de empatia e de confiança nos outros e incapacidade de avaliação de consequências (Garcia-Sancho, Dhont, Salquero, & Fernández-Berrocal, 2017; Ruiz & Sánchez, 2008; Widiger et al., 2002).

Referente à validade incremental, os resultados das análises de regressão hierárquica apontaram que o IPO-Br fornece significativa contribuição ao poder preditivo da quantidade de sintomas psicológicos apresentados pelos participantes, para além dos fatores da BFP. Esse resultado soma novas evidências de validade (incremental) ao instrumento. Nesse sentido, observou-se que características mais instáveis, tanto a nível de estrutura psíquica quanto a nível emocional (ISO e Neuroticismo) estão associadas a uma maior manifestação de sintomas psiquiátricos. Além disso, a maior quantidade de sintomas psicopatológicos tende a ser mais comum em pessoas agressivas (AA e AS) e introvertidas (Extroversão). Em consonância com estes achados, diversos estudos apontam relação positiva entre sintomas de transtornos mentais comuns, como depressão, transtornos de ansiedade e sintomas psicossomáticos com instabilidade (Critchfield et al., 2008; Garcia-Sancho et al., 2017) e neuroticismo (Lowyck et al., 2013; Malouff et al., 2005), assim como associação negativa entre extroversão com sintomas depressivos, sintomas negativos da esquizofrenia e ansiedade social (Watson & Naragon-Gainey, 2014; Watson, Stasik, Ellickson-Larew, & Stanton, 2015).

Para finalizar, o presente estudo possui algumas limitações como o reduzido tamanho amostral e o fato da amostra ter sido estabelecida por conveniência, o que limita, em partes, a aleatoriedade e a representatividade da amostra em relação à população. Assim, é prudente que os resultados sejam entendidos como fenômenos da amostra estudada. Contudo, também pode-se considerar possíveis generalizações, uma vez que os resultados mostraram-se, em grande parte, congruentes com a literatura.

De forma geral, o presente estudo contribui para o acúmulo de evidências de validade do IPO-Br no contexto brasileiro. Seis dos sete fatores do IPO-Br discriminaram os grupos de participantes com e sem indicadores clínicos. Somente o fator DVM não apresentou diferença estatisticamente significativa entre os grupos. As convergências observadas entre os fatores do IPO-Br e os da BFP apontam para evidências de validade convergente do instrumento. Para além de convergirem teoricamente, os fatores do IPO-Br agregam poder preditivo, para além do fornecido pelos fatores da BFP, na identificação do mal funcionamento psicológico. Esse resultado indica evidência de validade incremental do instrumento. Os resultados da presente pesquisa demonstram a utilidade clínica do IPO-Br, bem como ampliam as interpretações de seus fatores por meio das associações com medidas externas.

 

Referências

Amini, M., Pourshahbaz, A., Mohammadkhani, P., Ardakani, M. R., Lotfi, M., & Ramezani, M. A. (2015). The relationship between five-factor model and diagnostic and statistical manual of mental disorder-fifth edition personality traits on patients with antisocial personality disorder. Journal of Research in Medical Sciences, 20(5),470-476. Retrieved from https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4590202/        [ Links ]

Berghuis, H., Kamphuis, J. H., Boedijn, G., & Verheul, R. (2009). Psychometric properties and validity of the Dutch Inventory of Personality Organization (IPO-NL). Bulletin of the Menninger Clinic, 73,44-60. doi: 10.1521/bumc.2009.73.1.44        [ Links ]

Caligor, E., Kernberg, O. F., & Clarkin, J. F. (2007). Handbook of dynamic psychotherapy for higher level personality pathology. Washington, DC: American Psychiatric Publishing.         [ Links ]

Clarkin, J. F., Foelsch, P. A., & Kernberg, O. F. (2001). The Inventory of Personality Organization (IPO). White Plains, NY: The New York Hospital-Cornell Medical Center. The Personality Disorders Institute, Department of Psychiatry, Weill College of Medicine of Cornell University. doi: 10.1037//1040-3590.13.4.577        [ Links ]

Cohen, J., Cohen, P., West, S. G., & Aiken, L. S. (2003). Applied Multiple Regression Analysis for the Behavioral Sciences (3rd Ed.). Hoboken, NJ: Lawrence Erlbaum Associates.         [ Links ]

Costa, P. T., Jr., & Widiger, T. A. (2002). Introduction: Personality Disorders and the Five-Factor Model of Personality. In P. T. Costa & T. A. Widiger (Eds.), Personality Disorders and the Five-Factor Model of Personality (pp. 3-14). Washington, DC: American Psychological Association.         [ Links ]

Critchfield, K. L., Levy, K. N., Clarkin, J. F., & Kernberg, O. F. (2008). The relational context of aggression in borderline personality disorder: Using adult attachment style to predict forms of hostility. Journal of Clinical Psychology, 64(1),67-82. doi: 10.1002/jclp.20434        [ Links ]

Dancey, C. P., & Reidy, J. (2013). Estatística sem matemática para psicologia (5th Ed.). Porto Alegre, RS: Penso.         [ Links ]

Di Pierro, R., Preti, E., Vurro, N., & Madeddu, F. (2014). Dimensions of personality structure among patients with substance use disorders and co-occurring personality disorders: A comparison with psychiatric out-patients and healthy controls. Comprehensive Psychiatry, 55, 1398-1404. doi: 10.1016/j.comppsych.2014.04.005        [ Links ]

Ellison, W. D., & Levy, K. N. (2012). Factor structure of the primary scales of the Inventory of Personality Organization in a nonclinical sample using exploratory structural equation modeling. Psychological Assessment, 24(2),503-517. doi: 10.1037/a0026264        [ Links ]

Ensink, K., Rousseau, M. E., Biberdzic, M., Bégin, M., & Normardin, L. (2017). Reflective functioning and personality organization: Associations with negative maternal behaviors. Infant Mental Health Journal, 38(3),351-362. doi: 10.1002/imhj.21643        [ Links ]

Garcia-Sancho, E., Dhont, K., Salquero, J. M., & Fernández-Berrocal, P. (2017). The personality basis of aggression: The mediating role of anger and the moderating role of emotional intelligence. Scandinavian Journal of Psychology. doi: 10.1111/sjop.12367        [ Links ]

Goodman, G., Bartlett, R. C., & Stroh, M. (2013). Mothers' borderline features and childrens' disorganized attachment representations as predictors of children's externalizing behavior. Psychoanalytic Psychology, 30(1),16-36. doi: 10.1037/a0031068        [ Links ]

Gonçalves, D. M., Stein, A. T., & Kapczinski, F. (2008). Avaliação de desempenho do Self - ReportingQuestionnaire como instrumento de rastreamento psiquiátrico: Um estudo comparativo com o Structured Clinical Interview for DSM-IV-TR. Cadernos de Saúde Pública, 24(2),380-390. doi: 10.1590/S0102-311X2008000200017        [ Links ]

Hair, J. F., Jr., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2009). Análise multivariada de dados. Porto Alegre, RS: Bookman.         [ Links ]

Harding, T. W., De Arango, V., Baltazar, J., Climent, C. E., Ibrahim, H. H. A., Ladrido- Ignacio, L., & Wig, N. N. (1980). Mental disorders in primary health care: A study of their frequency and diagnosis in four developing countries. Psychological Medicine, 10(2),231-241. Retrieved from https://www.ncbi.nlm.nih.gov/pubmed/7384326        [ Links ]

Heim, A., & Westen, D. (2009). Theories of Personality and Personality Disorders. In J. M. Oldham, A. E. Skodol, & D. S. Bender (Eds.). Essentials of personality disorders. Washington, DC: American Psychiatric Publications.         [ Links ]

Hosmer, D. W., Jr., Lemeshow, S., & Sturdivant, R. X. (2013). Applied logistic regression (3rd Ed.). Hoboken, NJ: John Wiley & Sons.         [ Links ]

Horz-Sagstetter, S., Caligor, E., Preti, E., Stern, B. L., De Panfilis, C., & Clarkin, J. F. (2017). Clinician-guided assessment of personality using the Structural Interview and the Structured Interview of Personality Organization (STIPO). Journal of Personality Assessment. doi: 10.1080/00223891.2017.1298115        [ Links ]

Igarashi, H., Kikuchi, H., Kano, R., Mitoma, H., Shono, M., Hasui, C., & Kitamura, T. (2009). The Inventory of Personality Organisation: Its psychometric properties among student and clinical populations in Japan. Annals of General Psychiatry, 8(9),1-21. doi: 10.1186/1744-859X-8-9        [ Links ]

Jensen-Campbell, L. A., & Malcolm, K. T. (2007). The importance of conscientiousness in adolescent interpersonal relationships. Personality and Social Psychology Bulletin, 33(3),368-383. doi: 10.1177/0146167206296104        [ Links ]

Kernberg, O. F. (1995). Transtornos graves de personalidade. Porto Alegre, RS: Artes Médicas.         [ Links ]

Kernberg, O. F. (2016). What is personality? Journal of Personality Disorders, 30(2),145-156. Retrieved from http://guilfordjournals.com/doi/pdf/10.1521/pedi.2106.30.2.145        [ Links ]

Kernberg, O. F., & Caligor, E. (2005). A Psychoanalytic Theory of Personality Disorders. In M. K. Lenzenweger & J. F. Clarkin (Eds.), Major theories of personality disorder (2nd Ed.). New York: The Guilford Press.         [ Links ]

Laverdière, O., Gamache, D., Diguer, L., Hébert, É., Larochelle, S., & Descôteaux, J. (2007). Personality organization, five-factor model, and mental health. The Journal of Nervous and Mental Disease, 195(10),819-829. doi: 10.1097/NMD.0b013e318156815d        [ Links ]

Lenzenweger, M. F., Clarkin, J. F., Kernberg, O. F., & Foelsch, P. A. (2001). The Inventory of Personality Organization: Psychometric properties, factorial composition, and criterion relations with affect, aggressive dyscontrol, psychosis proneness, and self-domains in a nonclinical sample. Psychological Assessment, 13,577-591. doi: 10.1037/1040-3590.13.4.577        [ Links ]

Lowyck, B., Luyten, P., Verhaest, Y., Vandeneede, B., & Vermote, R. (2013). Levels of personality functioning and their association with clinical features and interpersonal functioning in patients with personality disorders. Journal of Personality Disorders, 27(3),320-336. doi: 10.1521/pedi.2013.27.3.320        [ Links ]

Malouff, J. M., Thorsteinsson, E. B., & Schutte, N. S. (2005). The relationship between the five-factor model of personality and symptoms of clinical disorders: A meta-analysis. Journal of Psychopathology and Behavioral Assessment, 27(2),101-114. doi: 10.1007/s10862-005-5384-y        [ Links ]

Millon, T. (2012). On the History and Future Study of Personality and Its Disorders. Annual Review of Clinical Psychology, 8(1-19). doi: 10.1146/annurev-clinpsy-032511-143113        [ Links ]

Normandin, L., Sabourin, S., Diguer, L., Dupont, G., Poitras, K., Foelsch, P., & Clarkin, J. (2002). Évaluation de la validité théorique de l'Inventaire de l'organisation de la personnalité. Canadian Journal of Behavioural Science, 34(1),59-65. Retrieved from http://psycnet.apa.org/index.cfm?fa=buy.optionToBuy&id=2002-00178-007        [ Links ]

Nunes, C. H. S. S., Hutz, C. S., & Nunes, M. F. O. (2010). Bateria Fatorial de Personalidade (BFP) - Manual técnico. São Paulo, SP: Casa do Psicólogo.         [ Links ]

Oliveira, S. E. S. (2016). Diagnóstico estrutural e dimensional da personalidade: Estudos psicométricos e de aplicação clínica (Tese de doutorado não publicada, Instituto de Psicologia, Universidade Federal do Rio Grande do Sul, Porto Alegre, RS, Brasil).         [ Links ]

Oliveira, S. E. S., & Bandeira, D. R. (2011). Linguistic and cultural adaptation of the Inventory of Personality Organization (IPO) for the Brazilian culture. Journal of Depression & Anxiety, 1(1),1-7. doi: 10.4172/2167-1044.1000105        [ Links ]

Pestana, M. H., & Gagueiro, J. N. (2014). Análise de dados para ciências sociais (6. ed.). Lisboa: Síbalo.         [ Links ]

Preti, E., Prunas, A., De Panfilis, C., Marchesi, C., Madeddu, F., & Clarkin, J. F. (2015). The facets of identity: Personality pathology assessment through the Inventory of Personality Organization. Personality Disorders: Theory, Research, and Treatment, 6(2),129-140. doi: 10.1037/per0000119        [ Links ]

Quilty, L. C., Ayearst, L., Chmielewski, M., Pollock, B. G., & Bagby, R. M. (2013). The psychometric properties of the Personality Inventory for DSM-5 in an APA DSM-5 field trial sample. Assessment, 20(3),362-369. doi: 10.1177/1073191113486183        [ Links ]

Reardon, K., Tackett, J., & Lynam, D. (2017). The personality context of relational agression: A five-factor model profile analysis. Personality Disorders. doi: 10.1037/per0000231        [ Links ]

Ruiz, L. R., & Sánchez, A. R. R. (2008). Description of the structural organization of the personality in adolescents who studied first semester in a psychology program in the city of Barranquillla. Psychologia: Avances de la Disciplina, 2,65-91. Retrieved from http://www.redalyc.org/pdf/2972/297225162002.pdf        [ Links ]

Saulsman, L. M., & Page, A. C. (2004). The five-factor model and personality disorder empirical literature: A meta-analytic review. Clinical Psychology Review, 23,1055-1085. doi: 10.1016/j.cpr.2002.09.001        [ Links ]

Smits, D. J., Vermote, R., Claes, L., & Vertommen, H. (2009). The Inventory of Personality Organization-Revised: Construction of a bridged version. European Journal of Psychological Assessment, 25,223-230. doi: 10.1027/1015-5759.25.4.223        [ Links ]

Verreault, M., Sabourin, S., Lussier, Y., Normandin, L., & Clarkin, J. F. (2013). Assessment of personality organization in couple relationships: Factorial structure of the inventory of personality organization and incremental validity over neuroticism. Journal of Personality Assessment, 95(1),85-95. doi: 10.1080/00223891.2012.713883        [ Links ]

Ucho, A., Terwase, J. M., & Ucho, A. A. (2016). Influence of Big Five Personality Traits and Locus of Control on Road Safety Rules Compliance among Motorcycle Riders in North-Central Nigeria. Asia Pacific Journal of Education, Arts and Sciences, 3(1),1-9. Retrieved from http://apjeas.apjmr.com/wp-content/uploads/2016/01/APJEAS-2016.3.1.01.pdf        [ Links ]

Watson, D., & Naragon-Gainey, K. (2014). Personality, emotions, and the emotional disorders. Clinical Psychological Science, 2,422-442. doi: 10.1177/2167702614536162        [ Links ]

Watson, D. Stasik, S. M., Ellickson-Larew, S., & Stanton, K. (2015). Extraversion and psychopathology: A facet-level analysis. Journal of Abnomal Psychology, 124(2),432-446. doi: 10. 101037/abn0000051        [ Links ]

Widiger, T., Trull, T., Clarkin, J., Sanderson, C., & Costa, P., Jr. (2002). A description of the DSM-III-R and DSM-IV personality disorders with the five-factor model of personality. In P. T. Costa Jr. & T. A. Widiger (Eds.), Personality disorders and the five-factor model of personality (pp. 41-56). Washington, DC: American Psychological Association.         [ Links ]

Zimmermann, J., Benecke, C., Hörz, S., Rentrop, M., Peham, D., Bock, A., ...Dammann, G. (2013). Validierung einer deutschsprachigen 16-Item- Version des Inventars der Persön lichkeitsorganisation (IPO-16). Diagnostica, 59,3-16. doi: 10.1026/0012-1924/a000076        [ Links ]

 

 

Endereço para correspondência:
Liége Barbieri Silveira
Universidade Federal da Fronteira Sul, Campus Erechim
ERS 135 - Km 72, 200, Zona Rural
Erechim, RS, Brasil 99700-970. Caixa Postal 764
Fone: (54) 33217-066
E-mail: liegebsilveira@gmail.com

Recebido: 09/11/2017
1ª revisão: 22/02/2018
Aceite final: 25/02/2018

 

 

Agradecimentos: Os autores agradecem o apoio financeiro das agências de fomento CAPES, por meio da concessão de bolsa de doutorado para SESO, e CNPq, por concessão de bolsa produtividade para DRB e pelo apolo auxílio de pesquisa pelo edital MCTI/CNPq/MEC/CAPES Nº 18/2012.

Creative Commons License