ARTIGOS

 

Evidências de validade para Zulliger utilizando a aplicação R-otimizada

 

Evidence of validity for Zulliger using the R-optimized administration

 

Evidencias de validez para Zulliger utilizando la aplicación R-optimizada

 

 

André Pereira Gonçalves^I; Anna Carolina Zuanazzi^II; Anna Elisa Villemor-Amaral^III

^IPsicólogo. Universidade de São Francisco. Itatiba. Estado de São Paulo. Brasil. https://orcid.org/0000-0002-2470-4040
^IIPsicóloga. Universidade São Francisco. Itatiba. Estado de São Paulo. Brasil. https://orcid.org/0000-0003-1649-2372
^IIIDocente. Universidade São Francisco. Itatiba. Estado de São Paulo. Brasil. https://orcid.org/0000-0002-1815-8194

Endereço para correspondência

 

 

---

RESUMO

A aplicação R-otimizada foi idealizada para o Método de Rorschach no sistema R-PAS. Esta aplicação visa diminuir a variabilidade do número de respostas entre as pessoas, aumentando a fidedignidade dos dados normativos. Devido à similaridade entre Zulliger e Rorschach, o objetivo deste estudo é buscar evidências de validade para aplicação R-otimizada no Zulliger. A amostra deste estudo foi composta por 41 sujeitos. A aplicação dos Métodos de Zulliger e Rorschach foi realizada de forma alternada, para minimizar os efeitos que um poderia causar sob o outro. Dos protocolos aplicados, 25% foram recodificados por juízes independentes com resultados de precisão entre avaliadores considerados adequados para prosseguir com as análises. Foi realizada a correlação entre as porcentagens dos códigos nos dois instrumentos e os resultados foram considerados satisfatórios com alguns códigos apresentando melhora nas associações quando comparado à literatura demonstrando, assim, evidência de validade para o Zulliger aplicação R-otimizada.

Palavras-chave: Avaliação Psicológica; Técnicas Projetivas; Rorschach.

---

ABSTRACT

The R-optimized administration was designed for the Rorschach Method in the Rorschach Performance Assessment System (R-PAS). The purpose of this administration is to decrease the variability of the number of responses between protocols and increase reliability of the normative data. Due to the similarity between Zulliger and Rorschach, the aim of this study is to seek validity evidence for the R-optimized administration to Zulliger. The sample was composed of 41 subjects. The administration of the Zulliger and Rorschach Methods was performed alternately, to minimize the effects that one could cause on the other. f the protocols applied, 25% were codified by independent judges and the agreement between raters was considered sufficient to proceed with the analyses. A correlation of the percentiles of the codes among the two instruments was performed and the results were considered satisfactory, with some codes showing improvement in the associations when compared to the literature, demonstrating, thus, validity evidence for the R-optimized administration of Zulliger.

Keywords: Psychological Assessment; Projective Techniques; Rorschach.

---

RESUMEN

La aplicación R-optimizada fue diseñada para el Método Rorschach en el sistema R-PAS. Esta aplicación tiene como objetivo reducir la variabilidad en el número de respuestas entre personas, aumentando la confiabilidad de los datos normativos. Debido a la similitud entre Zulliger y Rorschach el objetivo de este estudio es buscar evidencias de validez para aplicación R-optimizada también en el Zulliger La muestra de este estudio estuvo compuesta por 41 sujetos. La aplicación de los Métodos de Zulliger y Rorschach se realizó de forma alternada, para minimizar los efectos que uno pudiera tener sobre el otro. De los protocolos aplicados, el 25% fueron recodificados por jueces independientes con resultados de precisión entre los evaluadores considerados adecuados para proseguir con los análisis. Se realizó una correlación entre los porcentajes de los códigos en los dos instrumentos y los resultados se consideraron satisfactorios, mostrando algunos códigos una mejora en las asociaciones en comparación con la literatura, lo que demuestra evidencia de validez para la aplicación de Zulliger para R-optimizada.

Palabras clave:  Evaluación Psicológica; Técnicas Proyectivas; Rorschach.

---

 

 

Ao longo dos anos, desde sua criação em 1921, estudos são realizados com o intuito de aprimorar o Método de Rorschach (Exner, 1992; Exner & Sendín, 1999; Mihura, Bombel, Dumitrascu, Roy & Meadows, 2019). Pesquisas indicaram que a variabilidade no número de respostas, ou seja, protocolos muito longos ou curtos, afeta a estabilidade de alguns indicadores e, consequentemente, a fidedignidade dos resultados encontrados (Exner, 1992; Hosseininasab et al., 2019; Meyer, 1992; Meyer, Eldberg, & Shaffer, 2007; Meyer, Viglione, Mihura, Erard, & Erdberg, 2017). Quando analisados os protocolos do Rorschach no Sistema Compreensivo, é possível observar alta variação no número de respostas. Nos estudos de Meyer et al. (2007) e Nascimento (2002), por exemplo, utilizando o Sistema Compreensivo, foi encontrada uma variedade de respostas considerada alta pelos autores, com médias de 22,3 (DP = 7,90) e 20,4 (DP = 6,8), respectivamente.

Segundo Meyer et al. (2017), os protocolos com poucas respostas, menos que 16, podem ser insuficientes para uma interpretação que se aproxime da realidade do sujeito, podendo não identificar problemas e fornecendo dados pouco confiáveis. Já protocolos que superam o número de 28 respostas, podem inflar os dados e, também, fornecer resultados que não são totalmente compatíveis com a realidade da pessoa avaliada. Por meio de vários estudos, chegou-se a um intervalo adequado de respostas, variando de 18 a 27 por protocolo (Meyer et al., 2017; Viglione et al., 2015).

Com intuito de limitar a variação, de modo que a maioria dos protocolos estivesse dentro do intervalo de 18 a 27 respostas, e, consequentemente, propiciar maior estabilidade dos indicadores, Meyer et al. (2017) criaram uma nova padronização para a aplicação do Rorschach. Assim, juntamente com a instrução "Com que isso se parece?", é solicitado ao avaliando que dê duas talvez três respostas por cartão, procedimento que foi chamado de aplicação R-otimizada. Esta aplicação faz parte de um novo sistema para aplicação, codificação e interpretação para o Rorschach, denominado Sistema de Avaliação por Performance no Rorschach (R-PAS), e vários estudos foram desenvolvidos desde então (Amaro, Areco & Nascimento, 2017; Erard & Viglione, 2014; Hosseininasab et al., 2019; Kivisalu, Lewey, Shaffer & Canfield, 2016; Pignolo et al., 2017).

É possível perceber nas pesquisas com R-PAS que o objetivo de diminuir a variação entre os protocolos foi alcançado. O estudo de Pianowski, Meyer e Villemor-Amaral (2016), visando estudar o impacto do R-otimizado em uma amostra brasileira não clínica, comparou os resultados de um banco de dados do Rorschach no Sistema Compreensivo (n = 746) e outro usando o R-PAS (n = 343). A variação no número de respostas encontrada no Rorschach Sistema Compreensivo (M = 22,17; DP = 9,17) foi maior quando comparado com R-PAS (M = 24,59; DP = 4,82), resultado este esperado pelos pesquisadores.

A variação do número de respostas por protocolo, assim como no Rorschach, pode influenciar a estabilidade dos indicadores também no Método de Zulliger. Neste caso, protocolos muito curtos não favorecem a avaliação e interpretação dos dados, o que acarreta avaliações que não são compatíveis com a realidade do avaliando (Cárpio & Lugón, 2011; Villemor-Amaral & Cardoso, 2012; Villemor-Amaral, Pianowski & Carvalho, 2016).

O Método de Zulliger foi baseado no Rorschach e manteve características em comum, tais como o estímulo de manchas de tintas simétricas e semiestruturadas e as instruções dadas ao examinando para que possa realizar a tarefa. Devido a esta similaridade, observam-se estudos que procuram adaptar achados importantes no Rorschach para o Zulliger. Foi assim com o Sistema Klopfer (Vaz & Alchieri, 2016) e o Sistema Compreensivo (Villemor-Amaral & Primi, 2009), sistemas desenvolvidos para pautar a aplicação, codificação e interpretação no Rorschach e que posteriormente foram transpostos e adaptados para o Zulliger. Hoje, no Brasil, são esses os dois sistemas que estão com parecer favorável no Sistema de Avaliação de Testes Psicológicos (SATEPSI) para uso no Zulliger.

O Sistema Compreensivo foi criado por Exner e Séndin (1999) para o Rorschach, porém logo estudos começaram a ser realizados com intuito de adaptar o Sistema Compreensivo também para o Zulliger. Os trabalhos com maiores destaques que promoveram esta adaptação foram feitos por: Mahmood (1990), na Finlândia; Mattlar, Sandahl, Lindberg e Lehtinen (1990), na Grã-Bretanha; Zdunic (1999), na Argentina, e, no Brasil, o Manual do Zulliger no Sistema Compreensivo foi publicado por Villemor-Amaral e Primi (2009).

A adaptação do Sistema Compreensivo para uso no Zulliger permitiu que esse instrumento fosse comparável ao Rorschach, e estudos foram desenvolvidos nesse sentido. O primeiro foi no Peru, com Cárpio e Lugón (2011), seguido dos estudos de Villemor-Amaral e Cardoso (2012) e Villemor-Amaral et al. (2016), no Brasil.

Cárpio e Lugón (2011), em um estudo para adaptar o Zulliger para o Sistema Compreensivo, encontraram correlações entre Zulliger e Rorschach que variaram entre fraca e forte magnitudes. Entre as correlações fortes estão número de respostas (R; r = 0,59), movimento humano (M; r = 0,51) e qualidade evolutiva ordinária (DQo; r = 0,53). Entre as correlações moderadas estão as respostas de forma (F; r = 0,48), conteúdo humano (H; r = 0,42) e conteúdo animal (A; r = 0,45). No que diz respeito às correlações de fraca magnitude, a menor encontrada foi referente às respostas em branco (S; r = 0,18), seguida por respostas de cor acromática com maior influência de forma (FC'; r = 0,19).

O estudo realizado por Villemor-Amaral e Cardoso (2012) teve como objetivo buscar evidências de validade convergente para o Tipo de Vivência (EB) no Zulliger. O estudo contou com um banco de dados composto por 51 sujeitos e apresentou correlações positivas significativas, entre altas e baixas magnitudes. O código M demonstrou concordância de forte magnitude entre os dois instrumentos [r = 0,59 (p < 0,01)] e WSumC de moderada magnitude [r = 0,34 (p < 0,01)]. Os dados encontrados demonstram correlações moderadas e positivas no que diz respeito aos Extratensivos (r = 0,31) e correlação forte e positiva na categoria Evitativo (r = 0,52). Na categoria Introversivos, a correlação encontrada foi positiva e de fraca magnitude (r = 0,15).

Villemor-Amaral et al. (2016) tiveram como objetivo verificar o alcance e as limitações dos determinantes de Cor (C) e Movimento Humano (M) e o Número de Resposta (R) entre Zulliger e Rorschach. A amostra de 51 sujeitos foi dividida em dois grupos: concordante e discordante. O grupo concordante apresentou consenso nas proporções de respostas de movimento e cor (tipo de vivência) identificadas no Zulliger e Rorschach (n = 24). O grupo discordante apresentou resultados diferentes ao se comparar o Zulliger e o Rorschach (n = 27). Os resultados encontrados, quando analisados todos os 51 sujeitos, indicam diferença entre os dois métodos nos estímulos acromáticos (d = 0,33) e cromáticos (d = 0,34). Analisando o grupo Concordante, o estímulo acromático (d = 0,55) revelou uma moderada magnitude da diferença entre os métodos e o cromático (d = 0,43) uma fraca magnitude. Nos grupos discordantes, Zulliger e Rorschach tiveram o estímulo cor cromática (d = 0,24) e acromática com vermelho (d = 0,34) apresentando fracas magnitudes de diferença entre os dois instrumentos. Essa diferença de resultados, de modo geral, reflete uma diferença acima do esperado para os dois métodos.

Como se pode constatar, os resultados dos estudos oscilam, apresentando por vezes concordâncias insuficientes, o que não é esperado levando em conta a similaridade dos instrumentos. Os autores desses estudos trazem como hipóteses que os protocolos com poucas respostas podem estar afetando a estabilidade dos indicadores no Zulliger (Cárpio & Lugón, 2011; Villemor-Amaral & Cardoso, 2012; Villemor-Amaral et al., 2016). Esses resultados justificam os estudos que buscam evidências de validade para aplicação R-otimizada no Zulliger. Neste sentindo, Gonçalves, Zuanazzi e Villemor-Amaral (2019) buscaram evidências de validade para Zulliger aplicação R-otimizada nos códigos relacionados à depressão, solicitando entre três e cinco respostas por cartão, quantidade esta que foi estimada considerando as médias de respostas indicadas na literatura (por exemplo, Villemor-Amaral, Pianowski & Carvalho, 2016). Neste estudo, foram encontradas evidências de validade para algumas das variáveis, como a soma de respostas de cor acromática (soma de C'), soma de sombreado difuso (soma Y), soma de textura (soma de T), respostas Par [soma de (2)] e conteúdo de arte (Art). Também utilizando a aplicação R-otimizada no Zulliger, Gonçalves e Villemor-Amaral (no prelo) buscaram verificar a capacidade dos códigos do Zulliger em discriminar pessoas com e sem depressão. Os resultados foram considerados satisfatórios, melhorando a magnitude da diferença e indicaram evidências de validade para aplicação R-otimizada.

Com o propósito similar e complementar ao estudo de Gonçalves et al. (2019), este estudo teve como objetivo buscar evidências de validade com base em variáveis externas para o Zulliger aplicação R-Otimizada por meio das correlações com o Rorschach em variáveis que não foram exploradas no estudo Gonçalves et al. (2019). A hipótese deste estudo é que serão encontradas correlações positivas entre moderadas a fortes magnitudes, considerando que os critérios de codificação das respostas do Zulliger são similares ao do Rorschach.

 

Método

Participantes

Amostra composta por 41 adultos, com idade variando de 18 a 62 (M- 35, DP=11,56), maioria do sexo feminino (87,2%). Quanto à escolaridade, 41,5% tinham ensino médio completo e o restante, ensino superior incompleto. A maior parte da amostra residia em uma cidade do interior de Minas Gerais e 15%, no interior do Paraná. A coleta foi realizada apenas com pessoas em acompanhamento psiquiátrico, atendidos no Centro de Atenção Psicossocial (CAPS) e na Estratégia da Saúde da Família de uma cidade do interior de Minas Gerais e também no Ambulatório do Hospital das Clínicas (AHC) de uma cidade paranaense. Foi adotado, como critério de inclusão no estudo, apresentar nos prontuários psiquiátricos o diagnóstico primário de depressão, com base no código da CID-10 (F33).

Instrumentos

Método de Zulliger

É composto por três cartões com manchas de tintas, simétricas e estruturadas. Destas três, uma é de cor acromática, uma cromática e outra acromática com inserção da cor vermelha. A aplicação é dividida em duas etapas consecutivas, a fase de associação e a fase de inquérito. Na primeira, os cartões são apresentados um a um e é solicitado que a pessoa responda à pergunta "Com que isso se parece?". Terminada a apresentação dos três cartões, é iniciada a segunda fase na qual os cartões são reapresentados ao avaliando, cada uma de suas respostas são lidas e solicita-se que indique onde na mancha de tinta a resposta foi vista e o que fez parecer com aquilo. Os estudos de fidedignidade do teste, por meio de análise de confiabilidade entre avaliadores e método teste e reteste, indicaram valor acima de 𝛂=0,70 para concordância entre juízes e adequada estabilidade temporal (intervalo de cinco meses), com correlação de r=0,60 entre primeira e a segunda aplicação (Villemor-Amaral & Primi, 2009).

Neste estudo, visando controlar o número de respostas (R), foi solicitado que o participante dissesse de três a cinco respostas por cartão. A seguinte instrução era dada no início da fase de associação: "Vou mostrar um cartão com manchas de tintas, sua tarefa é responder à questão 'com que isso se parece?' Eu preciso que me dê de três a cinco respostas por cartão. Alguma dúvida?". Em caso negativo, o primeiro cartão era apresentado. Caso o sujeito tivesse alguma dúvida, esta era esclarecida de forma pontual e então a apresentação dos cartões era iniciada.

Além da instrução inicial, informando o número de respostas esperado por cartão, dois tipos de lembretes poderiam ser apresentados ao longo da tarefa. Caso o sujeito, em qualquer um dos cartões, apresentasse número inferior a três respostas, o aplicador solicitava que mais respostas fossem emitidas com a instrução "Lembre-se são necessárias de três a cinco respostas por cartão". Se seis ou mais respostas fossem apresentadas, o aplicador gentilmente solicitava o cartão de volta, anunciando "Três a cinco respostas são suficientes, obrigado(a)". A necessidade de lembrete era anotada e considerada na codificação no protocolo.

Método de Rorschach

Composto por 10 cartões com manchas de tinta estruturadas e simétricas, cinco totalmente acromáticas, três cromáticas e duas acromáticas com inserção da cor vermelha. Assim como o método de Zulliger, para o Rorschach R-PAS também são apresentadas duas etapas consecutivas (fase de respostas e fase de esclarecimento). Seguindo as instruções do R-PAS, na primeira fase são solicitadas duas a três respostas por cartão. Caso o sujeito dê número de respostas inferior a dois, o aplicador emite lembrete das instruções (procedimento de "pedir") e, se quatro respostas são dadas, o aplicador gentilmente solicita o cartão de volta, também reapresentando as instruções referentes ao número de respostas esperado (procedimento de "puxar"). A ocorrência do "pedir" e "puxar" o cartão são codificadas por ocorrência em cada cartão (Meyer et al., 2017).

Procedimentos

Após aprovação pelo Comitê de Ética em Pesquisa da Universidade São Francisco (CAAE: 78320917.9.0000.5514; Parecer nº 2409144), foi realizado contato convidando os sujeitos para participação neste estudo. Os sujeitos foram recrutados em serviços de saúde nos estados anteriormente mencionados. Todos os participantes foram informados sobre os objetivos da pesquisa e, após o aceite, assinaram o Termo de Consentimento Livre e Esclarecido.

Os dados foram coletados de forma individual e privativa, com duração aproximada de 90 minutos. Com objetivo de evitar possível viés relacionado à ordem de aplicação, os instrumentos foram aplicados de forma alternada ao longo da amostra. Este procedimento é recomendado para minimizar o efeito de um instrumento sobre o outro no resultado final. Adicionalmente, para evitar que o participante, ao responder ao segundo instrumento, pudesse estar contaminado pelo inquérito/esclarecimento do teste anterior, a fase de associação/resposta foi apresentada de forma consecutiva. Ou seja, para aplicação, foi administrada a fase de associação/resposta para os dois instrumentos e, somente após a apresentação dos 13 cartões (três do Zulliger e 10 do Rorschach ou vice-versa), iniciava-se a fase de inquérito/esclarecimento. As instruções específicas de cada instrumento eram apresentadas conforme as respectivas padronizações, adicionando a seguinte fala de transição entre um teste e outro: "Agora vou lhe apresentar um novo conjunto de manchas de tinta. Dessa vez, gostaria que desse...", sendo a frase completada de acordo com o número de respostas exigido pelo próximo método a ser aplicado.

Análise de dados

Os protocolos foram aplicados por dois pesquisadores com experiência prévia em aplicação e codificação dos instrumentos e que receberam treinamento para a presente pesquisa. O método de Zulliger foi codificado de acordo com as normas vigentes do Sistema Compreensivo (Villemor-Amaral & Primi, 2009). Para permitir a comparação entre os instrumentos, o método de Rorschach também foi codificado segundo o Sistema Compreensivo, embora tenha sido utilizada a instrução de controle de respostas proposta para o R-PAS.

Com intuito de avaliar a precisão das codificações e proporcionar mais fidedignidade aos dados, 25% dos protocolos foram submetidos a análise de recodificação às cegas por três juízes treinados no Sistema Compreensivo, para isso foi utilizado o índice de concordância KAPPA. Segundo Urbina (2007), os resultados, para serem considerados satisfatórios, devem ser de pelo menos 0,70. A interpretação do índice Kappa foi baseado na contribuição de Meyer (1999) em que valores abaixo de 0,40 são classificados como ruins, de 0,40 a 0,59 regulares, de 0,60 a 0,74 bons e a partir de 0,75 são excelentes.

Para analisar as associações entre Zulliger e Rorschach e proporcionar evidências de validade pra Zulliger aplicação R-otimizada, foram analisadas as correlações por meio do r de Pearson. Os valores de correlação foram interpretados segundo a classificação proposta por Cohen (1992), em que valores ao redor de 0,10 a 0,29 são considerados fracos, ao redor de 0,30 a 0,49 moderados e acima de 0,50 fortes. As concordâncias nas variáveis categóricas foram obtidas por meio do ICC. Para as análises, foi utilizado o programa estatístico Statistical Package for the Social Sciences 20.0I.

 

Resultados

Os resultados da análise de concordância entre juízes variaram entre 0,60 e 0,92 (Tabela 1). Os códigos especiais, que apresentaram a menor concordância entre os juízes, abaixo dos níveis esperados, foram revisados em todo o banco de dados com intuito corrigir possíveis inconsistências de codificação. Os valores do Kappa apresentados neste estudo são respaldados na teoria, sendo considerados suficientes para a sequência da análise (Hosseininasab et al., 2019; Kivisalu et al., 2016; Meyer et al., 2017; Pignolo et al., 2017).

Em comparação à média normativa de pacientes (M = 6,5; DP = 2,7; Villemor-Amaral & Primi, 2009), houve aumento do número médio de respostas e diminuição da variação por protocolo (M = 9,8; DP = 1,7), com magnitude de efeito de 1,36, classificada como de forte magnitude (Cohen, 1992). Este resultado era esperado devido à alteração na aplicação que estimula que paciente forneça mais respostas.

Com intuito de analisar as correlações entre os métodos de Zulliger e Rorschach, foi realizada correlação de Pearson. Para que essa comparação fosse possível, analisou-se porcentagens da frequência de cada código, visto que o número de cartões apresentados nos dois instrumentos é diferente. Os resultados estão apresentados de acordo com quatro grandes classes, conforme proposto por Villemor-Amaral e Primi (2009), a saber: Localização, Conteúdo, Determinante e Conteúdo Temático. Os resultados estão apresentados na Tabela 2.

As correlações encontradas variaram entre moderadas e fortes magnitudes, positivas e estatisticamente significativas. As correlações mais fortes encontradas foram: número de respostas (R), respostas globais (W), respostas detalhe raro (Dd), respostas de conteúdo Humano inteiro (H), conteúdo de Sexo (Sx), respostas de forma pura (F), movimento humano (M), movimento agressivo (AG) e combinação incongruente (INC). Outros códigos como: qualidade evolutiva ordinária (DQo), respostas ponderadas de cor (Blends), respostas de cor com pouca influência de forma (CF), conteúdo com experiência humana (Hx) e respostas personalizadas (PER) apresentaram correlações de moderada magnitude.

Com intuito de avaliar a concordância entre Zulliger e Rorschach nas variáveis categóricas, foi utilizado o Índice de Concordância Intraclasse (ICC). As proporções são bastante relevantes nos dois métodos e importantes nas análises e interpretação sobre cada sujeito. Os resultados desta concordância são apresentados na Tabela 3.

É possível perceber que as concordâncias não foram satisfatórias quando analisadas as proporções. O ICC esteve entre 0,07 e 0,49, o que indica concordância de pobre a moderada. Os melhores indicadores de concordâncias encontradas foram: H > (H) +Hd + (Hd); PHR>GHR; SumC' > WSumC.

 

Discussão

Este estudo teve como objetivo buscar evidências de validade com base em variáveis externas para o Zulliger aplicação R-Otimizada por meio das correlações com o Rorschach. Variáveis associadas ao diagnóstico de depressão foram exploradas por Gonçalves et al. (2019) e, para a presente pesquisa, pretendeu-se acrescentar análises adicionais, incluindo variáveis não investigadas anteriormente, buscando novas evidências de validade do Zulliger R-otimizado. Como argumentado, dado que o número de respostas é um fator que interfere nas demais variáveis do teste (Meyer, 1992, Villemor-Amaral et al., 2016), partiu-se da hipótese que, ao inserir instruções para seu controle, seria possível obter protocolos com um número suficiente de respostas no Zulliger, além de mais estáveis e com melhor capacidade interpretativa. Para isso, esperou-se correlações positivas de moderada a forte magnitude, entre os testes de Zulliger e Rorschach, considerando suas similaridades.

Os valores de concordância entre juízes são similares aos descritos em amostras anteriores e confiáveis para interpretação dos protocolos (Candiani, 2004; Hosseininasab et al., 2019; Kivisalu et al., 2016; Meyer et al., 2017; Pignolo et al., 2017; Villemor-Amaral et al., 2009). Em relação à eficácia das instruções para controlar o número de respostas, notou-se menor variabilidade e maior média de respostas por protocolo, quando comparado à amostra normativa. Este resultado vai ao encontro do efeito R-otimizado no Rorschach (Meyer et al., 2017; Pianowski, Meyer, & Villemor-Amaral, 2016) e é uma evidência inicial de que as instruções foram suficientes para gerar mais homogeneidade e, ao mesmo tempo, inibir protocolos demasiadamente curtos, em amostras específicas.

As correlações entre o Zulliger aplicação R-otimizada e Método de Rorschach foram positivas e variaram de moderada a forte magnitude, corroborando a hipótese desse estudo de que, ao controlar o número de respostas em ambos os instrumentos, haveria mais e melhores associações. Devido às características interpretativas dos instrumentos Zulliger e Rorschach (Brinkmann, 1998; Carpio & Lugán, 2011; Maltar, 1990; Mahmood, 1990, Zdunic, 1999), pode-se considerar que correlações moderadas entre Zulliger e Rorschach são indicativas de evidências de validade.

Ao comparar os resultados deste estudo com os achados por Cárpio e Lugán (2011), houve aumento nas correlações entre Zulliger e Rorschach, quando Zulliger é administrado com R-otimizado nos seguintes códigos: R, F, CF, H, Sx, PER e AG. Verifica-se que, ao introduzir instruções para controle do número de respostas no Zulliger, há melhoria na comparação com medidas correlatas, indicando que esse método contribuiu para o aumento da validade do teste.

A soma ponderada de cores (WSumC) demonstrou boa concordância entre o Zulliger e o Rorschach. Quando comparado aos resultados obtidos neste estudo com o de Villemor-Amaral e Cardoso (2012), que utilizou as instruções de aplicação do manual normativo do Sistema Compreensivo, é possível inferir melhora na concordância dos instrumentos também para WSumC quando o Zulliger é aplicado utilizando o procedimento R-otimizado.

O Código de localização D e o DQo apresentaram associações mais baixas neste estudo quando comparado ao de Cárpio e Lugán (2011). Isto demonstra que, para estes códigos, não houve melhora nas correlações entre Zulliger e Rorschach, quando Zulliger é aplicado utilizando aplicação R-otimizada. O mesmo ocorre com M, que não apresentou melhora na concordância entre os instrumentos quando comparado com o trabalho de Villemor-Amaral e Cardoso (2012). Estes resultados podem indicar que estas variáveis são menos sensíveis ao aumento do número de resposta.

As proporções analisadas apresentaram concordâncias entre Zulliger e Rorschach que variaram entre pobres e médias, considerando a classificação proposta por Cicchetti (1994). As proporções fazem parte do sumário estrutural tanto do Zulliger Sistema Compreensivo (Villemor-Amaral & Primi, 2009) quanto do Rorschach Sistema Compreensivo (Exner & Sédin, 1999) e são importantes para entender o funcionamento do avaliando. Este resultado demonstra que estudos ainda precisam ser realizados, com foco nas proporções, para melhor entender a relação dos Métodos. Hipotetiza-se que algumas correlações não encontradas tenham relação com diferenças entre as manchas de tinta de ambos os instrumentos. Por exemplo, um conjunto de cartões pode apresentar mais sombreado e, por isso, favorecer a produção de respostas que envolvam sombreado (Y, T e V) em comparação a outro conjunto.

Em síntese, as correlações encontradas entre as porcentagens de códigos usadas neste estudo acrescentam evidências de validade para o Zulliger aplicação R-otimizada nas variáveis analisadas. Isso indica que o procedimento de controle de respostas parece melhorar a relação entre ambos os testes, cujos estímulos e instruções são similares. Ressalta-se, porém, que, quando observadas as proporções, as associações sugerem que a concordância entre os dois instrumentos é de fraca e moderada magnitude e, com isso, novos estudos precisam ser realizados explorando outros contextos para que dessa forma sejam controladas outras variáveis que possam afetar os resultados, como, por exemplo, inteligência. Junto a isso, um outro fator que interfere na menor magnitude do resultado é a real diferença entre os estímulos de manchas de tinta, o que naturalmente proporciona diferentes percepções ao indivíduo, aspecto que deve ser levado em consideração quando se interpreta os resultados.

Algumas limitações encontradas nesse estudo podem ser consideradas em estudos futuros. O tamanho amostral precisa ser destacado dentre as principais limitações, fazendo-se necessário ponderar as inferências deste estudo. Além disso, a utilização de outros testes poderia revelar e acrescentar novas evidências de validade ao Zulliger. Novas pesquisas precisam ser realizadas para que as evidências encontradas neste estudo possam ser corroboradas. Para isso, sugere-se um trabalho com maior número de participantes e com outros critérios amostrais tais como sintomatologia diferentes, além de comparações com amostras não clínicas.

 

Referências

Amaro, T. A. C., Areco, N. K., & Nascimento, S. G. (2017). Avaliação dos aspectos da Personalidade em pessoas idosas na cidade de São Paulo por meio do Rorschach performance system (R-PAS). Revista Kairós Gerontologia, 20(2), 211-228. https://doi.org/10.23925/2176-901X.2017v20i2p211-228        [ Links ]

Brinkmann, H. (1998). Proposición de parámetros para el Teste Zulliger. Revista Chilena de Psicología, 19(2), 43-48.         [ Links ]

Cárpio, S. R., & Lugón, M. C. (2011). Validación del sistema comprehensivo de Exner en el test de Zulliger: Validation of the Exner comprehensive system in the Zulliger test. Persona, 14, 145-158.         [ Links ]

Cicchetti, D. V. (1994). Guidelines, criteria, and rules of thumb for evaluating normed and standardized assessment instruments in psychology. Psychological Assessment, 6(4), 284-290. https://doi.org/10.1037/1040-3590.6.4.284        [ Links ]

Erard, R. E., & Viglione, D. J. (2014) The Rorschach performance assessment system (R-PAS) in child custody evaluations. Journal of Child Custody, 11(3), 159-180. https://doi.org/10.1080/15379418.2014.943449        [ Links ]

Exner, J. E., Jr. (1992). R in Rorschach research: A ghost revisited. Journal of Personality Assessment, 58(2), 245-251. https://doi.org/10.1207/s15327752jpa5802_3        [ Links ]

Exner, J. E., Jr., & Sendín, C. (1999). Manual de interpretação do Rorschach para o sistema compreensivo. São Paulo: Casa do Psicólogo.         [ Links ]

Gonçalves, A. P., & Villemor-Amaral, A. E. D. (2020). Zulliger R-Optimized in the evaluation of depressive characteristics. Paidéia, 30, 1-9. https://doi.org/10.1590/1982-4327e3023        [ Links ]

Gonçalves, A. P., Zuanazzi, A. C., & Villemor-Amaral, A. E. (2019). Aplicação R-otimizada no Zulliger: Evidências de validade com pacientes depressivos. Avaliação Psicológica, 18(2), 111-120. https://doi.org/10.15689/ap.2019.1802.16215.01        [ Links ]

Hosseininasab, A., Meyer, G. J., Viglione, D. J., Mihura, J. L., Berant, E., Resende, A. C. et al. (2019). The effect of CS adiministration or an R-optimized alternative on R-PAS variables: A meta-analysis of findings from six studies. Journal of Personality Assessment, 101(2), 1-14. https://doi.org/10.1080/00223891.2017.1393430        [ Links ]

Kivisalu, T. M., Lewey, J. H., Shaffer, T. W., & Canfield, M. L. (2016). An investigation of interrater reliability for the Rorschach performance assessment system (R-PAS) in a nonpatient U.S. sample. Journal of Personality Assessment, 98(4), 382-390. https://doi.org/10.1080/00223891.2015.1118380        [ Links ]

Mahmood, Z. (1990). The Zulliger test: Its past and future. British Journal of Projective Psychology, 35(2), 2-16.         [ Links ]

Mattlar, C. E., Sandahl, C., Lindberg, S., & Lehtinen, V. (1990). Methodological issues associated with the application of the comprehensive system when analysing the Zulliger, and the structural resemblance between the Zulliger and the Rorschach. British Journal of Projective Psychology, 35(2), 17-27.         [ Links ]

Meyer, G. J. (1992). Response frequency problems in the Rorschach: Clinical and research implications with suggestions for the future. Journal of Personality Assessment, 58(2), 231-244. https://doi.org/10.1207/s15327752jpa5802_2        [ Links ]

Meyer, G. J. (1999). Simple procedures to estimate chance agreement and kappa for the interrater reliability of response segments using the Rorschach comprehensive system. Journal of Personality Assessment, 72(2), 230-255. https://doi.org/10.1207/S15327752JP720209        [ Links ]

Meyer, G. J., Erdberg, P., & Shaffer, T. W. (2007). Towards international normative reference data for the comprehensive system. Journal of Personality Assessment, 89(Supl. 1), S201-S216. https://doi.org/10.1080/00223890701629342        [ Links ]

Meyer, G. J., Viglione, D. J., Mihura, J. L., Erard, R. E., & Erdberg, R. (2017). Rorschach sistema de avaliação por desempenho manual de aplicação codificação e interpretação e manual técnico (D. R. Silva, & F. K. Miguel, trad.). São Paulo: Hogrefe.         [ Links ]

Mihura, J. L., Bombel, G., Dumitrascu, N., Roy, M., & Meadows, E. A. (2019). Why we need a formal systematic approach to validating psychological tests: The case of the Rorschach comprehensive system. Journal of Personality Assessment, 101(4), 1-19. https://doi.org/10.1080/00223891.2018.1458315        [ Links ]

Nascimento, R.S.G.F. (2002). Resultados de estudo normativo para o sistema compreensivo do Rorschach: um estudo para a cidade de São Paulo. PsicoUSF, 7(2), 121-135.         [ Links ]

Pianowski, G., Meyer, G. J., & Villemor-Amaral, A. E. (2016) The impact of R-optimized administration modeling procedures on brazilian normative reference values for Rorschach scores. Journal of Personality Assessment, 98(4), 408-418. https://doi.org/10.1080/00223891.2016.1148701        [ Links ]

Pignolo, C., Giromini. L., Ando. A., Ghirardello. D., Di Girolamo. M., Ales. F. et al. (2017). An interrater reliability study of Rorschach performance assessment system (R-PAS) raw and complexity-adjusted scores. Journal of Personality Assessment, 99(2), 619-625. https://doi.org/10.1080/00223891.2017.1296844        [ Links ]

Vaz, C. E., & Alchieri, J. C. (2016). Z-teste: Coletivo e individual: Técnica de Zulliger. São Paulo: Hogrefe.         [ Links ]

Viglione, D. J., Meyer, G., Jordan, R. J., Converse, G. L., Evans, J., MacDermott, D. et al. (2015). Developing an alternative Rorschach administration method to optimize the number of responses and enhance clinical inferences. Clinical Psychology and Psychotherapy, 22(6), 546-558. https://doi.org/10.1002/cpp.1913        [ Links ]

Villemor-Amaral, A. E., & Cardoso, L. (2012). Validade convergente do tipo de vivência (EB) no teste de Zulliger/SC. Psico PUCRS, 43(1), 109-115.         [ Links ]

Villemor-Amaral, A. E., & Primi, R. (2009). Teste de Zulliger no sistema compreensivo ZSC: Forma individual. São Paulo: Casa do Psicólogo.         [ Links ]

Villemor-Amaral, A. E., Pianowski, G., & Carvalho, L. F. (2016). Issues about color, human movement and number of responses in the Zulliger test. Rorschachiana: Journal of the International Society for the Rorschach, 37(2), 95-113. https://doi.org/10.1027/1192-5604/a000068        [ Links ]

Zdunic, A. L. (1999). El teste de Zulliger en la evaluación de personal: Aportes del sistema comprehensivo de Exner. Buenos Aires: Paidós.         [ Links ]

 

 

Endereço para correspondência:
André Pereira Gonçalves
andregoncalvespsi@gmail.com

Ana Carolina Zuanazzi
anacarolina.zf@gmail.com

Anna Elisa Villemor-Amaral
anacarolina.zf@gmail.com

Submetido em: 25/05/2019
Revisto em: 20/06/2019
Aceito em: 23/08/2019