SciELO - Scientific Electronic Library Online

 
vol.23 número1Uso das Cores no Pfister por Crianças Expostas ao Conflito InterparentalElaboração e Validação da Escala de Atitudes para Mulheres sobre Permanência em Relacionamentos Abusivos índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

artigo

Indicadores

Compartilhar


Avaliação Psicológica

versão impressa ISSN 1677-0471versão On-line ISSN 2175-3431

Aval. psicol. vol.23 no.1 Campinas  2024  Epub 02-Dez-2024

https://doi.org/10.15689/ap.2024.2301.22773.08 

Artigo

Propriedades Psicométricas do Teste de Zulliger: Revisão Sistemática (2009-2022)

Psychometric Properties of the Zulliger Test: Systematic Seview (2009-2022)

Propiedades Psicométricas del Test de Zulliger: Revision Sistemática (2009-2022)

Jucelaine Bier Di Domênico Grazziotin1  1 

é Psicóloga. Mestra e Doutora em Envelhecimento Humano pela Universidade de Passo Fundo-RS, Brasil. Especialista em Gestão Empresarial e Avaliação Psicológica pela mesma instituição. Universidade de Passo Fundo, Passo Fundo.

, elaboração do manuscrito

Silvana Alba Scortegagna1 

é Psicóloga. Doutora em Psicologia pela Universidade São Francisco-SP, Brasil, com estágio pós-doutoral na mesma universidade. Mestre em Educação pela Universidade de Passo Fundo-RS, Brasil. Professora do Programa de Graduação em Envelhecimento Humano da Universidade de Passo Fundo.

, elaboração do manuscrito

1Universidade de Passo Fundo, Passo Fundo-RS, Brasil


RESUMO

As propriedades psicométricas buscam garantir que um teste psicológico seja utilizado de forma segura cientificamente. O objetivo deste estudo foi reunir evidências empíricas sobre as propriedades psicométricas, estimativas de precisão e evidências de validade, do teste de Zulliger no Sistema Compreensivo (ZSC), empregado em investigações de adultos. Esta pesquisa seguiu as recomendações do guia PRISMA tendo como base os artigos publicados entre os anos de 2009 e dezembro de 2022. A busca de artigos foi realizada nas bases de dados SciELO, PePSIC, IndexPsi Articles, Lilacs, PsycNET e Redalic, DOAJ. Os resultados totalizaram 24 publicações. Os estudos analisados mostraram que o ZSC apresenta propriedades psicométricas para responder as avaliações sobre a dinâmica psíquica e da personalidade em adultos, mas consideraram o aprimoramento no ZSC utilizando instruções com respostas otimizadas. A revisão apresenta um panorama da situação histórica e atual do ZSC e demonstra os avanços e limitações nas pesquisas com o instrumento.

Palavras-chave: adulto; traços de personalidade; validade; precisão; avaliação psicológica

ABSTRACT

The psychometric properties of a psychological test instrument seek to ensure that it is used in a scientifically secure way. This study aimed to gather empirical evidence on the psychometric properties, reliability estimates, and validity evidence, for the Zulliger test in the Comprehensive System (ZCS) used in adult investigations. This research followed the PRISMA guidelines and was based on articles published between the years 2009 to December 2022. The search was performed in the SciELO, PePSIC, IndexPsi Articles, Lilacs, PsycNET, and Redalyc DOAJ databases. The searches produced 24 publications. The analyzed studies show that the ZSC has psychometric properties that support the evaluation of psychic and personality dynamics in adults, however, they suggest the improvement in the ZSC using instructions with optimized responses. The review presents an overview of the historical and current situation of the ZCS test and demonstrates advances and limitations in research with the instrument.

Keywords: adult; personality traits; validity; accuracy; psychological assessment

RESUMEN

Las propiedades psicométricas buscan garantizar que una prueba psicológica se utilice de forma científicamente segura. El objetivo de este estudio fue recopilar evidencias empíricas sobre las propiedades psicométricas, estimaciones de precisión y evidencias de validez del test Zulliger en el Sistema Comprensivo (ZSC) utilizada en investigaciones con adultos. Esta investigación siguió las recomendaciones de la guía PRISMA, basada en artículos publicados entre los años 2009 y diciembre de 2022. La búsqueda se realizó en las bases de datos Scielo, PePSIC, IndexPsi Articles, Lilacs, PsycNET y Redalic, DOAJ. Los resultados totalizaron 24 publicaciones. Los estudios analizados mostraron que la ZSC tiene propiedades psicométricas para responder a las evaluaciones sobre la dinámica psíquica y de la personalidad en adultos, pero consideraron la mejora en la ZSC utilizando instrucciones con respuestas optimizadas. La revisión presenta una descripción de la situación histórica y actual de la ZSC y demostraciones de avances y limitaciones en la investigación con el instrumento.

Palabras clave: adulto; rasgos de personalidad; validez; precisión; evaluación psicológica

Os testes psicológicos são considerados fontes fundamentais de informação para a realização da avaliação psicológica. Como instrumentos de investigação buscam estimar ou aferir as características comportamentais dos examinandos que podem ou não ser observadas diretamente (Conselho Federal de Psicologia [CFP], 2018; Wechsler et al., 2019).

Quando se trata de avaliar a personalidade, os testes psicológicos podem informar sobre as características individuais expressas em padrões persistentes de pensar, sentir e agir e costumam ser divididos em projetivos, medidas baseadas em performance ou de autorrelato. Os testes projetivos como os de manchas de tinta fornecem amplas possibilidades de respostas singulares por meio de estímulos pouco estruturados, além de possibilitar maior interação do psicólogo com o avaliando (Weiner & Greene, 2017).

Para Bornstein (2017), os instrumentos podem ser classificados em categorias baseadas na atividade mental e comportamental. Na visão do autor, os métodos de manchas de tintas são considerados atribuições de estímulos. A pessoa deve atribuir significados aos estímulos ambíguos e pode realizar associações, que são determinadas pelas características da imagem e/ou pelo seu próprio estilo cognitivo, motivação, emoções e necessidades.

A cientificidade dos testes psicológicos no Brasil segue o rigor e os padrões estabelecidos pelo Sistema de Avaliação de Testes Psicológicos (SATEPSI), desde 2003. Atualmente, as diretrizes dos parâmetros científicos dos testes são estabelecidas pela Resolução do Conselho Federal de Psicologia nº 009/2018 (CFP, 2018) e compõem os critérios de cientificidade de um teste, também conhecidos como propriedades psicométricas, a precisão, as evidências de validade e os parâmetros normativos, que necessitam de novos estudos em um prazo máximo de 15 anos, a contar da data da aprovação do teste pela Plenária do CFP.

Pode-se dizer que a fidedignidade de um teste é estimada a partir dos indicadores de consistência interna e precisão (Cohen et al., 2014). A precisão de um teste consiste em uma propriedade psicométrica que pode ser estimada de diferentes maneiras, sendo as mais comuns entre os testes projetivos: a precisão entre avaliadores; formas ou teste de equivalência e a estabilidade temporal, também conhecida como teste-reteste. A precisão entre avaliadores é utilizada para estimar as flutuações ou grau de erro por influência do psicólogo na correção do teste (Weiner & Greene, 2017). Nas formas equivalentes, o procedimento parte do princípio da utilização e aplicação de duas formas distintas do mesmo teste. A estabilidade temporal, refere-se a estimativa de precisão realizada por meio da correlação de pares de escores dos mesmos sujeitos avaliados em dois momentos diferentes de administração do mesmo teste (Cohen et al., 2014).

As evidências de validade se referem à extensão em que se pode dizer que o teste mede um construto teórico que afirma medir. A validação de um teste exige o acúmulo relevante de evidências estatísticas, correlação com outras variáveis, com outros testes, análises que diferenciam grupos, análise fatorial, por exemplo, para fornecer uma base científica sólida para a interpretação proposta dos escores obtidos. Existem diversas estratégias de evidenciar a validade dos testes psicológicos, dentre as mais utilizadas com os testes projetivos estão as evidências de validade de critério preditiva e concorrente, de validade convergente e discriminante, baseadas em testes avaliando construtos relacionados e de validade incremental (Cohen et al., 2014; CFP, 2018).

Assim sendo, as propriedades psicométricas de um teste psicológico asseguram a qualidade da medida e estabelecem parâmetros para seu uso e sua interpretação com base em evidências científicas. Nessa direção, o teste de Zulliger é considerado um instrumento projetivo e que avalia a estrutura e a dinâmica da personalidade, composto por um jogo de três cartões que contém o desenho de uma mancha de tinta simétrica e diferente para cada um deles. Três sistemas de codificação e interpretação estão disponíveis e validados para uso no Zulliger no Brasil: o Sistema Klopfer (Vaz & Alchieri, 2016) forma individual e coletiva, a escola de Paris (Resende & Nascimento, 2019) e o Sistema Compreensivo (ZSC – Villemor-Amaral & Primi, 2009) forma individual.

O Sistema Compreensivo foi desenvolvido por John Exner Jr., na década de 1970, nos Estados Unidos, com o objetivo de obter uniformidade na aplicação, na codificação e na interpretação do Rorschach, e reunir os aspectos positivos dos cinco grandes sistemas: Beck, Hertz, Piotrowzki, Rapapport/Shafer, Klopfer. A interpretação dos resultados das codificações do teste considera o agrupamento de variáveis em sete áreas amplas do funcionamento da personalidade: recursos e controle, relacionamento, afeto, autoimagem, processamento cognitivo, mediação e ideação (Exner, 2003).

O Zulliger utiliza como fundamento o método das manchas de tinta e, por isso, os sistemas de interpretação são os mesmos usados no método de Rorschach. As normas de aplicação, os critérios de codificação e cálculos contidos no sumário estrutural do Sistema Compreensivo do Rorschach foram adaptados para o ZSC (Resende et al., 2022; Villemor-Amaral & Primi, 2009). Um acúmulo de dados empíricos sobre validade e fidedignidade foi associado ao ZSC, em estudos conduzidos em vários países (Carpio & Lugón, 2011; Contreras-Milián et al., 2016; Fazendeiro & Novo, 2012; Seitl et al., 2018; Von Weissenberg, 2017; Zdunic, 1999).

No Brasil, os estudos com o ZSC avançaram na investigação de evidências de validade e de fidedignidade de muitas maneiras: Utilizando o teste na população de adultos (Franco & Villemor-Amaral, 2009; 2012a; 2012b; Grazziotin & Scortegagna, 2016a; 2018; 2021a; 2021b; 2022; Gregoletti & Scortegagna, 2017; Miguel et al., 2017; Rien et al., 2017; Villemor-Amaral & Machado, 2011; Villemor-Amaral et al., 2009); busca de aperfeiçoamento na aplicação e interpretação (Gonçalves & Villemor-Amaral, 2020; Gonçalves et al., 2019; Lima & Scortegagna, 2021; Villemor-Amaral et al., 2016; Villemor-Amaral & Gomes, 2020) baseado no Rorschach Performance Assessment System – R-PAS (Meyer, 2017), com o objetivo de controlar e aumentar o número de respostas evitando protocolos que podem afetar a qualidade psicométrica do instrumento (Pianowski et al., 2019).

Mapear e discutir sobre as qualidades, limitações e necessidades de aprimoramento do teste de ZSC pode auxiliar a direcionar a escolha do teste para responder as demandas de avaliações em contextos diversos, além de qualificar as interpretações aferidas, direcionar encaminhamentos efetivos e pesquisas futuras. Até o presente momento, algumas revisões de literatura sobre o uso do Zulliger foram realizadas focalizando somente o contexto brasileiro e sugerem o seguimento de estudos que considerem a produção científica internacional (Cardoso et al. 2018; Grazziotin & Scortegagna 2016b). Diante do exposto, este estudo teve como objetivo reunir evidências empíricas sobre as propriedades psicométricas, estimativas de precisão e evidências de validade do teste de ZSC, utilizado em investigações de adultos.

Método

Esta revisão sistemática (RS) foi conduzida com base nas recomendações propostas pelo guia Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA; Liberati et al., 2009) e seguiu as orientações para o desenvolvimento de RS na área da psicologia (Carvalho et al., 2019). A busca de artigos foi realizada previamente entre os meses de fevereiro e abril de 2021 e posteriormente a partir dos achados prévios entre dezembro de 2022 e 07 de janeiro de 2023, tendo como base artigos publicados entre os meses de janeiro de 2009 e dezembro de 2022. Diante dos objetivos propostos, as questões-chave que nortearam este estudo foram: Q1: Quais as propriedades psicométricas do ZSC (evidências de validade e precisão) quando empregado nas avaliações de adultos? Q2: Quais os outros instrumentos utilizados com o ZSC, nas avaliações psicológicas de adultos, e qual a finalidade do uso desses instrumentos?

Estratégias de Pesquisa

A coleta de dados considerou os artigos publicados entre os meses de janeiro de 2009 a dezembro de 2022, período delimitado com intenção de obter as publicações que melhor retratem o cenário científico do ZSC já que o instrumento foi normatizado para a população brasileira em 2009 (Villemor Amaral, & Primi, 2009). A estratégia de busca dos artigos foi realizada nas bases de dados Scientific Electronic Library Online (SciELO), portal de Periódicos Eletrônicos de Psicologia (PePSIC), Periódicos Técnico-Científicos – BVS Psicologia Brasil (IndexPsi Articles), Literatura Latino-Americana e do Caribe em Ciências da Saúde (Lilacs), APA PsycNet Advanced Search (PsycNET).

A escolha das bases foi devido a pertinência quanto a área e ao tema pesquisado. Após a busca nas principais bases de dados, foi realizada uma busca manual nas referências dos artigos com o intuito de obter o maior número de publicações que reflitam o tema pesquisado e assim foi acessado outras duas bases Rede de Revistas Científicas da América Latina e Caribe, Espanha e Portugal (Redalic), Directory of Open Access Journal (DOAJ). As palavras-chave utilizadas foram derivadas dos Descritores em Ciências da Saúde (DeCS) e BVS PSI, tornando-se elegíveis: “Zulliger Test” ou “Zulliger”. Considerando que o termo “Zulliger” é um nome próprio, este foi utilizado como complemento e com o intuito de abranger o maior número possível de artigos referentes ao teste de Zulliger.

Critérios de Elegibilidade

Foram eleitos artigos publicados que utilizaram o teste em sua coleta de dados com a população adulta. Excluíram-se títulos duplicados; artigos de revisão da literatura científica; os que abordavam o teste de Zulliger em crianças e adolescentes; os que não utilizavam o sistema compreensivo e os que não forneciam informações sobre dados psicométricos de validade e precisão.

Processo de Seleção dos Estudos

Preliminarmente, realizou-se a busca nas bases de dados de acordo com as palavras-chave selecionadas e os artigos duplicados foram removidos (n=57, identificação). Na sequência, os títulos e resumos dos trabalhos identificados pela estratégia de busca foram avaliados em relação aos seus conteúdos, aplicando-se os critérios de exclusão (n=23, triagem). A seguir os artigos eleitos foram avaliados na íntegra e excluídos os que não continham informações sobre a metodologia e sistema de interpretação (n=2, elegibilidade). Por fim, o estudo incluiu apenas os artigos que dizem respeito aos tema e objetivo proposto.

Processo de Análise dos Estudos

Considerando o objetivo do estudo, foram analisadas as seguintes variáveis: procedência da população pesquisada (países); características sociodemográficas da amostra (idade, sexo, pacientes e/ou não pacientes); propriedades psicométricas (evidências de validade e precisão); instrumentos utilizados nas avaliações psicológicas com o ZSC; agrupamentos ou variáveis empregadas e desfechos.

Análise de Qualidade e Risco de Viés

Para a análise da qualidade dos estudos incluídos (n=24), foram consideradas as recomendações do checklist do PRISMA, foram incluídos apenas artigos publicados em periódicos revisados por pares e que apresentavam metodologia, estudos empíricos com dados dos parâmetros psicométricos, população de adultos e interpretação no sistema compreensivo. Foram incluídos os artigos que obtiveram 80% de concordância entre quatro avaliadores e que atingiram os padrões estabelecidos pelo PRISMA (Liberati et al., 2009).

Resultados

A busca de artigos por meio da palavra-chave “Zulliger Test” ou “Zulliger”, no período estipulado, resultou na detecção de 106 estudos nas bases de dados consultadas, dos quais foram eliminados 54% (n=57) por estarem repetidos, considerando a SciELO e PePSIC como as primeiras bases de dados consultadas, seguida por IndexPsi, Lilacs, PsycNet e, posteriormente, Redalyc e DOAJ. A Figura 1 apresenta o fluxograma das bases de dados pesquisadas e o total de artigos pesquisados.

Figura 1 FLUXOGRAMA PRISMA. Diagrama defluxo do processo de seleção de reuisão sistemática, adaptado do diagrama PRISMA (Lïberati et al., 2009) 

Dos 49 estudos identificados, foram excluídos os que não abordaram o sistema compreensivo, sendo da escola Argentina (n=2) e do sistema Kopfler (n=3). Foram excluídos os artigos que não contemplaram a população adulta, ou seja, os estudos com amostras somente de crianças e adolescentes (n = 13), os estudos de revisão de literatura (n=3) ou teóricos (n = 2). Após a leitura na íntegra dos 26 artigos e considerando a análise de qualidade das publicações, foi excluído os que não apresentavam informações sobre a metodologia e as propriedades psicométricas (n = 2).

No período de janeiro de 2009 a dezembro de 2022, todos os artigos empíricos incluídos, (n = 24) contemplaram a população adulta, com interpretação no sistema compreensivo e evidenciaram dados dos parâmetros psicométricos. As principais informações encontram-se sumarizadas na Tabela 1 e possibilitam responder às questões norteadoras deste estudo.

Tabela 1 Estudos do Teste de Zulliger no Sistema Compreensivo (2009-2022) 

Pais/Estado Idade (N) Homens Mulheres Paciente Não Paciente[A1] Instrumentos Precisão Avaliadores Precisão Teste - reteste Validação [A2]
Carpio e Lugón (2011) PE 19-40 (82) √* √* - 82 ZSC Rorschach Ficha/Protoc. Kappa 0.92-1.00 Concorrente Convergente
Contreras-Milián et al. (2016) MEX 20.5 (35) 13 22 - 35 ZSC - Concorrente
Fazendeiro e Novo (2012) PT 18-29 (156) 124 32 - 156 ZSC - coletivo - - Normas Adulto
Franco e Villemor-Amaral (2009[A3]) BR/SP 19-83 (223) 95 128 75 148 ZSC TPC Concorrente
Franco e Villemor-Amaral (2012a) BR/SP 21-60 (141) 23 23 46 95 ZSC SCDI-I Concorrente
Franco e Villemor-Amaral (2012b) BR FR 21-45 (20) 20 - 20 - ZSC TPC - Incremental
Gonçalves, Zuanazzi e Villemor-Amaral (2019) BR/PR, MG 18-62 (39) 5 34 39 - EBADEP-A ZSC- R otimizada Rorschach ICC: 0.59-1.00 Convergente Concordância
Gonçalves e Villemor-Amaral (2020) BR/PR MG, SP 18-65 (86) 12 74 43 43 EBADEP-A ZSC-R-otimizada - Concorrente
Grazziotin e Scortegagna (2012) BR/RS 18-43 (19) 9 10 - 19 ZSC IHS - Convergente
Grazziotin e Scortegagna (2013) BR/RS 18-43 (40) 17 23 - 40 ZSC IHS - Convergente
Grazziotin e Scortegagna (2016) BR/RS 18-43 (40) 17 23 - 40 ZSC Kappa: 0.80 Concorrente
Grazziotin e Scortegagna (2018) BR/RS 60-96 (78) 39 39 - 39 ZSC IHSI-MEEM Protoc. Kappa: 0.62-0.98 Convergente
Grazziotin e Scortegagna (2021a) BR/RS 18-96 (142) 71 71 - 142 ZSC MEEM Protoc Kappa ≥ 0.78 Concorrente
Grazziotin e Scortegagna (2021b) BR/RS 18-59 (64) 32 32 - 74 ZSC Questionário Kappa: ≥ 0.82 Convergente
Grazziotin e Scortegagna (2022) BR/RS 18-52 (4) 2 2 4 ZSC IH2 Protoc. Kappa 0.74 −0,99 Estab. Temp. 70% -
Gregoleti e Scortegagna (2017) BR/RS 65+ (60) 30 30 30 30 ZSC MEEM Protoc. Kappa: ≥ 0.87 Concorrente
Miguel, Zuanazzi e Villemor- Amaral (2017) BR/PR 18-35 (98) 42 56 - 98 ZSC- R otimizada ICC 0.73-1.00 Convergente
Rien et al. (2017) BR/RS 60-90 (61) 30 31 30 31 ZSC MEEM Protoc. Kappa: ≥ 0.87 Concorrente
Seitl et al. (2018) CZ 19-33 (45) 5 40 - 45 ZSC- R otimizada - Concorrente
Villemor-Amaral e Cardoso (2012) BR 20-47 (51) 23 28 - - ZSC Rorschach - Convergente
Villemor-Amaral e Gomes (2020) BR/PR MG, SP 31-42 (112) 32 80 56 56 ZSC- R otimizada - Concorrente
Villemor-Amaral, Machado e Noronha (2009) BR/SP 20-47 (25) 25 - - 25 ZSC Quest. 60-100% Estab. Temp. 0,28-1.00 -
Villemor-Amaral e Machado (2011) BR/SP 24-57 (54) - 54 27 27 ZSC SCID-I, Quest. - Concorrente
Villemor-Amaral, Pianowski, e Carvalho (2016) BR 20-47 (51) 23 28 - - ZSC Rorschach - Convergente

Nota. BR=Brasil. AR=Argentina, FR=França, PT=Portugal, MEX=México; PE=Peru; CZ=Republica Tcheca. BD; MEEM – Mini exame estado mental; Escala Baptista de Depressão (EBADEP-A); IHS – Inventário de habilidades Sociais; Quest./ Prot. – Questionário/Protocolo de dados sociodemográficos e saúde. Teste das Pirâmides coloridas de Pfister (TPC). *n de subgrupos não informado. “concordância entre avaliadores – índice de precisão não informado.

Q1: Quais as propriedades psicométricas do ZSC (evidências de validade e precisão) quando empregado nas avaliações de adultos? Considerando o teste de ZSC e na população adulta, observa-se que o Brasil foi o país que mais apresentou publicações (83%, n = 20). Notadamente, os autores e as amostras dos artigos rastreados eram predominantemente brasileiros. Os Estados brasileiros de procedência das amostras dos estudos foram principalmente: Rio Grande do Sul (38%, n=9), seguido de São Paulo (25%, n=6), Paraná (17%, n=4) e Minas Gerais (13%, n=3). Desde o mês de janeiro de 2009 até o mês de dezembro de 2022, ocorreram 24 pesquisas (média de 1,8 artigo por ano) com o referido tema.

A população pesquisada compreendeu uma ampla faixa etária de adultos jovens a idosos (18-96 anos). A maioria contemplou adultos com menos de 60 anos de idade (71%, n=17), e em menor parte, foram realizadas pesquisas com adultos idosos com 60 anos e mais (29%, n=7). A amostra dos estudos abrangeu a população de não pacientes (83 %, n=20); e de pacientes (38%, n=9) com diversas patologias psiquiátricas, como dependência química, depressão, enfermidades neurológicas e crônicas. A população em sua maioria incluiu homens e mulheres (88%, n=21), somente homens (9%, n=2) e apenas mulheres (5%, n=1).

Referente às características psicométricas, vários estudos realizaram as análises de precisão entre avaliadores, utilizando os coeficientes Kappa ou de Correlação Intraclasse-ICC (38%, n=8). A estimativa de precisão do ZSC foi realizada por meio da estabilidade temporal, com a técnica teste-reteste (8%, n=2). A maioria das pesquisas teve como objetivo buscar evidências de validade para o uso na avaliação da personalidade (88%, n=21). Os estudos abordaram evidências de validade convergente, buscando relacionar constr utos e instrumentos (46%, n=11), a ênfase foi verificar o potencial do ZSC para avaliar diferentes características (afeto, cognição, relacionamento, estilo de vivência).

Observou-se evidências de validade concorrente, procurando comparar grupos de pacientes com não pacientes, pessoas procedentes de diferentes estados e países. A ênfase foi verificar a aplicabilidade do ZSC em participantes de ambos os sexos, incluindo aspectos patológicos, de saúde mental, elementos culturais, focalizando o aperfeiçoamento na aplicação e interpretação do teste (58%, n = 14). Ocorreu evidências de validade incremental, o objetivo foi verificar a complementação entre os instrumentos projetivos para compreender a personalidade de indivíduos dependentes químicos e oriundos de países diferentes (4% n=1).

Q2: Quais outros instrumentos utilizados com o ZSC, nas avaliações psicológicas de adultos, e qual a finalidade do uso desses instrumentos? Entre os instrumentos de pesquisas utilizados juntamente com o ZSC destacam-se: o Rorschach (19%, n=4) com a finalidade de verificar as evidências de validade, especialmente concordância com o ZSC; seguido do teste das pirâmides coloridas de Pfister – TPC (13%, n=3) e Inventário de Habilidades Sociais para Adultos/Idosos – IHS/IHSI-Del Prette (17%, n=4) com o intuito de buscar evidências de validade em construtos relacionados.

A Escala Baptista de Depressão Versão Adulto – EBADEP-A (8%, n=2) para caracterizar os sintomas de depressão; Mini-Exame de Estado Mental – MEEM (17%, n=4) utilizado nas amostras de adultos idosos como rastreio de problemas cognitivos; Entrevista Clínica Estruturada para o DSM-IV – SCID -I (8%, n=2) para verificar a aplicabilidade no ZSC das constelações do Rorschach. Por fim, questionários, fichas sociode-mográficas e ou protocolos (38%, n=9) foram utilizados principalmente para caracterização da amostra.

Observa-se que a partir do ano de 2016, de 14 pesquisas relacionadas, várias destacam a necessidade de uma nova modalidade de aplicação do instrumento Zulliger, R-Otimizado (50%, n=7). As publicações ampliam pesquisas com idosos, incluindo testes com o objetivo de avaliar esta população (43%, n=6). Tais estudos, buscam melhorar a qualidade da medida e parâmetros para seu uso e sua interpretação.

As análises dos artigos e os desfechos apontam: 1. a necessidade de verificar características relacionadas a variáveis externas, como idade, condições socioeconômicas, culturais e de ampliar a faixa etária da população pesquisada para além dos 60 anos (Grazziotin & Scortegagna, 2016; 2018; 2021a; 2021b; Gregoleti & Scortegagna 2017; Rien et al., 2017); 2. preocupação com algumas limitações nas interpretações do ZSC (Miguel et al., 2017; Villemor Amaral et al.,2016) especialmente pela ocorrência do baixo número de respostas dos protocolos gerados (64%, n=7); 3. o benefício da utilização de R-Otimizado com o indicativo de que seria recomendável um número mínimo de nove respostas para melhorar a consistência dos índices do ZSC e as propriedades psicométricas (Gonçalves et al.,2019; Gonçalves & Villemor-Amaral, 2020; Seitl et al., 2018; Villemor-Amaral & Gomes, 2020); 4. estabilidade temporal do ZSC ao longo de 10 anos e a necessidade de se incrementar o desenvolvimento de estudos que verifiquem a fidedignidade do teste (Grazziotin & Scortegagna, 2022).

Discussão

O objetivo proposto por esta RS foi reunir evidências empíricas sobre as propriedades psicométricas, estimativas de precisão e evidências de validade do teste de ZSC utilizado em investigações de adultos. Os principais achados demonstram que o Sistema Compreensivo foi predominantemente utilizado nas pesquisas; os pesquisadores brasileiros são os que mais usam o ZSC em suas investigações; houve expansão das pesquisas com amostras de diversos estados brasileiros; o ZSC apresenta propriedades psicométricas para responder às avaliações sobre a dinâmica psíquica e da personalidade em amostras clínicas e não clínicas; houve incremento de estudos de evidências de validade com faixa etária mais ampla, incluindo pessoas idosas; estudos demonstraram associações significativas do ZSC com outros testes válidos e utilizados na avaliação psicológica; ocorreu o desenvolvimento de pesquisas que consideraram o aprimoramento no ZSC utilizando instruções R-otimizadas. Tais resultados serão discutidos com base nas questões formuladas.

Então, sobre a Q1: Quais as propriedades psicométricas do ZSC (evidências de validade e precisão) quando empregado nas avaliações de adultos? De acordo com as bases pesquisadas, o Brasil foi o país que apresentou publicações com o ZSC e notadamente com autores e amostras brasileiras (81%). As pesquisas no âmbito internacional foram escassas (Carpio & Lugon, 2011; Contreras-Milián et al., 2016; Fazendeiro & Novo, 2012; Franco & Villemor-Amaral, 2012b; Seitl et al., 2018).

O ZSC recebeu maior atenção no Brasil, o que pode ser devido a alguns fatores: (a) Influência de estudos do ZSC na América latina (Carpio & Lugon, 2011; Contreras-Milián et al., 2016; Zdunic,1999); (b) o ZSC foi normatizado e validado para a amostra brasileira de adultos (Villemor-Amaral & Primi, 2009) e, a partir dessa consolidação, abrangeu diversas pesquisas sobre as evidências de validade do instrumento. A RS apontou que o pioneirismo das publicações foi provindo de amostras do estado de São Paulo (Franco & Villemor-Amaral, 2009; 2012a; 2012b; Villemor-Amaral et al., 2009; Villemor-Amaral & Machado, 2011) e posteriormente expandiu-se para o Rio Grande do Sul (Grazziotin & Scortegagna, 2012; 2013; 2016a; 2018; 2021a; 2021b; 2022; Gregoleti & Scortegagna, 2017; Rien et al., 2017).

Esse resultado demonstra a expansão de pesquisas em outros estados do Brasil, como no Rio Grande do Sul, por exemplo. Os fatores de interesse explorados nessa região foi principalmente a necessidade de se avaliar as diferenças individuais que incluem idade, sexo, gênero, raça e etnia, cultura, religião, e apreciar a interação destas e outras variáveis de diferenças individuais ou de grupos (Bornstein, 2017; Grazziotin & Scortegagna, 2016a). Então, a partir do ano de 2016, ocorreu uma crescente diversificação de estudos que buscaram evidências de validade em vários estados brasileiros (Gonçalves et al., 2019; Gonçalves & Villemor-Amaral, 2020; Miguel et al., 2017; Villemor-Amaral & Gomes, 2020).

Além disso, de modo geral, pode-se dizer que há um movimento coletivo constante de pesquisadores de diversos estados do Brasil. Filiados a associações científicas, os pesquisadores buscam avançar nas discussões dos parâmetros de cientificidade do teste de Zulliger e de outros testes projetivos e na interlocução desses recursos com as demandas sociais em seus aspectos críticos e éticos.

Entre as associações científicas, destaca-se a Associação Brasileira de Rorschach e Métodos Projetivos (ASBRo) e a Associação Nacional de Pesquisa e Pós-Graduação em Psicologia (ANPEPP), que abrigam a maior parte desses pesquisadores. Especificamente, o Grupo de Trabalho (GT) “Métodos Projetivos nos Contextos da Avaliação Psicológica” (criado em 2008), vinculado a ANPEPP, reúne docentes de Programas Stricto Sensu de Pós-Granduação em distintos estados do Brasil, que desenvolvem investigações interinstitucionais para qualificar e certificar qualidades psicométricas, fundamentos clínicos e teóricos dos métodos projetivos, aplicados a diversos contextos profissionais, considerando pessoas em diferentes etapas do ciclo vital.

Observou-se que os resultados das pesquisas ao longo do tempo demonstraram que o ZSC é um instrumento utilizado na avaliação da dinâmica psíquica e da personalidade, no rastreio de patologias diversas e na avaliação da saúde mental. Tais estudos foram realizados com a população de não pacientes (83%) de procedência diversa, de empresas comerciais, de transportes, indivíduos militares, religiosos, profissionais autônomos, aposentados, frequentadores de grupos de convivência e estudantes, na avaliação da produtividade, habilidades sociais, condições afetivas, cognitivas e inteligência emocional (Contreras-Milián et al., 2016; Grazziotin e Scortegagna, 2012; 2013; 2016a; 2018; 2021a; 2021b; 2022; Miguel et al., 2017; Villemor-Amaral & Gomes, 2020).

Os estudos também foram realizados com amostras de pacientes (38%) com transtornos psiquiátricos, dependência de drogas, enfermidades neurológicas e crônicas (Franco & Villemor-Amaral, 2009; 2012 a; 2012b; Gonçalves et al., 2019; Gonçalves & Villemor-Amaral, 2020; Gregoleti & Scortegagna, 2017; Rien et al., 2017; Villemor-Amaral & Machado, 2011; Villemor-Amaral & Gomes, 2020).

A RS evidenciou que até o ano de 2016, pouquíssimos trabalhos incluíam adultos com idades de 50 anos e mais e com pessoas idosas (Franco & Villemor-Amaral, 2009; 2012a). Este achado corrobora outros estudos de revisão (Cardoso et al., 2018; Grazziotin & Scortegagna, 2016). A partir do ano de 2017, houve incremento nas pesquisas de evidências de validade contemplando faixas etárias mais amplas, incluindo pessoas idosas (Grazziotin & Scortegagna, 2018; 2021a; Gonçalves et al., 2019; Gonçalves & Villemor- Amaral, 2020; Gregoleti & Scortegagna, 2017; Rien et al., 2017). O aumento na faixa etária demonstrou a inquietação das pesquisadoras com a população idosa, especialmente com o bem-estar da população longeva (Grazziotin & Scortegagna, 2018; 2021a), a incidência de doenças crônicas, neurológicas e prejuízos cognitivos, que muitas vezes acompanham o avanço da idade (Gregoleti & Scortegagna, 2017; Rien et al., 2017), a necessidade de assistência interdisciplinar efetiva a essa população, a partir de resultados obtidos em avaliações com o uso de testes fidedignos.

Ao responder à Q2 sobre quais os outros instrumentos utilizados com o ZSC, nas avaliações psicológicas de adultos, e qual a finalidade do uso desses instrumentos percebe-se uma preocupação com a qualidade na aplicação e interpretação do ZSC. Os estudos buscaram explorar as características psicométricas de precisão entre avaliadores (Carpio & Lugón, 2011; Grazziotin & Scortegagna 2016a; 2018; Gonçalves et al., 2019; Gregoleti & Scortegagna, 2017; Miguel et al., 2017; Rien et al., 2017; Villemor-Amaral et al., 2009) e a estabilidade temporal, por meio de teste-reteste (Grazziotin & Scortegagna, 2022; Villemor-Amaral et al., 2009). Grande parte das pesquisas buscou evidências de validade correlacionando o ZSC com outros instrumentos válidos e amplamente utilizados na avaliação psicológica – projetivos, escalas e inventários – e demonstraram evidências de validade para o ZSC especialmente nos construtos e variáveis elencados.

Aspectos afetivos, cognitivos e de inteligência emocional foram investigados em associação com o Teste das Pirâmides coloridas de Pfister-TPC (Franco & Villemor-Amaral, 2009; 2012b; Miguel et al., 2017); relacionamento interpessoal, produtividade e funções cognitivas foram pesquisadas em associação com o Inventário de Habilidades Sociais-IHS/IHSI Del Prette (Grazziotin & Scortegagna, 2012; 2013; 2018); aspectos relacionados à depressão foram explorados junto com a Escala Baptista de Depressão Versão Adulto EBADEP-A (Gonçalves et al., 2019; Gonçalves & Villemor-Amaral, 2020) e com entrevistas clínicas estruturadas-SCID-I (Franco & Villemor-Amaral, 2012a; Villemor-Amaral & Machado, 2011); questões neurológicas e de saúde física, psíquica e mental ou decorrentes de fatores externos, como o avanço da idade, foram também caracterizadas por questionários sociodemográficos e de saúde e pelo Miniexame de Estado Mental – MEEM (Grazziotin & Scortegagna, 2018; Gregoleti & Scortegagna, 2017; Rien et al., 2017).

Porém, pesquisas também demonstraram as limitações do ZSC, especialmente quando associado aos resultados do Rorschach (Villemor-Amaral & Cardoso, 2012; Villemor- Amaral et al., 2016). As limitações concentram-se nas variáveis como a nota Z que identifica o potencial cognitivo do sujeito e os tipos de vivência (EB) extratensivo, evitativo e introversivo, que não geraram valores de referência para compor a tabela normativa (Franco & Villemor-Amaral, 2009; Villemor-Amaral & Primi,2009; Villemor-Amaral et al., 2016; Villemor-Amaral & Cardoso, 2012). Outros resultados demonstraram dificuldades na discriminação de psicopatologias, como depressão (Franco & Villemor Amaral, 2012; Villemor-Amaral & Machado, 2011) e ratificaram que protocolos com respostas em nível marginal ao mínimo necessário podem comprometer as análises e a interpretação das variáveis (Villemor-Amaral et al., 2016).

Diante das limitações, contribuições e evolução dos estudos apontadas, a partir do ano de 2016 constata-se uma preocupação nas pesquisas com o ZSC em aumentar a quantidade e diminuir a variabilidade de respostas. Em um estudo sobre a inteligência emocional, Miguel et al., (2017) verificaram a baixa incidência de cores em vários protocolos e buscaram realizar investigação com amostras dentro de uma faixa otimizada, ou seja, tiveram como critério a produção de duas ou mais respostas de cor por protocolo. Diante desses achados, estudos passaram a considerar o aprimoramento nos instrumentos de manchas de tinta e instruções otimizadas baseadas no Rorschach R-PAS (Meyer, 2017; Pianowski et al., 2019) e motivaram a busca de aperfeiçoamento do teste de ZSC utilizando uma nova forma de aplicação denominada de R-Otimizada com o objetivo de conseguir protocolos com, no mínimo, nove e, no máximo, 15 respostas (Gonçalves et al., 2019; Gonçalves & Villemor-Amaral, 2020;Villemor-Amaral et al., 2016; Villemor-Amaral & Gomes, 2020). Tais estudos, ainda que incipientes, evidenciaram as propriedades psicométricas do teste de ZSC e buscaram assegurar avanços com o uso do instrumento de forma válida e confiável.

Ponderando que os testes psicológicos são relacionados como uma das fontes principais para a realização de um processo de avaliação psicológica e precisam de pesquisas atualizadas (CFP, 2018) para atender a critérios definidos que se referem a padrões de qualidade denominados propriedades psicométricas (Cohen et al., 2014; Wechsler et al., 2019), é imperativo seguir ampliando e aprofundando pesquisas com o Teste de Zulliger. Apesar do histórico de avanços dos estudos empíricos relacionados nesta RS, todos imprescindíveis para trazer incremento as evidências da validade e estimativas de precisão ao ZSC, observou-se a carência de pesquisas que comparem as diferentes modalidades de aplicação, R-Otimizado e não otimizado e, a quase inexistência de estudos longitudinais e de estabilidade temporal. Tais estudos devem ser incentivados para que se possa alcançar avanços científicos necessários, nessa temática.

Ensaios de aplicação on-line também devem ser impulsionados considerando as restrições sanitárias para conter a pandemia do COVID-19 e a magnitude das consequências danosas à saúde mental. Ao avaliar características de personalidade expressas por padrões persistentes de pensar, sentir e agir (Weiner & Greene, 2017) de demonstrar sensibilidade a cultura, as fases do desenvolvimento e situações de estresse (Grazziotin & Scortegagna, 2016a; 2018), estudos com o Zulliger também poderão abordar e verificar a influência de vivências coletivas traumáticas a saúde mental.

Por fim, esta revisão apresenta um panorama da situação histórica e atual do teste de ZSC, demonstra de modo sistemático os avanços e limitações nas pesquisas com o instrumento. Contudo, apresenta algumas limitações, especialmente no sentido de se restringir a população de adultos e ao sistema compreensivo. Novos estudos de revisão poderão ser realizados abordando a faixa etária de crianças e adolescentes, utilizando outros sistemas de interpretação e visando aprimorar os procedimentos da administração otimizada e não otimizada.

Artigo derivado da Tese de doutorado de Jucelaine Bier Di Domenico Grazziotin com orientação de Silvana Alba Scortegagna, qualificação com banca externa foi realizada em Junho de 2021 defesa prevista para 2023 no programa de Pós-Graduação em Envelhecimento Humano da Universidade de Passo Fundo-RS.

FinanciamentoTodas as fontes de financiamento para elaboração e produção do estudo (coleta, análise e interpretação dos dados, bem como, escrita dos resultados no presente no manuscrito) foram fornecidas pelo projeto de pesquisa código de financiamento 001, CAPES.

Disponibilidade de dados e materiais

Todos os dados e sintaxes gerados e analisados durante esta pesquisa serão tratados com total sigilo devido às exigências do Comitê de Ética em Pesquisa em Seres Humanos. Porém, o conjunto de dados e sintaxes que apoiam as conclusões deste artigo estão disponíveis mediante razoável solicitação ao autor principal do estudo.

Agradecimentos

Não há menções.

Referências

Bornstein, R. F. (2017). Evidence-Based Psychological Assessment. Journal of Personality Assessment, 99(4), 435-445.https://doi.org/10.1080/00223891.2016.1236343Links ]

Cardoso, L. M., Gomes, G. V. A., Pacheco, F. P., & Viana, J. L. D. (2018). Análise da produção de artigos científicos brasileiros sobre o Teste de Zulliger. Interação em Psicologia, 22(3), 139-150. https://doi.org/10.5380/psi.v22i3.45821Links ]

Cohen, R. J., Swerdlik, M. E., & Sturman, E. D. (2014). Testagem e Avaliação Psicológica: Introdução a Testes e Medidas (8th ed.). Porto Alegre: AMGH. [ Links ]

Conselho Federal de Psicologia. Resolução N° 009, de 25 de abril de 2018. Estabelece diretrizes para a realização de Avaliação Psicológica no exercício profissional da psicóloga e do psicólogo, regulamenta o Sistema de Avaliação de Testes Psicológicos - SATEPSI, (2018). [ Links ]

Contreras-Milián, R. C. P., González-Pérez, M., & Herrera-Espinosa, A. M. A. (2016) Identification of personality traits of the profile organizational psychologist in training, based on Zulliger Test. Europen Scientific Journal, 12(5), 328-339. https://doi.org/10.19044/esj.2016.v12n5p328Links ]

Carpio, R. S., & Lugón, C. M. (2011). Validación del Sistema Comprehensivo de Exner en El Test de Zulliger. Persona, 14, 145-158. [ Links ]

Carvalho, L. F., Pianowski, G., & Santos, M. A. (2019). Guidelines for conducting and publishing systematic reviews in Psychology. Estudos de Psicologia (Campinas), 36, e180144. http://dx.doi.org/10.1590/1982-0275201936e180144Links ]

Exner Jr., J. E. (2003). The Rorschach: A comprehensive system. Vol. I: Basic foundations. New York: Wiley & Sons. [ Links ]

Fazendeiro, H. M. M., & Novo, R. de J. F. (2012). Versão coletiva do teste de Zulliger segundo o Sistema Compreensivo de Rorschach. Avaliação Psicológica, 11(3), 407-422. [ Links ]

Franco, R. R. C., & Villemor-Amaral, A. E. (2009). Validade concorrente entre provas de personalidade: Zulliger-SC e Pfister. Revista Psicologia e Saúde, 1(1), 50-59. [ Links ]

Franco, R. R. C., & Villemor-Amaral, A. E. (2012a). O Zulliger e as constelações do Rorschach no Sistema Compreensivo. Avaliação Psicológica, 11(1), 141-152. [ Links ]

Franco, R. R. C., & Villemor-Amaral, A. E. (2012b). Validade incremental do Zulliger e do Pfister no contexto da toxicomania. Psico-USF, 17(1), 73-83. https://doi.org/10.1590/S1413-82712012000100009Links ]

Gonçalves, A. P., Zuanazzi, A. C., & Villemor-Amaral, A. E. (2019). Aplicação R-Otimizada no Zulliger: Evidências de validade com pacientes depressivos. Avaliação Psicológica, 18(2), 111-120. https://doi.org/10.15689/ap.2019.1802.16215.01Links ]

Gonçalves, A. P., & Villemor-Amaral, A. E. (2020). Zulliger R-Optimized in the evaluation of depressive characteristics. Paidéia (Ribeirão Preto), 30, e3023. https://doi.org/10.1590/1982-4327e3023Links ]

Grazziotin, J. B. D. D, & Scortegagna, S. A. (2012). Zulliger e habilidade social: Evidências de validade no contexto empresarial. Psicologia: Reflexão e Crítica, 25(1), 69-78. https://doi.org/10.1590/S0102-79722012000100009Links ]

Grazziotin, J. B. D. D., & Scortegagna, S. A. (2013). Relacionamento interpessoal, produtividade e habilidades sociais: Um estudo correlacional. Psico-USF, 18(3), 491-500. https://doi.org/10.1590/S1413-8271201300030015Links ]

Grazziotin, J. B. D. D., & Scortegagna, S. A. (2016a). Mediação no Zulliger: Evidências de validade em amostra de não pacientes. Psico-USF, 21(1), 63-72. https://doi.org/10.1590/1413-82712016210106Links ]

Grazziotin, J. B. D. D., & Scortegagna, S. A. (2016b). Revisão de pesquisas brasileiras sobre o teste de Zulliger publicadas em artigos. Avaliação Psicológica, 15(2), 227-235. http://dx.doi.org/10.15689/ap.2016.1502.11Links ]

Grazziotin, J. B. D. D., & Scortegagna, S. A. (2018). Convergent validity of Zulliger-CS with the social skills inventory for the elderly. Paideia, 28(69), 1-10. https://doi.org/10.1590/1982-4327e2832Links ]

Grazziotin, J. B. D. D., & Scortegagna, S. A. (2021a). Validity of Zulliger-SC in the cognitive assessment of elderly and long-lived adults. Psico-USF, 26(3), 571-583. http://dx.doi.org/10.1590/1413-82712021260314Links ]

Grazziotin, J. B. D. D., & Scortegagna, S. A. (2021b). Validade Convergente entre Processos Cognitivos do Zulliger com Idade e Escolaridade. Interação em Psicologia, 25(03), 298-307. http://dx.doi.org/10.5380/riep.v25i3.69476Links ]

Grazziotin, J. B. D. D., & Scortegagna, S. A. (2022). The reliability of the Zulliger Test (2009-2019): Case Studies. Psicologia: Teoria e Pesquisa, 38, e38. https://doi.org/10.1590/0102.3772e38514.enLinks ]

Gregoleti, V., & Scortegagna, S. A. (2017). The Zulliger-CS in elderly on hemodialysis and the relationship between external variables. Paideia (Ribeirao Preto), 27(66), 43-50. http://dx.doi.org/10.1590/1982-43272766201706Links ]

Liberati, A., Altman, D. G., Tetzlaff, J., Mulrow, C., Gøtzsche, P. C., Ioannidis, J. P. A., Clarke, M., Devereaux, P. J., Kleijnen, J., & Moher, D. (2009). The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: Explanation and elaboration. PLoSMedicine, 6(7), e1000100. https://doi.org/10.1371/journal.pmed.1000100Links ]

Lima, E. S., & Scortegagna, S. A. (2021). Zulliger R-Optimized application in children victims of sexual violence and cancer. Paidéia, 31, e3115, 1-10. https://doi.org/10.1590/1982-4327e3115Links ]

Meyer, G. J. (2017). What Rorschach performance can add to assessing and understanding personality. International Journal of Personality Psychology, 3(1), 36-49. [ Links ]

Miguel, F. K., Zuanazzi, A. C., & Villemor-Amaral, A. E. (2017). Avaliacão de Aspectos da Inteligencia Emocional nas Tecnicas de Pfister e Zulliger. Temas Em Psicologia, 25(4), 1853-1872. https://doi.org/10.9788/TP2017.4-17EnLinks ]

Pianowski, G., Meyer, G. J. Villemor-Amaral, A. E., Zuanazzi, A. C., & Nascimento, R. S. G. F. (2019). Does the Rorschach Performance Assessment System (R-PAS) Differ from the Comprehensive System (CS) on Variables Relevant to Interpretation? Journal of Personality Assessment, 101(1), 132-147. https://doi.org/10.1080/00223891.2019.1677678Links ]

Rien, M., Scortegagna, S. A., Grazziotin, J. B. D. D., & Bertolin, T. E. (2017). Validity evidence of the Zulliger-CS in older adults with Parkinson’s disease. Estudos de Psicologia (Campinas), 34(4), 560-570. https://doi.org/10.1590/1982-02752017000400011Links ]

Resende, M. A., & Nascimento, E. (2019). Z-SEP – Teste de Zulliger no Sistema Escola de Paris. Sao Paulo-SP: Hogrefe. [ Links ]

Resende, A. C., Cardoso, L. M., Franco, R. R. C., Scortegagna, S. A., & Villemor Amaral, A. E. (2022). O Teste de Zulliger: Panorama histórico e desenvolvimento recentes. Em A. E. Villemor-Amaral, S. R. Pasian & D. A. Amparo, (2022). Avanços em métodos projetivos, 21-37. São Paulo: Hogrefe. [ Links ]

Seitl, M. et al. (2018). Standardizace počtu odpovědí v Zulligerově testu: první krok při vývoji nového evidence-based systému. E-psychologie, 12(4), 1-15. [ Links ]

Vaz, C., & Alchiere, J. C. (2016). Z-Teste Coletivo e Individual - Tecnica de Zulliger. São Paulo-SP: Hogrefe. [ Links ]

Villemor-Amaral, A. E. de, & Cardoso, L. M. (2012). Validade convergente do tipo de vivência (EB) no Teste de Zulliger/SC. Psico (PUCRS), 43(1), 109-115. https://doi.org/10.15448/1980-8623.2012.1.11105Links ]

Villemor-Amaral, A. E., & Gomes, G. V. A. (2020). Comparação de indicadores patológicos e saudáveis do Zulliger com administração R-Otimizado. Psicologia Teoria e Prática, 22(3), 37-54. http://dx.doi.org/10.5935/19806906Links ]

Villemor-Amaral, A. E., Machado, M. A. S., & Noronha, A. P (2009). O Zulliger no Sistema Compreensivo: Um estudo de fidedignidade. Psicologia Ciência e Profissão, 29(4), 656-671. https://doi.org/101590/S1414-9893200900400002Links ]

Villemor-Amaral, A. E., & Machado, M. A. S. (2011). Indicadores de depressão do Zulliger no Sistema Compreensivo (ZSC). Paidéia, 21(48), 21-27. https://doi.org/10.1590/S0103-863X2011000100004Links ]

Villemor-Amaral, A. E. de, & Primi, R. (2009). Teste de Zulliger no sistema compreensivo: Forma individual. São Paulo: Casa do Psicólogo. [ Links ]

Villemor-Amaral, A. E., Pianowski, G., & Carvalho, L. D. F. (2016). Issues about color, human movement, and number of responses in the Zulliger test. Rorschachiana, 37(2), 95-113. https://doi.org/10.1027/1192-5604/a000068Links ]

Wechsler, S. M., Hutz, C. S., & Primi, R. (2019). O desenvolvimento da avaliação psicológica no Brasil: Avanços históricos e desafios. Avaliação Psicológica, 18(2), 121-128. https://doi.org/10.15689/ap.2019.1802.15466.02Links ]

Weiner, I. B., & Greene, R. L. (2017). Handbook of Personality Assessment (2nd ed.). Hoboken, NJ, US: John Wiley & Sons. https://doi.org/10.1002/9781119311263Links ]

Von Weissenberg, J. (2017). Zulliger, Wartegg and Personality Research Form (PRF) tests as predictors of investment performance. Journal of Projective Psychology & Mental Health, 24(2), 96-108. [ Links ]

Zudnic, A. L. (1999). El test em la evaluación de personal: Aportes del Sistema Comprehensivo de Exner. Paidós. [ Links ]

Recebido: 01 de Julho de 2021; Aceito: 01 de Janeiro de 2024

1 Endereço para correspondência: Universidade de Passo Fundo. Programa de Pós-Graduação em Envelhecimento Humano. BR 285, Cx. Postal 611, Bairro São José, 99052-900, Passo Fundo, RS. E-mail:jucelainegraz@terra.com.br; silvanalba@upf.br

Conflitos de interesses

Os autores declaram que não há conflitos de interesses.

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution NonCommercial, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que sem fins comerciais e que o trabalho original seja corretamente citado.