Serviços Personalizados
Journal
artigo
Indicadores
Compartilhar
Avaliação Psicológica
versão impressa ISSN 1677-0471versão On-line ISSN 2175-3431
Aval. psicol. vol.11 no.3 Itatiba jul./set. 2012
Versão coletiva do teste de Zulliger segundo o Sistema Compreensivo de Rorschach
Zulliger group test according to the Rorschach Comprehensive System
Versión colectiva del teste de Zulliger segundo el Sistema Comprehensivo de Rorschach
Hugo Miguel Martins Fazendeiro; Rosa de Jesus Ferreira Novo1
Universidade de Lisboa
RESUMO
Este trabalho visa contribuir para a (re)estandardização do teste de Zulliger (teste Z) como uma metodologia projetiva passível de ser aplicável coletivamente e com objetividade na avaliação da personalidade. Nesse sentido, tomámos como referência os princípios metodológicos propostos por Exner para o Sistema Compreensivo (SC) do Rorschach e procurámos transpô-los para o teste Z. Para o efeito, analisámos as propostas referenciadas na literatura para a versão individual, adaptámos e testámos materiais, instruções e demais procedimentos de aplicação do teste. Posteriormente, o teste foi aplicado coletivamente, em contexto de seleção, a uma amostra de 156 militares do Exército Português. Após a análise de resultados, centrada na estatística descritiva das variáveis incorporadas no Sumário Estrutural do teste Z, discute-se a relevância de alguns procedimentos para diferentes contextos de aplicação da prova e a necessidade de prosseguir com estudos de índole normativa e de validação das medidas do teste.
Palavras-chave: teste de Zulliger; sistema compreensivo do Rorschach; técnicas projetivas.
ABSTRACT
The purpose of this paper is to contribute to (re)standardizing Zulliger (Z test) as a group administered projective method, capable of being used with objectivity in personality assessment. For that purpose, we took as main reference the set of methodological principles established by Exner in Rorschach Comprehensive System, in order to transpose it to Z test. After analyzing the referenced proposals available in literature, considering the individually administered Z test, materials, instructions and other procedures were adapted and tested. The test was group administered afterwards in a personnel selection context, to a sample of 156 Portuguese Army military. Considering mainly the descriptive statistics of the incorporated variables in Z tests Structural Summary, one discusses the relevance of some procedures to the different Z test versions, as well as the need of further normative and validation studies.
Keywords: Zulliger test; Rorschach comprehensive system; projective techniques.
RESUMEN
El propósito de este trabajo es contribuir para la (re)estandarización del test de Zulliger como metodología proyectiva administrable colectivamente con exactitud y objetividad en la evaluación de la personalidad. Se tomaron como referencia los principios metodológicos propuestos por Exner para el Rorschach Sistema Comprehensivo, buscando incorporarlos en el test de Zulliger. Después de analizadas las propuestas de la literatura para la administración individual, se han adaptado y testado materiales, instrucciones y otros procedimientos para la administración de la prueba. Después, el test fue administrado colectivamente en contexto de evaluación laboral, a una muestra de 156 militares del Ejército Portugués. Después del análisis de los resultados, centrada en la estadística descriptiva de las variables incorporadas en el Sumario Estructural del test de Zulliger, se discute la relevancia de algunos procedimientos para diferentes contextos de aplicación de la prueba y la necesidad de estudios de validación de las medidas del test.
Palabras-clave: test de Zulliger; sistema comprehensivo de Rorschach, técnicas proyectivas.
A avaliação psicológica envolve a recolha e integração de informação diversa sobre os indivíduos a avaliar e exige métodos de identificação de semelhanças e diferenças de características, capacidades e recursos pessoais dos indivíduos (Naglieri & Graham, 2003). Num processo de avaliação, vários são os métodos e técnicas usadas, nomeadamente entrevistas, observações comportamentais e documentos diversos, de forma a aceder à história de vida de um indivíduo. Os testes são também usados e constituem um dos métodos de recolha estandardizada de dados para a caracterização diferenciada dos sujeitos. E diferentes contextos e propósitos de avaliação exigem, naturalmente, instrumentos diferenciados.
Nos contextos não clínicos, no organizacional, por exemplo, a avaliação psicológica visa contribuir para a tomada de decisão, seja no âmbito da seleção, da promoção ou da predição de comportamentos (Klimoski & Zukin, 2003). Em qualquer caso, os psicólogos têm como tarefa compreender como as pessoas pensam e se comportam e, neste sentido, recorrem a uma variedade de testes para identificar traços e aptidões exigíveis para um determinado cargo ou função, e a outros para identificar a harmonia do funcionamento psicológico, sinais de psicopatologia, bem como características como honestidade, criatividade, regulação emocional ou capacidades relacionais e adaptativas.
Relativamente a esse último propósito, os autorrelatos de sintomas ou de comportamentos típicos são um dos tipos de instrumentos mais utilizados. Contudo, são inúmeras as suas limitações, desde as cognitivas, que impedem o acesso à informação processual e não declarativa, às tentativas deliberadas de distorção de resposta (Ben-Porath, 2003). As técnicas projetivas, por seu lado, são também instrumentos úteis na avaliação da personalidade e da psicopatologia em vários contextos.
Apesar de terem tradição na avaliação clínica e clínico-forense, vários testes projetivos são utilizados nas áreas do trabalho e das organizações (Bach, 2005; Caldwell & Panimon, 1955; Cornelius, 1983; Garcia-Santos, Almeida, Werlang & Veloso, 2010; Garcia-Santos & Vaz, 2005; Guion, 1965; Sainz & Gorospe, 2005; Semeonoff, 1990; Villemor- -Amaral, 2006), sobretudo nos casos de avaliação de profissionais com funções de chefia ou de elevada responsabilidade. As vantagens desses testes, habitualmente designados como projetivos, são diversas: permitem a observação direta do comportamento de resolução de problemas e, portanto, não dependem de inferências pessoais ou da memória declarativa; solicitam relatos sobre situações externas pelo que não apelam a sistemas de atribuição pessoal e às estratégias defensivas que lhes estão associadas; mobilizam recursos psicológicos diversos, cognitivos, motivacionais e afetivo-emocionais num registo comportamental que evidencia o funcionamento mental integrado.
Assim, essas técnicas permitem revelar dimensões do funcionamento pouco acessíveis a outras metodologias. Os autorrelatos, por sua vez, exigem a capacidade para cada um tornar conscientes parcelas significativas da experiência pessoal, ajuizar sobre elas e dar a conhecer, segundo uma determinada escala de resposta, os resultados deste juízo avaliativo. Ao invés da autoavaliação, os métodos projetivos permitem observar comportamentos que, mediante regras, dão a conhecer os modos próprios de processamento de informação. Além disso, os comportamentos requeridos na resposta às situações projetivas mais dificilmente são modificáveis em função de uma estratégia pré-definida. Mesmo que determinadas a distorcer, negar ou simular comportamentos, as pessoas têm dificuldade em entender os objetivos últimos dessas provas (Anastasi & Urbina, 2000) e os princípios que regem a análise das suas respostas, o que dificultam a simulação ou dissimulação por parte dos avaliados e torna as metodologias projetivas menos vulneráveis às distorções intencionais.
Pelas razões apontadas, as metodologias projetivas representam uma via privilegiada de acesso a importantes dimensões do funcionamento mental. No entanto, as potencialidades desses métodos só são maximizadas quando a sua utilização é baseada em procedimentos objetivos e uniformes de aplicação, bem como em sistemas validados de cotação e de interpretação. Do ponto de vista metodológico, o Sistema Compreensivo (SC)2 proposto por Exner (1974, 1991, 2003) resulta de um importante esforço de investigação empreendido no sentido da estandardização do Rorschach e do acumular de evidências empíricas relativamente a dimensões estruturais da personalidade e da psicopatologia (Exner, 1997; Weiner, 2000, 2001). Por essas razões, este sistema tem constituído uma referência para outros instrumentos, nomeadamente para o Teste de Zulliger (teste Z). Embora sem as mesmas ambições ao nível da avaliação e do diagnóstico, o Z foi orientado para permitir a aplicação coletiva em contextos não clínicos, a caracterização de algumas dimensões da personalidade e a sinalização de presença ou risco de psicopatologia.
O objetivo do presente trabalho foi o de testar uma metodologia de aplicação coletiva do teste, bem como o de adaptar critérios para cotação e análise das respostas, seguindo as normas estabelecidas no SC. Essa tentativa foi já empreendida para a versão de aplicação individual, como adiante caracterizaremos. Para a aplicação coletiva, não há ainda uma estandardização da técnica, não estando claramente definidos e uniformizados materiais e procedimentos de recolha de dados que sejam compatíveis com a aplicação dos critérios do SC.
Desenvolvimento do Teste de Zulliger
O teste Z, proposto por Hans Zulliger, em 1948, visava uma avaliação breve da personalidade em contextos em que estavam envolvidos inúmeros indivíduos (Mahmmod, 1990). Na época, Hans, psicólogo das forças armadas suíças, se debatia com a necessidade de selecionar oficiais para o exército e, com este fim, procurou um método similar ao Rorschach e que fosse aplicável coletivamente e em menor tempo. Assim, em vez dos dez cartões com manchas de tinta, Hans criou três cartões, com estímulos estruturalmente semelhantes aos do Rorschach, para serem visionados em grupo e, assim, poderem ser utilizados em contexto coletivo. O teste Z, então criado, revelou-se um instrumento rico e de fácil utilização, capaz de ser usado em diferentes contextos, designadamente não-clínicos, funcionando como um instrumento de caracterização breve da personalidade e de sinalização de indícios psicopatológicos que, a existirem, poderiam ser posteriormente alvo de uma avaliação psicológica mais completa. A sua boa aceitação levou a que, ainda nos anos 50 do séc. XX, viesse a ser adaptado à modalidade de administração individual (Zulliger, 1959).
O desenvolvimento posterior do teste e a investigação em torno dele foram limitados, tendo havido, contudo propostas de incorporação no teste Z de dados da investigação do Rorschach, designadamente os produzidos na França e em outros países europeus (Morali-Daninos & Canivet, 1970). No Brasil, o teste veio a ter significativo desenvolvimento desde os anos 60 do séc. XX, designadamente por Vaz (2000), desenvolvimento que seguiu como linha diretriz o sistema de codificação proposto nos EUA, por Bruno Klopfer.
Uma nova fase de estudos sobre o teste foi encetada a partir da década de 90 do séc. XX com o desenvolvimento de um sistema de administração e cotação, seguindo de perto o processo de (re) estandardização empreendido por J. Exner (1974) no âmbito do Sistema Compreensivo do Rorschach. O teste Z veio, assim, a ser alvo de investigação empírica e de uma sistematização compatível com a credibilização da técnica. Encontramos estudos nesse sentido, primeiro, na Finlândia (Mattlar e cols. 1990; Mattlar e cols., 1993) e, posteriormente, na América do Sul, especificamente na Argentina (Astori & Zdunic, 2003; Zdunic, 2003), e no Chile (Vilches & Olivos, 2004) e no Brasil (Villemor- -Amaral & Primi, 2009).
A primeira publicação relativa a critérios de adaptação do SC ao Zulliger foi realizada por Mattlar e cols. (1990) e deu origem a normas de referência para a população adulta finlandesa. Esse estudo foi realizado também com o objetivo de comparar os resultados do teste Z com os do Rorschach. Nesse sentido, os dois testes foram aplicados a uma amostra de 140 participantes, suecos e finlandeses, e os dados obtidos comparados tendo por referência as normas norte-americanas do SC. Apesar de diferenças expectáveis, os autores concluíram pela elevada semelhança estrutural entre os dados, o que legitimava a generalização dos princípios interpretativos do Rorschach ao teste Z.
Utilizando a mesma metodologia de cotação do teste Z, a equipa de Mattlar publicou em 1990 outros três estudos realizados com diferentes amostras e que procuravam identificar: (1) traços de personalidade em adolescentes (Uhinki, Mattlar, Sandahl, Vesala, & Carlsson, 1990); (2) aspectos estruturais da personalidade em adultos normais (Sandahl, Mattlar, Carlsson, Vesala, & Rosenqvist, 1990); e (3) características específicas de idosos afectados pela solidão (Ruth e cols., 1990). Os resultados obtidos foram considerados promissores e encorajaram a continuação da investigação com o Zulliger, aludindo os autores à necessidade de se realizarem estudos transculturais (Mattlar e cols., 1990).
A mesma equipa finlandesa veio posteriormente a publicar um manual de cotação (Mattlar e cols., 1993), com os princípios a observar na cotação das respostas ao teste e com tabelas de frequência de respostas tendo por base uma amostra de cerca de 700 participantes. Dois terços dos participantes haviam sido avaliados coletivamente e os restantes em regime de aplicação individual.
Uma linha de investigação similar é levada a cabo na Argentina por Zdunic (2003), que elaborou, a partir de 100 protocolos de pessoas sem queixa clínica, as primeiras listagens de qualidade formal (respostas comuns) e de respostas Populares ao teste Z. Nesse trabalho, os protocolos eram também provenientes das duas modalidades de aplicação, individual e coletiva, e foram obtidos, sobretudo, no âmbito da seleção profissional. Posteriormente, com base numa amostra de 400 participantes sem queixa clínica, a mesma autora elaborou novas listagens de qualidade formal e propôs normas para as variáveis do Sumário Estrutural, fundamentais à interpretação dos dados do teste.
No Chile, Brinkmann (2002, citado por Vilches & Olivos, 2004) realizou um primeiro estudo normativo do teste Z, utilizando também a metodologia do SC e, posteriormente, Vilches e Olivos (2004) estudaram uma amostra de maior dimensão, de cerca 300 participantes, avaliados em regime individual. Esse estudo tem a particularidade de especificar normas de referência interpretativa em função das variáveis género, idade e escolaridade.
Um trabalho mais recente, realizado no Brasil por Villemor-Amaral e Primi (2009) seguiu os mesmos propósitos de adaptação ao SC do teste Z, na sua forma individual, e publicou um manual que inclui listagens de áreas de localização e de qualidade formal, dados de fidelidade e de validade, bem como dados normativos para grupos com e sem queixa clínica. A estabilidade temporal das medidas se revelou satisfatória, tendo-se registado, para a maioria dos 16 indicadores analisados, correlações superiores a 0.70, para um intervalo de tempo de cinco meses. São também satisfatórios os níveis de acordo intercotadores, com apenas cinco das variáveis com valores de concordância (Kappa) considerados pobres. O manual integra ainda uma análise fatorial exploratória que identifica nove fatores, alguns deles difíceis de interpretar e a exigirem novos estudos. De qualquer modo, os fatores mostram-se coerentes e estão organizados em cinco eixos: desvio dos processos associativos; presença de afetos disfóricos e de perceção vaga; processos associativos elaborados; elementos de mediação; e conteúdos de pensamento mais disfóricos. Numa análise similar, organizada a partir das respostas, não das variáveis, foram extraídos 10 componentes principais que se revelaram com idêntica coerência e com elementos comuns aos obtidos com o procedimento anterior. Ao nível da validade de critério, os resultados apontam para evidências positivas de algumas das variáveis e dos fatores diferenciarem grupos clínicos de não clínicos.
Recentemente, Villemor-Amaral e Machado (2011) realizaram um estudo de validade empírica do Z tendo como critério o diagnóstico clínico de depressão. Compararam dois grupos, um de participantes diagnosticados com depressão e outro sem queixa clínica, e verificaram que os participantes com depressão apresentavam valores superiores em DEPI índice de depressão derivado do SC designadamente em diversas variáveis (FD+V, Sum_SH, Índice de Egocentricidade, CF+C<FC, Determinantes Mistos e Índice de Intelectualização), pelo que concluíram pela utilidade do Z na avaliação da depressão.
O teste Z na modalidade de aplicação coletiva
A maioria dos estudos referidos centra-se, como vimos, na aplicação individual, modalidade em que foram alcançados ganhos ao nível do rigor na utilização do teste e estabelecidas normas de referência interpretativa, pelo que nesta modalidade estão incrementadas as possibilidades de uso do teste na avaliação e na investigação. A aplicação coletiva é aquela que apresenta mais dificuldades de incorporação dos princípios do SC, pelo facto de não incluir um inquérito específico dirigido a cada resposta. Esse problema que não se coloca na aplicação individual em que é fácil introduzir e conduzir um inquérito na segunda fase da prova, à semelhança do que acontece com o Rorschach.
De facto, o inquérito revela-se necessário, sobretudo no SC, pois é nele que se obtém informação crucial para uma cotação alargada das respostas. Nesse sentido, os procedimentos para a sua inclusão na modalidade de aplicação coletiva devem ser claramente estabelecidos.
No entanto, não se conhece a influência das modalidades de aplicação na produtividade face ao teste, nomeadamente no número de respostas e na diversidade de determinantes e conteúdos nelas representadas. A esse propósito, Astori e Zdunic (2003) compararam os resultados de 100 protocolos do Z obtidos a partir da aplicação coletiva, com os resultados de uma amostra semelhante submetida à aplicação individual, tendo verificado diferenças significativas ao nível dos resultados do sumário estrutural. No grupo submetido à aplicação coletiva, verificaram-se valores superiores nas variáveis relativas à localização e qualidade de desenvolvimento (W, DQ+ e DQv), a determinantes (M, FM, FC e Par) e a conteúdos (H, Hx, A, Art, Na, Sc, AG, e PSV). No grupo de aplicação individual, verificaram- se valores superiores em outras variáveis dos mesmos segmentos de cotação, nomeadamente de localização e qualidade de desenvolvimento (D, Dd, S e DQo), de determinantes (CF, WSumC, V, Y, FD e Fr), de conteúdos (Hd, An, Bl, Ex, Fi, Hh, MOR e PER) e ainda de fenómenos especiais (WSum6). Essas diferenças obrigam a considerar a necessidade de normas de referência específicas para as diferentes modalidades de aplicação do teste.
Quanto aos procedimentos de aplicação, as instruções e os materiais para a aplicação coletiva do teste carecem de estandardização. Dos estudos realizados, uns visaram diretamente essa modalidade de aplicação (Ruth e cols., 1990; Uhinki e cols., 1990) e outros integraram as duas modalidades, individual e coletiva, (Mattlar e cols., 1990; Mattlar e cols., 1993), mas não foram explicitados os procedimentos usados na aplicação coletiva.
Considerem-se os materiais do teste, os próprios estímulos e sua apresentação. O material original do teste Z, na versão coletiva, consistia em três diapositivos a serem projetados num vulgarmente designado projetor de slides. Um material alternativo é referido na literatura e consiste em transparências coloridas obtidas a partir das lâminas originais (Astori & Zdunic, 2003). Esses dois tipos de materiais não são atualmente de fácil e prática utilização, e questionámo-nos se outros materiais e equipamentos de uso mais corrente não poderiam constituir uma alternativa.
Outra questão se refere aos procedimentos de registo das respostas e da informação do inquérito. A técnica original do teste não incluía um período de inquérito e compreendia apenas a fase associativa (de elaboração e registo de respostas) e um registo das áreas de localização das respostas. Para esse registo, era usada a comparação da imagem projetada (cartão-estímulo) a um relógio analógico e recomendada a utilização de números (de 1 a 12) para localizar as respostas nas áreas externas e a letra (C) para as respostas na parte central da mancha. Com base nesses dados, procedia-se à cotação dos diferentes elementos da resposta: Localização, Determinantes, Conteúdos e Popularidade. Esse método de recolha de informação foi seguido, mesmo em trabalhos recentes (Mattlar e cols., 1990), contudo, ele mostra-se insuficiente para uma cabal aplicação dos princípios de cotação do SC que exigem informação adicional.
Incidindo na recolha de informação em inquérito, Astori e Zdunic (2003) introduziram um caderno de teste, constituído por quatro folhas distintas, com as três primeiras destinadas ao registo das respostas no primeiro período da prova, e a última folha reservada ao período de inquérito. Nessa última folha, eram apresentadas imagens equivalentes aos estímulos do teste e os participantes eram instruídos a assinalar as áreas visualizadas nas respostas previamente dadas. Esse procedimento envolve também limitações: (a) torna possível aos participantes visualizar o esquema das imagens antes da fase do inquérito, o que pode condicionar as respostas que estão a ser elaboradas no período associativo; (b) obriga o participante a numerar as suas respostas, a identificar o que é uma resposta e a diferenciar as várias respostas. A primeira limitação é visada diretamente por J. Exner (2003), sobre a aplicação do Rorschach, ao referir que os cartões que não estão a ser alvo de resposta deverão estar fora do alcance visual da pessoa examinada, para que as respostas ocorram apenas a partir do estímulo alvo específico. A segunda limitação decorre da incerteza sobre a possibilidade de os respondentes diferenciarem adequadamente as diversas respostas.
Outras questões, de cuja resolução depende a adaptação do Z ao SC, dizem respeito aos procedimentos de cotação dos determinantes das respostas, tendo em conta a ausência de um inquérito direcionado para as questões específicas que cada resposta envolve. Ela será porventura a maior limitação da modalidade de aplicação coletiva. A forma que tem sido encontrada para obviar a essa limitação é a de aplicar os procedimentos propostos por Ritzler e Nalesnik (1990) para protocolos do Rorschach sem inquérito disponível. Esses procedimentos visam recolher informação sobre os determinantes associados às respostas dadas pelos participantes durante a fase associativa, baseando-se nos elementos da própria resposta e nas propriedades objetivas das manchas. Por exemplo, uma resposta será cotada com um determinante Cor, se se referir a uma área colorida da mancha e se o conteúdo for quotidianamente associado ou compatível com esta mesma cor (a resposta sangue dada numa área encarnada; a resposta pôr-do-sol numa área alaranjada). Segundo um estudo dos mesmos autores, esses procedimentos permitiram gerar resultados equivalentes aos que seriam obtidos com os procedimentos habituais de cotação do Rorschach com informação de inquérito. As únicas variáveis face às quais se verificaram diferenças significativas foram as relativas ao sombreado de profundidade e ao somatório de fenómenos especiais (Ritzler & Nalesnik, 1990). A aplicação desses procedimentos ao teste Z foi já realizada, nomeadamente por Astori e Zdunic (2003), e afigura-se um recurso em situações em que o inquérito seja impraticável ou insuficiente, mas não um procedimento satisfatório para uso corrente do teste.
Em suma, a estandardização da aplicação coletiva do teste Z não se encontra concluída e o objetivo geral deste trabalho é o de propor procedimentos que permitam ultrapassar algumas das limitações apontadas e contribuir para o desenvolvimento de uma metodologia de administração coletiva do teste Z, adotando os princípios metodológicos do SC (Exner, 2003). Como objetivos específicos foram considerados os seguintes:
1) definir materiais, instrumentos e procedimentos de administração coletiva do teste Z;
2) adaptar princípios de cotação para as novas variáveis consideradas a partir dos procedimentos propostos em 1);
3) analisar as distribuições de resultados de uma amostra de jovens adultos, tendo por comparação os dados empíricos relevantes obtidos em estudos internacionais;
4) organizar normas de referência interpretativa de protocolos do teste aplicado em contexto de seleção segundo a modalidade de aplicação coletiva.
Método
Participantes
De forma a atingir os objetivos definidos, selecionámos uma amostra de adultos normais, não-referenciados do ponto de vista clínico, e um contexto em que a aplicação coletiva do teste Z se constituísse como uma opção útil para avaliação da personalidade e despiste de psicopatologia, pelo que considerámos o contexto de seleção em meio militar. Após a obtenção das devidas autorizações, o teste foi associado ao processo de seleção, realizado no Centro de Psicologia Aplicada do Exército Português, a candidatos à frequência de cursos destinados à obtenção de licenças de condução de veículos automóveis. Aos candidatos foi dada informação sobre o estudo em curso e foi solicitada a sua colaboração, seguindo as normas éticas aplicáveis à investigação (APA, 2002). Assim, foi obtida a participação de 156 militares do exército, à altura Praças, de ambos os sexos, sendo 124 do sexo masculino (cerca de 79% da amostra), com idades entre os 18 e os 29 anos (M = 22.4; DP = 2.35) e com um nível de estudos académicos que variava entre os 6 e os 12 anos de escolaridade, tendo 53% da amostra o 9º ano.
Instrumentos
Estímulos do Teste Z (Imagens). O material estímulo original do teste Z para aplicação coletiva consistia, como já mencionado, em três imagens, em suporte de diapositivos, a serem apresentadas aos sujeitos por meio de um projetor de slides; na aplicação individual eram utilizados como estímulos as mesmas imagens dos dispositivos, só que impressas em cartões. No nosso estudo, e de forma a otimizar as condições de aplicação, garantir a uniformização e simultaneamente facilitar os aspetos práticos associados à utilização da prova em contexto de grupo, optámos inicialmente por usar, como estímulo, imagens digitalizadas dos três cartões originais do teste Z destinadas à aplicação individual.
As imagens digitalizadas foram organizadas utilizando o software Microsoft Office Power Point, de modo a serem projetadas por meio de um computador e de um videoprojector. Para avaliar a equivalência dos estímulos, submetemos as imagens digitalizadas à avaliação de três psicólogos, com experiência em avaliação psicológica e conhecimentos do teste. Para o efeito, solicitámos-lhes que verificassem possíveis diferenças das imagens na versão original slides e na versão imagens digitalizadas, utilizando a projeção dos dois materiais em simultâneo. Houve unanimidade no sentido de considerar alterações nas tonalidades das cores e dos sombreados, pelo que se decidiu utilizar os diapositivos originais em todas as aplicações.
Folha de Registo. De modo a permitir a recolha de dados e garantir as condições desejáveis de estimulação nas duas fases da prova, procedeu- -se à utilização de uma folha de respostas própria, concebida para o registo na fase de elaboração de respostas e na de inquérito. Essa nova folha, de tamanho A3, está organizada em três partes:
a) a primeira parte inclui um espaço para os dados de identificação e três rectângulos destinados à primeira fase do teste período associativo quando ocorre o registo das respostas para cada uma das imagens;
b) a segunda parte da folha tem a representação, em miniatura, das três imagens e serve para orientar o registo da informação do período de inquérito, pelo que só será visível nesta altura;
c) a terceira parte da folha está em branco e é destinada ao registo da informação solicitada no inquérito; esta parte está colada sobre a segunda parte da folha, evitando, assim, a visualização das imagens por parte dos participantes antes do período de inquérito.
Procedimentos
As aplicações do teste Z decorreram ao longo de 11 sessões, com um tempo médio de 45 minutos cada. Para além da estandardização de materiais e instruções, procurámos que as condições de aplicação fossem idênticas em todas as sessões. As aplicações, realizadas no decurso do processo de seleção em que os participantes estavam envolvidos, ocorreram após os testes cognitivos. Antes de cada aplicação, foi explicado aos participantes o objetivo do estudo e reforçado o carácter voluntário da sua participação. De um modo geral, obtivemos boa recetividade por parte dos candidatos, tendo havido casos excecionais de recusa que foram naturalmente respeitados.
Como procedimentos prévios, assegurámos os propostos no manual original do teste Z (Morali- -Daninos & Canivet, 1955) relativamente à situação de aplicação, designadamente, um número máximo de 30 participantes por sessão, participantes sentados frente a uma mesa distanciada da tela de projeção entre o mínimo de dois metros e meio e o máximo de 15 metros. A iluminação da sala foi variável: sala escurecida durante os 15 segundos iniciais de exposição de cada imagem, passando de seguida a uma claridade ténue e compatível com a visualização das imagens projetadas e com o registo das respostas.
A aplicação foi iniciada com uma apresentação breve do teste aos participantes, seguida da descrição da tarefa solicitada, nomeadamente dos procedimentos de registo de respostas no período associativo. Seguiu-se sempre uma fase de esclarecimento de dúvidas sobre a realização da tarefa. Os esclarecimentos dados foram breves e os casos de dúvidas não diretamente relacionadas com a execução da tarefa foram remetidos para o final do teste. Procedeu-se, de seguida, à entrega da folha de respostas aos participantes e à apresentação das instruções específicas para o primeiro período de aplicação (Anexo A).
Após as instruções gerais e os esclarecimentos, deu-se início ao teste dizendo: Vou então apresentar a primeira imagem. Olhem para ela e escrevam, no primeiro retângulo, as vossas respostas: o que poderia ser isto?. Após a exposição durante cinco minutos, o diapositivo I foi retirado, dizendo: Vamos passar à imagem seguinte. Agora, no segundo retângulo, anotem as respostas à imagem II. O que poderia ser isto? De novo, após a exposição durante cinco minutos, o diapositivo II foi retirado e repetido o procedimento para o diapositivo III.
Terminado o período associativo, foram dadas as instruções específicas para o inquérito (Anexo B) que decorreu em tempo livre. Após indicação para os participantes desdobrarem as folhas de resposta, foi-lhes solicitado que, face à representação das imagens, registassem a localização e os determinantes relativos a cada uma das respostas dadas inicialmente. Foi explicado onde escrever as respostas e como assinalar as áreas de localização. Os diapositivos foram projetados de novo, pela ordem inicial e durante cerca de cinco minutos cada, garantindo, assim, que os participantes tivessem presentes as imagens inicialmente visualizadas.
Cotação das Respostas
A cotação foi precedida pela análise da validade dos protocolos para investigação e foi adotado o critério proposto por Zdunic (2003) de admitir como válidos os que apresentassem, pelo menos, oito respostas. Apesar de exigente, esse critério oferece segurança a essa fase de trabalho, permitindo-nos reduzir os potenciais desvios resultantes da inclusão de protocolos inválidos em dados de investigação (Exner & Sendín, 1995). De acordo com esse critério, foram eliminados 17 protocolos, tendo sido considerados válidos os restantes 139.
Seguiu-se o processo de cotação das respostas o qual observou, em geral, as propostas de Mattlar (Mattlar e cols., 1993) designadamente as recomendadas para os segmentos relativos à Localização, Qualidade Formal (FQ), Popularidade das respostas (P) e Atividade Organizativa (Z). Relativamente aos Determinantes, a cotação teve em conta a informação específica obtida no período de inquérito. Quando ela se revelou insuficiente, foram seguidos, como procedimentos complementares, os critérios sugeridos por Ritzler e Nalesnik (1990).
Devemos considerar que, apesar de o SC compreender um amplo conjunto de regras de cotação, a aplicação das mesmas depende da interpretação das verbalizações obtidas (Novo, 2003). Desse modo, em contextos de investigação, é aconselhada a cotação dos protocolos por mais de um investigador. Neste trabalho, os protocolos foram integralmente cotados pelo primeiro investigador e revistos pelo segundo investigador, tendo as discordâncias sido discutidas até uma decisão final.
Análise de Dados
Realizada a cotação dos protocolos, procedeu- se à determinação das medidas finais, por participante, para a generalidade das variáveis tradicionais do teste Z e para as novas variáveis criadas a partir do SC. Para o efeito, foi elaborada uma folha de cálculo que permitiu o lançamento direto dos resultados de cada participante nas variáveis relativas à Localização, aos Determinantes, aos Conteúdos e aos Códigos Especiais. Esse registo constitui o equivalente à Sequência de Codificações e ao Sumário Estrutural usado no SC e teve objetivos semelhantes, o de sumariar toda a informação quantitativa.
Os dados de cada participante foram posteriormente exportados para um software de análise estatística de modo a determinar a estatística descritiva dos resultados obtidos com o conjunto da amostra. Foram calculados, para cada variável do teste, indicadores de tendência central, de dispersão e de normalidade das distribuições. Procedeu-se posteriormente ao teste de Kolmogorov-Smirnov para objetivar a normalidade das distribuições das diversas variáveis e foi adotado o critério de significância de p > .05 para assumir a normalidade da distribuição.
Resultados
A estatística descritiva das 112 variáveis consideradas neste estudo é apresentada na Tabela 1. Os resultados foram obtidos a partir de 139 protocolos válidos que envolvem um total de 1390 respostas. Para cada variável, são apresentados os dados referentes aos valores máximos e mínimos, média, desvio-padrão, mediana e moda, coeficientes de assimetria e curtose, e valores de significância referentes à estatística do teste de Kolmogorov-Smirnov.
Os resultados obtidos permitem-nos verificar, na generalidade, a existência de distribuições de resultados semelhantes às encontradas nos trabalhos realizados com o Zulliger sob a metodologia do SC (Astori & Zdunic, 2003; Mattlar e cols., 1990; Vilches & Olivos, 2004). O estudo de Astori e Zdunic (2003) constitui, a esse nível, o primeiro e mais adequado termo de referência, pois se refere à modalidade de aplicação coletiva do teste e compreende a generalidade de variáveis passíveis de serem consideradas no âmbito da adaptação em curso. Comparações com resultados de outros trabalhos serão realizadas com prudência, pois os dados ou provêm da modalidade de aplicação individual (Vilches & Olivos, 2004; Villemor-Amaral & Primi, 2009) ou resultam de estudos que contemplam um número restrito de variáveis (Mattlar e cols., 1990).
A análise dos resultados obtidos no presente estudo permite verificar que a generalidade das variáveis não apresenta uma distribuição normal e que apenas seis variáveis se apresentam com uma distribuição aproximada à normal (Zf, ZSum, Índice de Egocentricidade [(3r+(2)/R], F%, X+%, e Xu%). O mesmo acontece nos trabalhos referentes ao Rorschach (Exner, 2003) e com outros trabalhos de estrutura semelhante realizados com o teste Z (Astori & Zdunic, 2003; Vilches & Olivos, 2004), mostrando, assim, que a distribuição normal é menos expectável em variáveis que pretendem justamente caracterizar processos percetivos, cognitivos e ideativos muitos específicos e de reduzida frequência.
Algumas das variáveis tiveram frequência nula no nosso estudo e não foram alvo de análise, nomeadamente MQ+, Cn, DR1 e CONTAM. Embora isso possa ser devido à dimensão reduzida da amostra em estudo, valores médios de ocorrência de variáveis da mesma natureza são também próximos de zero no Rorschach (Exner, 2003). A razão fundamental para essa reduzida expressão estará relacionada com o facto de serem variáveis que assinalam processos psicológicos invulgares ou mesmo raros, quer de excelência na análise percetivo-cognitiva (MQ+), quer de distorções ou alterações do pensamento (Cn, DR, CONTAM). De qualquer modo, a possibilidade de identificar esse tipo de processos, quando ocorrem, constitui um dos objetivos do teste na caracterização do funcionamento psicológico e na diferenciação da normalidade relativamente à patologia.
A comparação dos dados obtidos com os disponíveis na literatura permite verificar que, na generalidade, há uma aproximação dos resultados nos diferentes segmentos de cotação: localização, determinantes, conteúdos e fenómenos especiais. Consideraremos de forma destacada os valores referentes às variáveis R (número de respostas) e Lambda (quociente afetivo), não só porque elas são importantes em si mesmas, como também porque estão implicadas no cálculo e na interpretação de outras variáveis. Relativamente a R, pode-se observar a semelhança dos valores obtidos (M = 10.0; DP = 1.89) com os de Mattlar e cols. (1990) e os de Astori e Zdunic (2003), cujas médias se cifraram em 10.5 (DP = 6.2) e 11.96 (DP = 3.08), respectivamente. No que diz respeito aos valores de Lambda, estes são superiores (M = 1.53; DP = 1.62) relativamente aos valores obtidos por Mattlar e cols. (1990) (M = 0.94) e Astori e Zdunic (2003) (M = 0.76; DP = 1.09), o que carece de análise. Os valores dessa variável dependem diretamente da natureza do inquérito realizado e dos critérios de cotação dos determinantes, designadamente de F (puro), pelo que as diferenças encontradas podem dever-se às alterações introduzidas nos procedimentos do inquérito. Os próprios autores (Mattlar e cols., 1990) indicam que o valor de Lambda seria superior caso a equipa de investigação tivesse cotado apenas o que o sujeito disse/ escreveu (p. 20) e prossegue afirmando que, em caso de incerteza devido à escassa verbalização do sujeito, quer em aplicações individuais quer nas coletivas, foi cotado outro determinante, para além da forma, procedimento que contribui diretamente para um valor mais reduzido de Lambda.
Contudo, as diferenças ao nível da variável Lambda deverão também ser consideradas tendo em conta a natureza da amostra estudada (elementos de forças militares) e, sobretudo, o contexto em que decorreu a avaliação (seleção). É legítimo supor que, nesse contexto específico, haverá uma maior contenção e reserva da expressividade psicológica, pelo que o valor de L tenderá a ser mais elevado. Os resultados obtidos nas restantes variáveis indicam uma grande proximidade face aos dados provenientes de contextos de aplicação coletiva do Z a que temos vindo a aludir, o que nos leva a considerar a adequação dos procedimentos de adaptação metodológica do teste Z seguidos no estudo.
Discussão
O estudo empírico realizado teve por objetivo testar a adaptação da metodologia do Sistema Compreensivo do Rorschach ao teste de Zulliger, na modalidade de aplicação coletiva. Os resultados obtidos são encorajadores e permitem vislumbrar a possibilidade de o teste ser utilizado em diferentes contextos, clínicos e não-clínicos. A metodologia proposta revela-se promissora, pois oferece objetividade aos procedimentos de aplicação e permite obter uma maior informação para efeitos de cotação. Os dados obtidos revelam-se na linha dos trabalhos realizados noutros países, com algumas diferenças que consideramos serem decorrentes das inovações introduzidas ao nível do inquérito. Tais inovações favorecem uma mais ampla aplicação dos procedimentos do SC e estes, por sua vez, permitem ampliar a expressão das dimensões da personalidade e da psicopatologia em avaliação.
Os dados obtidos revelam-se promissores e aconselham novos estudos. Eles são provenientes de uma reduzida amostra e de um grupo específico da população, pelo que são necessários trabalhos com amostras mais amplas e provenientes de contextos diversos. São também necessários estudos de carácter normativo para identificação de Áreas de Localização, Listas de Qualidade Formal e de Respostas Populares. A exigência de especificidade normativa, apontada por Anastasi e Urbina (2000) é ainda mais relevante quando estamos perante um instrumento com modalidades de utilização e critérios de cotação tão diversos. Entretanto, há necessidade de estudos de precisão e de validade, concorrente e preditiva.
Será necessário, em futuros trabalhos, vir a proceder ao cálculo do acordo intercotadores. Embora esse procedimento seja sempre desejável, no caso da modalidade de aplicação coletiva, a codificação por vários examinadores mostra-se necessária para potenciar a precisão dos dados. Essa modalidade coloca dificuldades acrescidas na cotação das respostas, que vão desde a deficiente caligrafia de alguns participantes até a insuficiência da informação que disponibilizam na fase de inquérito. Futuros trabalhos poderão vir a testar procedimentos complementares no sentido otimizar a recolha de informação. A diversidade de variáveis disponibilizadas por essa nova versão merece também reflexão e, face a dados empíricos consistentes, consideramos vir a propor um sumário estrutural mais parcimonioso e ajustado às possibilidades descritivas e aos objetivos do teste.
A investigação existente sobre o teste Z, apesar de escassa, mostra evidências da pertinência da sua utilização em diversos contextos, sobretudo pela economia de tempo de aplicação e cotação (Sandahl e cols., 1990), pela possibilidade de constituir um bom instrumento para a avaliação (Mahmood, 1990) em contexto organizacional ou de investigação, bem como por permitir formular hipóteses no contexto clínico. Em qualquer dos casos, a utilização do teste reveste-se de grande valor quando uma medida projetiva se mostra necessária na avaliação de um grande número de indivíduos, num curto período de tempo (Klimoski & Zukin, 2003).
A avaliação da personalidade por meio das técnicas projetivas, nas quais o Z se insere, ultrapassa as limitações que têm vindo a emergir na literatura relativamente às medidas de autorrelato. O efeito das variáveis de contexto, da ordem das perguntas com conteúdo relevante para o self e da própria linguagem usada nos estímulos são alguns dos problemas associados aos instrumentos de autorrelato (Schwarz, 1999). Como assinala Åkerlund (s.d., citado por Mattlar, 2005), se a cognição é uma estrutura mais simples do que a personalidade, e se os autorrelatos têm limitações para a avaliação da capacidade e da estrutura cognitiva, por que considerar os autorrelatos para avaliar a personalidade? Na verdade, todos os instrumentos têm vantagens e limitações próprias pelo que, dependendo dos objetivos e das questões em avaliação, bem como dos contextos de aplicação, estamos obrigados a tomar opções adequadas, necessitando para isto de instrumentos em condições de uma adequada utilização.
O estudo realizado procura contribuir para o início de uma fase de utilização e investigação sobre o Z em Portugal. A estandardização do teste, seguindo estudos anteriores realizados noutros países e criando novas soluções para as dificuldades que a adaptação do SC para o Zulliger envolve, não está ainda de forma alguma concluída. As adaptações introduzidas foram guiadas pela experiência do SC, mas antecipamos a possibilidade de prescindir e/ou criar variáveis específicas para o Z, mais adaptadas às condições do próprio teste. A Nota Z e o Quociente Afectivo são duas das variáveis calculadas no âmbito do SC que não podem ser transferidas diretamente para o teste Z. No entanto, por meio de estudos de validade, poder-se-ão considerar variáveis específicas do Z que se constituam como indicadores relevantes de recursos e potencialidades nos domínios cognitivo, motivacional e afetivo- -emocional. O conjunto de trabalhos publicados nesta última década sobre o Z, aliado às múltiplas necessidades de avaliação da personalidade e da psicopatologia em diferentes contextos, clínicos e organizacionais, faz supor o desenvolvimento das formas de aplicação individual e coletiva do teste Z e de uma investigação mais intensa sobre o sentido interpretativo das variáveis do teste.
Referências
American Psychological Association - APA. (2002). Ethical Principles of Psychologists and code of conduct. American Psychologist, 57, 10601073. [ Links ]
Anastasi, A. & Urbina, S. (2000). Testagem Psicológica. São Paulo: Artes Médicas. [ Links ]
Astori, G. & Zdunic, A. (2003). El Test de Zulliger Sistema Comprehensivo. Versión Colectiva en Evaluación Laboral. Psicodiagnosticar, 13, 8795. [ Links ]
Bach, P. L. (2005). A descriptive Rorschach study of senior business executives. Dissertação não- -publicada, Alliant International University, Fresno. [ Links ]
Ben-Porath, Y. S. (2003). Assessing personality and psychopathology with self-report inventories. Em: I. B. Weiner (Org.), J. R. Graham & J. A. Naglieri (Vol. Org.), Handbook of psychology: Vol. 10. Assessment psychology (pp. 553578). Hoboken, NJ: John Wiley & Sons. [ Links ]
Caldwell, J. & Panimon, C. (1955). Projective testing in an industrial research organization: One experience. The Journal of Business, 28, 6771. [ Links ]
Cornelius, E. T. III (1983). The use of projective techniques in personnel selection. Research in personnel and human resource management. Greenwich, CT: JAI Press. [ Links ]
Exner, J. E. (1974). The Rorschach: A comprehensive system. Volume 1: Basic foundations. New York: John Wiley & Sons. [ Links ]
Exner, J. E. (1991). The Rorschach: A comprehensive system. Interpretation. New York: Wiley [ Links ]
Exner, J. E. (1997). The future of Rorschach in personality assessment. Journal of Personality Assessment, 68, 3746. [ Links ]
Exner, J. E. (2003). The Rorschach: A comprehensive system. Volume 1: Basic foundations and principles of interpretation (4a ed.). Hoboken, NJ: Wiley. [ Links ]
Exner, J. E. & Sendín, C. (1995). Manual de interpretación del Rorschach. Madrid: Prismática. [ Links ]
Garcia-Santos, S. C., Almeida, L. S., Werlang, B. S. & Veloso, A. L. (2010). Processamento de informação em gestores de alto desempenho. Motricidade, 6, 85102. [ Links ]
Garcia-Santos, S. C. & Vaz, C. E. (2005). O profissional da informática e a sua personalidade analisada por meio da técnica Rorschach. Psicologia em Estudo, 10, 517525. [ Links ]
Guion, R. (1965). Personnel Testing. New York, NY: McGraw-Hill. [ Links ]
Klimoski, R. J. & Zukin, L. R. (2003). Psychological assessment in industrial/organizational settings. Em: I. Weiner (Org.), J. R. Graham, & J. A. Naglieri (Vol. Org.), Handbook of psychology: Vol. 10. Assessment psychology (pp. 317344). Hoboken, NJ: John Wiley. [ Links ]
Mahmood, Z. (1990). The Zulliger test: Its past and future. British Journal of Projective Psychology, 35, 216. [ Links ]
Mattlar, C. E. (2005). The utility of Rorschach Comprehensive System: an increasing body of supportive research. South African Rorschach Journal, 2, 331. [ Links ]
Mattlar, C. E., Forsander, C., Norrlund, L., Carlson, A., Vesala, P., Oist, A. E. & Uhinki, A. (1993). A Zulliger workbook for applying the Rorschach Comprehensive System. Turku: The Research and Development Unit of the Social Insurance Institution. [ Links ]
Mattlar, C. E., Sandahl, C., Lindberg, S., Lehtinen, V., Carlsson, A., Vesala, P. & Mahmood, Z. (1990). Methodological issues associated with the application of the Comprehensive System when analysing the Zulliger, and the structural resemblance between the Zulliger and the Rorschach. British Journal of Projective Psychology, 35, 1727. [ Links ]
Morali-Daninos, A. & Canivet, N. (1955). Le test «Z» Manuel dapplication. Paris: Editions du Centre de Psychologie Appliquée. [ Links ]
Morali-Daninos, A. & Canivet, N. (1970). La Técnica del Test «Z». Madrid: TEA Ediciones. [ Links ]
Naglieri, J. A. & Graham, J. R. (2003). Current status and future directions of assessment psychology. Em: I. B. Weiner (Org.), J. R. Graham, & J. A. Naglieri (Vol. Org.), Handbook of psychology: Vol. 10. Assessment psychology (pp. 579592). Hoboken, NJ: John Wiley & Sons. [ Links ]
Novo, R. F. (2003). Para Além da Eudaimonia. O Bem-Estar Psicológico em Mulheres na Idade Adulta Avançada. Lisboa: FCG e FCT. (Original publicado em 2000). [ Links ]
Ritzler, B. & Nalesnik, D. (1990). The Effect of Inquiry on the Exner Comprehensive System. Journal of Personality Assessment, 55, 647656. [ Links ]
Ruth, J. E., Obergi, P., Mattlar, C. E., Sandahl, A. S., Oist, A., Carlsson, A. & Vesala, P. (1990). Old age and loneliness illustrated by the Zulliger. British Journal of Projective Psychology, 35, 6168. [ Links ]
Sainz, F. & Gorospe, L. (2005). El test de Rorschach y su aplicación en la psicología de las organizaciones. Buenos Aires: Paidós. [ Links ]
Sandahl, C., Mattlar, C. E., Carlsson, A., Vesala, P. & Rosenqvist, A. (1990). The personality structure for the normal adult, as revealed by the Zulliger. British Journal of Projective Psychology, 35, 5460. [ Links ]
Schwarz, N. (1999). Self-Reports. How the questions shape the answers. American Psychologist, 54, 93105. [ Links ]
Semeonoff, B. (1990). The Zulliger Test in a selection context. British Journal of Projective Psychology, 35(2), 2834. [ Links ]
Uhinki, A., Mattlar, C. E., Sandahl, C., Vesala P. & Carlsson, A. (1990). Personality traits characteristic for adolescents highlighted by the Zulliger. British Journal of Projective Psychology, 35, 4953. [ Links ]
Vaz, C. E. (2000). A técnica de Zulliger no processo de avaliação da personalidade. Em: J. A. Cunha, Psicodiagnóstico-V (5a ed., pp. 386398). Porto Alegre: ArtMed. [ Links ]
Vilches, L. & Olivos, S. (2004). Propuesta de parámetros referenciales para la utilización del test de Zulliger individual en selección de personal. Memoria para optar al título de psicólogo. Santiago de Chile: Universidad de Chile.
Villemor-Amaral, A. E. (2006). Executive Performance on the Rorschach - Comprehensive System. Rorschachiana, 28, 119133. [ Links ]
Villemor-Amaral, A. E. & Primi, R. (2009). O teste de Zulliger no Sistema Compreensivo (ZSC): forma individual. São Paulo: Casa do Psicólogo. [ Links ]
Villemor-Amaral, A. E & Machado, M. A. (2011). Indicadores de depressão do Zulliger no Sistema Compreensivo (ZSC). Paidéia, 21, 2127. [ Links ]
Weiner, I. B. (2000). Making Rorschach interpretation as good as it can be. Journal of Personality Assessment, 77, 122127. [ Links ]
Weiner, I. B. (2001). Considerations in collecting Rorschach reference data. Journal of Personality Assessment, 74, 164174. [ Links ]
Zdunic, A. L. (2003). El test de Zulliger en la evaluación de personal. Aportes del Sistema Comprehensivo de Exner (2a ed.). Buenos Aires: Paidós. [ Links ]
Zulliger, H. (1959). Le test Z Individuel. Paris: Presses Universitaires de France.
Recebido em março de 2012
Reformulado em junho de 2012
Aceito em julho de 2012
Sobre os autores:
Hugo Miguel Martins Fazendeiro: Licenciado em Psicologia Clínica e de Aconselhamento pela Universidade Lusófona de Humanidades e Tecnologias. Mestre em Avaliação Psicológica pela Universidade Coimbra. Doutorando em Avaliação Psicológica na Universidade de Lisboa. Psicólogo Militar da Força Aérea Portuguesa.
Rosa de Jesus Ferreira Novo: Doutora em Psicologia Clínica pela Universidade de Lisboa. Professora Associada na Faculdade de Psicologia da mesma Universidade. Professora das unidades curriculares ligadas à Avaliação Psicológica.
1Faculdade de Psicologia, Alameda da Universidade, 1649-013 Lisboa Portugal E-mail: rfnovo@fp.ul.pt
2A designação original de Rorschach Comprehensive System foi traduzida em Portugal como Sistema Integrativo do Rorschach (SIR) e corresponde à de Sistema Compreensivo utilizada no Brasil.