ARTIGOS

 

Análise da produção científica em painéis dos congressos brasileiros de avaliação psicológica

 

Scientific production analysis of posters of the brazilian national convention of psychological assessment

 

 

Maria Cristina Rodrigues Azevedo Joly ^*; Marjorie Cristina Rocha da Silva ^**; Maiana Farias Oliveira Nunes ^***; Mayra Silva de Souza ^****

Universidade São Francisco

Endereço para correspondência

 

 

---

RESUMO

A análise da produção científica busca descrever ou mapear a produção em áreas específicas, detalhando as que já são bastante investigadas e apontando lacunas. Este artigo analisou 934 resumos de painéis dos três Congressos Nacionais de Avaliação Psicológica. A produção foi predominantemente feminina, com autores filiados a instituições públicas e particulares de ensino, procedentes da região Sudeste do Brasil. Houve uma grande variedade de testes psicológicos citados, em sua maioria testes objetivos, de inteligência e personalidade. A maioria dos estudos realizados foram psicométricos, com procedimento quantitativo de análise de dados. São discutidas as principais tendências encontradas e suas implicações para a pesquisa e prática em avaliação psicológica.

Palavras-chave: Avaliação psicológica, Análise da produção científica, Testes psicológicos.

---

ABSTRACT

Scientific production analysis aims to describing or mapping the production in specific areas, showing details about aspects that have already been studied and also blanks. This paper analyzed 943 posters' abstracts presented at three National Conventions of Psychological Assessment. Women were the most productive, with authors filiated to public and private schools from Southwest brazilian region. Many different tests were referred to in the abstracts, most of them were objectives tests of intelligence and personality. Most studies were psychometric and used quantitative analysis. The main tendencies observed are discussed as its implications for research and practice in psychological assessment.

Keywords: Psychological assessment, Scientific production analysis, Psychological tests.

---

 

 

Introdução

A Avaliação Psicológica é compreendida como um processo no qual há coleta de dados relativa a indivíduos ou contextos, visando identificar, caracterizar e analisar aspectos considerados como problema ou dificuldade, para, se necessário, planejar intervenções. Segundo Pasquali (2001), podem-se considerar quatro etapas sucessivas que orientam os trabalhos do psicólogo que realiza avaliação, que são a identificação do problema, necessidades e processos psicológicos, a integração das informações coletadas, a inferência sobre tipos ou perfis observados e, por fim, a intervenção, que seria uma etapa de aconselhamento, terapia e outros, buscando a cura, prevenção ou o auto-desenvolvimento.

Vários procedimentos são utilizados, tais como entrevistas, observações e testagens. Sendo assim, os testes psicológicos são ferramentas utilizadas na avaliação psicológica que permitem avaliar de maneira sistemática e padronizada, amostras de comportamento relevantes, especialmente, para o funcionamento cognitivo, afetivo, social e motor (Anastasi & Urbina, 2000; Urbina, 2007).

Os testes psicológicos podem ser classificados em função de três eixos principais, a objetividade e padronização, o construto que medem e a forma de resposta. Quanto à primeira categoria, os testes são divididos em psicométricos e impressionistas; no que diz respeito ao construto, a capacidade ou aptidão e as preferências. Por fim, a forma de resposta pode ser classificada em termos de verbal, lápis e papel, motor ou aplicação via computador. O relato verbal refere às respostas verbais dadas em situações de testagem, como aquelas em que o sujeito vê figuras e indica o que elas representam. Os instrumentos em formato lápis e papel são questionários, escalas e inventários em que o sujeito emite suas respostas por meio da escrita. Por fim, em aplicações informatizadas os itens são apresentados na tela do computador e o sujeito precisa executar certas ações que indiquem sua resposta, como clicar com o mouse em cima da alternativa correta (Pasquali, 2001).

Numa perspectiva internacional da evolução da psicometria, observa-se dois elementos centrais, quais sejam, a inteligência e a personalidade. São acrescidos a essas duas áreas, dois focos mais novos, que são as avaliações do comportamento e as neuropsicológicas. A testagem da inteligência passou por vários períodos com diferentes questões que a orientavam, entre elas a testagem para as forças armadas no período de guerra, a testagem de crianças com retardos intelectuais, o debate sobre a existência de um fator geral ou de habilidades específicas, entre outros. Mais atualmente, pode-se mencionar um foco da avaliação da inteligência enquanto uma análise mais detalhada dos processos cognitivos (Goldstein & Hersen, 2000).

No que se refere à avaliação da personalidade, historicamente menciona-se duas correntes, nomotética versus idiográfica, indicando focos nas comparações de sujeitos com grupos maiores ou avaliações mais individualizadas. Adicionalmente, três métodos são tradicionalmente utilizados, a saber, as entrevistas, os testes objetivos e projetivos. Ao longo do tempo, tem sido discutidas questões sobre validade e precisão dos diferentes métodos, havendo um declínio, no âmbito internacional, da utilização das técnicas projetivas. Outro tipo de avaliação destacada é a comportamental. Essa refere-se principalmente a técnicas de avaliação do comportamento e entrevistas psiquiátricas estruturadas. Por fim, destacam-se as baterias neuropsicológicas que têm sido desenvolvidas, a fim de auxiliar no tratamento de pacientes com suspeita de prejuízos em funções cerebrais. Como perspectivas para o futuro da avaliação, os pontos de destaque são o aumento da automatização dos processos, a observação direta do comportamento e as aplicações práticas possíveis para os resultados dos testes (Goldstein & Hersen, 2000).

Quatro parâmetros são analisados quanto à qualidade dos testes psicológicos, quais sejam, validade, precisão ou fidedignidade, padronização e normatização. Validade pode ser compreendida como o grau com que as interpretações feitas a partir dos escores de um teste são sustentadas por evidências empíricas ou teóricas. Assim, um teste psicológico pode ser válido em circunstâncias específicas de uso, para as quais os dados teóricos ou empíricos encontraram sustentação para a interpretação dos seus resultados (American Educational Research Association [AERA], American Psychological Association [APA], National Council on Measurement in Education [NCME], 1999).

A AERA, APA e NCME (1999) categorizaram os procedimentos utilizados para a investigação da validade dos testes, sejam eles: evidência baseada no conteúdo, na qual se investiga se os itens do teste se organizam em amostras abrangentes do domínio que se pretende avaliar; evidência baseada nas relações com outras variáveis, na qual são buscados padrões de correlação entre escores do teste e outras variáveis que meçam o mesmo construto ou construtos relacionados e com variáveis que meçam construtos diferentes; evidência baseada na estrutura interna, na qual busca-se dados sobre a estrutura das correlações entre itens avaliando o mesmo construto e ainda sobre as correlações entre subtestes avaliando construtos similares; evidência baseada no processo de resposta, na qual busca-se dados sobre os processos mentais envolvidos na realização das tarefas propostas pelo teste; e evidência baseada nas conseqüências da testagem, na qual se examina conseqüências sociais intencionais e não intencionais do uso do teste para verificar se sua utilização está tendo os efeitos desejados de acordo com os objetivos para o qual foi criado.

Já a fidedignidade ou precisão dos testes refere-se ao grau com que os resultados de um teste se mostram consistentes quando medido em situações diferentes, e sendo assim, quanto maior a correlação entre os escores dos dois momentos diferentes, maior será a precisão do teste (Anastasi & Urbina 2000). Outro aspecto relevante a ser considerado é a padronização de um teste, que diz respeito à uniformidade de procedimentos utilizados em sua aplicação. Quando as condições de aplicação não são asseguradas, mesmo um teste de boa qualidade pode tornar-se inválido, não enquanto medida psicométrica, mas na proporção em que os dados obtidos sobre o sujeito não são confiáveis. Por fim, a normatização refere-se à uniformidade na interpretação dos resultados dos testes, ou seja, o desenvolvimento de critérios ou parâmetros para a interpretação dos escores obtidos nos testes. A normatização permitirá situar o testando, levando-se em conta um padrão ou norma, atribuindo sentido aos escores obtidos no teste (Pasquali, 2001).

Quanto às tendências atuais da psicometria, Pasquali (2003) discute que alguns temas foram associados à área, como a Teoria de Resposta ao Item, a sistematização da Psicometria Clássica, a pesquisa em áreas paralelas (tais como testes com referência a critério, banco de itens, entre outros), e por fim o impacto dos estudos em psicologia cognitiva, no sentido de descrever mais detalhadamente os componentes e processos cognitivos.

Nessa mesma direção, pode-se analisar o livro elaborado sobre padrões de testagem psicológica e educacional no âmbito internacional (AERA, APA & NCME, 1999), em que se observa uma divisão em torno de três eixos principais, a saber, a construção, avaliação e documentação de testes; parâmetros de justiça na testagem e, por fim, as aplicações das testagens. Essa divisão aponta para temas centrais reconhecidos internacionalmente como focos importantes para a reflexão e desenvolvimento da área. Assim, há que se investigar em que medida os estudos brasileiros acompanham as tendências internacionais.

Quanto à pesquisa em avaliação psicológica, Noronha e Alchieri (2002) acreditam que o foco principal da área volta-se para a questão da qualidade dos instrumentos (estudos de validade e precisão), assim como para a construção dos mesmos. Àquela data, os autores trouxeram duas questões que consideraram como principais na reflexão sobre o desenvolvimento da área de avaliação psicológica no Brasil. O primeiro tópico refere-se ao fato de que os manuais dos instrumentos comercializados não atendem aos critérios mínimos relacionados às informações necessárias para a escolha e utilização dos testes para contextos específicos. O segundo aspecto aborda a que o país ainda carece de trabalhos que façam uma compilação dos instrumentos, com exceção de poucas iniciativas isoladas. Quanto aos objetivos do presente artigo, que é a análise de resumos de trabalhos apresentados nos Congressos Brasileiros de Avaliação Psicológica, uma questão que surge é se os mesmos problemas apontados há mais de cinco anos se mantêm com o passar do tempo.

Hutz e Bandeira (2003) ressaltam que os desafios da avaliação psicológica residem em três elementos centrais, a formação do psicólogo, a pesquisa e o controle da qualidade das avaliações realizadas. Quanto aos problemas de formação, tanto a formação dos professores é considerada deficitária como a falta de consenso sobre o que deve ser ensinado atrasada a evolução da área. Os problemas do ensino de avaliação psicológica também são debatidos por outros autores como Brandão (2007), que aponta para a restrição dos investimentos na área clínica e o menor avanço de outras áreas. Na mesma direção, Noronha e cols (2004) e Noronha, Nunes e Ambiel (no prelo) discutem que o ensino deficitário pode levar a uma atuação profissional imprópria e inconsistente, especialmente na área de avaliação psicológica requer conhecimentos específicos sobre os testes.

Apesar de limitações, considera-se que a área se encontra em expansão, com um aumento no número de pesquisadores envolvidos, nas publicações científicas, de linhas de pesquisa, entre outros. Algumas tarefas da área foram apontadas como mais urgentes, a saber, a definição dos conteúdos a serem ensinados na graduação, a educação continuada, a qualificação dos professores, o estabelecimento dos limites da avaliação, com foco nos aspectos éticos e a integração de diferentes laboratórios e pesquisadores (Hutz & Bandeira, 2003).

Um aspecto importante a ser discutido é a descrição das pesquisas realizadas na área de avaliação. Filho, Belo & Gouveia (2006) realizaram um estudo que buscou traçar o perfil da utilização dos testes psicológicos na literatura científica em periódicos brasileiros, publicados entre os anos de 2000 e 2004. Os principais resultados demonstraram predominância dos artigos que não consideram nenhum teste. Dentre os que consideram, há uma equivalência entre aqueles que utilizam os testes de forma direta e indireta, sendo a maioria deles de natureza empírica. A maior concentração dessas produções está situada na Região Sudeste. Em temos institucionais, as universidades mais produtivas foram as federais e privadas, sobretudo aquelas que têm um histórico pautado pelo interesse na área da avaliação psicológica. Concluiu-se, de forma geral, que a utilização dos testes psicológicos no contexto da produção nacional ainda é modesta e está, em grande parte, restrita aos âmbitos acadêmicos mais intensamente dedicados ao estudo dos testes.

Considerando os objetivos do presente trabalho, que envolvem a análise de anais de congresso, vale uma discussão dos formatos de produção mais comuns dentro do meio acadêmico. Antes mesmo da era do "open access", que permitiu o acesso livre do conhecimento científico por meio da Internet, os anais de congressos, dentre outras formas de publicação, eram considerados sob a forma de literatura cinzenta, consistindo em informação de difícil acesso e aquisição. Esse tipo de literatura possui baixa visibilidade, uma vez que sua capacidade de exposição e fluxo de informação é restrita, muitas vezes não podendo ser acessada frente a uma demanda. Mesmo que disponível na Internet, ainda se discute se os anais de congressos podem ou não constituir-se em literatura cinzenta, pois se encontram misturados no lixo eletrônico (Funaro & Noronha, 2006; Packer & Meneghini, 2006).

Outro meio de divulgação de pesquisas, mais valorizado pela comunidade científica, são os artigos científicos. As revistas científicas registram e difundem o conhecimento existente, possibilitando a compreensão das áreas e sua evolução, os conteúdos, linhas, categorias, enfoques e também os métodos utilizados nas pesquisas. Os artigos publicados pelas revistas são lidos e também citados pela comunidade científica, constituindo-se em uma forma de comunicação dos resultados de uma pesquisa (Bufrem, 2006; Gonçalves, Ramos & Castro, 2006). Com a necessidade de apresentar esses resultados de pesquisa, as publicações foram aumentando em escala mundial. Atrelado a esse aumento, cresceu também a preocupação em se publicar por meio de artigos científicos, uma vez que o reconhecimento de um pesquisador passou a ser julgado diante do número de publicações em sua autoria. E com esse movimento, ficou mais difícil para o pesquisador ler e acompanhar o número de publicações em sua área. Desta forma, os artigos de revisão sistemática adquirem importância, tornando-se estratégias de prioridade para atualização na área (Liewehr, 2005; Tenopir, 2002, citados por Packer & Meneghini, 2006).

Witter (1999) defende que a prática de estudar o que foi produzido auxilia no mapeamento do estado da arte daquela área de conhecimento, apontando tanto para as lacunas existentes como para as áreas que já foram muito pesquisadas. Algumas pesquisas já foram desenvolvidas no âmbito nacional envolvendo a análise da produção científica, entre elas a de Domingues e Maluf (2002), sobre as pesquisas com testes de inteligência, a de Noronha e cols. (2004), que envolveu uma análise do Congresso do IBAP de 2003, o de Joly, Martins, Abreu, Souza e Cozza (2005), que envolveu a análise da produção em avaliação psicológica informatizada, o de Noronha e cols. (2006), que investigou a produção de teses e dissertações na área de avaliação em orientação profissional e por fim o de Oliveira, Cantalice, Joly e Santos (2006), sobre a produção em Psicologia Escolar em periódico científico especializado.

O presente artigo ganha relevância quando analisado nesse contexto, ao realizar uma tentativa de descrever os conteúdos trabalhos em três Congressos Brasileiros de Avaliação Psicológica. Quanto aos objetivos desse estudo, torna-se relevante uma descrição inicial do tipo de evento de onde os Anais analisados foram extraídos. O Instituto Brasileiro de Avaliação Psicológica (IBAP) promove desde 2003 o Congresso Nacional de Avaliação Psicológica, com periodicidade bianual, tratando de temas relacionados à avaliação psicológica, pretendendo cooperar com a comunidade científica nacional e internacional, no sentido de traçar parâmetros de qualidade para os instrumentos e técnicas envolvidas na avaliação psicológica.

 

Método

O estudo foi realizado por meio da análise dos resumos de painéis publicados nos Anais dos Congressos de 2003, 2005 e 2007, realizados, respectivamente em Campinas-SP, Gramado-RS, João Pessoa-PB.

Composição da amostra e material

A amostra foi composta por 934 resumos de diversas áreas, sendo 264 do primeiro congresso (2003), 322 do segundo (2005) e 348 do terceiro (2007). Esses resumos estavam disponíveis no CD disponibilizado no 3º Congresso de Avaliação Psicológica. Optou-se pela análise dos painéis, e não também pela análise dos resumos de mesas, pelo volume do material já relacionado nos resumos escolhidos, que acreditamos ser suficiente para uma caracterização nacional inicial das evoluções da área ao longo do tempo.

Procedimento

Os resumos foram classificados por três autoras desse artigo, todas com Mestrado na área de avaliação psicológica, atualmente doutorandas do mesmo programa Stricto Sensu em Psicologia. Os critérios de análise definidos basearam-se conjuntamente nas categorias previamente utilizadas em estudos semelhantes, descritos na introdução, e no tipo de informação trazida nos resumos.

Os painéis foram analisados com base em alguns critérios, a saber, tipo de estudo (psicométrico, de aplicação e descritivo); tipo de pesquisa (documental, empírica, revisão bibliográfica, estudo de levantamento, estudo de caso); quantidade e sexo dos autores; tipo de instituição às quais os autores estavam vinculados (universidade públicas, particulares, institutos de pesquisa ou empresas); região do país nas quais os autores atuam; procedimento de avaliação adotado (teste, entrevista, observação, misto); área de aplicação (áreas apontadas pelo Conselho Federal de Psicologia, que serão descritas adiante); nome do construto avaliado; tamanho da amostra, faixa etária e tipo de grupo (estudantes, profissionais ou pessoas institucionalizadas, com e sem distúrbio psicológico diagnosticado); nome, tipo (projetivo, objetivo ou mais de um) do instrumento utilizado e tipo de aplicação (lápis e papel, informatizada, relato verbal); se inclui os seguintes estudos psicométricos: validade (que tipo), precisão (que tipo), adaptação, normatização e padronização; procedimento de análise utilizado (qualitativo, quantitativo ou ambos).

Quanto ao tipo de estudo, os psicométricos envolveram pesquisas que buscavam validade, precisão, adaptação, padronização ou normatização de instrumentos; os descritivos buscam caracterizar uma área de atuação ou prática específica em avaliação psicológica e os de aplicação dizem respeito aos estudos realizados por psicólogos, que podem incluir o uso de instrumentos, mas que não possuem como objetivo principal a qualidade psicométrica destes.

Para os critérios descritos acima, havia a possibilidade de classificação como "não informado", "não se aplica" (e.g. estudos que não fossem psicométricos não teriam as características de validade, precisão e outros avaliados) ou "mais de um" (e.g. os autores originam-se de mais de uma região do país). Por fim, vale destacar que no ano de 2007 seis resumos foram excluídos da análise por não apresentaram informações suficientemente claras para serem caracterizados pelos critérios supracitados, em 2003, 15 resumos foram excluídos.

 

Resultados

Houve um aumento no número de painéis apresentados nos Congressos ao longo dos anos que foram realizados. Constatou-se que, do total analisado, 28,3% correspondem ao congresso de 2003, 34,5%, a 2005 e 37,2% a 2007.

 

 

Em relação ao número de autores inscritos nos resumos, houve uma variação de 1 a 24. Não foram verificadas diferenças significativas nas quantidades de autores entre três anos dos congressos, como pode ser observado pelos valores do teste Qui-quadrado de Pearson (x2 [22] = 30,041; p = 0,117). Esse resultado se deve, principalmente, à grande variabilidade no número de participantes dos resumos (Tabela 1). No total de resumos, nota-se que grande parte dos trabalhos tem até quatro autores (79%).

 

 

Dentre os autores dos resumos, percebe-se uma predominância na participação do gênero feminino, havendo um total de 873, em comparação com 492 homens. No que se relaciona a filiação institucional dos autores, verifica-se diferenças significativas nas distribuições por ano de congresso (x2 [10] = 67,801; p < 0,001). Pode-se observar na Tabela 2 que as instituições privadas tiveram maior representatividade em 2003 (49,2%), enquanto que as instituições públicas apresentaram uma maior participação no congresso de 2007.

 

 

Analisando as distribuições de estudos por regiões e ano de congresso (Tabela 3), percebe-se maior participação da região Sudeste em todos os anos avaliados e, especialmente, no primeiro congresso realizado, que ocorreu justamente nesta mesma região (64,0%). A mesma tendência de maior participação das próprias regiões em que incidiram os congressos ocorreu em 2005, em que o Sul se destacou das demais regiões (30,7%) e, em 2007, em que a região Sudeste não superou a Nordeste, mas sua participação nos resumos foi de 29,6%. Foi possível observar diferenças altamente significativas das regiões por congressos (x2 [14] = 182,451; p < 0,001).

O tamanho da amostra utilizada nos vários resumos variou de 1 (estudo de caso) a 53.537 sujeitos (pesquisas em larga escala), sendo que a maior parte dos estudos se concentrou em investigar até 357 participantes (80,1%). Ao cruzar as informações da amostra por ano de congresso, não foram verificadas diferenças significativas nas distribuições (x2 [664] = 717,704; p = 0,073).

No que se refere à distribuição por faixa etária (Tabela 4), percebe-se que em 2003 uma parte importante dos resumos não relatou essa informação (31,4%) ou estudou populações com idades variadas (mistas). Além disso, tanto em 2005 quanto em 2007, foram realizadas mais pesquisas envolvendo adultos e crianças (x2 [12] = 142,539; p < 0,001).

 

 

 

Além da faixa etária, foram levantadas informações a respeito do tipo de grupo que foi alvo das investigações (Tabela 5) e podem ser verificadas diferenças altamente significativas nas distribuições dos grupos em função dos anos de congresso (x2 [10] = 79,252; p < 0,001). Observa-se que investigações com estudantes tiveram uma participação significativa em todos os congressos, porém deve-se notar que além desses, em 2003 uma parte relevante dos estudos se utilizou de grupos de pessoas institucionalizadas (25,9%).

 

 

No que se refere aos procedimentos de avaliação (Tabela 6) utilizados ao longo dos três anos de congresso, não foram encontradas diferenças significativas (x2 [8] = 12,675; p = 0,124). No geral, o que se verifica é que o teste pode ser considerado como o procedimento mais utilizado nos estudos propostos.

 

 

Verifica-se que, em 2007, optou-se por uma maior utilização de instrumentos do Tipo Lápis e Papel (71,8%) quando comparado aos demais anos (Tabela 7). Além disso, observa-se que em um número significativo de resumos do congresso de 2003 (34,5%) não constava essa informação, e que isso foi diminuindo ao longo dos outros anos. Houve diferenças altamente significativas entre as formas de aplicação dos instrumentos utilizados em função dos anos dos congressos (x2 [10] = 193,410; p < 0,001).

 

 

Em relação às áreas de aplicação, pode-se notar que em 2007 houve uma proeminência da área clínica (Tabela 8). No que se refere ao ano de 2005, pode-se verificar que a área de Psicologia Escolar e Educacional foi a que obteve maior número de resumos e, em 2003, deve-se destacar que um número relevante de participantes escolheu analisar várias temáticas ao mesmo tempo (26,9%). Desta maneira, verificam-se diferenças altamente significativas nas distribuições dessas variáveis (x2 [22] = 74,867; p < 0,001).

Também foram encontradas diferenças altamente significativas entre os tipos de pesquisas (Tabela 9) realizadas ao longo dos congressos (x2 [10] = 59,230; p < 0,001). Ressalta-se que a pesquisa empírica foi a mais utilizada em todos os congressos, especialmente em 2003. Além disso, as pesquisas de levantamento e de estudo de caso foram minoria em 2003 e tiveram uma participação relevante em 2005.

 

 

 

Ao verificar a distribuição de resumos por ano de congresso e tipo de estudo (Tabela 10), observa-se que, em 2005, 47,1% dos resumos consistiam em estudos de aplicação, enquanto que, em 2007, 42,5% dos estudos foram psicométricos. No que se refere a 2003, verifica-se uma distribuição ligeiramente equilibrada entre as três classificações de estudo. Houve diferenças altamente significativas nas distribuições dos tipos de estudo segundo os anos de realização dos congressos (x2 [4] = 39,208; p < 0,001).

Quanto à realização de estudos de validade, houve uma participação crescente ao longo dos anos, sendo que esses foram mencionados em 29,5%, 33,9% e 36,5% dos casos, nos anos de 2003, 2005 e 2007. Entre os que relataram esses estudos, considerando o total dos anos, 43,5% eram análises da estrutura interna, 27% validade baseada nas relações com outras variáveis, 18,8% indicaram mais de um tipo de estudo de validade e 10,5%, validade baseada no conteúdo. No que diz respeito a estudos com o objetivo de verificar a precisão, houve participações, ao longo dos anos, de 17,4%, 18,6% e 21,6%. Entre os que indicaram estudos de precisão, 85,71% utilizaram a análise clássica dos testes para verificação da consistência interna, 7,4% usaram a Teoria de Resposta ao Item, 4%, precisão por reteste e 2,9%, mais de um tipo de estudo de precisão.

No que diz respeito aos estudos de adaptação, houve uma pequena freqüência (7,2%, 6,2% e 3,7%), tendo o mesmo ocorrido para relatados de estudo de padronização (0,4%, 0,6% e 1,1%) e normatização (5,3%, 0,9% e 3,2%) entre os anos, em ordem crescente.

 

 

Observaram-se diferenças altamente significativas nas distribuições dos tipos de instrumentos utilizados em função dos anos dos congressos (x2 [10] = 169,167; p < 0,001). Verifica-se que, em todos os anos, houve uma preferência pela utilização de instrumentos objetivos (Tabela 11). Essa tendência foi mais destacada no ano de 2007, em que 78,4% dos estudos se utilizaram desse tipo de instrumento, sendo que somente 8,3% dos resumos relataram o uso de técnicas projetivas.

Quanto aos instrumentos, 151 utilizaram mais de um e não informaram qual era o principal, 110 utilizaram instrumento desenvolvido pelos autores do resumo, porém não deram nome aos mesmos, em 79 casos o nome do instrumento não se aplica e em 45 casos não foi relatado o nome do teste utilizado. Houve um total de 342 instrumentos diferentes citados. A Tabela 12 apresenta uma descrição dos testes mais utilizados, com uma freqüência igual ou superior a 4. Os demais testes tiveram freqüência de 3 ou menos e, por limitações de espaço, não é possível destacá-los presentemente.

 

 

É possível observar que o teste que apresentou mais pesquisas em forma de painel foi o Rorschach, seguido pelo WISC e Bender (Tabela 12). Vale destacar que a maioria dos instrumentos observados nessa tabela foram adaptados ao Brasil, verificando-se uma prevalência de estudos com testes estrangeiros. Buscando outro tipo de compreensão do tipo de instrumento utilizado, foi realizada uma categorização dos mesmos em função de seus principais construtos (Tabela 13).

É possível observar uma manutenção dos construtos tradicionalmente estudados pela psicologia, quais sejam, inteligência e personalidade. Vale destacar que muitos instrumentos não puderam estar nas categorias, aparecendo no campo de "Outro" construto amplo avaliado, que apresentou uma grande freqüência. Os construtos incluídos nessa categoria incluem agressividade, ansiedade, relacionamento interpessoal, saúde mental, depressão, estresse, qualidade de vida, afeto e emoção, entre outros.

Constata-se que os métodos quantitativos foram os mais utilizados em 2007 e, especialmente, em 2003, como procedimentos de análise de resultados (Tabela 14). Além disso, observa-se que em 2005, os estudos foram em grande parte quantitativos e mistos. Foram verificadas diferenças altamente significativa nas distribuições dos procedimentos de análise dos resultados segundo os congressos analisados (x2 [8] = 88,692; p < 0,001).

 

 

 

Discussão

Os resultados revelaram que em relação ao número de painéis e autores que participaram dos Congressos, corrobora-se a asserção de Hutz e Bandeira (2003), no sentido do aumento de pesquisadores envolvidos com a área de avaliação psicológica. Quanto aos tipos de instituição que os autores eram filiados, houve um percentual equivalente de participação das públicas e particulares, apesar de se diferenciarem significativamente em relação aos anos dos congressos. Mais especificamente, observou-se, por um lado, a diminuição de autores filiados a instituições particulares e, por outro, um aumento nos autores de instituições públicas. Adicionalmente, houve também um destaque para produções integradas entre diferentes tipos de instituição (produções mistas). No que diz respeito às regiões, analisando no cômputo geral, a maior concentração de produção é da região Sudeste, seguida pelo Sul e Nordeste. O destaque do Sudeste quanto à quantidade de produção está de acordo com as observações de Filho, Belo e Gouveia (2006).

Quanto ao procedimento de avaliação utilizado, houve uma preponderância do uso de testes psicológicos, porém os estudos que utilizaram mais de uma técnica de avaliação também mostraram aumento em sua freqüência de uso do 1º para o 3º congresso (e.g. relatos com combinação entre testes e entrevistas). A maior quantidade das pesquisas utilizou instrumentos objetivos, o que vai de encontro às contribuições de Goldstein e Hersen (2000), no sentido da diminuição de pesquisas envolvendo técnicas projetivas. No entanto, as asserções desses autores quanto à perspectiva de aumento da automatização das avaliações não foram verificadas, uma vez que a utilização de instrumentos informatizados foi muito pequena, apesar de ter aumentado ao longo dos anos.

A psicologia clínica enquanto área de aplicação foi identificada como a mais pesquisada no congresso de 2007. Nos congressos anteriores não se observa uma definição de área específica nos resumos analisados, uma vez que a categoria várias áreas foi a mais frequentemente citada. Isso revela que apenas no congresso de 2007, destaca-se maior especificidade para a avaliação, considerando tanto a área quanto circunstâncias específicas para o uso de instrumentos, técnicas e procedimentos avaliativos. Ressalta-se que este é um princípio que norteia os estudos de validade e precisão que sustentam a interpretação dos resultados de uma avaliação psicológica de acordo com a AERA, APA e NCME (1999). No que tange ao tipo de pesquisa, houve maior realização de pesquisas empíricas, corroborando com o estudo de Filho, Belo e Gouveia (2006). Vale destacar que os estudos psicométricos aumentaram e os de aplicação, diminuíram, observando-se diferenças significativas entre eles no decorrer dos três congressos.

Quanto à diferença entre o tipo de procedimento de análise de dados utilizado nos estudos, os quantitativos revelaram-se os mais freqüentes. Estes estão relacionados à utilização em maior escala dos testes objetivos e ao aumento gradativo dos estudos psicométricos. Esses dados parecem indicar o avanço da ciência na área de avaliação psicológica visando à qualidade dos instrumentos (Anastasi & Urbina, 2000; Urbina, 2007; Noronha & Alchieri, 2002). Ao lado disso, apesar de haver predomínio da Teoria Clássica nos estudos psicométricos, constata-se a tendência atual de utilizar a Teoria de Resposta ao Item como um modelo de análise de dados para estudos de validade e precisão (Pasquali, 2003).

Houve uma grande variedade de instrumentos relatados, dentre eles o que teve uma freqüência maior de uso foi o Rorschach, o que sugere que, apesar de haver diminuição do uso de técnicas projetivas, esse teste destaca-se como o mais pesquisado dentre as mesmas. Tal fato deu-se, talvez, porque os instrumentos objetivos foram os mais utilizados em geral, porém com uma imensa variabilidade o que não possibilitou que um destes instrumentos se destacasse dentre os demais citados.

Outro comentário pertinente é que talvez a baixa freqüência total da maioria dos testes indica a dificuldade de dar continuidade às pesquisas de um único instrumento, com vistas a compilar a informação para um manual, conforme a crítica de Noronha e Alchieri (2002). Quanto aos construtos abordados pelos testes, também foi verificada grande variedade, porém há destaque para a inteligência e personalidade, mantendo a característica da evolução histórica (Goldstein & Hersen, 2000). Observou-se também a criação de instrumentos para utilização específica do estudo descrito, sendo que estes não foram nomeados pelos autores. A presença de mais de um instrumento como teste principal demonstra a grande freqüência de realização de estudos correlacionais em que os autores, contudo, não tiveram clareza lingüística ao descrever o principal foco da pesquisa.

A variabilidade do tamanho das amostras descritas e a freqüência maior de estudos com crianças e adultos na condição de estudantes, bem como a falta de caracterização dos participantes nos resumos analisados são questões importantes a serem pesquisadas pela área. Isto porque a avaliação psicológica requer a caracterização de indivíduos e contextos a fim de ser considerada como um processo eficaz quer seja para fins de diagnóstico ou intervenção (Pasquali, 2001).

As evidências do desenvolvimento da avaliação psicológica brasileira constatadas no presente estudo revelam que estas acompanham a tendência internacional de investigação na área, buscando atender aos padrões de construção, avaliação e documentação de testes. Faz-se necessário dar maior atenção às aplicações de testagens e seus parâmetros de justiça para os diferentes contextos e populações, como proposto pela AERA, APA e NCME (1999).

Considerando-se a dificuldade em analisar os testes citados nos resumos em função de sua diversidade, isso se configura em uma limitação do presente estudo. Recomenda-se, pois, que outras investigações sejam realizadas para melhor caracterizar estes instrumentos levando em conta seu construto, características psicométricas e área de aplicação, dentre outras variáveis.

Isto posto, a despeito da baixa visibilidade e acesso restrito das informações contidas nos anais de congressos científicos, como discutido por Funaro e Noronha (2006), e Packer e Meneghini (2006), essas informações constatam o estado atual da arte da área de conhecimento a que se referem. Pôde-se averiguar no presente estudo esta premissa, ratificando a necessidade de análise, sistematização e divulgação destes dados para comunidade científica, com o intuito de estabelecer metas para o desenvolvimento da ciência na área de avaliação psicológica.

 

Referências

American Educational Research Association [AERA], American Psychological Association [APA], Nacional Council on Measurement in Education [NCME] (1999). Standards for Educational and Psychological Testing. Washington, DC: Autor.        [ Links ]

Anastasi & S. Urbina (2000) Testagem Psicológica. Porto Alegre: Artmed.        [ Links ]

Brandão, E. (2007). O ensino da avaliação psicológica na formação graduada do psicólogo. Avaliação Psicológica, 6(1), pp.91-93        [ Links ]

Bufrem, L. S. (2006). Revistas científicas: saberes no campo de ciência da informação. Em: D. A. Poblacion, G. P. Witter, J. F. M. da Silva (orgs). Comunicação e produção científica: contexto, indicadores, avaliação (pp. 191-214). São Paulo: Angellara.        [ Links ]

Domingues, S. F. S. & Maluf, M. R. (2002). Análise de publicação sobre testes de inteligência em periódicos brasileiros no período de 1994 a 1999. Boletim de Psicologia, 52(116), 65-85.        [ Links ]

Filho, M. L. S., Belo, R., & Gouveia, V. V. (2006). Testes Psicológicos: Análise da Produção Científica Brasileira no Período 2000-2004. Psicologia Ciência e Profissão, 26 (3), 478-489.        [ Links ]

Funaro, V. M. B. O., & Noronha, D. P. (2006). Literatura cinzenta: canais de distribuição e incidência nas bases de dados. Em: D. A. Poblacion, G. P. Witter, J. F. M. da Silva (orgs). Comunicação e produção científica: contexto, indicadores, avaliação (pp. 215-234). São Paulo: Angellara.        [ Links ]

Goldstein, G. & Hersen, M. (2000). Historical perspectives. Em G. Goldstein & M. Hersen (Eds.), Handbook of psychological assessment. (pp. 3-17). New York: Pergamon.        [ Links ]

Gonçalves, A., Ramos, L. M. S. V. C., & Castro, R. C. F. (2006). Revistas científicas: características, funções e critérios de qualidade. Em: D. A. Poblacion, G. P. Witter, J. F. M. da Silva (orgs). Comunicação e produção científica: contexto, indicadores, avaliação (pp. 163-190). São Paulo: Angellara.        [ Links ]

Hutz, C. S. & Bandeira, D. R. (2003). Avaliação psicológica no Brasil: situação atual e desafios para o futuro. Em O. H. Yamamoto & V. V. Gouveia (Eds.), Construindo a Psicologia Brasileira: desafios da ciência e prática psicológica. (pp. 621-277). São Paulo: Casa do Psicólogo.        [ Links ]

Joly, M. C.R.A., Martins, R.X., Abreu, M. C., de Souza, P.R.R., & Cozza, H. F.P. (2005). Análise da produção científica em avaliação psicológica informatizada. Avaliação Psicológica, 3(2),121-130 .        [ Links ]

Noronha, A. P. P. & Alchieri, J. C. (2002). Reflexões sobre instrumentos de avaliação psicológica. Em R. Primi (Ed.), Temas em avaliação psicológica. (pp. 7-16). Campinas: Instituto Brasileiro de Avaliação Psicológica.        [ Links ]

Noronha, A. P. P. & Ambiel, R. A. M. (2006). Orientação profissional e vocacional: análise da produção científica. PsicoUsf, 11(1), 75-84.        [ Links ]

Noronha, A. P. P., Baldo, C. R., Almeida, M. C., Freitas, J. V., Barbin, P. F., & Cozoli, J. (2004). Conhecimento de estudantes a respeito de conceitos de avaliação psicológica. Psicologia em Estudo, 9,(2), 263-269.        [ Links ]

Noronha, A. P. P., Nunes, M. F. O., & Ambiel, R. A. M. (no prelo). Importância e Domínios de Avaliação Psicológica: um estudo com alunos de psicologia.        [ Links ]

Noronha, A. P., Vendramini, C. M. M., & Freitas, F. A. (2004). A avaliação psicológica no I Congresso Brasileiro de Psicologia. Em C. Machado, L. C. Almeida, M. Gonçalves, & RamalhoV (Eds.), X Conferência Internacional Avaliação Psicológica Formas e Contextos. (pp. 11-15). Braga: Psiquilíbrios.        [ Links ]

Oliveira, K. L., Cantalice, L. M., Joly, M. C. A. J., & Santos, A. A. A. (2006). Produção científica de 10 anos da revista Psicologia Escolar e Educacional (1996/2005). Psicologia Escolar e Educacional, 10(2), 283-292.        [ Links ]

Packer, A. L., & Meneghini, R. (2006). Visibilidade da produção científica. Em: D. A. Poblacion, G. P. Witter, J. F. M. da Silva (orgs). Comunicação e produção científica: contexto, indicadores, avaliação (pp. 235-260). São Paulo: Angellara.        [ Links ]

Pasquali, L. (2001). Padronização dos testes psicológicos - as normas. Em: L. Pasquali (org). Técnicas de exame psicológico - TEP: manual (pp. 137-153). São Paulo: Casa do Psicólogo; Conselho Federal de Psicologia.        [ Links ]

Pasquali, L. (2001). Técnicas de Exame Psicológico - TEP: manual. São Paulo, SP: Casa do Psicólogo; Conselho Federal de Psicologia.        [ Links ]

Pasquali, L. (2003). Psicometria: Teoria dos testes na Psicologia e na Educação. Petrópolis: RJ: Vozes.        [ Links ]

Urbina, S. (2007). Introdução aos testes psicológicos e seus usos. Em: S. Urbina. Fundamentos da testagem moderna (pp.11-41). Porto Alegre: Artmed.        [ Links ]

Witter, G. P. (1999). Metaciência e leitura. Em G. P. Witter (Ed.), Leitura: textos e pesquisas. (pp. 13-22). Campinas: Alínea.        [ Links ]

 

 

Endereço para correspondência
E-mail: cristina.joly@saofrancisco.edu.br

Recebido em Outubro de 2007
Reformulado em Novembro de 2007
Aceito em Dezembro de 2007

 

 

Sobre os autores:

^* Maria Cristina Azevedo Joly: Doutora em Psicologia pela Universidade de São Paulo. Professora na graduação e na Pós-Graduação Stricto Sensu em Psicologia na Universidade São Francisco.
^** Marjorie Cristina Rocha Silva: Psicóloga, mestre e doutoranda em Psicologia pelo Programa de Pós-graduação Stricto Sensu em Psicologia da Universidade São Francisco. Bolsista CAPES/Observatório da Educação.
^*** Maiana Farias Oliveira Nunes: Psicóloga, mestre e doutoranda em Psicologia pelo Programa de Pós-graduação Stricto Sensu em Psicologia da Universidade São Francisco. Bolsista CAPES.
^**** Mayra Silva de Souza: Psicóloga, mestre e doutoranda em Psicologia pelo Programa de Pós-graduação Stricto Sensu em Psicologia da Universidade São Francisco.