Problemas apresentados pelos instrumentos com parecer desfavorável no SATEPSI

 

Issues presented by instruments not approved on Satepsi

 

Problemas presentados por instrumentos con parecer desfavorable en el Satepsi

 

 

Tatiana de Cássia Nakano¹

Pontifícia Universidade Católica de Campinas

 

 

---

RESUMO

Dado o movimento de retomada da credibilidade da avaliação psicológica perante a sociedade e os próprios profissionais e a importância da criação do Satepsi, o presente estudo visou identificar os principais problemas encontrados nos testes que receberam parecer desfavorável neste sistema de avaliação. Os resultados demonstraram a existência de uma lista atual composta por 83 instrumentos e 59 pareceres disponibilizados. A análise dos mesmos permitiu verificar que a maior parte dos instrumentos reprovados (n = 58) já se encontrava disponível no mercado antes da publicação da resolução, fato que justifica, em parte, o não atendimento aos critérios mínimos estabelecidos pela inexistência, até então, de qualquer tipo de exigência. Na maioria, os testes reprovados envolvem os construtos da personalidade e inteligência e apresentam problemas principalmente em relação à ausência ou desatualização dos estudos de validade, precisão e normatização, embora também sejam notados problemas com sustentação teórica e equívocos na utilização de análises estatísticas.

Palavras-chave: avaliação psicológica; testes psicológicos; critérios psicométricos.

---

ABSTRACT

Recent efforts in the psychological assessment area and the importance of an evaluation system created by the Federal Council of Psychology, motivated the development of this study. With the objective to identify the reasons why tests are not approved on Satepsi, the list with all of them (83 in total) and 59 feedbacks available were consulted. The analysis showed that most part of this instruments (n = 58) was already available on the market before the publication of the resolution in 2001, which justifies, in part, the lack of studies that meet the minimum criteria established. It should be noted that until that time there were any type of regarding the quality of tests. The results indicated that most of problems presented to these instruments involve the personality and intelligence constructs, and indicate problems with studies of validity, reliability and standardization, although noted problems with theoretical support and mistakes in the use of statistical analysis.

Keywords: psychological assessment; psychological tests; psychometric criteria.

---

RESUMEN

Teniendo en cuenta el movimiento de la reanudación de la credibilidad de la evaluación psicológica ante la sociedad y los propios profesionales y la importancia de la creación del Satepsi, el presente estudio visó identificar los principales problemas encontrados en los testes con dictamen desfavorable en este sistema de evaluación. Los resultados demostraron la existencia de una lista actual compuesta por 83 instrumentos y 59 dictámenes disponibles. El análisis de ellos permitió verificar que la mayor parte de los instrumentos reprobados (n=58) ya se encontraba disponible en el mercado antes de la publicación de la resolución, hecho que justifica, en parte, el no atendimiento a los criterios mínimos establecidos por la inexistencia, hasta el momento, de cualquier tipo de exigencia. La mayoría de los testes fallidos envuelven los constructos de la personalidad e inteligencia y presentan problemas principalmente con respecto a la ausencia o desactualización dos estudios de validez, precisión e normalización, aunque también puedan ser percibidos problemas con apoyo teórico y equívocos en la utilización de análisis estadísticos.

Palabras-clave: evaluación psicológica; testes psicológicos; criterios psicométricos.

---

 

 

A avaliação psicológica tem se firmado, nas últimas décadas, como uma área de grande importância na prática profissional do psicólogo, principalmente após a regulamentação dos cursos de psicologia (lei 4.119 de 1962), momento a partir do qual a área foi consolidada e cuja prática tornou-se exclusiva de seus profissionais (Noronha & Alchieri, 2002). No entanto, contraditoriamente à valorização que era esperada, perdurou, durante muitos anos, um quadro diferente, marcado pela estagnação relacionada com a construção, adaptação ou mesmo padronização de instrumentos psicológicos, situação mantida até o início dos anos 80 (Wechsler, 2001).

Nesse período, tornou-se prática comum a “importação” de testes, de forma automática, sem envolver a preocupação com o desenvolvimento de pesquisas científicas que buscassem comprovar suas qualidades psicométricas, principalmente aquelas voltadas aos estudos de validação e normatização conduzidos em amostras brasileiras (Azevedo, Almeida, Pasquali, & Veiga, 1996). Tal prática acabou por gerar um descrédito e desconfiança em relação aos indicativos diagnósticos dos testes (Andriola, 1995), motivos pelos quais se tornou necessário o surgimento de um movimento de retomada da área, iniciado pela criação de diversos laboratórios de pesquisa (Wechsler, 2001).

De forma mais intensa, várias entidades vinculadas à pesquisa, ensino, comercialização e utilização dos testes, tais como o Conselho Federal de Psicologia, Conselhos Regionais, Associação Brasileira de Rorscharch e outras técnicas projetivas, Instituto Brasileiro de Avaliação Psicológica, somados aos esforços empreendidos pelos três grupos de pesquisa em avaliação psicológica criados na Associação Nacional de Pós-Graduação e Pesquisa em Psicologia (ANPEPP), passaram a se reunir com o objetivo de encontrar soluções para os problemas existentes na área, notadamente a partir do ano de 2001, com o objetivo de criar referências que pudessem embasar as práticas profissionais deste campo de atuação (Santos, 2011). Importante passo também foi dado com o estabelecimento, pelo Conselho Federal de Psicologia, do ano de 2011 como o ano temático da avaliação psicológica, devendo-se destacar também, em 2009, a criação do Grupo de Estudantes de Pós-Graduação em Avaliação Psicológica (Carvalho & Ambiel, 2009).

Como resultado, a situação em que hoje se encontra a área da avaliação psicológica tem sido marcada por discussões recentes em torno do uso de testes psicológicos, encabeçadas pelo Conselho Federal de Psicologia (2004). O foco está na necessidade de apresentação de instrumentos nacionais de avaliação psicológica cada vez mais válidos, confiáveis e atualizados, buscando-se também atender à necessidade de se desfazer a visão simplista da avaliação psicológica, vista, muitas vezes, como um segmento dedicado à mera aplicação de testes (Primi, 2003). Dessa maneira, pode-se observar que a melhora da area não envolve somente a questão dos instrumentos, mas também uma preocupação “com os avanços metodológicos, tecnológicos e teóricos, com a qualificação e normatização dos instrumentos disponíveis, com a necessidade de contextualização dos resultados obtidos, com a validade consequencial e clínica dos testes e com a relevância social das avaliações realizadas” (Reppold, 2011, p. 23).

Importante passo nesse sentido foi dado pelo Conselho Federal de Psicologia, a partir da publicação de duas resoluções (Resolução CFP nº 25/2001 e Resolução CFP nº 007/2003), consideradas marcos para as mudanças necessárias à prática profissional. Tais documentos visaram regulamentar a elaboração, comercialização e o uso dos instrumentos psicológicos, principalmente a partir da criação, em 2001, do Sistema de Avaliação dos Testes Psicológicos (SATEPSI), o qual consiste em um sistema de certificação dos instrumentos para uso profissional. A partir da verificação objetiva de um conjunto de requisitos mínimos definidos pela área, todos os instrumentos comercializados no país passaram a ser avaliados e qualificados em apto ou inapto para uso (Primi & Nunes, 2010), considerando-se a qualidade de seu manual em relação a quatro critérios principais: fundamentação teórica, estudos sobre propriedades psicométricas (notadamente evidências de precisão e validade), assim como informações sobre seu sistema interpretativo (Nunes & Primi, 2010).

O estabelecimento desses critérios visa operacionalizar os princípios consensuais divulgados pela comunidade científica internacional acerca das principais características que devem ser apresentadas por um instrumental cientificamente fundamentado, cujo objetivo maior seria informar os profissionais sobre a qualidade dos instrumentos disponíveis (Primi, 2011). Nesse sentido, torna- se essencial que todas as características da prova, incluindo fundamentação teórica, objetivos, possíveis usos, populações a que se destina, recursos e procedimentos de aplicação e correção, normas de interpretação, estudos de validade e precisão, além de qualquer outra recomendação para seu uso correto sejam disponibilizadas no manual do instrumento (Adanez, 1999). Somente assim esses manuais poderão cumprir um papel que, segundo Hutz (2011), “vai muito além de dar informações sobre como aplicar o teste e como interpretar os resultados” (p. 50), dada a possibilidade de os mesmos gerarem também embasamento científico para a prática profissional.

A necessidade do surgimento de um sistema avaliativo dos testes se dá diante da observação da quantidade de processos éticos envolvendo a avaliação psicológica, assim como a constatação de que grande parte dos testes frequentemente usados na prática profissional não possuía estudos que comprovassem sua eficiência como técnica de avaliação (Primi & Nunes, 2010). Assim, ainda de acordo com os autores, a implantação do Satepsi buscou mudar essa realidade, por meio do estabelecimento de padrões para os testes e, indiretamente, para a prática, ao impedir que instrumentos sem o devido reconhecimento científico fossem utilizados profissionalmente. Tal medida culminou na avaliação de todos os testes psicológicos existentes e em uso no Brasil, cuja classificação deu origem a duas listas, uma contendo o nome dos testes que foram aprovados por apresentarem qualidades psicométricas e atenderem aos requisitos exigidos pelo CFP, assim como outra lista em que constam os instrumentos que receberam parecer desfavorável, cujo uso foi proibido, dado o fato de não atenderem aos requisitos mínimos que assegurariam seu uso profissional.

Como resultado, ao longo dos dez anos de existência, o Satepsi acabou por gerar um estímulo ao desenvolvimento de pesquisas, tanto por parte dos autores / pesquisadores, como pelas editoras, as quais passaram a ter que atender a uma série de exigências técnicas para seu produto antes de colocá-lo no mercado para uso profissional, segundo avaliação de Primi e Nunes (2010). O processo, “embora traumático por conta da proibição do uso de alguns instrumentos usados por anos a fio pelos profissionais que se viram impossibilitados de desenvolver a prática costumeira, trouxe muitos benefícios à área” (Noronha, Carvalho, Miguel, Souza, & Santos, 2010, p. 141). Entre eles, pode-se ressaltar o aumento no número de pesquisas publicadas, no número de instrumentos disponíveis ao psicólogo, na criação de novos laboratórios de pesquisas e na ampliação das discussões sobre a temática no Brasil (Padilha, Noronha, & Fagan, 2007). Sem dúvida alguma, como salientado por Noronha, Primi e Alchieri (2004), “a avaliação psicológica, hoje, voltou a ter sua importância e seu status na atuação do psicólogo, tanto no que se refere às perspectivas internacionais quanto nas nacionais” (p. 89).

Além do cuidado com os instrumentos, um segundo eixo norteador das mudanças almejadas consiste na reflexão sobre o processo de formação em avaliação psicológica, tornando-se necessário, paralelamente ao trabalho de avaliação dos instrumentos, o desenvolvimento de medidas educativas voltadas aos profissionais e estudantes (Noronha, Primi, & Alchieri, 2004). Isso porque tem sido bastante unânime a constatação de que as disciplinas de Avaliação Psicológica têm, historicamente, enfatizado prioritariamente questões voltadas à aplicação, correção e interpretação dos instrumentos (Alchieri & Bandeira, 2002), sendo bastante ausentes discussões mais críticas a respeito do teste ou até de conteúdos mais específicos de Psicometria (Noronha, Baldo, Barbin, & Freitas, 2003). A situação se torna ainda mais crítica se considerarmos uma tendência na redução do número de disciplinas destinadas ao ensino da avaliação psicológica (Reppold & Serafini, 2010).

As consequências dessas duas práticas vêm sendo apontadas por diversas pesquisas. Dentre elas, Vendramini e Lopes (2008) citam que informações sobre evidências de validade e de precisão são lidas por menos da metade dos psicólogos e menos de metade dos estudantes, dado o maior interesse se dar em relação aos conteúdos referentes à aplicação, correção e interpretação de testes, sendo os itens de menor interesse, aqueles referentes às propriedades psicométricas dos instrumentos. Padilha e cols. (2007) também chamam a atenção ao constatarem que a maior parte dos psicólogos afirma não fazer uso de instrumentos em sua prática profissional dada a falta de domínio e conhecimento acerca dos mesmos, principalmente devido a falhas no processo de formação profissional, fato que acaba por limitá-los apenas ao uso das técnicas ensinadas na graduação, situação também apontada por Noronha, Primi e Alchieri (2005) e Alchieri, Noronha e Primi (2003). Sem o conhecimento de testes variados, a escolha do instrumento acaba ocorrendo não em função da sua adequação, mas sim da gama restrita de testes que o profissional conhece, ou ainda sem critério algum, baseado no seu gosto pessoal (Noronha, Nunes, & Ambiel, 2007).

Pelos problemas apontados, o ensino e a prática da avaliação psicológica têm sido objetos de inúmeros estudos nos últimos anos, cujas preocupações giram em torno da qualidade da formação em avaliação psicológica, do conteúdo das disciplinas, do uso e validação dos testes psicológicos, da integração ensino-aprendizagem e aplicação destes na prática profissional (Araújo, 2007). Dentro dessa perspectiva “faz-se emergente que os profissionais que estão na prática compreendam a necessidade de se manterem atualizados e de investirem nas respectivas capacitações, e que os docentes tornem-se mais responsáveis pelas formações que proporcionam” (Noronha e cols., 2010, p. 145), visto que, a maior parte (83%) dos futuros profissionais (alunos formandos) mostrou sequer conhecer a Resolução 002/2003, conforme resultados da pesquisa de Paula, Pereira e Nascimento (2007).

Diante da existência da clara relação existente entre o bom uso de instrumentos e a formação profissional (Noronha e cols., 2003), da importância dos testes para a prática psicológica, da necessidade de garantir sua qualidade, assim como a constatação de que um número importante de instrumentos tem sido reprovado devido ao fato de não atenderem aos requisitos mínimos estipulados pelo Conselho Federal de Psicologia, o presente estudo foi desenvolvido com o objetivo de identificar os principais problemas encontrados nos testes que receberam parecer desafavorável do Satepsi. Visa também realizar um levantamento acerca dos critérios que mais têm comprometido a avaliação dos instrumentais, assim como verificar os construtos avaliados pelos mesmos e seu ano de publicação.

 

Método

Material

Para a presente análise foi realizada uma consulta à lista dos testes reprovados no Satepsi, disponível no site do Conselho Federal de Psicologia: www2.pol2. org. br/satepsi/sistema/paginas/lista_desafavoraveis.cfm. Também foram analisados os pareceres dos testes psicológicos considerados desfavoráveis, disponíveis no site do CFP: www2.pol.org.br/satepsi/sistema/pareceres/ desfavoraveis.htm.

Procedimento

Todos os pareceres disponíveis no site por ocasião do levantamento (agosto de 2011) foram consultados, em um total de 59. Deles, 8 (13,5%) consistiam em um segundo parecer, elaborados após recurso, cujos instrumentos, no entanto, continuaram a ser considerados desfavoráveis após nova avaliação. É importante salientar que, embora a lista do Satepsi apresente 83 testes desfavoráveis, somente 59 pareceres estavam disponibilizados.

Todos os pareceres foram consultados na íntegra, com a finalidade de levantamento dos problemas apontados. Salienta-se que a maior parte dos pareceres apontava para mais de um problema, os quais foram todos contabilizados. Por esse motivo, a frequência total de problemas ultrapassa o número de pareceres consultados. Os demais procedimentos envolveram: para verificação de ano de publicação foi consultada a lista dos testes desfavoráveis, na coluna referente a este dado; a classificação do construto avaliado por cada instrumento deu-se pela consulta ao nome (quando o mesmo explicita o construto avaliado), pelo conhecimento prévio do pesquisador ou ainda pela consulta aos sites das editoras, recorrendo-se, em último caso, a sites genéricos de busca. Em alguns casos, essa informação não pôde ser obtida por nenhum dos meios citados, sendo então classificada como “desconhecida”.

 

Resultados e Discussão

A primeira análise conduzida teve por objetivo identificar o ano de publicação dos instrumentos que receberam parecer desafavorável no Satepsi, assim como o ano da sua avaliação pelo sistema. Esses dados podem ser encontrados na Tabela 1.

Os resultados mostram que a maior parte dos instrumentos reprovados (n = 58) já se encontrava disponível no mercado antes da publicação da resolução, em 2001, fato que justifica, em parte, o não atendimento aos critérios mínimos estabelecidos, dada a inexistência de qualquer tipo de exigência em relação aos testes. Esse fato em si reforçou, durante muito tempo, a cultura de utilização de testes “importados” de outros países, a partir da simples tradução do material, sem os cuidados necessários à adaptação de testes, tais como a investigação das qualidades psicométricas em amostras brasileiras (Azevedo e cols. 1996; Hutz & Bandeira, 1993; Noronha & Alchieri, 2002), de forma a tornar compreensível o alto índice de instrumentos reprovados por ocasião da publicação do primeiro relatório do Satepsi em 2004, 48,1% segundo dados fornecidos por Primi e Nunes (2010).

Uma ligeira melhora pode ser notada nos levantamentos seguintes, 36,6% de reprovação no período de 2003 a julho de 2010, segundo dados de Anache e Corrêa (2010), e, na busca atual, em agosto de 2011, um índice de 35,7% de testes com parecer desafavorável, em um total de 232. Pelos resultados, pode-se notar que, aos poucos, a porcentagem de instrumentos que recebem pareceres desfavoráveis vem diminuindo, embora ainda continue alta.

Nota-se na Tabela 1, na coluna referente ao ano de avaliação, que, após a publicação das resoluções CFP nº 25/2001 e CFP nº 007/2003 e a realização das primeiras avaliações dos testes (ocorridas em 2002 e 2003), um menor número de instrumentos reprovados é encontrado (n = 24), fato que pode ser interpretado a partir do levantamento de duas hipóteses: (1) a maior parte dos testes publicados até o momento já havia sido avaliada, de forma que esse número representa apenas os instrumentos que foram publicados posteriormente ao ano de 2003 ou (2) houve um aumento na qualidade dos manuais, o que fez com que o número de pareceres desfavoráveis diminuísse em função das mudanças provocadas pelas resoluções.

A opinião de Primi e Nunes (2010) vai ao encontro da segunda hipótese, visto que consideram que um estímulo ao desenvolvimento de pesquisas, envolvendo todas as partes interessadas (autores, pesquisadores, editoras), foi gerado a partir da criação do Satepsi. Salientam ainda que “tal medida induziu uma série de mudanças que contribuíram imensamente para o desenvolvimento da área, tanto academicamente quanto profissionalmente” (p. 130), uma vez que o sistema provocou um aumento na qualidade dos manuais dos testes, de forma que os mesmos passaram a ter que atender a uma série de exigências técnicas antes da sua disponibilização no mercado para uso profissional, de forma que, atualmente, mostram-se bem mais completos e detalhados do que há dez anos.

Também como consequência, mudanças em outras áreas, envolvendo a avaliação psicológica, começaram a ser sentidas. Como exemplo, podemos citar os resultados relatados por Joly, Berberian, Andrade e Teixeira (2010), os quais, após análise de resumos de teses e dissertações em avaliação psicológica defendidas até 2007, verificaram que a maioria dos trabalhos tinha como objetivo a busca por parâmetros psicométricos de instrumentos. Tal fato demonstra a preocupação da área em adequar os instrumentos, existentes e em processo de desenvolvimento, a fim de que os mesmos atendam aos critérios mínimos exigidos pelo CFP

Uma segunda análise, dos construtos avaliados pelos instrumentos que receberam parecer desafavorável, indicou que estes se distribuiram em 10 diferentes categorias. Para essa análise foram considerados os 83 testes constantes na lista de testes reprovados, disponível no Satepsi. Note-se que alguns construtos foram agrupados dado o fato de um construto maior englobar os demais (como é o caso das funções executivas, que acabam por envolver memória e atenção), assim como deve ser citada a dificuldade de se categorizar três instrumentos, os quais foram clasificados em uma categoria intitulada “indefinido” (representando 4,8% dos instrumentos avaliados), visto que uma busca por informações apontou a inexistência de um construto claramente definido.

Os resultados mostraram que a personalidade foi a área que apresentou maior número de instrumentos reprovados (37,3%), seguida pela inteligência (21,6%). Em menor porcentagem aparecem funções executivas (12,1%), interesse profissional (9,7%) e psicomotricidade (7,3%), além de outros construtos bem menos frequentes (aptidões gerais e maturidade / prontidão para leitura, ambos com 2,4% e atitude no trabalho e autoconceito, com 1,2%).

 

 

A predominância de problemas nos instrumentais de avaliação da personalidade e inteligência confirma resultados apresentados por Noronha e Vendramini (2003), as quais, após análise de 43 testes psicológicos, apontaram que os testes de inteligência apresentaram, de maneira geral, mais estudos sobre padronização, validade e precisão, se comparados aos instrumentos de personalidade. Na opinião das autoras, encontrar testes de personalidade sem estudos relativos à padronização, validade e precisão não foi surpresa, visto que “há muito que este tema vem sendo discutido e muitas são as compreensões e incompreensões acerca da questão, uma vez que testes de personalidade e técnicas projetivas, em especial, possuem características específicas que os diferenciam dos demais” (p. 181).

Possivelmente, a predominância de instrumentos de avaliação da personalidade pode ser explicada pela crença que perdurou, durante muito tempo, de que uma parte dos testes que avalia este construto (testes projetivos e expressivos) poderia ser dispensada da necessidade de comprovação das suas qualidades psicométricas. O argumento se ampara no fato de que, quando se busca demonstrar a validade de métodos projetivos, nem sempre os modelos psicométricos se mostram adequados, conforme destacado por Villemor-Amaral (2008). Ainda de acordo com a autora, “muitos dos fenômenos investigados por essas técnicas são absolutamente singulares, o que inviabiliza a possibilidade de repetição em diversos sujeitos, ou em grupos de sujeitos, tendo como critério essas singularidades” (p. 99), opinião compartilhada por Cunha e Nunes (2010). Alia-se a esse fato a dificuldade de coleta de dados normativos em grandes amostras, dada a característica básica desse tipo de teste (aplicação individual). Tais entraves acabam por aumentar o desafio dos pesquisadores em validar esse tipo de instrumento por meio da estatística, sendo que, “nem por isso tal propósito deve ser negligenciado, principalmente considerando-se que diversos estudos têm alcançado progressos nesse sentido – ainda que de modo lento, à custa de grande esforço e nem sempre com resultados tão satisfatórios quanto o esperado” (Villemor-Amaral, 2008, p. 99).

Também o grande número de instrumentos de avaliação da inteligência que não atende aos critérios mínimos do CRP já havia sido constatado em pesquisa de Noronha, Freitas e Ottati (2002), que, após análise de 26 testes psicológicos para avaliação deste construto, verificaram que uma porcentagem importante (38,4%) se constituía em testes estrangeiros que foram traduzidos, adaptados e/ou padronizados para a realidade brasileira, sem que todos os cuidados necessários fossem tomados. Também Noronha, Sartori, Freitas e Otatti (2002) verificaram que 14,2% dos manuais dos testes de inteligência consultados não apresentavam os requisitos necessários para a elaboração de uma publicação científica, em especial, um teste psicológico, de forma a não atender aos os critérios definidos nas perspectivas nacionais ou internacionais (Noronha e cols., 2004; Ottati, Noronha, & Salviatti, 2003).

Diante da situação apontada, uma terceira análise, dos principais problemas relatados nos pareceres foi realizada, cujos resultados se encontram na Tabela 2. Um total de 24 diferentes problemas foi encontrado nos pareceres consultados, sendo que, conjuntamente, os 59 pareceres apresentaram 162 problemas.

 

 

Os resultados mostram que problemas básicos, tais como a ausência do próprio manual, de informações sobre autoria, ausência de data nos estudos, de responsável técnico, responsável técnico não psicólogo ou ainda ausência de referências bibliográficas foram encontrados nos manuais (em 25 casos). Essa mesma situação foi descrita por Noronha, Sartori, Ottati e Freitas (2001), ao verificarem a existência de defasagens referentes às instruções, normas, dados de identificação, entre outras, evidenciando a ausência de dados básicos nos manuais consultados.

Um segundo grupo de problemas engloba questões relacionadas à sustentação teórica (em 30 casos), principalmente ao construto avaliado (ausência de definição do mesmo ou realizada de forma insuficiente) ou a sua fundamentação (ausente, insuficiente ou inconsistente). Nesse sentido, um dos aspectos avaliados pela ficha do Satepsi consiste na verificação da apresentação de informações provenientes da literatura científica, sendo verificado se tal fundamentação é suficiente para que o usuário compreenda adequadamente o construto, se contempla revisão suficiente da literatura sobre ele e se inclui referências a pesquisas empíricas que indiquem sua utilidade nos contextos e propósitos para os quais o teste é indicado (Nunes & Primi, 2010, p. 109).

Ainda de acordo com os autores, a importância desse tipo de informação se ampara na constatação de que sem fundamentação teórica razoável não se torna possível avaliar a utilidade de um teste em um contexto específico, havendo ainda o comprometimento das possíveis inferências propostas a partir de seus resultados.

Um terceiro grupo de problemas se refere aos estudos de validade (ausência de estudos, desatualização dos existentes ou inconsistência), citados em 32 pareceres. A principal preocupação com esse critério se refere ao fato de que “se um instrumento não possui evidências de validade, não há segurança de que as interpretações sobre as características psicológicas das pessoas sugeridas pelas suas respostas sejam legítimas” (Noronha e cols., 2004, p. 94). Dessa forma, o mesmo não oferecerá segurança de que as interpretações resultantes do seu uso sejam adequadas, sendo que a ausência desse tipo de estudo pode atuar, inclusive, como impedimento ao seu reconhecimento científico (Noronha e cols., 2003). Esse quadro também já havia sido apontado por Noronha e cols. (2002) ao constatarem que 25% dos manuais consultados não apresentavam estudos de validade.

A importância desse critério é salientada por diversos pesquisadores (Anastasi & Urbina, 2000; Cronbach, 1996; Pasquali, 2001), sendo enfatizada na ficha do Satepsi a necessidade de existência de pelo menos um estudo de validade para que o manual seja considerado suficiente nesse tópico. No entanto, o que se pode ver é que, mesmo considerando esse baixo nível de exigência, vários foram os instrumentos que sequer apresentavam, na época da sua avaliação, estudos dessa natureza ou preocupação com a sua atualização. Lembrando-se o fato de os critérios exigidos serem mínimos, essa situação tem se constituído como um dos desafios para o aprimoramento do sistema, de forma que uma das propostas que vem sendo discutidas, conforme apresentado por Primi e Nunes (2010), “sugere que os requisitos mínimos deveriam ser aumentados, por exemplo, exigindo-se mais estudos de validade de diferentes tipos” (p. 142).

Problemas similares foram encontrados em relação aos estudos de precisão, envolvendo a ausência de estudos, de esclarecimentos sobre os estudos realizados ou sua inconsistência (em 33 pareceres). Resultados similares, relatados por Noronha e cols. (2002), reforçam a preocupação que se deve ter com esse critério, visto que sua medida pode predizer “em que extensão as diferenças individuais nos escores dos testes são atribuíveis a diferenças verdadeiras nas características em consideração e a extensão em que elas são atribuídas a erros causais” (Anastasi & Urbina, 2000, p. 84). Por esse motivo, a avaliação do Satepsi visa analisar não somente a descrição do estudo realizado, mas também se seus resultados são favoráveis ao uso do instrumento, considerando-se aprovado aqueles que apresentem ao menos um estudo de precisão, com a maioria dos resultados igual ou superior a 0,60 (Nunes & Primi, 2010), sendo que, no caso da precisão, as discussões sobre o aumento das exigências envolvem o aumento do seu grau (Primi & Nunes, 2010).

A predominância de problemas relacionados aos estudos de validade e precisão está de acordo com dados de outros estudos encontrados na literatura (Noronha e cols., 2002; Noronha e cols., 2004; Noronha & Vendramini, 2003). Entretanto, convém destacar que as pesquisas citadas somente verificaram a presença de qualquer estudo que indicasse a preocupação com essas qualidades psicométricas, sem que uma avaliação mais criteriosa a respeito da adequação dos mesmos fosse realizada, diferentemente da avaliação que é feita pelo Satepsi. Destaque também deve ser dado à constatação de que a avaliação realizada não é permanente, de maneira que o parecer favorável continuará a ter valor enquanto os estudos estiverem dentro dos prazos determinados como limites pelo Artigo 14 da Resolução CFP nº006/2009, sendo 15 anos para estudos referentes à padronização e de 20 anos para aqueles referentes à validade e precisão (Conselho Federal de Psicologia, 2009). Nesse sentido, convém citar que um dos instrumentos que constavam na lista dos reprovados, por ocasião da consulta, consistia em teste cujos estudos haviam ultrapassado esse prazo no ano de 2010.

Quando se discute qualidade psicométrica de instrumentos, atenção também deve ser dada ao fato de que, mesmo que existam evidências positivas de validade e precisão, as indicações de uso e a população que pode ser beneficiada na testagem mostram-se importantes, podendo ser verificadas a partir do levantamento de dados sobre a normatização do instrumento. Esse parâmetro psicométrico foi citado em 14 pareceres, os quais apontaram a ausência desse tipo de estudo ou a falta de atualização dos mesmos, assim como a necessidade de estudos investigando variáveis sociodemográficas (comparação de médias entre grupos). Sua importância se ampara no seu uso enquanto qualidade responsável pelo estabelecimento de critérios para a interpretação dos resultados obtidos (Cronbach, 1996; Pasquali, 2001), sendo importante reforçar que qualquer norma está restrita à população normativa específica da qual foi derivada, não sendo, de forma alguma, absoluta, universal ou permanente (Janda, 1998).

Entretanto, a literatura aponta que nem sempre esse cuidado é considerado nos manuais, podendo-se citar, como exemplo, os resultados relatados por Noronha e cols. (2004), os quais apontaram para a falta de atualização dos estudos (dado o fato de que somente 53% dos testes avaliados pelos autores apresentavam estudos de normatização mais recentes, sendo o restante baseado em estudos desenvolvidos nas décadas de 70 e 80), assim como a ausência de estudos de normatização também se mostrou presente em 17% dos manuais consultados por Noronha e cols. (2002). Quadro mais animador foi encontrado por Noronha, Baldo e cols. (2003) ao verificar que, na época, dentre 19 instrumentos analisados, 78,9% apresentam normatização brasileira, embora os autores salientem que esse dado ainda se encontrava muito abaixo dos patamares ideais, uma vez que a resolução determina que todo teste usado no Brasil deve apresentar estudos desenvolvidos com amostras nacionais. Passados 10 anos após a publicação da resolução, vê-se que esse tipo de problema ainda é encontrado em 6% dos testes avaliados e em 16,8% dos reprovados.

Esse fato ocorre porque a inexistência de normatização brasileira ou normatização inadequada pode trazer dificuldades nas interpretações dos resultados, já que dessa maneira as pessoas serão comparadas com expectativas que podem ser inapropriadas (Noronha e cols., 2002). Por esse motivo, “o estabelecimento de uma norma-padrão torna-se imprescindível nos instrumentos psicológicos, considerando-se que ele representa uma amostra de comportamento para determinado grupo, cujas características devem estar claramente descritas nos manuais” (Noronha, Baldo e cols., 2003, p. 94). Nesse sentido, a avaliação que é conduzida pelo Satepsi visa identificar a presença de informações suficientes sobre a composição da amostra (esperando-se que ela tenha minimamente um total de 300 pessoas, sendo a regra flexibilizada para os testes projetivos), assim como a consideração de variáveis sociodemográficas relevantes na literatura sobre o construto, conforme apresentado por Nunes e Primi (2010).

Indiferente à presença de estudos de normatização, um dos problemas relacionados a esse critério se situa, segundo Hutz e Bandeira (2003), na dificuldade de se coletar dados em uma amostra que seja efetivamente representativa da população brasileira, visto que “tipicamente as amostras de padronização se limitam à cidade na qual o pesquisador trabalha” (p. 268), não refletindo de forma precisa as outras regiões do país. Essa situação, ainda de acordo com os autores, está sendo modificada, embora lentamente, por meio do estabelecimento de parcerias e cooperação entre os diversos laboratórios de pesquisa de forma a permitir pesquisas com amostras de vários Estados e, embora ainda não sejam amostras representativas da população brasileira, tem se constituído como um passo importante na melhoria da qualidade dos instrumentos psicológicos.

Outro ponto a ser destacado se refere aos problemas relacionados à padronização dos instrumentos (1,9%), bem menos frequente que os anteriormente apontados. Sua importância está no fato de que esse critério diz respeito à uniformidade de procedimentos utilizados na aplicação do teste, considerando-se que “qualquer alteração feita sem a devida verificação das consequências experimentais de tal procedimento e a consequente revisão da padronização tira a credibilidade do instrumento, quando não o torna inválido” (Leite, 2011, p. 31). Assim, “quando as condições de aplicação não são asseguradas, mesmo um teste de boa qualidade pode tornar-se inválido, não enquanto medida psicométrica, mas na proporção em que os dados obtidos sobre o sujeito não são confiáveis” (Joly, Silva, Nunes, & Souza, 2007, p. 240), devendo ser fornecidas no manual, de forma bastante clara e explícita, orientações sobre os procedimentos de aplicação, correção e interpretação.

Por fim, atenção deve ser dada à quantidade de problemas relacionados ao uso inadequado da Psicometria (apontado em 13 pareceres). Eles envolvem desde problemas na metodologia dos estudos, equívocos nas análises estatísticas, assim como ausência de estudos brasileiros sobre análise de itens. Essa questão relacionada ao baixo domínio das questões referentes à psicometria e construção de instrumentos já vem sendo destacada pelos pesquisadores, dado o fato de a dificuldade se mostrar presente tanto em estudantes quanto profissionais (Noronha e cols., 2007; Noronha, Baldo e cols., 2003; Noronha e cols., 2004), de forma a confirmar a necessidade de um trabalho voltado principalmente à transmissão de conhecimentos dos princípios da Psicometria e seus conteúdos específicos, os quais dão sustentação aos instrumentos e permitem uma escolha mais adequada dos instrumentais por parte do usuário.

A perspectiva apontada pelos resultados da pesquisa não deixa dúvida sobre a importância da avaliação que vem sendo realizada pelo CFP. No entanto, deve-se ressaltar que a sua complementação deverá será feita pelos próprios profissionais na sua prática diária. Na opinião de Primi (2011), é evidente que o simples credenciamento dos instrumentos se mostra uma medida necessária, mas não suficiente, dado o fato de que “o ponto central situa-se na competência profissional para o uso adequado de tais informações” (p. 56), opinião compartilhada por Chiodi e Wechsler (2008). Tratar os testes em função do seu uso, considerando suas indicações e limitações, é a atitude que deveria ser divulgada entre os profissionais, de maneira que “o ímpeto e os esforços deveriam ser, ao lado da crítica qualificada e construtiva, o de se trabalhar no desenvolvimento de um instrumental mais acurado e eficaz” (Souza Filho, Belo, & Gouveia, 2006, p. 489).

Tais posicionamentos nos mostram a importância de que as pesquisas estejam preocupadas com a criação de instrumentos novos, com a atualização dos existentes, com a verificação de seus parâmetros psicométricos, além de uma maior atenção para a formação profissional, conforme destacado por Noronha (2002). Esse movimento já foi iniciado com a criação da Satepsi, embora esse esforço, isoladamente não nos permita, “ingenuamente concluir que a avaliação psicológica brasileira se encontra em nível de excelência e pode ser equiparada à das grandes potências internacionais, com sua centena de testes” (Noronha & Reppold, 2010, p. 196), visto que, sozinho o sistema não tem valor. Essa prática será efetivada pelos profissionais a partir do uso exclusivo de instrumentais aprovados e de atualização constante.

 

Considerações finais

No Brasil, a emergência da área da avaliação psicológica se encontra, nos últimos anos, centrada na discussão da qualidade e da elaboração de instrumentos nacionais, destacando-se entre os estudos que vêm sendo desenvolvidos, aqueles que versam sobre o ensino e formação, exercício profissional, novas tecnologias e teorias que embasam a construção e validação de testes (Noronha e cols., 2004). O país, pioneiro na implementação de um sistema de certificação baseado em critérios internacionais de qualidade de testes, tem acompanhado a tendência de associações internacionais, tais como a European Federation of Psychologists’ Associations, cujo movimento teve início a partir de 2008 (Primi, 2010), podendo ser citada também, em Portugal, a criação da Comissão para a Adaptação Portuguesa das Directrizes Internacionais para a Utilização de Testes no ano de 2003 (Diniz, Almeida, & Pais, 2007). Independentemente dos avanços que ainda se fazem necessários, tais cuidados garantirão as condições almejadas, de forma mais intensa na última década, para a reconstrução da credibilidade da área de avaliação psicológica.

 

Referências

Ádanez, G.P. (1999). Procedimientos de construcción y análisis de tests psicométricos. Em S. M. Wechsler & R. S L. Guzzo. (Org.). Avaliação Psicológica: perspectiva internacional (pp.57-100). São Paulo: Casa do Psicólogo.         [ Links ]

Alchieri, J. C. & Bandeira, D. R. (2002). Ensino da avaliação psicológica no Brasil. Em R. Primi (Org.). Temas em Avaliação Psicológica (pp. 35-39). Campinas: Ibap / Impressão Digital do Brasil.         [ Links ]

Alchieri, J. C., Noronha, A. P. P., & Primi, R. (2003). Guia de referência: Testes psicológicos comercializados no Brasil. São Paulo: Casa do Psicólogo.         [ Links ]

Anache, A. & Corrêa, F. (2010). As políticas do Conselho Federal de Psicologia para a avaliação psicológica. Em Conselho Federal de Psicologia (Org.). Avaliação psicológica: diretrizes na regulamentação da profissão (pp.19-30). Brasília, DF: CFP        [ Links ]

Anastasi, A. & Urbina, S. (2000). Testagem Psicológica. Porto Alegre: Artes Médicas.         [ Links ]

Andriola, W. B. (1995). Os testes psicológicos no Brasil: problemas, pesquisas e perspectivas para o futuro. Em L. S. Almeida, S. Araújo, M. M. Gonçalves, C. Machado & M. R. Simões (Org.). Avaliação Psicológica: Formas e Contextos (Vol.3, pp. 77-82). Braga: Apport.         [ Links ]

Araújo, M. F. (2007). Estratégias de diagnóstico e avaliação psicológica. Psicologia Teoria e Prática. 9(2), 126-141.         [ Links ]

Azevedo, M. M, Almeida, L. S., Pasquali, L. & Veiga, H. M. S. (1996). Utilização dos testes psicológicos no Brasil: dados de estudo preliminar em Brasília. Em L. S. Almeida, S. Araújo, M. M. Gonçalves, C. Machado & M. R. Simões (Org.). Avaliação Psicológica: Formas e Contextos (Vol. 3, pp. 213-220). Braga: Apport.         [ Links ]

Carvalho, L. F. & Ambiel, R. A. M. (2009). Uma proposta de discussão na área de avaliação psicológica no Brasil. Avaliação Psicológica, 8(2), 285-288.         [ Links ]

Chiodi, M. G. & Wechsler, S. M. (2008). Avaliação psicológica: contribuições brasileiras. Boletim – Academia Paulista de Psicologia, 28(2), 197- 210.

Conselho Federal de Psicologia. (2004). Suplemento Especial: testes psicológicos. Brasília: Conselho Federal de Psicologia.         [ Links ]

Conselho Federal de Psicologia (2009). Resolução 006/2009. Retirado em 05/08/2011, no World Wide Web: http//www.crprs.org.br/upload/ legislacao/legislacao116.pdf        [ Links ]

Cronbach, L. J. (1996). Fundamentos da testagem psicológica. Porto Alegre: Artes Médicas.         [ Links ]

Cunha, J. A. & Nunes, M. L. T. (2010). Medida projetiva. Em L. Pasquali (Org.). Instrumentação Psicológica (pp.357-375). Porto Alegre: Artmed.         [ Links ]

Diniz, A. M., Almeida, L. S. & Pais, L. G. (2007). Contextos profissionais e práticas da avaliação psicológica: inquérito aos psicólogos portugueses. PsicoUSF, 12(1), 1-12.         [ Links ]

Hutz, C. S. (2011). Manuais especificando seus contextos de aplicação e âmbitos de ação. Em Conselho Federal de Psicologia (Org.). Ano da avaliação psicológica: textos geradores (pp. 49-52). Brasília: CFP.         [ Links ]

Hutz, C. S. & Bandeira, D. R. (1993). Tendências contemporâneas no uso de testes: uma análise da literatura brasileira e internacional. Psicologia: Reflexão e Crítica, 6(1/2), 85-101.         [ Links ]

Hutz, C. S., & Bandeira, D. R. (2003). Avaliação Psicológica no Brasil: situação atual e desafios para o futuro. Em O. H. Yamamoto & V. V. Gouveia (Org.). Construindo a psicologia brasileira: desafios da ciência e prática psicológica (pp. 261-277). São Paulo: Casa do Psicólogo.         [ Links ]

Janda, L. H. (1998). Psychological Testing: theory and applications. Boston: Allyn & Bacon.         [ Links ]

Joly, M. C. R. A., Berberian, A. A., Andrade, R. G., & Teixeira, T. C. (2010). Análise de teses e dissertações em avaliação psicológica disponíveis na BVS-PSI Brasil. Psicologia Ciência e Profissão, 30(1), 174-187.         [ Links ]

Joly, M. C. R. A., Silva, M. C. R., Nunes, M. F. O., & Souza, M. S. (2007). Análise da produção científica em painéis dos congressos brasileiros de avaliação psicológica. Avaliação Psicológica, 6(2), 239-252.         [ Links ]

Leite, O. A. (2011). A medida no exame psicológico: reflexões sobre o significado clínico da medida. Em Conselho Federal de Psicologia (Org.). Ano da avaliação psicológica: textos geradores (pp. 29-36). Brasília: CFP.         [ Links ]

Noronha, A. P. P. (2002). Os problemas mais graves e mais frequentes no uso dos testes psicológicos. Psicologia Reflexão e Crítica, 15(1), 135- 142.         [ Links ]

Noronha, A. P. & Alchieri, J. C. (2002). Reflexões sobre os instrumentos de avaliação psicológica. Em R. Primi (Org.). Temas em avaliação psicológica (pp. 7-16). Campinas: Ibap / Impressão Digital do Brasil.         [ Links ]

Noronha, A. P. P., Baldo, C. R., Barbin, P. F., & Freitas, J. V. (2003). Conhecimento em avaliação psicológica: um estudo com alunos de Psicologia. Psicologia Teoria e Prática, 5(2), 37-46.         [ Links ]

Noronha, A. P. P., Carvalho, L. F., Miguel, F. K., Souza, M. S., & Santos, M. A. (2010). Sobre o ensino de avaliação psicológica. Avaliação Psicológica, 9(1), 139-146.         [ Links ]

Noronha, A. P. P., Freitas, F. A., & Ottati, F. (2002). Parâmetros psicométricos de testes psicológicos de inteligência. Interação em Psicologia, 6(2), 195-201.         [ Links ]

Noronha, A. P. P., Nunes, M. F. O., & Ambiel, R. A. M. (2007). Importância e domínios de avaliação psicológica: um estudo com alunos de Psicologia. Paidéia (Ribeirão Preto), 17(37), 231-244.         [ Links ]

Noronha, A. P. P., Primi, R., & Alchieri, J. C. (2004). Parâmetros psicométricos: uma análise de testes psicológicos comercializados no Brasil. Psicologia Ciência e Profissão, 24(4), 88-99.         [ Links ]

Noronha, A. P. P., Primi, R., & Alchirei, J. C. (2005). Instrumentos de avaliação mais conhecidos/utilizados por psicólogos e estudantes de psicologia. Psicologia Reflexão e Crítica, 18(3), 390-401.         [ Links ]

Noronha, A. P. P. & Reppold, C. T. (2010). Considerações sobre a avaliação psicológica no Brasil. Psicologia Ciência e Profissão, 30, 192-201.         [ Links ]

Noronha, A. P. P.; Sartori, F. A., Ottati, F. & Freitas, F. A. (2001). Informações contidas nos manuais de testes de inteligência publicados no Brasil. Psicologia em Estudo 6(2), 101-106.         [ Links ]

Noronha, A. P. P., Sartori, F. A., Freitas, F. A., & Ottati, F. (2002). Informações contidas nos manuais de testes de personalidade. Psicologia em Estudo, 7(1), 143-149.         [ Links ]

Noronha, A. P. P. & Vendramini, C. M. M. (2003). Parâmetros Psicométricos: estudo comparativo entre testes de inteligência e de personalidade. Psicologia: Reflexão e Crítica, 16(1), 177-182.         [ Links ]

Noronha, A. P. P., Vendramini, C. M. M., Canguçu, C., Souza, C. V. R., Cobêro, C., Paula, L. M., Franco, M. O., Lima, O. M. P., Guerra, P. B. C., & Filizatti, R. (2003). Propriedades psicométricas apresentadas em manuais de testes de inteligência. Psicologia em Estudo, 8(1), 93-99.         [ Links ]

Nunes, C. H. S. S. & Primi, R. (2010). Aspectos técnicos e conceituais da ficha de avaliação dos testes psicológicos. Em Conselho Federal de Psicologia (Org.). Avaliação psicológica: diretrizes na regulamentação da profissão (pp. 101-127). Brasília: CFP.         [ Links ]

Ottati, F., Noronha, A. P. P., & Salviatti, M. (2003). Testes psicológicos: qualidade de instrumentos de interesse profissional. Interação em Psicologia, 7(1), 65-71.         [ Links ]

Padilha, S., Noronha, A. P. P. & Fagan, C. Z. (2007). Instrumentos de avaliação psicológica: uso e parecer de psicólogos. Avaliação Psicológica, 6(1), 69-76.         [ Links ]

Paula, A. V., Pereira, A. S., & Nascimento, E. (2007). Opinião de alunos de psicologia sobre o ensino em avaliação psicológica. PsicoUSF, 12(1), 33-43.         [ Links ]

Pasquali, L. (2001). Padronização dos testes psicológicos: as normas. Em: L. Pasquali (Org.). Técnicas de exame psicológico – TEP: manual (pp. 137-153). São Paulo: Casa do Psicólogo / Conselho Federal de Psicologia.

Primi, R. (2003). Inteligência: avanços nos modelos teóricos e nos instrumentos de medida. Avaliação Psicológica, 2, 67-77.         [ Links ]

Primi, R. (2010). Avaliação psicológica no Brasil: fundamentos, situação atual e direções para o futuro. Psicologia Teoria e Pesquisa, 26, 25-35.         [ Links ]

Primi, R. (2011). Responsabilidade e ética no uso dos padrões de qualidade profissional na avaliação psicológica. Em Conselho Federal de Psicologia (Org.). Ano da avaliação psicológica: textos geradores (pp. 53-58). Brasília: CFP.         [ Links ]

Primi, R. & Nunes, C. H. S. S. (2010). O SATEPSI: desafios e propostas de aprimoramento. Em Conselho Federal de Psicologia (Org.). Avaliação psicológica: diretrizes na regulamentação da profissão (pp. 129- 148). Brasília: CFP.         [ Links ]

Reppold, C. T. (2011). Qualificação da avaliação psicológica: critérios de reconhecimento e validação a partir dos direitos humanos. Em Conselho Federal de Psicologia (Org.). Ano da avaliação psicológica: textos geradores (pp. 21-28). Brasília: CFP.         [ Links ]

Reppold, C. T. & Serafini, A. J. (2010). Novas tendências no ensino da avaliação psicológica. Avaliação Psicológica, 9(2), 323-329.         [ Links ]

Santos, A. A. A. (2011). O possível e o necessário no processo de avaliação psicológica. Em Conselho Federal de Psicologia (Org.). Ano da avaliação psicológica: textos geradores (pp. 13-16). Brasília: CFP.         [ Links ]

Souza Filho, M. L., Belo, R., & Gouveia, V. V. (2006). Testes psicológicos: análise da produção científica brasileira no período 2000-2004. Psicologia Ciência e Profissão, 26(3), 478-489.         [ Links ]

Vendramini, C. M. M. & Lopes, F. L. (2008). Leitura de manuais de testes psicológicos por estudantes e profissionais de psicologia. Avaliação Psicológica, 7(1), 93-105.         [ Links ]

Villemor-Amaral, A. E. (2008). A validade teórica em avaliação psicológica. Psicologia Ciência e Profissão, 28(1), 98-109.         [ Links ]

Wechsler, S. M. (2001). Avaliação Psicológica no Brasil: tendências e perspectivas para o novo milênio. Em C.R.P. 13ª região PB/RN (Org.). A diversidade da Avaliação Psicológica: considerações teóricas e práticas (pp. 17-24). João Pessoa: Idéia.         [ Links ]

 

 

Recebido em dezembro de 2011
Aprovado em junho de 2012

 

 

Sobre a autora

Tatiana de Cássia Nakano: Docente da Pontifícia Universidade Católica de Campinas.

¹Endereço para correspondência:
Av. John Boyd Dunlop, s/n, Jardim Ipassurama, 13060-904, Campinas-SP. E-mail: tatiananakano@puc-campinas.edu.br