RESENHA

 

Manual de Desenvolvimento de Instrumentos Psicológicos: Contribuições Emergentes em Psicometria e Avaliação Psicológica

 

Psychological Instrument Development Manual: Emerging Contributions in Psychometrics and Psychological Evaluation

 

Manual de Desarrollo de Instrumentos Psicológicos: Contribuciones Emergentes en Psicometría y Evaluación Psicológica

 

 

Pedro Afonso Cortez

Universidade São Francisco, Campus Swift, Campinas/SP

Endereço para correspondência

 

 

O livro "Manual de Desenvolvimento de Instrumentos Psicológicos" é uma publicação da editora Vetor, a qual foi organizada por Bruno Damásio e Juliane Borsa em 2017. A obra é dividida em três seções "Introdução ao desenvolvimento e à validação de testes psicológicos", "Construção de instrumentos psicológicos para diferentes usos e contextos" e "Análises estatísticas aplicadas à construção de instrumentos psicológicos". Essas seções visam, respectivamente, 1) introduzir o leitor aos princípios teóricos e empíricos fundamentais que baseiam a elaboração dos testes; 2) apresentar um panorama de aplicação dos instrumentos em diferentes espaços e perspectivas de atuação e, por fim, 3) instrumentalizar os psicólogos para aplicar instrumental analítico na elaboração de testes psicológicos.

Na primeira seção, o capítulo inicial desenvolvido por Borsa e Seize apresenta de forma intuitiva um passo a passo sobre a construção e adaptação cultural de testes psicológicos. Após a exposição das etapas relativas a esses processos, as autoras sintetizam as vantagens e desvantagens de construir ou adaptar testes, habilitando os leitores a avaliar criticamente as decisões metodológicas envolvendo a proposição de medidas no contexto brasileiro.

No segundo capítulo, Carvalho e Ambiel elucidam as etapas relativas à construção de testes psicológicos, abrangendo desde os motivos que fundamentam a proposição dos testes até as etapas fundamentais a serem seguidas para a elaboração de um instrumento. Um ponto forte desse capítulo é a conexão entre os elementos conceituais e a aplicação de forma ilustrativa que os autores fazem ao trazer exemplos de construção de instrumentos por meio de pesquisas desenvolvidas previamente.

Por meio do terceiro capítulo, Muniz e Freitas versam sobre as diferenças entre padronização e normatização, possibilitando ao leitor distinguir entre os conceitos e as possíveis aplicações no campo de Avaliação Psicológica. As autoras também tratam sobre aspectos essenciais relativos à elaboração de procedimentos de aplicação e correção padronizados, bem como destacam a importância de interpretar os resultados dos testes dentro dos limites propostos pela normatização.

O quarto capítulo conta com as elaborações de Ambiel e Carvalho sobre evidências de validade baseadas na estrutura interna. Os autores apresentam a investigação desse tipo de validade como uma das primeiras etapas do desenvolvimento de testes e as implicações resultantes dessas evidências para suportar a aplicação das teorias psicológicas. Eles também discorrem sobre a ineficácia do alfa de Cronbach como indicador de dimensionalidade e sugerem as análises de componente principais, análises fatoriais e análises de Rasch (TRI) como técnicas para investigar a estrutura interna das medidas psicológicas.

O quinto capítulo foi elaborado por Freitas e Damásio. Esse capítulo apresenta formas de buscar evidências de validade nas relações com medidas externas partindo das diretrizes propostas nos Standards da AERA (American Educational Research Association), APA (American Psychological Association) e NCME (National Council on Measurement in Education). Os autores ressaltam as limitações de testar a validade convergente por técnicas de correlação e indicam como verificar evidências de validade com medidas externas por meio de Modelagem por Equações Estruturais (SEM) e Multitraço-Multimétodo.

O sexto capítulo encerra a primeira seção e foi desenvolvido por Bueno, Amorim e Albuquerque, tendo como tema central o SATEPSI (Sistema de Avaliação de Testes Psicológicos). Esse capítulo abrange desde o surgimento do SATEPSI, o qual foi elaborado em um contexto com graves problemas éticos e deficiências na área de Avaliação Psicológica no Brasil, até o momento atual do Sistema. Os autores elencam algumas limitações do formato atual do SATEPSI e propõem uma agenda de pesquisa e prática para aprimorá-lo, a qual também perpassa por melhores condições de formação ética e técnico-científica em Avaliação Psicológica.

A segunda seção inicia-se pelo sétimo capítulo proposto por Salum-Júnior, DeSousa e Hoffman abrangendo um panorama sobre escalas de uso clínico. Os autores defendem o argumento que os transtornos mentais são compreendidos de forma mais adequada por uma perspectiva dimensional, mas a maior parte das medidas limita-se aos aspectos categóricos e sintomáticos. Eles também distinguem sintomas e funcionalidade no processo de Avaliação Psicológica, bem como sintetizam uma série de instrumentos, suas aplicações e limitações no contexto clínico.

No oitavo capítulo, Sacco trata sobre medidas implícitas e os dilemas relacionados a esse tipo de avaliação. As principais técnicas apresentadas pela autora foram o IAT (Teste de Associação Implícita) e EP (Priming Avaliativo). Essas técnicas são descritas como baseadas no tempo de reação, as quais demandam por maior controle e padronização dos procedimentos empregados. A autora também salienta o maior poder preditivo de comportamentos espontâneos das medidas implícitas, quando comparadas ao autorrelato, pela menor possibilidade de controle sujeitos em avaliação. No entanto, ela destaca que há a necessidade de aprimoramento teórico conceitual sobre as definições e procedimentos relativos às medidas implícitas para otimizar as inferências pautadas nessa forma de avaliação.

A questão dos instrumentos informatizados e testagem adaptativa computadorizada é tema do nono capítulo elaborado por Koich-Miguel. Nesse capítulo, o autor demonstra os fundamentos da testagem informatizada por meio da criação de bancos de dados, seleção de itens, critérios de interrupção e análise dos parâmetros e estatísticas psicométricas. Ele também destaca a rapidez, facilidade de coleta de dados e praticidade para alterar o instrumento como vantagens desse tipo de aplicação. Por outro lado, são reconhecidas as limitações da testagem informatizada, as quais abrangem: os custos de programação, ausência de regulamentações sobre o tema e a dificuldade de observação do participante durante o processo de resposta.

No décimo capítulo, Salles e Rodrigues tratam sobre a especificidade da construção dos instrumentos para domínios neuropsicológicos. Para os autores, as medidas dessa área devem incluir elaborações advindas da Psicometria, Neuropsicolinguística, Psicologia Experimental e Processamento Funcional Cerebral. Eles discutem ainda a importância de incluir no processo de avaliação neuropsicológica, além de testes padronizados, tarefas ecológicas, entrevistas, questionários e observação comportamental, a fim de maximizar a validade ecológica do procedimento. Esse capítulo encerra a segunda seção.

A terceira seção é introduzida pelo décimo primeiro capítulo de Damásio e Dutra sobre aplicação de análise fatorial exploratória pelo programa Factor. De forma prática, os autores habilitam os leitores a realizar a análise fatorial exploratória por meio do Factor e interpretar as saídas da análise. Incluem-se entre os tópicos de interpretação abrangidos no capítulo as tabelas de cargas fatoriais e índices de ajuste, os quais possibilitam avaliar a fidedignidade, simplicidade e replicabilidade da estrutura fatorial identificada.

No décimo segundo capítulo, Golino apresenta a técnica de Exploratory Graph Analysis (EGA) para verificar a dimensionalidade e estrutura fatorial de instrumentos psicológicos. O autor instrui sobre os conceitos fundamentais da EGA e aplicação dessa análise por meio do pacote EGA disponível para utilização em R. Na perspectiva teórico-conceitual, o capítulo também trata sobre a análise fatorial exploratória e a importância de se compreender as diferenças existentes nas técnicas e critérios empregados para retenção fatorial.

Uma introdução à análise fatorial confirmatória (AFC) é explicitada no décimo terceiro capítulo de Franco, Valentini e Iglesias. Os autores indicam que os modelos de medida desenvolvidos por meio da análise fatorial pressupõem que a variável latente é a causa dos comportamentos observados. Também orientam sobre o uso de estimadores ADF (Asymptotically Distribution-Free) e WLSMV (Weighted Least Squares Means and Variance Adjusted) para estimação de parâmetros em AFC para itens categóricos e ML (Maximum Likelihood) para dados com distribuição intervalar. De forma instrutiva, os autores abordam como utilizar AFC no R por meio do pacote Lavaan e, na perspectiva Bayesiana, pelo blavaan.

O décimo quarto capítulo desenvolvido por Campos e Marôco versa sobre aplicações de Modelagem de Equações Estruturais para gerar evidências de validade em instrumentos psicológicos. Os autores delineiam formas de testar a estrutura fatorial e evidências de validade convergente, discriminante, critério, concorrente e divergente utilizando o software SPSS Amos. Outro aspecto prático abordado no capítulo é o cálculo dos indicadores de Confiabilidade Composta e Variância Extraída Média pelo Microsoft Excel.

A análise de invariância é introduzida por Valentini, Franco e Iglesias no décimo quinto capítulo. Os autores indicam o uso dessa análise para identificar a influência de variáveis externas na parametrização dos itens, de forma a simplificar a comparação de escores entre diferentes sujeitos. Por meio de modelagem estatística no software Mplus os autores esclarecem sobre as etapas para implementar análise de variância em análises fatoriais multigrupos e modelagem MIMIC (Multiple Indicators Multiple Causes), abrangendo, inclusive, o uso de reamostragens (Bootstrapping).

Salienta-se que o décimo quarto e décimo quinto capítulo são os únicos que fazem aplicações por meio de softwares pagos, os quais requerem licenciamento para uso. Contudo, pelos tópicos listados nesses capítulos terem a aplicação abordada em outras partes do Manual por alternativas freeware, as aplicações propostas por meio de softwares shareware acabam se mostrando complementares às análises realizadas por meio de instrumental gratuito elencadas em outros momentos da obra.

O décimo sexto capítulo, elaborado por Golino, trata sobre uma introdução à aplicação de TRI (Teoria de Resposta ao Item) no R para dados dicotômicos. No aspecto prático, o pacote mIRT é empregado no R para analisar os modelos Rasch, 1p, 2p, 3p e 4-pl. O autor também discute questões teóricas sobre esses modelos e apresenta algumas considerações sobre a análise de curvas características dos itens e índices de ajuste infit e outfit. A aplicação do modelo 4-pl se apresenta com o um diferencial do capítulo, dado o ineditismo desse modelo e forma de análise no cenário brasileiro.

A terceira seção e a obra é encerrada com a apresentação da análise taxométrica no décimo sétimo capítulo por Hauck-Filho, Costa e Cordeiro. De forma semelhante ao anterior, esse capítulo também é marcado pela inovação, considerando-se a inexistência de proposta instrucional acessível na literatura brasileira sobre a análise taxométrica. Alinhado às discussões teórico-empíricas existentes na literatura internacional sobre a questão da representação dos fenômenos psicológicos em dimensões ou categorias, o capítulo demonstra como implementar esse tipo de análise por meio do pacote RTaxometrics no R e discute as implicações que os resultados da análise taxométrica propõem sobre a compreensão da natureza dos fenômenos psicológicos.

Ao se considerar o conjunto da obra, um elemento chave merece ser destacado pela presença unânime em todas as seções do Manual. Há um comprometimento dos autores em alinhar as apresentações teóricas e práticas aos padrões de excelência internacionais definidos por meio do The Standards for Educational and Psychological Testing. Esses padrões representam o esforço conjunto de uma rede internacional de associados das instituições AERA (American Educational Research Association), APA (American Psychological Association) e NCME (National Council on Measurement in Education), o que demonstra a atualização da obra frente ao cenário internacional.

Cabe ainda destacar outro ponto forte do "Manual de desenvolvimento de instrumentos psicológicos", que é a utilização predominante de técnicas de simulação e aplicações baseadas em dados concretos por meio de software livre (open source). Essa opção majoritária dos autores sinaliza um aprimoramento das elaborações da área no contexto brasileiro em dois aspectos. O primeiro refere-se à superação das "regras de polegar" (decisões metodológicas baseadas em propostas arbitrárias e/ou intuitivas sem fundamento empírico e erroneamente difundidas por gerações anteriores de pesquisadores no Brasil) em favor de alternativas analíticas baseadas em evidências empíricas. O segundo é a democratização das elaborações da área, as quais se tornam mais acessíveis por terem sido apresentadas de forma predominante por meio de softwares livres pautados em redes colaborativas, como é o caso das aplicações propostas por meio da linguagem de programação R.

Ademais, no que tange à genealogia da área de Psicometria e Avaliação Psicológica brasileira, essa obra marca um paradigma emergente que convida os pesquisadores e profissionais a revisitarem os princípios, fazeres e implicações do campo. Em suma, representa os ideais e práticas de uma nova geração de pesquisadores comprometidos com o desenvolvimento teórico, empírico e aplicado da área. Nesse sentido, apresenta-se como um marco da literatura brasileira sobre Avaliação Psicológica e Psicometria por reunir contribuições de autores consolidados e emergentes nesse campo, cujas elaborações abrangem de forma inovadora os tópicos fundamentais para a elaboração, adaptação e aplicação concreta de instrumentos psicológicos.

Também é visível ao longo de toda a obra o comprometimento dessa nova geração com o aprimoramento da área em busca de padrões de avaliação e instrumentação para a ciência psicológica compatível as exigências contextuais atuais. A velocidade de produção, acesso e análise das informações presentes são mais ágeis e sofisticadas que aquelas existentes nos primórdios da área no Brasil, demandando intensa e constante atualização àqueles que se propõem a atuar nesse campo. Isso torna imprescindível que as elaborações presentes no "Manual de Desenvolvimento de Instrumentos Psicológicos" se tornem a tônica para os futuros desenvolvimentos teóricos, práticos e aplicados à formação de pessoal qualificado para atuar em Psicometria e Avaliação Psicológica.

Afinal, somente com uma nova mentalidade, pautada no constante desenvolvimento científico e atualização das práticas analíticas e avaliativas, é que as produções brasileiras estarão aptas a responderem aos novos problemas que se apresentam à área em condições satisfatórias. A obra analisada ao longo desta resenha apresenta-se como um marco teórico e empírico que representa a emergência dessa nova mentalidade e, provavelmente, direcionará em que sentido caminhará o desenvolvimento da Psicometria e Avaliação Psicológica no Brasil ao longo dos próximos anos.

 

Referências

Damásio, B. F., & Borsa, J. C. (Eds.). (2017). Manual de desenvolvimento de instrumentos psicológicos. São Paulo: Vetor.         [ Links ]

 

 

Endereço para correspondência:
Rua Waldemar César da Silveira, 105, Swift
Campinas - São Paulo, CEP: 13045-760
Telefone: (34) 92000-9483
E-mail: cor.afonso@gmail.com

Recebido em março de 2018
Aprovado em novembro de 2018

 

 

Pedro Afonso Cortez é psicólogo com ênfase em Processos de Gestão, Psicologia Social e Clínica pela Universidade Federal de Uberlândia (UFU), Especialista em Psicologia Organizacional e do Trabalho pela Faculdade Cidade Verde (FCV), Mestre em Psicologia pela Universidade Federal de Uberlândia (UFU) e Doutorando em Psicologia pela Universidade São Francisco (USF).