O processo de construção de escalas psicométricas

 

The process of construction of psychometric scales

 

El proceso de construcción delas escalas psicométricas

 

 

Caroline Tozzi Reppold^I; Léia Gonçalves Gurgel^I; Claudio Simon Hutz^II

^IUniversidade Federal de Ciências da Saúde de Porto Alegre
^IIUniversidade Federal do Rio Grande do Sul

 

 

---

RESUMO

A proposição de novos instrumentos de avaliação psicológica é um tema de grande interesse da Psicologia nos últimos anos. Para instrumentos psicométricos, as exigências incluem: fundamentação teórica coerente, estudos sobre características de precisão e validade, procedimentos de administração, correção e interpretação. O objetivo desta nota é ilustrar cada etapa do processo de elaboração e validação de uma escala psicológica. Nesse caso, serão apresentados exemplos das etapas da construção da Escala de Ajustamento Psicológico para Adolescentes, incluindo: I – procedimentos teóricos, elaboração dos itens e evidências de validade baseadas no conteúdo; II – evidências de validade baseadas na estrutura interna; III – evidências de validade baseadas nas relações com variáveis externas convergentes.

Palavras-chave: psicometria; avaliação psicológica; testes psicológicos.

---

ABSTRACT

The proposition of new psychological assessment instruments is a topic of great interest in psychology in recent years. The requirements for psychometric instruments include: coherent theoretical foundation, studies on precision characteristics and validity, administration procedures, scoring and interpretation. The aim of this technical note is to illustrate each step of the development and validation process of a psychological scale. In this case, examples of the stages of the development of the scale Psychological Adjustment for Teenagers will be presented, including: I – theoretical procedures, preparation of items and evidence of validity based on the content; II – evidence of validity based on internal structure; III – Evidence of validity based on relations with converging external variables.

Keywords: psychometrics; psychological assessment; psychological tests

---

RESUMEN

La propuesta de nuevos instrumentos de evaluación psicológica es un tema de gran interés en la psicología en los últimos años. Para instrumentos psicométricos, los requisitos incluyen: base teórica coherente, estudios sobre las características de precisión y la validez, los procedimientos de administración, calificación e interpretación. El propósito de esta nota es para ilustrar cada etapa del proceso desarrollo y validación de una escala psicológica. En este caso, se presentarán ejemplos de las etapas de la construcción de la escala Ajuste Psicológico para Adolescentes, incluyendo: I – procedimientos teóricos, la preparación de los elementos y evidencias de validez basado en el contenido; II – evidencia de la validez basada en la estructura interna; III – La evidencia de la validez basada en las relaciones con convergencia de las variables externas.

Palabras-clave: psicometría; evaluación psicológica; pruebas psicológicas.

---

 

 

A proposição de novos instrumentos de avaliação psicológica é um dos temas de grande interesse da Psicologia nos últimos anos, em especial após a Resolução CFP nº02/2003 (CFP, 2003). Os princípios da criação de um instrumento podem ser divididos em três eixos, conforme a denominação de Pasquali (1999): procedimentos teóricos, procedimentos empíricos (experimentais) e procedimentos analíticos (estatísticos). Contudo, os procedimentos que operacionalizam esses eixos são descritos pelo ITC (2001) e pela American Educational Research Association, American Psychological Association e National Concil on Measurement in Education (1999), e pelo Conselho Federal de Psicologia (CFP, 2003; Primi, Muniz e Nunes, 2009).

O objetivo da presente nota é ilustrar o processo de elaboração e validade de escalas psicológicas, com exemplos das etapas da construção da Escala de Ajustamento Psicológico para Adolescentes (EAPA) (Reppold, 2005). Este instrumento é composto por cinco escalas destinadas à avaliação do ajustamento psicológico de adolescentes entre 11 e 17 anos, que cobrem os construtos ansiedade, humor, conduta social, atenção/atividade motora e conteúdo do pensamento. De acordo com o ITC (2001), a elaboração de um instrumento psicométrico envolve as seguintes etapas:

Etapa I – procedimentos teóricos, elaboração dos itens e evidências de validade baseadas no conteúdo

Tem como objetivo a especificação das categorias comportamentais que representam o objeto psicológico a ser medido e a operacionalização dos construtos em itens. No caso da EAPA, a escolha dos atributos foi determinada pelas indicações da literatura (demandas desenvolvimentais e clínicas), por entrevistas realizadas com oito profissionais da área da saúde (psicólogos, neurologistas, psiquiatras e hebiatras) sobre as principais queixas clínicas dos adolescentes, e pela análise documental das fichas de atendimentos de adolescentes em duas clínicas-escolas. Neste caso, foram observados os principais motivos de encaminhamento dos adolescentes e as queixas relatadas por eles durante a triagem.

O segundo passo da elaboração de um instrumento psicológico é a definição das dimensões do teste, em termos constitutivos e operacionais, e a elaboração dos itens. No caso da EAPA, os principais referenciais teóricos que balizaram as definições dos construtos foram os estudos clínicos e epidemiológicos que assumiam a perspectiva da Psicopatologia Operacional-Pragmática, as diretrizes diagnósticas descritas em manuais psiquiátricos, e as orientações nacionais e internacionais sobre diretrizes na avaliação psicológica. Para criação dos itens, procedeu-se da seguinte maneira: foram realizadas entrevistas com profissionais, sobre a fenomenologia do construto, e com a população-alvo; foram levantados os instrumentos disponíveis que avaliavam o mesmo construto ou construtos correlatos; e foram levantados os dados obtidos nos prontuários de clínicas- -escolas de Psicologia (diferenças de queixas em relação a sexo, idade, forma de relatar dificuldades de ajustamento, diferenças entre motivos de encaminhamento e queixas autorrelatadas).

Em específico, foram realizadas entrevistas individuais com oito profissionais (um hebiatra, quatro psicólogos, dois psiquiatras e um neurologista) sobre "quais são as expressões verbais mais comumente pronunciadas pelos adolescentes quando eles falam sobre: a) ansiedade? b) humor? c) conduta social? d) pensamento (obsessão/compulsão)? e) atenção e hiperatividade?". Com relação à análise dos prontuários, os seguintes pontos foram observados: se os motivos de encaminhamento diferiam quanto a sexo e idade; o modo como os adolescentes relatavam dificuldades de ajustamento (expressões utilizadas); as diferenças entre motivos de encaminhamento e queixas autorrelatadas. Constatouse, por exemplo, que os problemas de internalização são subdimensionados por quem faz o encaminhamento dos adolescentes ao atendimento clínico, e que a forma de relatar queixas varia de acordo com a metacognição dos adolescentes.

Com relação às evidências de validade baseadas no conteúdo propriamente dito, pode-se dizer que esse processo objetiva determinar se os itens elaborados são adequados teoricamente e se algum dos fatores do atributo coberto pelo teste é super ou sub-representado no instrumento pelo viés do pesquisador. Essa análise teórica dos itens é realizada por juízes e inclui uma análise semântica dos itens (Cronbach, 1996; Pasquali, 1999).

No procedimento de análise semântica dos itens da EAPA, o instrumento piloto foi apresentado em dez amostras de seis adolescentes de 12 a 17 anos, de ambos os sexos, escolhidos aleatoriamente. Para os procedimentos da análise de juízes da versão preliminar dos instrumentos, contou-se com psiquiatras infanto-juvenis, hebiatras e psicólogos. Os procedimentos incluíram a apresentação dos itens, da definição do construto e das dimensões cobertas pelo teste. Com base nisso, os peritos indicavam se o item era pertinente ao traço latente a que teoricamente deveria se referir e se havia alguma faceta do construto não coberta pelo instrumento. Cada instrumento elaborado para a bateria foi analisado por, no mínimo, dois juízes. Além disso, os itens foram apresentados a três grupos de adolescentes, organizados conforme idade, para averiguar se essa população-alvo compreendia esses itens. Os adolescentes deveriam dizer o que cada item expressava e, para aumentar a validade aparente, sugerir eventuais modificações na linguagem do item.

Etapa II – evidências de validade baseadas na estrutura interna

Dois procedimentos estão incluídos nesta etapa. Os procedimentos experimentais englobam o planejamento da pesquisa e a coleta dos dados. Os procedimentos analíticos envolvem o tratamento estatístico e a análise dos resultados (Pasquali, 1999). Neste contexto, a AERA, APA e NMCE (1999) preconizam que a validade é a consideração mais fundamental quando da construção e análise dos testes, pois revela o quanto a evidência e o suporte teórico do teste estão absorvidos na proposta apresentada. A fidedignidade se refere à consistência dos dados de avaliação frente aos mesmos procedimentos de testagem em indivíduos ou em grupos, quando as condições de padronização são mantidas.

A validação da EAPA foi realizada com 4033 adolescentes (51% do sexo feminino e 49% do sexo masculino), na faixa entre 11 e 17 anos (média=14,4 anos, d.p.=1,72). Através das análises fatoriais exploratórias realizadas, foi possível identificar quais itens tinham pertinência estatística com relação ao construto avaliado – eliminando-se, assim, os itens não pertinentes. Para composição dos fatores, foi considerada também a pertinência teórica dos itens em cada fator. A fidedignidade do instrumento foi averiguada por meio do cálculo do Alpha de Cronbach.

Etapa III – evidências de validade baseadas nas relações com variáveis externas convergentes

A validade é atestada quando as correlações estabelecidas entre os escores da "escala-teste" e os indicadores externos (por exemplo, escores de instrumentos convergentes ou divergentes) assumem magnitude e direção coerentes com as expectativas formuladas com base na literatura (Cronbach, 1996; Nunes e Primi, 2010). No caso da EAPA, os participantes responderam simultaneamente a um par de instrumentos (formado pelo teste construído e por um equivalente específico), cujos resultados foram submetidos à análise de Correlação de Pearson. Cada par de instrumentos foi respondido por, no mínimo, 39 adolescentes. Para ansiedade, foram utilizadas a Escala Fatorial de Ajustamento Emocional/ Neuroticismo (Hutz & Nunes, 2001), EFN – Fatores ansiedade e vulnerabilidade psicológica, e a Escala Beck de Ansiedade – BAI (Cunha, 2001). Para Humor, foram usadas as Escalas Beck de Depressão, Desesperança e Ideação Suicida – BDI/BHS/BSI (Cunha, 2001). Para conduta social, a Escala Fatorial de Ajustamento Emocional/Neuroticismo (Hutz & Nunes, 2001) – EFN – Fator desajustamento psicossocial, subescalas do Inventário de Habilidades Sociais (IHS) referentes à conversação/ desenvoltura social e situações novas/autocontrole da agressividade (Del Prette & Del Prette, 2003). Para atenção e atividade motora, o Teste de Atenção D2 (Brickenkamp, 2004), subtestes Dígitos (atenção vigilante e atenção dividida), Códigos (atenção mantida) e Aritmética (atenção dividida) do WISC III (Wechsler, 1991, adaptado por Figueiredo, 2002), subteste Labirinto (impulsividade) do WISC III (Wechsler, 1991, adaptado por Figueiredo, 2002).

Na validação baseada em critérios externos, a qualidade do teste é determinada pela capacidade de discriminar mudanças comportamentais já identificadas por terceiros ou por testes, de forma objetiva em estudos transversais (validade diagnóstica ou concorrente), ou identificadas como preditoras de comportamento/quadro futuro (validade preditiva). Para a EAPA, realizou-se a seleção de três grupos-critério. Para o grupo I (clínico), o critério foi o encaminhamento de psicólogos, psiquiatras e neurologistas de adolescentes com indicação diagnóstica de disfunções psiquiátricas. Cada grupo se refere a um dos construtos de interesse da bateria. O grupo relativo ao construto ansiedade (N=62) foi composto por adolescentes que apresentavam sintomas de Transtorno de Ansiedade Generalizada, Fobia Social, Fobia Específica ou Transtorno de Pânico. O grupo-critério relativo ao construto humor (N=36) foi composto por adolescentes com indicadores de Transtorno de Humor. Os participantes do grupo-critério referente ao construto conduta social (N=24) apresentavam diagnóstico prévio de Transtorno de Conduta ou de Transtorno Desafiador Opositivo. O diagnóstico de Transtorno de Ansiedade Obsessivo-Compulsivo foi o critério eleito para seleção do grupo clínico que constituiu amostra para validação de critério da escala de pensamento (N=23). Por fim, o grupo-critério relativo ao construto atenção/atividade motora foi constituído por adolescentes com diagnóstico de Transtorno de Déficit de Atenção e Hiperatividade (N=55). Para o grupo II, o critério foi a indicação de professores ou orientadores pedagógicos de adolescentes que, no contexto escolar, apresentavam reiteradamente comportamentos indicativos de problemas de conduta (N=31), dificuldades de atenção ou hiperatividade (N=50) ou ansiedade exacerbada (N=23), sem diagnóstico clínico. Para o grupo III, específico para escala de conduta social, o critério foi a existência de uma queixa crime contra o adolescente. Assim, foram incluídos no estudo 129 indivíduos encaminhados à Promotoria da Infância e Juventude, após o cometimento de um ato infracional.

 

Considerações finais

Ressalta-se a importância do tema abordado neste estudo, pois atende ao propósito de colaborar didaticamente com o ensino sobre a elaboração de instrumentos psicométricos. A oferta de instrumentos qualificados que auxiliem os clínicos a direcionar suas investigações diagnósticas com maior segurança e que forneçam aos pesquisadores novos recursos metodológicos para o estudo dos processos avaliativos é uma meta dos pesquisadores da área da avaliação psicológica - sobretudo tendo em conta a escassez de medidas psicológicas validadas e normatizadas para avaliação de adolescentes.

 

Referências

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (1999). Standards for educational and psychological testing. Washington, DC: Autor.         [ Links ]

American Educational Research Association, American Psychological Association e National Council on Measurement in Education. (1999). Standards for educational and psychological testing. New York: American Educational Research Association.         [ Links ]

American Psychiatric Association. (2002). Manual diagnóstico e estatístico de transtornos mentais (DSM-IV-TR). Porto Alegre: ArtMed.         [ Links ]

Brickenkamp, R. (2004). d2: Test de atención (2a ed.). Madrid: TEA Ediciones.         [ Links ]

Conselho Federal de Psicologia. (2003). Resolução para regulamentação dos testes psicológicos. Resolução 02/2003. Recuperado de http:// site.cfp.org.br/resolucoes/resolucao-n-2-2003/         [ Links ]

Cronbach, L. (1996). Fundamentos da testagem psicológica. Porto Alegre: Artes Médicas.         [ Links ]

Cunha, J. (2001). Manual da versão em português das Escalas Beck. São Paulo: Casa do Psicólogo.         [ Links ]

Del Prette, Z., & Del Prette, A. (2003). Inventário de Habilidades Sociais (IHA-Del-Prette): manual de aplicação, apuração e interpretação (2ª edição revisada e ampliada). São Paulo: Casa do Psicólogo.         [ Links ]

Figueiredo, V. (2002). WISC III – Escala de inteligência Wechsler para crianças. (3ª ed.). São Paulo: Casa do Psicólogo.

Hutz, C., & Nunes, C. (2001). Manual da Escala de Ajustamento Emocional/Neuroticismo – EFN. São Paulo: Casa do Psicólogo.

ITC – Comisión Internacional de Tests (2000). Diretrices internacionales para el uso de los tests. Recuperado de http://www.cop.es/tests.html

Nunes, C. H. S. S., & Primi, R. (2010). Aspectos técnicos e conceituais da ficha de avaliação dos testes psicológicos. Em Conselho Federal de Psicologia (CFP). Avaliação Psicológica: diretrizes na regulamentação da profissão (pp. 101-128). Brasília: CFP.         [ Links ]

Pasquali, L. (1999). Instrumentos psicológicos: Manual prático de elaboração. Brasília: LabPAM & IBAPP.         [ Links ]

Primi, R., Muniz, M., & Nunes, C. H. S. S. (2009). Definições contemporâneas de validade de testes psicológicos. Em C. S. Hutz (Org.), Avanços e polêmicas em avaliação psicológica (pp. 243-265). São Paulo: Casa do Psicólogo.         [ Links ]

Reppold, C.T. (2005). Construção, validação e normatização de uma bateria de cinco escalas para avaliação de ajustamento psicológico em adolescentes. (Tese de doutorado não publicada). Universidade Federal do Rio Grande do Sul, Porto Alegre, RS, Brasil.         [ Links ]

 

 

Recebido em novembro de 2013
Aprovado em fevereiro de 2014

 

 

Sobre os autores

Caroline Tozzi Reppold: é Psicóloga, doutora em Psicologia, professora adjunto da UFCSPA. Membro do corpo docente do PPG Ciências da Saúde e do PPG Ciências de Reabilitação/UFCSPA. Bolsista produtividade do CNPq. Membro da diretoria do IBAP.
Léia Gonçalves Gurgel: é Fonoaudióloga, mestre em Ciências da Saúde, doutoranda do PPG em Ciências da Saúde da UFCSPA. Bolsista de Doutorado CAPES.
Claudio Simon Hutz: é Psicólogo, doutor em Psicologia, Professor Titular da UFRGS, Pesquisador IA do CNPq. Já foi presidente do IBAP e da ANPEPP e atualmente é presidente da ABP+.

¹Endereço para correspondência: R. Sarmento Leite, 245, Centro, 90050-170, Porto Alegre-RS. E-mail: leiagg@yahoo.com.br