EDITORIAL

 

O impacto da aquiescência na estimação de coeficientes de validade

 

 

Determinar a correlação com variáveis externas tem sido, desde o princípio da psicometria, uma das principais formas de estudo da validade de um teste (ver Cronbach & Meehl, 1955). Todavia, se os escores dos itens do teste foram contaminados pela aquiescência (i.e., concordar mais do que discordar ao responder; Couch & Keniston, 1960) e ela não é controlada, a relação com critérios externos pode resultar distorcida nas análises. No presente editorial, investigamos o quanto a aquiescência enviesa a validade dos escores de um instrumento com base na relação com outras variáveis.

A questão aqui abordada pode ser ilustrada pela Figura 1. Suponhamos que um modelo de equações estruturais é especificado para testar o quanto um instrumento que avalia a variável Xf é capaz de predizer os critérios Yf e Zf. Suponhamos também que: a) Xf, Yf e Zf são variáveis latentes avaliadas; b) cada variável latente é avaliada por quatro indicadores, sendo dois positivos e dois negativos (os erros de medida existem, mas não foram incluídos na figura para simplificar a explicação); c) que Yf e Zf são ortogonais quando controlada a influência de Xf; e d) que os valores populacionais verdadeiros dos coeficientes β1 e β2 são 0,50 e −0,50, respectivamente.

A questão é que, se os indicadores do modelo (f₁, f₂, f₃, f₄, y₁, y₂, y₃, y₄, z₁, z₂, z₃,e z₄) foram coletados via autorrelato e estão contaminados por aquiescência, podem ocorrer distorções na estimação dos coeficientes β1 e β2. De modo geral, se a aquiescência contamina duas variáveis correlacionadas positivamente (por exemplo, Xf e Yf), sua correlação resultará inflacionada e, se a relação entre elas for negativa (por exemplo, Xf e Zf), a correlação resultará atenuada (Kam & Meyer, 2015; Primi, De Fruyt, Santos, Antonoplis, & John, 2019). Dessa forma, a falha em controlar o viés no modelo como especificado na Figura 1 poderia produzir uma estimativa para β1> |0,50| e para β2< |0,50|. Se Xf fosse um teste de psicopatia, Yf fosse uma medida de comportamento antissocial e Zf de empatia, a relação com Yf resultaria inflacionada, enquanto a relação com Zf resultaria diminuída em magnitude. Isso poderia levar o pesquisador a crer, equivocadamente, que seu teste é altamente preditor de comportamentos antissociais, mas pouco relacionado à empatia.

O viés em coeficientes de validade ocasionado pela falta de controle da aquiescência é aqui ilustrado por meio de uma simulação de dados. Nossas hipóteses eram que a aquiescência superestimaria as relações positivas com variáveis externas e subestimaria as relações negativas. Para testá-las, simulamos 500 bancos de dados para um modelo semelhante ao da Figura 1, contendo seis itens positivos e seis itens negativos por fator. As cargas fatoriais foram iguais a |0,70|, e os coeficientes de regressão β1 eβ2 iguais a 0,50 e −0,50, respectivamente. A variância de aquiescência foi simulada em 0,15 (que representa um valor comum em pesquisas com variáveis psicológicas), e a covariância residual entre os fatores endógenos (Yf e Zf na Figura) igual a 0.

Para testar os modelos, utilizamos apenas metade dos itens simulados (para que todas as condições de testagem tivessem o mesmo número de itens). Testamos os dados simulados em três condições: 1) Modelo balanceado, contendo três itens positivos e três itens negativos por fator e um fator de interceptos randômicos (IR)¹ para controlar a aquiescência; 2) Modelo contendo apenas itens positivos (seis por fator) sem controle de aquiescência; 3) Modelo contendo apenas itens positivos (igual à condição 2) e um fator adicional de IR. Para todas as condições, estimamos as covariâncias residuais entre os fatores endógenos. Os modelos 2 e 3 refletem uma situação comum em pesquisas: não apenas o controle da aquiescência não é feito, como o instrumento não é balanceado, ou seja, consiste apenas em itens positivamente (ou negativamente) relacionados à variável latente.

Apresentamos os resultados na Tabela 1. O valor de viés representa a diferença, em proporção, entre o parâmetro simulado e o estimado. Portanto, quanto maior o viés, pior é o modelo, sendo aceitáveis valores até 0,10. Na coluna "Parâmetro Significativo", indicamos a proporção em que o parâmetro estimado foi estatisticamente significativo, dentre as replicações.

O modelo balanceado com controle de aquiescência recuperou adequadamente os coeficientes de regressão para a predição. Os valores de viés muito próximos de 0 e a cobertura alta sustentam essa conclusão. Ressaltamos que esse resultado é trivial, uma vez que o modelo é idêntico à configuração que utilizamos para simular os dados. Para simplificar, o modelo simulado funcionou, mas já esperávamos isso!

No entanto, o modelo utilizando apenas itens positivos foi um verdadeiro desastre. A recuperação das cargas fatoriais ficou comprometida, ainda que o viés não tenha sido tão grande (13%). Os parâmetros de regressão foram ainda piores. O modelo superestimou em 38% a regressão positiva, e subestimou em 72% a regressão negativa. Além disso, a covariância residual entre os fatores preditos foi erroneamente estimada como significativa em 72% das replicações. Como essas covariâncias não são modeladas por default nos softwares, em alguns casos, os modification indices poderiam indicar erroneamente que elas sejam estimadas!

Em uma tentativa desesperada, tentamos "controlar" a aquiescência e modelamos o IR para uma estrutura contendo apenas itens positivos. Embora as estimações tenham melhorado levemente, os vieses continuaram inadmissíveis. A predição negativa, por exemplo, foi estimada de maneira significativa em apenas 7% das replicações. Além disso, a variância de aquiescência foi superestimada em 4,4 vezes o valor simulado. Ademais, encontramos problemas de identificação ou convergência do modelo em metade das replicações (não apresentamos esse dado na Tabela 1). Para simplificar, um modelo de IR requer itens positivos e negativos no instrumento-não usem se houver apenas itens positivos ou negativos!!!

Os resultados dessa brevíssima simulação corroboram as discussões de estudos anteriores (Kam & Meyer, 2015; Primi, De Fruyt, Santos, Antonoplis, & John, 2019). Existem evidências suficientes para não negligenciar o controle da aquiescência em estudos de validade com critérios externos, já que pode ocorrer superestimação e subestimação para relações positiva e negativas, respectivamente. Em resumo, sugerimos planejar a construção de instrumentos com itens positivos e negativos para que seja possível o controle do viés. No entanto, se os seus instrumentos não possuem itens negativos, modelar uma dimensão geral (dimensão geral de método, IR, bifactor etc.) não vai resolver o seu problema e pode até mesmo piorar a situação!

 

Felipe Valentini

Editor Associado

Nelson Hauck Filho

Editor-chefe

 

Referências

Couch, A., & Keniston, K. (1960). Yeasayers and naysayers: Agreeing response set as a personality variable. The Journal of Abnormal and Social Psychology, 60(2), 151-174. doi: 10.1037/h0040372        [ Links ]

Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281-302.         [ Links ]

Kam, C. C. S., & Meyer, J. P. (2015). How Careless Responding and Acquiescence Response Bias Can Influence Construct Dimensionality. Organizational Research Methods, 18(3), 512-541. doi: 10.1177/1094428115571894        [ Links ]

Primi, R., De Fruyt, F., Santos, D., Antonoplis, S., & John, O. P. (2019). True or False? Keying Direction and Acquiescence Influence the Validity of Socio-Emotional Skills Items in Predicting High School Achievement. International Journal of Testing, 1-25. doi: 10.1080/15305058.2019.1673398        [ Links ]

Ziegler, M. (2015). "F*** You, I Won't Do What You Told Me!" - Response Biases as Threats to Psychological Assessment. European Journal of Psychological Assessment, 31(3), 153-158. doi: 10.1027/1015-5759/a000292        [ Links ]

 

 

1 Para maiores informações sobre o modelo de IR para controle de aquiescência, sugerimos consultar: Maydeu-Olivares, A., & Coffman, D. L. (2006). Random intercept item factor analysis. Psychological Methods, 11(4), 344-362. doi: 10.1037/1082-989X.11.4.344