EDITORIAL
http://dx.doi.org/10.15689/ap.2020.1903.ed

Coeficientes de fidedignidade e violações dos pressupostos essencialmente tau-equivalentes

Muitos coeficientes têm sido amplamente utilizados como estimativas da fidedignidade dos escores de um teste. Essas técnicas podem envolver diferentes pressupostos e estratégias de calcular a proporção de variância verdadeira nos escores, produzindo resultados não necessariamente equivalentes. Uma questão de relevância prática é a sensibilidade de cada coeficiente à situação em que os itens de uma escala apresentam diferentes cargas fatoriais. O presente editorial busca explorar essa problemática em três coeficientes bastante populares: alfa, G6 de Guttman e ômega total.

Estimativas clássicas de fidedignidade podem ser classificadas de acordo com o modelo estatístico do qual derivam (Graham, 2006). O modelo das formas paralelas assume que, além de medirem uma e a mesma variável, os itens do teste possuem igual variância, média e variância erro, além de intercorrelações iguais. Como esse modelo de mensuração é demasiado restritivo, foram propostas abordagens alternativas. O modelo da tau-equivalência possui as mesmas restrições de unidimensionalidade, variância, média e intercorrelações das formas paralelas, mas permite diferentes variâncias de erro entre os itens. Por sua vez, o modelo essencialmente tau-equivalente relaxa também a exigência de médias iguais entre os itens, embora exija igualdade de variância e intercorrelações. Por fim, o modelo congenérico, inteiramente baseado na análise fatorial, permite que os itens apresentem diferente variância, média, variâncias de erro e intercorrelações.

Os coeficientes alfa, G6 e ômega total representam diferentes operacionalizações desses modelos. O alfa representa uma estimativa da fidedignidade média de todas as duas-metades possíveis para o conjunto de itens (split-half reliability) e é consistente com o modelo essencialmente tau-equivalente. O G6 consiste em uma medida da variância comum média entre cada item e todos os demais (R²), sendo mais coerente com o modelo congenérico, pois admite diferentes níveis de comunalidade entre os itens. Por sua vez, o ômega total é uma estimativa da proporção entre todos os componentes de variância verdadeira ou traço com relação à variância total e, por ser calculado a partir de uma solução bifator, é derivado do modelo congenérico.

Por assumir o modelo essencialmente tau-equivalente, o coeficiente alfa somente será representativo da fidedignidade de um teste se todos os itens tiverem cargas fatoriais iguais (Raykov, 1997). De fato, evidências sugerem que o coeficiente alfa é sensível a violações desse pressuposto (bem como à assimetria nos escores dos itens), situação na qual tenderá a subestimar a fidedignidade de um teste (Trizano-Hermosilla & Alvarado, 2016). Em contraste, isso não tende a ocorrer com o coeficiente ômega, pois essa técnica assume um modelo congenérico. Por definição, isso também não deve ocorrer com o coeficiente G6, embora essa técnica tenha recebido menos atenção por parte de estudos empíricos.

Na presente simulação de dados, foram comparadas as estimativas obtidas de alfa, G6 e Ômega em três condições: 1. cargas moderadas e homogêneas (M=0,44; DP= 0); 2. cargas altas e homogêneas (M=0,70; DP= 0); 3. cargas moderadas e heterogêneas (M=0,44; DP= 0,30). As condições um e dois são essencialmente tau-equivalentes, e a condição três viola esse pressuposto ao apresentar cargas fatoriais heterogêneas (modelo congenérico). Para cada condição, foi simulado um banco de dados de 200 observações, mantendo a proporção de 20 observações por item. Os dados foram especificados como ordinais com cinco categorias, similar a um formato de resposta Likert. Os dados foram simulados no pacote lavaan (Rosseel, 2012) e analisados no psych (Revelle, 2014). Os resultados são apresentados na Tabela 1.

Conforme esperado, o coeficiente alfa produziu estimativas consistentes da fidedignidade dos escores, mas desde que garantido o pressuposto da tau-equivalência essencial. Contudo, houve uma clara subestimação da fidedignidade na situação de desigualdade das cargas fatoriais dos itens (condição 3). Em contraste, G6 e Ômega convergiram nas suas estimativas. Esses dois coeficientes resultaram muito parecidos nas condições um e três, as quais se diferenciam apenas pela heterogeneidade das cargas (média das cargas igual em ambos os casos).

O presente texto está muito longe de esgotar um assunto tão complexo. As conclusões aqui expostas não possuem a garantia de um estudo de simulação de dados, que requereria detectar padrões a partir de milhares de bases de dados simuladas. Mesmo assim, o breve estudo aqui exposto permite vislumbrar que o alfa é mais sensível à falta de homogeneidade das cargas fatoriais, situação na qual pode produzir valores abaixo de 0,70 mesmo que a verdadeira precisão dos escores exceda esse valor. Espera-se que este editorial inspire reflexões sobre o assunto em pesquisadores, de modo a beneficiar a sua tomada de decisão metodológica.

Nelson Hauck-Filho

Editor-chefe https://orcid.org/0000-0003-0121-7079

Felipe Valentini

Editor Associado https://orcid.org/0000-0002-0198-0958

Referências

Graham, J. M. (2006). Congeneric and (Essentially) Tau-Equivalent Estimates of Score Reliability: What They Are and How to Use Them. Educational and Psychological Measurement, 66(6), 930-944. https://doi.org/10.1177/0013164406288165        [ Links ]

Raykov, T. (1997). Scale Reliability, Cronbach's Coefficient Alpha, and Violations of Essential Tau-Equivalence with Fixed Congeneric Components. Multivariate Behavioral Research, 32(4), 329-353. https://doi.org/10.1207/s15327906mbr3204_2        [ Links ]

Revelle, W. (2014). psych: Procedures for Personality and Psychological Research. R package version 1.4.3. CRAN Project. http://cran.r-project.org/web/packages/psych/psych.pdf        [ Links ]

Rosseel, Y. (2012). lavaan: An R Package for Structural Equation Modeling. Journal of Statistical Software, 48(2). http://www.jstatsoft.org/v48/i02/paper        [ Links ]

Trizano-Hermosilla, I., & Alvarado, J. M. (2016). Best Alternatives to Cronbach's Alpha Reliability in Realistic Conditions: Congeneric and Asymmetrical Measurements. Frontiers in Psychology, 7. https://doi.org/10.3389/fpsyg.2016.00769        [ Links ]

 Disponível em https://bityli.com/kQuHD