Avaliação Psicológica

Editorial

Técnicas de correção do teste qui-quadrado para amostras não normais

Este artigo tem o objetivo de avaliar técnicas de correções para o teste Qui-Quadrado (X²) aplicadas a modelos da análise fatorial confirmatória (CFA) em amostras não normais. Em uma abordagem simulada e exploratória, foram mensuradas distribuições distintas em termos de curtose multivariada. Na maioria das situações verificadas, observou-se uma tendência dos testes aferidos de realizar correções diferenciadas dos valores do X², CFI e RMSEA em contextos similares. Como conclusão, dentre outros testes avaliados, sugere-se o uso dos seguintes: teste Elíptico com Mínimos Quadrados Reponderados (Teoria Elíptica); teste da Curtose Heterogênea com Mínimos Quadrados Reponderados (Teoria Curtose Heterogênea) e teste Escalado de Satorra-Bentler com Máxima Verossimilhança (para distribuições com excesso de assimetria e/ou curtose univariadas). Porém, devido ao fator de correção, o teste Escalado de Satorra-Bentler pode aceitar modelos moderadamente mal especificados na presença de extrema curtose.

This paper aims to evaluate techniques for correcting the chi-square test (X²) as applied to Confirmatory Factor Analysis (CFA) models in non-normal data. In a simulated and exploratory approach, distinct distributions were analyzed in terms of multivariate kurtosis. In most situations, it was observed a tendency of the analyzed tests to produce differing corrections on the X² values, as well as for the CFI and RMSEA values. Among other tests evaluated, this study suggested the use of the Elliptical Test with Least Squares (Elliptical Theory), Heterogeneous Kurtosis Test with Reweighted Least Squares (Heterogeneous Kurtosis Theory) and Satorra-Bentler Scaled Test with Maximum Likelihood estimation (for distributions with excessive univariate asymmetry and/or kurtosis). However, due to the correction factor, the Satorra-Bentler Scaled test can accept moderately poorly specified models in the presence of extreme kurtosis.

Este artículo tiene por objetivo evaluar las técnicas de correcciones para la prueba chi-cuadrado (X²) aplicadas a modelos del Análisis Factorial Confirmatorio (CFA) en muestras no normales. En un enfoque simulado y exploratorio, se midieron distribuciones distintas en términos de curtosis multivariada. En la mayoría de las situaciones verificadas, se observó una tendencia de las pruebas evaluadas de realizar correcciones diferenciadas de los valores del X², CFI y RMSEA en contextos similares. En conclusión, entre otras pruebas evaluadas, se sugiere el uso de las siguientes: Prueba Elíptica con Mínimos Cuadrados Reponderados (Teoría Elíptica); Prueba de la Curtosis Heterogénea con Mínimos Cuadrados Reponderados (Teoría de la Curtosis Heterogénea) y Prueba Escalada de Satorra-Bentler con Máxima Verosimilitud (para distribuciones con exceso de asimetría y/o curtosis univariadas). No obstante, por cuenta del factor de corrección, la Prueba Escalada de Satorra-Bentler puede aceptar modelos moderadamente mal especificados en presencia de extrema curtosis.

Efeitos de um treinamento de habilidades sociais no comportamento e desempenho acadêmico

A efetividade de um Treinamento de Habilidades Sociais (THS) para escolares do quinto ano do Ensino Fundamental I foi avaliada por meio do Método Jacobson e Truax (JT). A amostra foi composta por 26 estudantes (M = 10,4 anos; DP = 0,9 anos), sendo 50% do sexo feminino, alunos do Ensino Fundamental de uma Escola Municipal no Rio de Janeiro. Além dos estudantes, 26 responsáveis pelas crianças envolvidas e a professora regente. Os dados foram analisados no Programa R. Após a intervenção, foi observada a melhora dos estudantes nas dimensões de habilidades sociais, problemas comportamentais e desempenho acadêmico. Foi identificado que a THS pode contribuir na promoção do desenvolvimento saudável dos estudantes e prevenir o fracasso escolar. Conclui-se que o Método JT constitui-se como uma estratégia de análise de dados adequada para avaliar efetividade das intervenções, pois explicita o impacto desta para os participantes, independentemente do tamanho da amostra.

The effectiveness of a Social Skills Training (SST) for students attending the fifth year of an elementary school was assessed by the Jacobson and Truax (JT) Method. The sample consisted of 26 students (M = 10.4 years, SD = 0.9), 50% females, from a public elementary school located in Rio de Janeiro. In addition, also participated in this study 26 legal tutors of the primary participants, and the regent teacher at the school. The data were analyzed by using the R Program. After the intervention, it was observed the improvement of the students in dimensions of social skills, behavioral problems and academic performance. It was observed that SST may contribute to promote a healthy development in students and prevent school failure. We concluded that the JT Method is an adequate strategy to assess the effectiveness of interventions, since it helps evidence the impact on participants' skills, regardless of the sample size.

La efectividad de un Entrenamiento de Habilidades Sociales (EHS) para escolares del quinto año de la Educación Primaria fue evaluada por medio del Método Jacobson y Truax (JT). La muestra fue compuesta por 26 estudiantes (M = 10,4 años, DP = 0,9 años), siendo 50% del sexo femenino, todos los alumnos eran de la Educación Primaria de una Escuela Municipal en Río de Janeiro. Además de los estudiantes, participaron 26 responsables de los niños involucrados y la profesora tutora. Los datos fueron analizados en el Programa R. Después de la intervención, se evidenció la mejora de los estudiantes en las dimensiones de habilidades sociales, problemas conductuales y desempeño académico. Se identificó que la EHS puede ayudar en la promoción del desarrollo saludable de los estudiantes y prevenir el fracaso escolar. Como resultado, se concluye que el Método JT se constituye como una estrategia de análisis de datos adecuada para evaluar la efectividad de las intervenciones, dado que pone en evidencia el impacto de la intervención para los participantes, independientemente del tamaño de la muestra.

Aquiescência em autorrelatos de personalidade: uma comparação de métodos

O uso de instrumentos de autorrelato para a avaliação da personalidade é uma forma rápida, prática e econômica para esse fim. Contudo, o estilo de resposta aquiescente, que é a forma do indivíduo concordar com o item independentemente do conteúdo, pode impactar negativamente nas propriedades psicométricas desses instrumentos. O objetivo deste estudo foi investigar soluções fatoriais para avaliação da estrutura da personalidade por meio de diferentes métodos para o controle de estilo de resposta. O primeiro método, mais simples e fácil de ser implementado, desenvolvido por Soto el al., (2008), e o segundo, mais complexo e sofisticado, foi desenvolvido por Maydeu-Olivares e Coffman (2006). Compuseram a amostra deste estudo 433 universitários que responderam à versão brasileira do Big Five Inventory. Os resultados demonstram que o controle de aquiescência pode ser essencial para adequada avaliação da personalidade e que o método de Maydeu-Olivares e Coffman apresentou solução fatorial mais teoricamente compatível com o Big Five. Implicações dos achados são apresentados neste estudo.

The use of self-report instruments to assess personality is widely known for being efficient, practical and economical. However, acquiescent responding, which is the tendency of participants to endorse items regardless of their content, may negatively impact on the psychometric properties of these instruments. The objective of this study was to evaluate factor models of personality structure by using different methods for the control of response styles. The first method, simpler and easier to implement, was developed by Soto et al., (2008), and the second method, more complex and sophisticated, was developed by Maydeu-Olivares and Coffman (2006). The sample was composed by 433 undergraduate students who answered the Brazilian version of the Big Five Inventory. Results revealed that controlling for acquiesce response style is essential for a proper personality assessment, and that the Maydeu-Olivares and Coffman's method presented a more theoretically acceptable solution for the Big Five model. Implications of the findings are discussed.

El uso de instrumentos de autoinforme para evaluar la personalidad es ampliamente conocido por su eficacia, forma práctica y económica para este fin. No obstante, la aquiescencia, que es la tendencia de los participantes a respaldar ítems independientemente de su contenido, puede impactar negativamente en las propiedades psicométricas de estos instrumentos. La finalidad de este estudio fue investigar soluciones factoriales para la evaluación de la estructura de la personalidad a través de diferentes métodos para el control de estilo de respuesta. El primer método, más simple y más fácil de implementarse, fue desarrollado por Soto el al. (2008) y el segundo método, más complejo y sofisticado, fue desarrollado por Maydeu-Olivares y Coffman (2006). La muestra estuvo compuesta por 433 estudiantes universitarios que respondieron a la versión brasileña del Big Five Inventory. Los resultados demuestran que el control del estilo de la respuesta aquiescente es esencial para una evaluación de personalidad adecuada, y que el método de Maydeu-Olivares y Coffman presentó una solución teóricamente más compatible con el Big Five. En este estudio se discuten las implicaciones de los hallazgos.

**Modelos latentes e slopes randômicos para análise de moderação e mediação**

Modelos complexos de mediação e moderação são fundamentais para a compreensão dos fenômenos psicológicos. No entanto, ao testar esse tipo de modelagem, a estrutura e a imprecisão dos instrumentos podem influenciar a estimação dos efeitos entre as variáveis. Assim, modelos de mediação e moderação que corrigem os parâmetros com as estimativas de erros são fundamentais. O objetivo deste estudo é comparar o desempenho de três modelagens de mediação e moderação: slopes randômicos, interações latentes e path analysis. Os três modelos foram comparados tanto com o uso de dados simulados quanto com o uso de dados reais. Os resultados apontaram que, quando a variância dos slopes é pequena, os modelos de slopes randômicos e de interações latentes são praticamente equivalentes. Já o modelo de path analysis obteve bom desempenho para recuperar os efeitos de moderação, mas subestimou consideravelmente os efeitos diretos e indiretos da mediação. Discutem-se melhores práticas de testagem de hipóteses com efeitos complexos e sugere-se o uso da modelagem latente para testes de mediação e moderação.

Complex models, such as mediation and moderation, are essential for comprehending psychological variables. Nevertheless, during the testing of such models, the structure and reliability of the instruments might affect the estimated relationship between variables. Thus, models of mediation and moderation that correct the parameters yielding error estimates are fundamental. The objective of this study is to compare the performance of three Structural Equation Modeling models that include mediation and moderation effects: Random slopes, latent interactions and path analysis. The three models were compared using both simulated and real data. The results showed that when the variance contained in the slopes is small, both the random slopes model and the latent interaction model are equivalently good. The path analysis model, on the other hand, performs well to recover the effects of moderation, but it underestimates the direct and indirect effects of mediation. Best practices for testing hypotheses with complex effects are discussed, and we suggest using latent models for testing mediation and moderation.

Los modelos complejos de mediación y moderación son claves para la comprensión de los fenómenos psicológicos. No obstante, al probar este tipo de modelado, la estructura y la inexactitud de los instrumentos pueden influir en la estimación de los efectos de las relaciones entre las variables. De modo que, los modelos de mediación y moderación que corrigen los parámetros con las estimativas de error, son imprescindibles. El objetivo de este estudio es comparar el desempeño de tres modelos de análisis de mediación y moderación: slopes aleatorios, interacción latente y path análisis. Los tres modelos fueron comparados utilizando datos simulados y reales. Los resultados indicaron que, cuando la variancia de los slopes es pequeña, los modelos de slopes aleatorios e interacción latente son prácticamente equivalentes. Por otra lado, el modelo de path analysis obtuvo un desempeño satisfactorio para recuperar los efectos de moderación, a pesar de que subestimó notablemente los efectos directos y indirectos de la mediación. Se discuten mejores prácticas para los testeos de hipótesis con efectos complejos, y se sugiere el uso del modelo latente para los análisis de mediación y moderación.

Desenvolvimento de um banco de itens para avaliar o transtorno depressivo maior

O objetivo desta pesquisa foi desenvolver um banco de itens para avaliar o Transtorno Depressivo Maior (TDM). Para isso, foram elaborados 150 itens divididos em dois conjuntos (A e B) e utilizou-se uma amostra de conveniência de 501 participantes das cidades de Parnaíba-PI e João Pessoa- PB. Quanto aos resultados, as análises fatoriais e o método Hull mostraram que os conjuntos apresentaram apenas um fator com valores alfa excelentes (0,93 e 0,96, respectivamente), assegurando assim a unidimensionalidade e, consequentemente, a independência local destes. Já em relação às calibrações, as primeiras estimações mostraram a necessidade de exclusão e de alteração das categorias de resposta de alguns itens, os quais foram recategorizados e reestimados seus parâmetros. Ao final da pesquisa, o banco de itens apresentou bons parâmetros psicométricos, estando calibrado e pronto para ser utilizado para prover testes adaptativos computadorizados.

The purpose of this research is to develop an item pool to assess Major Depressive Disorder (MDD). To do so, we elaborated 150 items divided into two sets (A and B), and then had those items rated by a sample 501 adults from the cities of Parnaíba-PI and João Pessoa- PB. As for the results, the factor analysis using the Hull Method revealed the salience of a large general factor that produced excellent alpha values in both item sets (.93 and .96, respectively), thus ensuring the unidimensionality and local independence of the items. Regarding the calibrations, the obtained estimates indicated the need to exclude and change the response categories of some items, which were recategorized, and had their parameters reestimated. The item pool presented sound psychometric properties, and it can now be included in computerized adaptive testing.

El objetivo de esta investigación fue elaborar un banco de ítems para evaluar el Trastorno Depresivo Mayor (TDM). Para ello, se elaboraron 150 ítems divididos en dos conjuntos (A y B) y se utilizaron una muestra de 501 participantes de las ciudades de Parnaíba-PI y João Pessoa-PB. Sobre los resultados, los análisis factoriales y el método Hull revelaron que los conjuntos presentaron solamente un factor con valores alfa excelentes (0,93 y 0,96, respectivamente). Todavía cabe señalar la unidimensionalidad y consecuentemente, la independencia de los conjuntos. Por lo que se refiere a las calibraciones, las primeras estimaciones mostraron una necesidad de exclusión y de alteración de las categorías de respuesta de algunos ítems, los cuales, dichos ítems fueron recategorizados y sus parámetros reestimados. Al final de la investigación, el banco de ítems presentó buenos parámetros psicométricos, estando el mismo calibrado y listo para ser utilizado para probar Tests Adaptativos Informatizados.

Adaptação e propriedades psicométricas da escala de intenção de turnover e busca de emprego

O estudo testou as propriedades psicométricas da Escala de Intenção de Turnover e Busca de Emprego. A escala inova em relação a outras medidas ao contemplar cognições sobre a saída do emprego e comportamentos de busca de emprego na avaliação da intenção e comportamento de turnover. Participaram 70 homens e 131 mulheres com idade média de 33,7 anos, provenientes de três cidades do sul do Brasil. A pesquisa foi divulgada on-line e os dados analisados no Programa R. A análise gráfica e fatorial confirmatória indicaram quatro fatores, apresentando as seguintes medidas de ajustes: χ2 = 66,41, CFI = 0,998, TLI = 0,997, RMSEA = 0,08. Os resultados indicam que a escala apresenta evidência de validade interna, de conteúdo e convergente com uma medida já consagrada de intenção de turnover. Evidencia ainda o potencial da escala para análise de intenção de turnover e tomada de decisão sobre a gestão do capital humano nas organizações.

The study tested the psychometric properties of the Turnover Intention and Job Search Scale. The scale innovates by combining measures of Withdrawal Cognitions and Job Search Behavior to evaluate turnover intention and behavior. Participants were 70 men and 131 women with average age of 33.7 years, from three cities in southern Brazil. Data was collected using an online survey, and analyzed using the Software R. The Graphical Analysis and the Confirmatory Factorial Analysis indicated four factors presenting the following fit measures: χ2 = 66.41, CFI = 0.998, TLI = 0.997, RMSEA = 0.08. The results provide evidence for internal and content validity, besides convergent validity with an already established measure of turnover intention. Findings also indicate the potential of the scale for the analysis of turnover intention and decision making on human capital management in organizations.

El estudio examinó las propiedades psicométricas de la Escala de Intención de Turnover y Búsqueda de Empleo. La escala innova al combinar el Withdrawal Cognitions con el Job Search Behavior para la evaluación de la intención y comportamiento de turnover. Participaron 70 hombres y 131 mujeres con edad media de 33,7 años, provenientes de tres ciudades del sur de Brasil. La investigación fue divulgada online y los datos fueron analizados en el Programa R. El análisis gráfico y factorial confirmatorio indicaron cuatro factores, presentando las siguientes medidas de ajustes: χ²= 66,41,CFI= 0,998, TLI= 0,997, RMSEA= 0,08. Los resultados indican que la escala presenta evidencia de validez interna, de contenido y convergente con una célebre medida de intención de turnover. Así mismo, evidencia el potencial de la escala para el análisis de intención turnover y toma de decisión sobre la gestión del capital humano en las organizaciones.

Usando a teoria de resposta ao item de quatro parâmetros no desenho da figura humana

This paper studied the application of an extended version of the Item Response Theory, the 4-parameter model (4PL), in the item analysis of Human Figure Drawing (HFD). HFD score drawing might serve as indicators of cognitive development. This model incorporates an upper asymptotic parameter (parameter d) admitting the possibility that children with high capacity have a probability less than 1 to draw a certain HFD detail (item). This is often observed in HFD. We performed IRT model three times using 1, 2 and 4 parameter models and compared their model fit indexes. The latent trait correlations estimated by these three models were very high (r = 0.98), suggesting that children's abilities did not change substantially when using the 4-parameter model. It is pointed out a limitation in the correct way of modeling test item dimensionality considering that there is a hierarchical structure among items.

Esse artigo estudou a aplicação de uma versão estendida da Teoria de Resposta de Item, o modelo de 4 parâmetros (4PL), na análise dos itens do Desenho de Figura Humana (DFH). O DFH pontua detalhes do desenho como indicadores do desenvolvimento cognitivo. Esse modelo incorpora um parâmetro assintótico superior (parâmetro d) admitindo a possibilidade de que crianças com alta capacidade tenham probabilidade menor que 1 de desenhar determinado detalhe (item) do DFH. Isso é um evento comum no DFH. Executamos o modelo de TRI três vezes, usando modelos de 1, 2 e 4 parâmetros e comparamos seus índices de ajuste. As correlações dos traços latentes estimados por esses três modelos são muito altas (r = 0,98), sugerindo que as habilidades das crianças não mudaram substancialmente ao usarmos o modelo de quatro parâmetros. Aponta-se uma limitação na maneira correta de modelar a dimensionalidade dos itens do teste considerando que há uma estrutura hierárquica dos itens.

Este artículo estudió la aplicación de una versión extendida de la Teoría de la Respuesta al Ítem, el modelo de 4 parámetros (4PL), en el análisis de los ítems del Dibujo de la Figura Humana (DFH). El DFH puntúa los detalles del diseño como indicadores del desarrollo cognitivo. Este modelo incorpora un parámetro asintótico superior (parámetro d) admitiendo la posibilidad de que niños con alta capacidad tengan probabilidad menor que 1 de dibujar determinado detalle (ítem) del DFH. Esto es un evento común en el DFH. Se ejecutó el modelo TRI tres veces, usando modelos de 1, 2 y 4 parámetros y se comparó sus índices de ajuste. Las correlaciones de los rasgos latentes estimados por estos tres modelos son muy altas (r = 0,98), sugiriendo que las habilidades de los niños no cambiaron sustancialmente al usar el modelo de 4 parámetros. Se apunta una limitación en la manera correcta de modelar la dimensionalidad de los ítems de la prueba, considerando que hay una estructura jerárquica de los ítems.

Acurácia diagnóstica de uma medida de autorrelato para avaliação da depressão (EBADEP): versões original e breve

The present study aimed to investigate the diagnostic accuracy of a scale for the assessment of depressive symptoms, the EBADEP-A, and its short version. Also, we propose the application of the concept of equivalence to compare the discriminative capacity between the two scales, i.e., to determine whether a new procedure (i.e., EBADEP-A short version) is not worse than the procedure in use (i.e., the EBADEP-A). Participants were 80 individuals, 40 with a diagnostic of major depressive disorder based on SCID-I, and 40 healthy controls. Age mean was about 41, and most participants were female (85%). We calculated sensitivity, specificity, positive and negative likelihood ratio, positive and negative predictive power, and negative predictive power (PP−), based on the ROC curve for the EBADEP-A full and short versions. Both versions of EBADEP-A proved useful for the diagnostic of major depression. We concluded that the short version of EBADEP-A is closely equivalent to its extended version. Based on the results we found, we conclude that using diagnostic accuracy combined to the concept of equivalence can not only assist professionals with a focus on psychometric parameters, but also have an impact on the application of the tools in clinical settings.

O presente estudo teve como objetivo investigar a acurácia diagnóstica de um instrumento para avaliação de sintomas depressivos, a EBADEP-A, e sua versão breve (EBADEP-A versão breve). Além disso, nós propomos a aplicação do conceito de equivalência para comparar a capacidade discriminativa das duas escalas, isto é, para determinar se o novo procedimento (i.e., EBADEP-A versão breve) não é inferior ao procedimento já utilizado (i.e., EBADEP-A). Os participantes foram 80 sujeitos, sendo 40 com diagnóstico de transtorno depressivo maior com base na SCID-I e 40 sem esse diagnóstico. A média de idade foi aproximadamente 41 e a maioria dos participantes foram mulheres (85%). Nós calculamos a sensibilidade, especificidade, o likelihood ratio positivo e negativo, poder preditivo positivo e negativo, baseados na curva ROC para as versões completa e breve da EBADEP-A. Ambas as versões da EBADEP-A apresentaram resultados favoráveis para o uso na prática diagnóstica. Nós concluímos que a versão breve da EBADEP-A foi equivalente à sua versão completa. Com base nos resultados encontrados, parece que a proposta apresentada, qual seja, usar a acurácia diagnóstica combinada ao conceito de equivalência, pode não somente auxiliar os profissionais com foco nos parâmetros psicométricos, mas também tendo impacto nas aplicações clínicas da ferramenta.

El presente estudio tuvo como objetivo investigar la precisión diagnóstica de un instrumento para la evaluación de síntomas depresivos, el EBADEP-A, y su versión corta (EBADEP-A versión corta). Además, se propuso la aplicación del concepto de equivalencia para comparar la capacidad discriminatoria entre las dos escalas, es decir, para determinar si el nuevo procedimiento (i.e. EBADEP-A versión corta) no es inferior al procedimiento en uso (i.e. EBADEP-A). Al total participaron 80 individuos, de los cuales 40 poseían el diagnóstico de trastorno depresivo mayor basado en SCID-I y 40 sin este diagnóstico. El promedio de edad fue de aproximadamente 41 años y la mayoría de los participantes eran mujeres (85%). Se calculó la sensibilidad, la especificidad, el likelihood ratio positivo y negativo, el poder predictivo positivo y negativo, y el poder predictivo negativo (PP-), basados en la curva ROC para las versiones completa y corta de EBADEP-A. Ambas versiones de EBADEP-A mostraron resultados favorables para su uso en la práctica diagnóstica. En conclusión, la versión corta de EBADEP-A fue equivalente a su versión completa. Con base en los resultados obtenidos, parece que la propuesta presentada, al utilizar la precisión diagnóstica combinada al concepto de equivalencia, no sólo puede ayudar a los profesionales con un enfoque en los parámetros psicométricos, sino que también puede tener un impacto en las aplicaciones clínicas de la herramienta.