Método

Resultados

A Tabela 1 exibe os índices de estrutura interna da EMAPRE, do ICE-R e da ACME, assim como de confiabilidade dos seus fatores avaliada nas amostras com e sem a emissão de respostas descuidadas (RDs). Ao confrontar as duas amostras, tanto na EMAPRE-U como na ACME nota-se uma diminuição nos valores da razão de χ²/gl e de RMSEA e o aumento nos índices de ajuste CFI e TLI, o que confere uma melhora na plausibilidade de ambos os modelos. Nesse sentido, no ICE-R se observa apenas a redução no valor da razão de χ²/gl, associada a melhorias na adequação do modelo, visto que houve um aumento no valor de RMSEA e uma diminuição nos índices de ajuste CFI e TLI.

Ao contrastar a amostra sem RDs com a amostra quantitativamente equivalente contendo esse viés de resposta (Grupo B e Grupo C), a Tabela 1 mostra que, na EMAPRE-E e na ACME, houve uma diminuição nos valores dos parâmetros de plausibilidade do modelo – com exceção do RMSEA, que permaneceu estável na EMAPRE-U. No ICE-R, houve um aumento em todos os índices de ajuste e uma diminuição na razão de χ²/gl.

Quanto à confiabilidade dos escores dos instrumentos, a Tabela 1 mostra que houve oscilações nos coeficientes α e ω total quando se compara as amostras com e sem RDs (Grupos A e B). Constatou-se um aumento no α da amostra sem RDs em dois fatores da EMAPRE-U, em todos os fatores do ICE-R e em um fator da ACME. O aumento do ω total na amostra sem o referido viés de resposta englobou dois fatores da EMAPRE-U, quatro fatores do ICE-R e um fator da ACME. Em especial ao aumento desses valores, destaca-se o fator Dissonância Afetiva da ACME que teve um aumento de 0,01 no α e de 0,009 no ω total. A diminuição dos coeficientes α e ω total foi verificada em dois fatores do ICE-R. Dentre os fatores dos instrumentos que apresentaram uma redução nos valores de confiabilidade das suas pontuações na amostra sem RDs se destaca o fator Ressonância Afetiva do ICE-R, com diminuição do α em 0,02.

Relativo à comparação entre os valores da amostra sem RDs e da amostra reduzida contendo esse viés de resposta (Grupos B e C), a Tabela 1 também expõe um aumento nos coeficientes de confiabilidade α e ω total no Fator da Meta Performance-Aproximação da EMAPRE-U, em todos os fatores do ICE-R – com exceção do Fator Regulação de Emoções em Outras Pessoas, nos fatores da ACME Dissonância Afetiva e Ressonância Afetiva, sendo que este último se verificou o aumento no ω total. Os demais fatores dos instrumentos tiveram uma diminuição em ambos os índices de confiabilidade.

No que diz respeito às correlações entre os instrumentos, na Tabela 2, levando-se em consideração os índices que apresentaram significância estatística, observa-se que houve um maior índice de aumento do que de diminuição nos valores ao comparar os resultados das amostras com e sem RDs (Grupos A e B). Esse aumento foi de, no máximo, 0,073, identificado na correlação entre o fator da EMAPRE-U Meta Performance-Evitação com o Fator do ICE-R Regulação de Emoções de Alta Potência (r_comDRs=-0,167; p<0,05; r_semRDs=-0,240; p<0,01); e, no mínimo, de 0,003, nas associações entre os fatores Dissonância Afetiva (ACME) e Regulação de Emoções de Alta Potência (ICE-R) – r_comDRs=0,282; p<0,05; r_semRDs=0,285; p<0,01. A diminuição dos valores das correlações foi de, no máximo, 0,053, verificada nas relações entre os fatores Regulação de Emoções de Alta Potência (ICE-R) e Ressonância Afetiva (ACME) – r_comDRs=0,311; p<0,001; r_semRDs=0,258; p<0,001; e, no mínimo, de 0,002, entre o fator da EMAPRE-U Meta Aprender e o fator do ICE-R Regulação de Emoções de Baixa Potência – r_comDRs=0,364; p<0,001; r_semRDs=0,362; p<0,001.

Tanto na amostra com RDs como na amostra sem RDs identificaram-se correlações entre os fatores dos instrumentos classificadas como fraca a moderada magnitude. Ao confrontar os resultados das correlações parciais, a Tabela 2 mostra que correlações de fraca magnitude na amostra com RDs passaram a ser de forte magnitude na amostra sem RDs—associação entre os Fatores Meta Performance-Aproximação (EMAPRE-U) e Dissonância Afetiva (ACME), r_comDRs=-0,296; p<0,001; r_semRDs=-0,317; p<0,001; e entre os fatores Regulação de Emoções de Baixa Potência (ICE-R) e Meta Performance-Evitação (EMAPRE-U), r_comDRs=-0,284; p<0,001; r_semRDs=-0,332; p<0,001. Por sua vez, a correlação de moderada magnitude entre os fatores Ressonância Afetiva (ACME) e Regulação de Emoções de Alta Potência (ICE-R) na amostra com RDs (r=0,311; p<0,001) passou a ser de fraca magnitude na amostra sem RDs (r=0,258; p<0,001).

Ao correlacionar os fatores dos instrumentos aplicados na amostra com RDs também ocorreram casos de correlações parciais que não apresentaram significância estatística passarem a ser estatisticamente significativas após a exclusão dos participantes que emitiram esse viés de resposta. Isso ocorreu nas correlações entre os fatores Meta Aprender (EMAPRE-U) e Expressividade Emocional (ICE-R) – r_comDRs=0,121; p=0,08; r_semRDs=0,161; p<0,05, e entre os fatores Meta Performance-Evitação e Empatia Cognitiva (ACME) – r_comDRs=-0,110; p=0,10; r_semRDs=-0,160; p<0,05. Situação oposta foi identificada nas correlações entre os fatores do ICE-R Regulação de Emoções de Baixa Potência e Expressividade Emocional, que apresentou significância estatística na amostra com RDs (r=0,154; p<0,05) e passou a não ser estatisticamente significativa na amostra sem RDs (r=0,140; p=0,07).

Verificou-se, ainda, a alteração dos valores de p, que dizem respeito ao nível da significância estatística das correlações parciais apresentadas nas amostras com e sem RDs. Nesse sentido, houve maior ocorrência de diminuição do valor de p. O p<0,001 na amostra com RDs passou a ser de p<0,01 na amostra sem esse viés de resposta nas correlações parciais entre os fatores Meta Aprender (EMAPRE-U) e Regulação de Emoções de Alta Potência (ICE-R), e entre o Fator Empatia Cognitiva (ACME) com os fatores Ressonância Afetiva e Regulação de Emoções de Baixa Potência (ICE-R). O p<0,01 passou a ser p<0,05 nas correlações entre o Fator do ICE-R Expressividade Emocional com os fatores da ACME Ressonância Afetiva e Dissonância Afetiva. Quanto ao aumento do valor de p, verificou-se que as correlações parciais entre os fatores Meta Aprender (EMAPRE-U) e Percepção de Emoções (ICE-R) passou de p<0,01 na amostra com RDs para p<0,001 na amostra sem RDs. O p<0,05 na amostra com RDs passou para p<0,01 na amostra sem esse viés de resposta nas correlações entre o Fator Meta Performance-Evitação (EMAPRE-U) e Regulação de Emoções em Outras Pessoas, bem como entre os fatores Empatia Cognitiva (ACME) e Expressividade Emocional (ICE-R).

A Tabela 2 também apresenta os valores das correlações parciais entre os fatores da EMAPRE-U, ACME e ICE-R considerando a amostra reduzida formada por estudantes que não haviam cometido o viés de respostas descuidadas (Grupo B), equiparando, assim, com o número de sujeitos na amostra em que foram verificadas as RDs (N=169; Grupo C). Levando-se em conta ambas as amostras, 61,76% das correlações parciais estatisticamente significativas entre os fatores dos instrumentos tiveram um decréscimo nos valores e um acréscimo dos coeficientes de 20,59%. Deixaram de apresentar correlações parciais estatisticamente significativas o fator Meta Aprender da EMAPRE-U e os fatores da ICE-R Ressonância Afetiva e Expressividade Emocional; entre o Fator Regulação de Emoções em Outras Pessoas (ICE-R) e os fatores Meta Performance-Evitação (EMAPRE-U) e Dissonância Afetiva (ACME). Passaram a apresentar correlações estatisticamente significativas o Fator Percepção das Emoções (ICE-R) e os fatores Meta Performance-Evitação (EMAPRE-U) e Ressonância Afetiva (ACME); e entre os fatores do ICE-R Regulação de Emoções de Baixa Potência e Expressividade Emocional.

Discussão

O presente estudo objetivou analisar a interferência do viés de respostas descuidadas (RDs) em instrumentos de autorrelato que avaliam a motivação para aprendizagem, a inteligência emocional, e a empatia cognitiva e afetiva. Foram avaliados estudantes universitários, público amplamente utilizado como amostra de conveniência em pesquisas direcionadas em diferentes contextos da Psicologia (^{Grau et al., 2019}). De modo geral, as hipóteses iniciais foram confirmadas ao indicar que a estrutura interna e os índices de confiabilidade dos instrumentos apresentaram diferenças quando se desconsiderou os protocolos com RDs. Conforme esperado, o coeficiente das correlações entre os instrumentos, na sua maioria, aumentou quando se excluíram os protocolos de respondentes descuidados. Os resultados indicaram que a desatenção e/ou os descuidos dos participantes impactam negativamente as propriedades psicométricas dos instrumentos, bem como as correlações entre medidas que avaliam construtos relacionados.

Os índices de χ²/gl, RMSEA, CFI e TLI das escalas EMAPRE, do ICE-R e da ACME ficaram dentro do limite aceitável (^{Hu & Bentler, 1999}; ^{Marôco, 2014}), conforme esperado a exclusão dos protocolos com RDs alteram os resultados obtidos pelos estimadores de estrutura interna dos instrumentos e, consequentemente, tornam as propriedades psicométricas mais condizentes com o contexto e público avaliado (^{Woods, 2006}). A razão de χ²/gl, índice que avalia a magnitude da discrepância entre a matriz de covariância observada e a modelada, quando comparados com o grupo de protocolos sem RDs diminuíram os valores, indicando melhor ajuste dos dados para o modelo teórico das escalas. Observou-se o mesmo no RMSEA, quando se considerou apenas o grupo sem RDs, a raiz da média dos quadrados dos erros de aproximação apresentou uma leve diminuição. Cabe considerar que o tamanho amostral interfere no valor do RMSEA. No estudo de simulação realizado por ^{Woods (2006)}, o autor identificou que, quanto maior o número de participantes que apresentam RDs, maior é o impacto na média de erros, isto pode ser confirmado a partir dos índices de ajuste obtidos para a amostra reduzida contendo indivíduos que cometeram RDs (Grupo C) quando comparados com as análises do grupo sem RDs (Grupo B).

Os índices de CFI e TLI, por sua vez, apresentaram poucas mudanças em relação ao ajuste do modelo observado – sem RDs (Grupo B), ao compará-los com um modelo de base – com RDs (Grupo C). Esses resultados corroboram os achados de ^{Kam e Chan (2018)} e ^{Kam e Meyer (2015)} que identificaram que excluir participantes que cometem RDs impactam positivamente os índices de ajuste dos instrumentos. Assim sendo, considera-se que a identificação e exclusão de indivíduos que respondem as pesquisas de modo descuidado é uma prática recomendável. Os diferentes métodos utilizados para se identificar protocolos com RDs, dentre eles o bogus items procedimento utilizado nesta pesquisa, apresentam evidências de serem capaz de diminuir a variância do erro e aumentar o poder estatístico em pesquisas que utilizam instrumentos de autorrelato, o que contribui para a aproximação do parâmetro populacional, considerando o recorte amostral, neste caso, de estudantes universitários (^{Maniaci & Rogge, 2014}). Ainda em relação à melhoria na estrutura interna das escalas pondera-se que, neste estudo, o ICE-R não apresentou melhora em alguns índices de ajuste ao retirar os indivíduos que respondem de modo descuidado. Ressalta-se que, por um lado, o RMSEA tende a penalizar modelos mais complexos (^{Taasoobshirazi & Wang, 2016}), nesse caso, os cinco fatores que compõem a escala de inteligência emocional são altamente relacionados e tornam mais difíceis o ajuste de um modelo, o que justifica a diminuição do TLI e CFI. Por outro lado, a ACME – foi o instrumento que apresentou maiores diferenças entre os índices de ajustes estimados com e sem a correção das RDs. Estes achados podem estar associados as características dos construtos (e.g., inteligência emocional e empatia), de modo que, o conteúdo de alguns itens podem despertar diferentes emoções no participante que consequentemente estará mais engajado para responder de maneira mais atenta. Todavia, essa hipótese necessita de novas investigações que avaliem a presença de RDs em diferentes instrumentos psicológicos.

No que tange a consistência interna das escalas, os valores dos coeficientes alfa e ômega demonstraram ser adequados para os três grupos, universitários que apresentaram as RDs – amostra geral (n=212; Grupo A), grupo sem os indivíduos que emitiram esse viés de resposta (n=169; Grupo B) e para o grupo reduzido com participantes que apresentaram descuidos ao responder a pesquisa (n=169; Grupo C). Observou-se que houve uma pequena melhora dos coeficientes entre os grupos, demonstrando que os participantes que respondem a um bogus items corretamente tendem a ser mais atentos nas respostas dos demais itens (^{Kam & Chan, 2018}; ^{Woods, 2006}). Em contrapartida, participantes que respondem os itens aleatoriamente apresentam maior probabilidade de enfraquecer as correlações entre médias que avaliam construtos relacionados. Portanto, enfatiza-se novamente que o controle das RDs tende a proporcionar a obtenção de modelos mais condizentes com a manifestação dos construtos aqui abordados, nomeadamente o funcionamento da motivação na perspectiva das metas de realização expressas no contexto universitário, a inteligência emocional e a empatia.

De acordo com ^{Kam e Meyer (2015)} é difícil prever o efeito que as RDs podem causar nas correlações entre os instrumentos, uma vez que estas podem ser tanto infladas quanto diminuídas. Neste estudo, em consonância com outras pesquisas que também avaliaram esse viés de resposta (^{Eisele et al., 2020}; ^{Kam & Chan, 2018}), observou-se que ao retirar os protocolos de respondentes descuidados, além de diminuir os erros de mensuração, o nível de significância também apresentou valores menores e os coeficientes de correlação aumentaram. Os resultados também se mantiveram inflados ao serem excluídos 46 participantes que não cometeram RDs quando comparados com àqueles que cometeram, sinalizando assim a distorção que participantes descuidados podem causar nos resultados. A esse respeito, ^{Rios et al. (2016)} indicam que o p-valor tende a ser influenciado pelo tamanho amostral. Desse modo, ao controlar o viés das RDs se pressupõem que o aumento nos valores das correlações estaria mais próximo da realidade, justificando as oscilações nos resultados apresentados pelas amostras com e sem respondentes descuidados.

Em relação as escalas EMAPRE, ICE-R e ACME esperava-se correlações positivas e significativas, uma vez que a motivação para aprender, a inteligência emocional e a empatia cognitiva e afetiva recorrem a componentes cognitivos que vão favorecer a autorregulação emocional e contribuir no direcionamento de ações comportamentais adequadas ao contexto (^{Corso et al., 2013}; ^{Ioannidou & Konstantikaki, 2008}). Destarte, a proposta de considerar o viés das RDs não impacta somente na significância estatística, mas também na relevância psicológica quando se leva em conta as associações entre construtos específicos do âmbito acadêmico (metas de realização) e aqueles que abarcam o funcionamento global da pessoa (inteligência emocional e empatia). Portanto, assume-se que os resultados das correlações entre estes construtos no Grupo B (amostra sem RDs) sejam mais precisos em comparação aos demais grupos aqui analisados, considerando não somente o p-valor, mas também a direção e a magnitude desses coeficientes. Destarte, verificou-se que os resultados corroboraram as hipóteses iniciais desta pesquisa, no que se refere à direção das correlações. Neste sentido, identificou-se a correspondência entre a orientação motivacional pela meta aprender, os segmentos da empatia e da inteligência emocional (^{Bardach et al., 2020}; ^{Costa, 2020}; ^{Figueroa & Funes, 2018}; ^{Pinto, 2019}). Também se confirmou que a orientação pela meta performance-aproximação apresentou associações de direção negativa com o aspecto afetivo da empatia, cujas relações requerem maior investigação dado que este direcionamento foi verificado tanto no Fator Ressonância Afetiva como no Fator Dissonância Afetiva da ACME. Na orientação pela meta performance-evitação verificou-se menor habilidade na empatia cognitiva, ligada a uma possível incompreensão dos universitários guiados por esta meta acerca do que as pessoas sentem e vice-versa (^{Ellis et al., 2021}).

Em suma os achados desta pesquisa sugerem que pessoas que respondem os protocolos de pesquisa sem levar em consideração o conteúdo do item podem alterar os resultados do estudo. Nesta pesquisa também se evidenciou que a emissão de RDs é identificada em respondentes brasileiros, sugerindo que esse viés de resposta independe da cultura, bem como o procedimento de coleta de dados envolver ou não algum tipo de remuneração pela participação no estudo. Nessa conformidade, levanta-se a hipótese de que os indivíduos de culturas coletivistas aderem as pesquisas que não os remuneram, no intuito, por exemplo, de ajudar o pesquisador, todavia, isso não garante maior atenção às respostas emitidas.

Nesse sentido, o controle das RDs é uma alternativa que viabiliza a condução de investigações em Psicologia e áreas afins a alcançarem resultados mais próximos da realidade analisada. Portanto, uma das práticas a serem implementadas na coleta de dados é a inserção de bogus items e o descarte de protocolos com RDs, visto que esse procedimento tende a contribuir para que os instrumentos apresentem medidas psicométricas mais confiáveis. Contudo, também se reconhece a existência de outros vieses de resposta que, juntamente com as RDs, é possível que interfiram na performance dos instrumentos de medida.

Como limitações se reconhece o número reduzido de participantes que, em estudos futuros, deve ser ampliado, bem como a não avaliação do conteúdo dos itens nos instrumentos utilizados. Uma vez que, itens com conteúdo situacional (e.g., “Eu fico empolgado(a) ao dar para alguém um presente que penso que irá gostar”) podem ser respondidos de maneira diferente quando comparados com itens com conteúdo autorreflexivo (e.g., “Sei como gerar em mim mesmo o sentimento apropriado para aquilo que tenho que fazer”). Além disso, recomenda-se a avaliação da atenção e proficiência em leitura para aprofundar a compreensão da emissão das RDs em diferentes contextos de aplicação da testagem. Ademais, existem outros métodos de controle das RDs que podem ser testados no Brasil, como, por exemplo, métodos post hoc (e.g., distância de Mahalanobis) ou por técnicas virtuais (e.g., instrução online simultânea). Bem como, realizar novos procedimentos estatísticos que avaliem o impacto de respondentes descuidados nas cargas fatoriais dos instrumentos.