ARTIGOS

 

O Futuro das Avaliações por Meio das Redes Sociais

 

The Future of Assessments Through Social Media

 

El Futuro de las Evaluaciones Mediante las Redes Sociales

 

 

Víthor Rosa Franco^I; Ricardo Primi^II

^IUniversidade São Francisco - USF. https://orcid.org/0000-0002-8929-3238
^IIUniversidade São Francisco - USF. https://orcid.org/0000-0003-4227-6745

Endereço para correspondência

 

 

---

RESUMO

O objetivo geral da presente pesquisa é discutir as principais inovações em avaliação psicológica possibilitadas pela existência das redes sociais. Mais especificamente, iremos caracterizar as práticas (e fragilidades) da avaliação psicológica convencionais, os métodos mais modernos de psicometria computacional e exemplos de aplicações de psicometria computacional a partir de dados provenientes de redes sociais. De forma geral, as práticas convencionais da avaliação psicológica da psicometria foram criadas no século XIX e muitas de suas práticas, desenvolvidas próximo à metade do século XX, continuam sendo utilizadas de forma pouco crítica. Como alternativa, a psicometria computacional, uma abordagem da psicometria que combina métodos da ciência da computação orientados a dados e teoria psicométrica, tem sido utilizada para gerar inovações na área de avaliação. Por fim, discutimos algumas aplicações da psicometria computacional e como essas inovações irão, provavelmente, gerar mudanças profundas no contexto de avaliação.

Palavras-chave: big data; ciência de dados; psicometria computacional.

---

ABSTRACT

The overall aim of this study was to discuss the main innovations in psychological assessment made possible by the existence of social networks. More specifically, we characterize the practices (and weaknesses) of conventional psychological assessment, the most modern methods of computational psychometry and examples of applications of computational psychometry using data from social networks. In general, the conventional practices of psychological assessment of psychometrics were created in the 19th century and many of its practices, developed around the middle of the 20th century, continue to be used in a non-critical way. As an alternative, computational psychometrics, an approach to psychometrics that combines data-driven methods of computer science and psychometric theory, has been used to generate innovations in the area of assessment. Finally, we discuss some applications of computational psychometrics and how these innovations are likely to generate profound changes in the assessment context.

Keywords: big data; data science; computational psychometrics.

---

RESUMEN

El objetivo general de esta investigación es discutir las principales innovaciones, en materia de evaluación psicológica, posibilitadas por la existencia de las redes sociales. Más específicamente, caracterizaremos las prácticas convencionales (y debilidades) de la evaluación psicológica, los métodos más modernos de psicometría computacional y ejemplos de aplicaciones de psicometría computacional a partir de los datos de redes sociales. En general, las prácticas convencionales de evaluación psicológica de la psicometría se crearon en el siglo XIX y muchas de sus prácticas, desarrolladas a mediados del siglo XX, continúan utilizándose de forma acrítica. Como alternativa, la psicometría computacional, un enfoque de la psicometría que combina métodos informáticos basados en datos y teoría psicométrica, se ha empleado para generar innovaciones en el área de la evaluación. Por último, discutimos algunas aplicaciones de la psicometría computacional y cómo es probable que estas innovaciones generen cambios profundos en el contexto de la evaluación.

Palabras clave: big data; ciencia de datos; psicometría computacional.

---

 

 

Na década de 2010, dados pessoais pertencentes a milhões de usuários do Facebook, amigos de participantes da pesquisa do psicólogo Aleksandr Kogan, foram coletados sem seu consentimento, depois repassados para a empresa britânica Cambridge Analytica. Esses dados foram usados principalmente para publicidade política (Facebook - Cambridge Analytica data scandal, 2022). Se por um lado esse caso deixou claro que as redes sociais podem ser menos seguras do que se faz parecer, ficou claro também que elas podem ser fontes fartas de informação para as ciências do comportamento. De fato, as redes sociais permitem avaliar interações entre grupos extensos de indivíduos por meio de curtidas, comentários, compartilhamentos e outras formas de "engajamento" que existem em cada rede social. Apesar de muitas delas terem limitado o acesso aos seus dados após o caso do Facebook com a Cambridge Analytica (Bruns, 2019), as redes sociais ainda fornecem uma fonte de informações que pode estender os limites da avaliação psicológica. Nesse contexto, o objetivo geral da presente pesquisa é discutir as principais inovações em avaliação psicológica possibilitadas pela existência das redes sociais. Mais especificamente, iremos caracterizar as práticas (e fragilidades) da avaliação psicológica convencionais, os métodos mais modernos de psicometria computacional e exemplos de aplicações de psicometria computacional a partir de dados provenientes de redes sociais.

Fragilidades do Formato Convencional de Avaliação

A psicometria, bem como a avaliação psicológica (como é mais conhecida na atualidade), origina-se no século XIX (Buchanan & Finch, 2005). Francis Galton, durante a Exposição Internacional de Saúde de 1884, apresentou o seu Laboratório de Antropometria. Nessa exposição interativa, Galton apresentou seus procedimentos de antropometria, no qual ele mensurava dados fisiológicos dos participantes e depois os pedia que preenchessem um questionário com perguntas sobre questões pessoais. Muitas destas estavam relacionadas a percepções sobre a vida psicológica dos participantes.

Apesar de o questionário produzido por Galton não ser tão parecido com os instrumentos psicológicos usados atualmente, a ideia de que era possível mensurar fenômenos psicológicos dessa maneira perdura até hoje. Vale citar que os procedimentos de Galton foram estendidos por pesquisadores como Alfred Binet e Theodore Simon (criadores do primeiro teste de inteligência; Binet & Simon, 1905), Charles Spearman (criador do método tetrad e da estimação de variáveis latentes; Spearman, 1904), Louis Thurstone (criador da análise fatorial; Thurstone, 1931), Louis Guttman (criador de um dos primeiros métodos da teoria de resposta ao item; Guttman, 1944), entre outros.

Nesse mesmo período, pesquisadores da área da psicofísica estabeleceram os fundamentos dos procedimentos experimentais que poderiam ser usados em psicologia. Apesar das contribuições de diversos autores, julga-se que três merecem destaque principal. O primeiro, Johann Friedrich Herbart, conhecido por ser o fundador da pedagogia como disciplina acadêmica, teve um importante papel em estabelecer os fundamentos matemáticos e lógicos para se saber se medidas em psicologia poderiam ocorrer, pelo menos, em nível ordinal (Murray & Link, 2021). O segundo, Stanley Smith Stevens, foi fundamental por ser o primeiro a estabelecer o conceito de relevância (do inglês, meaningfulness) e dos níveis de medida (Stevens, 1946). Por fim, Louis Thurstone, novamente, por ter desenvolvido diversos procedimentos de mensuração para a psicofísica, os quais depois foram estendidos, muitos deles por ele mesmo, para aplicações psicométricas (Andrich, 1978; Engelhard Jr., 1984; Thurstone, 1925;1928).

Essa retomada histórica é importante para perceber que muitos procedimentos de psicometria e avaliação psicológica ainda são feitos como se originaram. Esse fato, por si só, não é um problema. No entanto, a prática psicométrica tem sido criticada por diversas perspectivas, sem parecer haver muito interesse dos psicometristas em mudar suas práticas. Por exemplo, sabe-se que vieses de resposta, como a tendência de usar pontos extremos ou responder de forma socialmente desejável, impactam no resultado de diversos instrumentos (ex. Paulhus, 1991). No entanto, não é comum encontrar instrumentos contemporâneos que foram construídos avaliando o impacto desses vieses nas respostas aos instrumentos. De fato, é curioso que alguns destes mais antigos, construídos com a tecnologia do século XIX, como o 16PF e o MMPI, continham escalas de validade buscando medir vieses de aquiescência, desejabilidade social e respostas simuladas ("faking bad" ou "faking good"). Por outro lado, há também autores que argumentam que a psicometria não é capaz de gerar medidas científicas reais (ex. Trendler, 2009) e que, apesar de muito refinamento estatístico e computacional, a falta de teoria e dados mais adequados aos fenômenos estudados são ainda o principal problema (ex. Sijtsma, 2012). Portanto, identifica-se também uma necessidade de que pesquisadores reflitam sobre os pressupostos envolvidos na prática psicométrica e escolham modelos que sejam mais adequados às suas teorias (Franco, Laros, Wiberg, & Bastos, 2022).

Em suma, a psicometria foi criada no século XIX e muitas de suas práticas, desenvolvidas próximo à metade do século XX, continuam sendo utilizadas de forma pouco crítica. Flake e Fried (2020) identificaram que a literatura psicométrica é rica em práticas questionáveis de mensuração, definidas como decisões que os pesquisadores tomam que levantam dúvidas sobre a validade das medidas e, por consequência, das inferências feitas a partir dessas medidas. O principal argumento dos autores é que o requinte estatístico, comum em publicações em periódicos metodológicos da área, não será efetivo caso questões fundamentais do desenvolvimento dos instrumentos não sejam resolvidas antes. Mais especificamente, os autores defendem que a validade de uma medida depende de: (i) a clara definição do construto a ser mensurado; (ii) uma escolha de instrumentos por critérios teóricos rigorosos; (iii) o porquê de se usar uma operacionalização específica ao invés de alternativas; (iv) a justificativa para a codificação específica dos padrões de respostas; (v) as mudanças efetuadas em um instrumento já existente; e (vi) o porquê de se criar uma nova medida ao invés de se usar medidas já existentes do mesmo construto.

Por outra perspectiva, avanços importantes existem na área de aplicação de instrumentos psicológicos, principalmente pelo uso da testagem computacional (Magis et al., 2017). A testagem computacional pode ser feita de ao menos três formas distintas. Um teste computacional linear é aquele que é idêntico a um teste convencional de lápis-e-papel. A principal diferença é que o teste computacional linear pode ter uma correção automática, com escores produzidos a partir de métodos mais avançados, como a estimação de expectância posterior (Ferrando & Lorenzo-Seva, 2016). A segunda forma de testagem computacional é a testagem adaptativa computacional (computerized adaptive testing, CAT; Meijer & Nering, 1999). A CAT permite que a aplicação de um instrumento seja única para cada participante, provendo mais informação sobre o escore verdadeiro, o qual é estimado concomitantemente com a aplicação do teste. CATs, no entanto, exigem que haja um banco de dados previamente validado e com estimativas robustas dos parâmetros dos itens. A terceira forma de testagem computacional é a testagem de múltiplos-estágios (multistage testing, MST; Zenisky et al., 2009). A MST é uma combinação entre o CAT e os testes lineares, onde, ao invés de cada item ser adaptado a cada indivíduo, são adaptados blocos de itens a cada indivíduo.

Apesar das potenciais vantagens do uso de CATs e MSTs, essas formas de testagem computacional ainda são pouco utilizadas. Os testes computacionais lineares, por outro lado, têm tido uma grande importância nas pesquisas em psicologia, principalmente nas quais os dados são coletados pela internet (Hewson et al., 2015). No contexto internacional, o aplicativo MTurk tem sido fundamental para se coletar dados com participantes que muitas vezes estão fisicamente isolados, mas que têm algum acesso à internet (Chmielewski & Kucker, 2020). No entanto, como as pesquisas conduzidas no MTurk geram algum rendimento aos participantes, muitas pessoas acabam participando apenas pelos ganhos desses rendimentos. De fato, Chmielewski e Kucker (2020) identificaram que pesquisas mais recentes com o MTurk têm falhado em demonstrar indicadores adequados de validade e de fidedignidade. Além disso, uma crítica geral às coletas de dados pela internet envolve o fato de que, como muitas pessoas podem acessar a internet mesmo de seus aparelhos celulares, a quantidade de distrações e fontes de vieses podem estar presentes no momento da coleta e não há como controlá-los (ex. Aust et al., 2013).

Devido às diversas limitações aos procedimentos e métodos convencionais da psicometria, algumas alternativas mais modernas têm sido propostas, sendo relevante comentar ao menos duas neste estudo. A primeira delas, conhecida como psicometria de redes (Epskamp et al., 2018), tem como fundamento abandonar, ao menos parcialmente, o pressuposto da variável latente em seus modelos. Em substituição, a principal ideia dessa abordagem é que respostas a questionários, ao invés de descritas por um traço latente único, são descritas pelas relações causais mutualísticas entre as amostras comportamentais (ou seja, os itens dos questionários). Essa abordagem, no entanto, sofre com um paradoxo: se variáveis latentes não são levadas em consideração, o erro de medida pode não ser adequadamente controlado (Hallquist et al., 2021); se as variáveis latentes são levadas em consideração, os resultados tendem a convergir com os procedimentos convencionais (Epskamp et al., 2017). Assim, a abordagem ainda necessita de maior desenvolvimento para que suas vantagens sejam mais plenamente compreendidas.

A segunda alternativa envolve o uso de métodos e procedimentos de machine learning na psicometria, caracterizando o que tem se chamado de psicometria computacional (Von Davier, 2017). A psicometria computacional envolve tanto os métodos e procedimentos de testagem computacional como de aplicações mais complexas de métodos computacionais gerais ao estudo das variáveis psicológicas. Mais especificamente, o uso de métodos computacionais para a coleta de dados mais diversos sobre os indivíduos sob estudo pode aumentar a riqueza da avaliação, possibilitando uma análise mais detalhada em relação aos múltiplos construtos que podem ser analisados em uma única avaliação.

Psicometria Computacional: Fundamentos e Métodos

A psicometria computacional é definida como uma abordagem da psicometria que combina métodos da ciência da computação orientados a dados (como o machine learning e deep learning e a mineração de dados) e teoria psicométrica para medir construtos psicológicos (Von Davier, 2017). Uma outra característica dessa abordagem é que ela ainda pode combinar teoria de processos estocásticos para avaliar habilidades em tempo real, no caso de fluxos contínuos de dados (Von Davier et al., 2019), providenciando um paradigma mais geral para avaliar a estimação de processos dinâmicos com dados psicométricos (ex. Dumas, McNeish et al., 2020). Dessa forma, para compreender a psicometria computacional, é fundamental compreender o que é a área de machine learning.

A área de machine learning teve seu início no contexto dos estudos de inteligência artificial (Anderson & Rosenfeld, 2000; Fradkov, 2020; Nilsson, 2009). Uma inteligência artificial pode ser definida como um sistema que percebe seu ambiente e toma ações para maximizar suas chances de sucesso para alcançar um objetivo (Poole et al., 1998). A área de inteligência artificial tem duas vertentes principais. A primeira, nomeada como inteligência artificial simbólica (equivalente ao computacionalismo nas ciências cognitivas; Fodor, 2000), foi a vertente dominante entre as décadas de 1950 e 1990, tendo como os seus principais nomes Allen Newell, Herbert Simon e Cliff Shaw (Flasiński, 2016). O objetivo dessa vertente era criar sistemas computacionais capazes de reproduzir o raciocínio humano. Dado esse objetivo, os primeiros sistemas computacionais com inteligências artificiais eram produtos de codificações rígidas: todo o processo de tomada de decisão das máquinas era escrito por programadores no código fonte da máquina.

A vertente simbólica teve seu principal sucesso até o meio da década de 1990 a partir do desempenho de sistemas especialistas, os quais são definidos como sistemas computacionais que emulam a capacidade de tomada de decisão de um especialista humano (Buchanan & Smith, 1988). Os sistemas simbólicos têm a característica de consistir em uma série temporal de transformações de uma representação simbólica (ou seja, usam computação serial). Com o tempo se percebeu que essa característica é uma de suas principais fragilidades, abrindo espaço para a segunda vertente da inteligência artificial, conhecida como conexionismo (Smolensky, 1989). O conexionismo é baseado em uma implementação metafórica do cérebro humano, o qual funciona a partir de uma arquitetura de processamento paralelo e distribuído (Rumelhart et al., 1986).

Na área da computação, o conexionismo tem como objetivo desenvolver sistemas computacionais capazes de representar informações usando uma arquitetura paralela e de aprender. Uma importante vantagem dessa vertente, em comparação à abordagem simbólica, é que no conexionismo é possível que as regras do processamento sejam aprendidas a partir de um conjunto massivo de exemplos relevantes ao processo sendo automatizado (por exemplo, jogadas de xadrez e seus resultados). Dessa forma, elimina-se a necessidade de se pensar previamente e de codificar exatamente cada etapa de um programa. Dentro dessa perspectiva, portanto, surgiu o termo machine learning, tendo sido cunhado por Samuel (1959) em um estudo onde um algoritmo similar aos modernos algoritmos de aprendizado por reforço foi proposto para a aprendizagem de máquina de um jogo de damas. A vertente conexionista, apesar de ter ganhado espaço nas pesquisas apenas a partir da década de 1990, foi iniciada com os primeiros estudos de redes neurais na década de 1950.

Atualmente, a área de machine learning utiliza procedimentos que vão além dos modelos originados na vertente conexionista, usando modelos originados e derivados de abordagens tradicionais na área de modelagem estatística (James et al., 2021). São comuns também procedimentos derivados de modelagem cognitiva (Farrell & Lewandowsky, 2018) e arquiteturas cognitivas (Sun, 2006), da modelagem matemática (Mooney & Swift, 1999) e da linguística computacional (Mitkov, 2022). De fato, a área de machine learning apresenta muitas similaridades com a área de modelagem cognitiva (Franco, 2021), sendo uma das principais diferenças a que os modelos de machine learning não precisam ser realistas (ou seja, emular o comportamento humano) nos processos de aprendizagem.

A partir desses fundamentos, podem ser definidas categorias de métodos de machine learning que têm sido aplicadas em diversas áreas, da pesquisa científica a decisões judiciais (ex. Grimmer et al., 2021). Uma das principais distinções entre métodos de machine learning envolve a diferenciação entre tarefas supervisionadas e não supervisionadas (Berry et al., 2019). As tarefas, ou modelos, supervisionadas são aquelas nas quais inputs e outputs são fornecidos a um método analítico e o objetivo da tarefa é identificar a melhor forma de converter os inputs em outputs. Por exemplo, um modelo supervisionado pode ser utilizado para identificar qual a relação entre respostas a itens em um instrumento de depressão e a ideação suicida. As tarefas não supervisionadas são aquelas nas quais apenas inputs são fornecidos a um método analítico e o objetivo da tarefa é identificar uma nova forma de representar os inputs. Por exemplo, um modelo não supervisionado pode ser utilizado para identificar agrupamentos de indivíduos a partir de respostas a itens em um instrumento de depressão. Existem também extensões de modelos supervisionados e não supervisionados, como os modelos semissupervisionados (Van Engelen & Hoos, 2020), o aprendizado por reforço (Daoun et al., 2021), os modelos de supervisão fraca (Cusick et al., 2021), entre outros.

No contexto específico da psicometria computacional, modelos têm sido desenvolvidos que combinam métodos tradicionais da psicometria com inovações da área de machine learning. Existem inúmeras inovações na literatura, mas duas inovações relacionadas a extensões da teoria de resposta ao item (TRI; Bock & Gibbons, 2021) servem ao propósito de ilustrar como essas inovações podem aprimorar a prática psicométrica convencional. A primeira inovação (Wu et al., 2021) é baseada no uso de algoritmos variacionais bayesianos para estimar modelos de TRI não paramétricos. Nesses modelos, as curvas características de itens são estimadas com redes neurais profundas, gerando melhor desempenho do que modelos tradicionais da TRI e do que modelos de redes neurais profundas que não levam em consideração alguma teoria psicométrica.

A segunda inovação (Lalor et al., 2019) é baseada no uso de modelos de redes neurais profundas para gerar padrões de respostas que podem ser então analisados por modelos de TRI. A ideia dessa abordagem é encontrar uma solução para o fato de que realizar coletas de dados em estudos psicométricos é trabalhoso e, muitas vezes, limitado por questões de custos ou limitações cognitivas em responder instrumentos muitos longos, principalmente com tarefas que demandam respostas abertas. A inovação proposta, então, funciona em três passos. Primeiro, as categorias das respostas abertas são modeladas utilizando uma rede neural profunda para processamento de linguagem natural (como os modelos de memória de curto prazo longa; Van Houdt et al., 2020). Em segundo lugar, padrões de respostas simulados são gerados a partir do modelo estimado com adição de um erro aleatório, maximizando a similaridade com padrões de resposta gerados por humanos. Por fim, os parâmetros dos itens são estimados usando como dados os padrões de respostas simulados. No artigo original (Lalor et al., 2019), o desempenho dessa inovação foi comparado com o desempenho de parâmetros estimados com amostras de respostas geradas por humanos, sendo que os resultados foram altamente correlacionados. As duas inovações apresentadas, bem como diversas outras existentes, provêm importantes ferramentas para aprimorar as diversas aplicações da psicometria computacional para validar dados provenientes das redes sociais.

Aplicações da Psicometria Computacional em Redes Sociais

Redes, ou mídias, sociais podem ser definidas como aplicações computacionais disponibilizadas na internet e que fornecem funções de interação entre os usuários (Kim et al., 2010). Embora muitos estudos em psicologia estejam principalmente voltados aos efeitos das interações entre indivíduos e redes sociais (Zyoud et al., 2018), estas em si podem prover dados para estudar fenômenos diversos. No entanto, muitas redes sociais têm limitado o acesso à coleta de dados desde o caso do Facebook com a Cambridge Analytica (Bruns, 2019). Antes desse evento, as redes sociais permitiam que as interfaces de programação de aplicações (application programming interface, API) levantassem informações diversas de interações privadas nas redes sociais. Atualmente, muitas das redes sociais têm permitido acesso apenas a dados públicos. Apesar da redução de escopo, ainda têm sido desenvolvidas pesquisas em redes sociais que permitem avaliar fenômenos psicológicos em uma escala bem maior do que com coletas presenciais.

Há diversas aplicações e análises que podem ser feitas com os dados extraídos a partir de redes sociais, tanto para pesquisas psicológicas quanto para diversas outras áreas (Balaji et al., 2021). Para o propósito deste estudo, listamos três aplicações principais que julgamos relevantes e promissoras: (i) estudos psicométricos; (ii) análises comportamentais; e (iii) estudos epidemiológicos. Em relação aos estudos psicométricos, o principal objetivo tem sido desenvolver medidas ou categorias que expressam diferenças individuais e que foram estimadas a partir de dados não convencionais aos estudos psicométricos. Por exemplo, Park et al. (2018) propuseram um método para realizar avaliações automáticas de personalidade por meio de análises da linguagem em interações em redes sociais. Mais especificamente, os autores usaram os dados de postagens escritas de 66.732 indivíduos, bem como as respostas desses indivíduos a um instrumento que mensura a personalidade de acordo com o modelo dos grandes cinco fatores. Os resultados foram promissores, apresentando bons índices psicométricos e boas estatísticas de desempenho, permitindo o desenvolvimento de avaliações passivas; ou seja, uma avaliação feita a partir de dados que foram produzidos sem o objetivo primeiro de gerar uma avaliação psicológica. No Brasil, um estudo similar foi feito por Santos e Paraboni, (2019). Em Mehta et al. (2020) se apresenta uma revisão de inúmeros trabalhos feitos no âmbito da ciência da computação para avaliação automática da personalidade.

Em outro exemplo de extensão de estudos psicométricos, Hao et al. (2014) desenvolveram um algoritmo que pode ser utilizado para identificar o bem-estar subjetivo de usuários de redes sociais em tempo real. Nesse estudo, os autores coletaram características demográficas, comportamentais e linguísticas para predizer o bem-estar subjetivo dos participantes da pesquisa. Para os dados demográficos, foram coletadas informações sobre sexo, idade e categoria do local de moradia (urbana metrópoles, urbana interior ou rural). Para os dados comportamentais, foram coletados 26 indicadores entre interações com outros indivíduos, interação com páginas não individuais, as configurações de privacidade e a personalização dos dados da conta. Para os dados linguísticos, foram extraídas 88 características dos textos produzidos pelos participantes, desde o uso de vírgulas a textos categorizados como impressões de senso presente. Como principal resultado, o método proposto pelos autores permite identificar indivíduos com risco de apresentar baixo bem-estar, permitindo o desenvolvimento de ferramentas passivas de rastreio.

Como um fechamento ao tópico de estudos psicométricos, descrevemos o estudo de Settanni et al. (2018), que teve como objetivo realizar metanálises para estimar a força das associações entre dados providenciados por redes sociais e algumas medidas psicométricas de diferenças individuais: personalidade, bem-estar psicológico e inteligência. Os principais resultados apontam que os estudos com redes sociais podem ser eficientes para predizer diferenças individuais, principalmente se moderadores sociodemográficos forem incluídos nos modelos. Essa implicação é particularmente impressionante dado que os construtos avaliados apresentam certa independência entre si, mostrando que os dados comportamentais e linguísticos coletados em redes sociais são, de fato, representações ricas do mundo psicológico dos indivíduos.

Em relação a estudos de análises comportamentais, o principal objetivo tem sido identificar características individuais, ou do conteúdo produzido nas redes sociais, que geram tipos específicos de engajamento. Por exemplo, Valladares et al. (2020) desenvolveram um novo método de avaliação de sentimentos de textos (o qual os autores nomearam como Emoxicon) que permitiu avaliar as características de fake news (matérias jornalísticas baseadas em histórias falsas que simulam o formato de apresentação de matérias jornalísticas reais) que foram compartilhadas no Twitter. Ao analisar 420.447 postagens, os autores identificaram que perfis de indivíduos que se categorizam como à direita no espectro político tinham postagens com conteúdo mais relacionado com medo e irritação. Para os perfis de indivíduos que se categorizam como à esquerda no espectro político, postagens com conteúdo mais relacionado com raiva e tristeza foram mais comuns.

Em Yadav et al. (2020), os autores propuseram um procedimento para identificar mensagens que configuram cyberbullying; comportamentos repetidos emitidos em meios digitais que intuem agredir, assustar ou envergonhar outras pessoas. Em dois bancos de dados de tamanhos distintos, os autores usaram modelos pré-treinados de representações de codificador bidirecional de transformadores (Bidirectional Encoder Representations from Transformers; BERT) como informações a priori para a predição das categorias de textos pré-classificados como mensagens de bullying ou normais. O BERT é uma variante de uma arquitetura de redes neurais chamada "transformers" que tem sido considerado como um "modelo fundacional" em razão dos resultados que vem atingindo superando o estado da arte em várias tarefas de inteligência artificial (Bommasani et al., 2022). Com o BERT, é possível criar representações de palavras em um vetor de variáveis latentes contínuas (similares às representações que podem ser geradas por análises fatoriais) que guardam informação semântica contextual. As pesquisas que usam o BERT operam com representações pré-treinadas em bancos de dados massivos, ajustado às representações gerais que podem ser geradas numa língua específica (ex. o BERT em português está disponível em Souza et al., 2020). Assim, no estudo de Yadav et al. (2020), o procedimento proposto foi capaz de identificar mensagens que configuram cyberbullying com maior precisão.

Como um fechamento ao tópico de estudos de análise do comportamento, descrevemos o estudo de Ramalingam e Chinnaiah (2018), que teve como objetivo realizar um levantamento de trabalhos mais recentes que desenvolveram métodos ou procedimentos para a detecção de perfis falsos em redes sociais. Perfis falsos podem ser particularmente problemáticos, dado que o perfil criado pode ser usado para caluniar, roubar dados ou finanças, extorquir, entre outros crimes. Por outro lado, esses comportamentos criminosos são geralmente emitidos em interações privadas nas redes sociais e, portanto, difíceis de avaliar usando apenas informações públicas. Por essa razão, métodos ou procedimentos para a detecção de perfis falsos precisam diferenciar o comportamento de contas reais e falsas usando o mínimo de informações possíveis. O principal resultado de Ramalingam e Chinnaiah (2018) indicam que pode ser importante adaptar os métodos às informações específicas que podem ser geradas em cada rede social, mas que, a princípio, pode ser possível identificar perfis falsos a partir de informações públicas e passivas.

Em relação a estudos epidemiológicos, o principal objetivo tem sido identificar padrões de comportamento que indicam riscos à saúde dos usuários. No contexto da avaliação psicológica, os principais estudos epidemiológicos estão relacionados à prevenção do suicídio e identificação prévia de ideação suicida. Por exemplo, Luxton et al. (2011) demonstraram em sua revisão um aumento no desenvolvimento de tecnologias para a prevenção do suicídio. Entre um dos benefícios mais marcantes identificados é a capacidade de superar barreiras físicas e sociais em relação à prestação de cuidados de saúde. As tecnologias de prevenção ao suicídio também ajudam a amenizar estigmas sociais e questões relacionadas a dificuldades de conseguir um atendimento. O uso da tecnologia também auxilia na psicoeducação, auxiliando no desenvolvimento de programas eficazes de prevenção com populações-alvo que apresentam maiores riscos. De forma complementar, Torous et al. (2018) conduziram uma revisão da literatura que demonstrou que a área tem sido prolífica no desenvolvimento de fontes diversas de dados relacionados ao suicídio. Em particular, dados de uso de smartphones, métodos de aprendizado de máquina e aplicativos específicos voltados à redução do suicídio oferecem prospectos promissores. Os autores ponderam que é necessário maior validação dos procedimentos avaliados.

 

Considerações Finais

O objetivo geral da presente pesquisa foi discutir as principais inovações em avaliação psicológica possibilitadas pela existência das redes sociais. Para isso, caracterizamos as práticas (e fragilidades) da avaliação psicológica convencionais, os métodos mais modernos de psicometria computacional e exemplos de aplicações de psicometria computacional a partir de dados provenientes de redes sociais. Nos resta ainda tentar responder: o que o futuro reserva às avaliações conduzidas por meio das redes sociais? Por mais avançados que sejam os métodos de machine learning, acreditamos que fazer uma predição certeira sobre esse tópico é ainda bastante difícil. A retomada das práticas convencionais de avaliação psicológica nos permite concluir que pouco mudou na área em um pouco mais de 100 anos, embora o sumário das aplicações da psicometria computacional em redes sociais nos permita concluir que inovações têm sido propostas e resultados promissores à área de avaliação têm sido gerados.

Um aspecto importante a ser ressaltado sobre o uso do machine learning é o que Primi (2018) chamou de "back to the future". As primeiras aplicações bem-sucedidas da psicometria, como o teste MMPI, seguiram o procedimento de desenvolvimento de gabarito empírico. Esse procedimento consiste, em essência, em uma aprendizagem supervisionada onde se procura predizer o critério externo a partir dos padrões de resposta que consistia nos exemplos ao modelo. Uma das críticas a esse procedimento, embora seja bastante eficaz (sendo até mesmo apontado como possível estado da arte na avaliação da personalidade Revelle et al., 2021) é a ausência da compreensão teórica do construto. Isso motivou a clássica proposta de Cronbach e Meehl, (1955) para que o desenvolvimento de testes mudasse de rumo focando na validade de construto. Na atualidade, esse problema ressurge nos modelos de machine learning e, mais especificamente, de deep learning, já que consistem em modelos eficazes na predição, mas limitados em termos da interpretabilidade da predição.

No entanto, para além de considerações técnicas, ressoamos as considerações éticas de Fleming (2021). É indiscutível que as redes sociais provêm uma riqueza de informações que irão possibilitar avaliações e diagnósticos psicológicos automatizados. Essas avaliações irão, provavelmente, gerar resultados mais eficientes, produzidos em menos tempo, com menores custos, reduzindo vieses humanos e com análises mais complexas. No entanto, é fundamental que os psicólogos que eventualmente adotem essas práticas compreendam que avaliações desse tipo envolvem questões de privacidade e confidencialidade, a capacidade de consentir com o processo avaliativo, além de se precisar redefinir questões de justiça na avaliação. Por fim, acreditamos que o desenvolvimento tecnológico sempre exerceu seu papel para o crescimento da psicometria e da avaliação psicológica. Embora os avanços tenham sido tímidos até o momento, o futuro reserva desafios a todos que trabalham nessa área.

 

Agradecimentos

Não há menções.

Financiamento

Esta pesquisa não recebeu nenhuma fonte de financiamento, sendo financiada com recursos dos próprios autores.

Contribuições dos autores

Declaramos que todos os autores participaram da elaboração do manuscrito. Especificamente, os autores Víthor Rosa Franco e Ricardo Primi participaram da escrita inicial do estudo - conceituação, investigação, visualização, análise de dados e escrita final do trabalho - revisão e edição.

Disponibilidade de dados e materiais

Todos os dados e sintaxe gerados e analisados durante esta pesquisa serão tratados com completa confidencialidade devido aos requisitos do Comitê de Ética em Pesquisa em Seres Humanos. No entanto, o conjunto de dados e sintaxe que suportam as conclusões deste artigo estão disponíveis mediante solicitação razoável ao autor principal do estudo.

Conflito de interesses

Os autores declaram que não há conflitos de interesse.

 

Referências

Anderson, J. A., & Rosenfeld, E. (Eds.). (2000). Talking nets: An oral history of neural networks. MIT Press.         [ Links ]

Andrich, D. (1978). Relationships between the Thurstone and Rasch approaches to item scaling. Applied Psychological Measurement, 2(3), 451-462. https://doi.org/10.1177%2F014662167800200319        [ Links ]

Aust, F., Diedenhofen, B., Ullrich, S., & Musch, J. (2013). Seriousness checks are useful to improve data validity in online research. Behavior Research Methods, 45(2), 527-535. https://doi.org/10.3758/s13428-012-0265-2        [ Links ]

Balaji, T. K., Annavarapu, C. S. R., & Bablani, A. (2021). Machine learning algorithms for social media analysis: A survey. Computer Science Review, 40, 1-32. https://doi.org/10.1016/j.cosrev.2021.100395        [ Links ]

Berry, M. W., Mohamed, A., & Yap, B. W. (Eds.). (2019). Supervised and unsupervised learning for data science. Springer.         [ Links ]

Binet, A., & Simon, T. (1905). Methodes nouvelles pour le diagnostic du niveau intellectual des anormaux. L'Annee Psychologique, 11, 191-244. https://doi.org/10.3406/psy.1904.3675        [ Links ]

Bock, R. D., & Gibbons, R. D. (2021). Item response theory. John Wiley & Sons.         [ Links ]

Bommasani, R., Hudson, D. A., Adeli, E., Altman, R., Arora, S., von Arx, S., Bernstein, M. S., Bohg, J., Bosselut, A., Brunskill, E., Brynjolfsson, E., Buch, S., Card, D., Castellon, R., Chatterji, N., Chen, A., Creel, K., Davis, J. Q., Demszky, D., … Liang, P. (2022). On the opportunities and risks of foundation models (arXiv:2108.07258). arXiv. https://doi.org/10.48550/arXiv.2108.07258        [ Links ]

Bruns, A. (2019). After the 'APIcalypse': Social media platforms and their fight against critical scholarly research. Information, Communication & Society, 22(11), 1544-1566. https://doi.org/10.1080/1369118X.2019.1637447        [ Links ]

Buchanan, R. D., & Finch, S. J. (2005). History of Psychometrics. Em B. Everitt & D. Howell (Eds.), Encyclopedia of Statistics in Behavioral Science. Wiley. https://doi.org/10.1002/0470013192.bsa282        [ Links ]

Buchanan, B. G., & Smith, R. G. (1988). Fundamentals of expert systems. Annual Review of Computer Science, 3(1), 23-58. https://doi.org/10.1146/annurev.cs.03.060188.000323        [ Links ]

Chmielewski, M., & Kucker, S. C. (2020). An MTurk crisis? Shifts in data quality and the impact on study results. Social Psychological and Personality Science, 11(4), 464-473. https://doi.org/10.1177%2F1948550619875149        [ Links ]

Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281-302. https://doi.org/10.1037/h0040957        [ Links ]

Cusick, M., Adekkanattu, P., Campion Jr, T. R., Sholle, E. T., Myers, A., Banerjee, S., Alexopoulos, G., Wang, Y., & Pathak, J. (2021). Using weak supervision and deep learning to classify clinical notes for identification of current suicidal ideation. Journal of Psychiatric Research, 136, 95-102. https://doi.org/10.1016/j.jpsychires.2021.01.052        [ Links ]

Daoun, D., Ibnat, F., Alom, Z., Aung, Z., & Azim, M. A. (2021). Reinforcement learning: a friendly introduction. In The International Conference on Deep Learning, Big Data and Blockchain (pp. 134-146). Springer.         [ Links ]

Dumas, D., McNeish, D., & Greene, J. A. (2020). Dynamic measurement: A theoretical-psychometric paradigm for modern educational psychology. Educational Psychologist, 55(2), 88-105. https://doi.org/10.1080/00461520.2020.1744150        [ Links ]

Engelhard Jr, G. (1984). Thorndike, Thurstone, and Rasch: A comparison of their methods of scaling psychological and educational tests. Applied Psychological Measurement, 8(1), 21-38. https://doi.org/10.1177%2F014662168400800104        [ Links ]

Epskamp, S., Maris, G., Waldorp, L. J., & Borsboom, D. (2018). Network psychometrics. In P. Irwing, T. Booth, & D. J. Hughes (Eds.), The Wiley handbook of psychometric testing: A multidisciplinary reference on survey, scale and test development (pp. 953-986). Wiley Blackwell.         [ Links ]

Epskamp, S., Rhemtulla, M., & Borsboom, D. (2017). Generalized network psychometrics: Combining network and latent variable models. Psychometrika, 82(4), 904-927. https://doi.org/10.1007/s11336-017-9557-x        [ Links ]

Facebook-Cambridge Analytica data scandal. (12 julho de 2022). Na Wikipédia. https://en.wikipedia.org/wiki/Facebook%E2%80%93Cambridge_Analytica_data_scandal.         [ Links ]

Farrell, S., & Lewandowsky, S. (2018). Computational modeling of cognition and behavior. Cambridge University Press.         [ Links ]

Ferrando, P. J., & Lorenzo-Seva, U. (2016). A note on improving EAP trait estimation in oblique factor-analytic and item response theory models. Psicológica, 37(2), 235-247. https://www.redalyc.org/articulo.oa?id=16946248007        [ Links ]

Flake, J. K., & Fried, E. I. (2020). Measurement schmeasurement: Questionable measurement practices and how to avoid them. Advances in Methods and Practices in Psychological Science, 3(4), 456-465. https://doi.org/10.1177%2F2515245920952393        [ Links ]

Flasiński, M. (2016). Introduction to artificial intelligence. Springer.         [ Links ]

Fleming, M. N. (2021). Considerations for the ethical implementation of psychological assessment through social media via machine learning. Ethics & Behavior, 31(3), 181-192. https://doi.org/10.1080/10508422.2020.1817026        [ Links ]

Fodor, J. (2000). The mind doesn't work that way. MIT Press.         [ Links ]

Fradkov, A. L. (2020). Early history of machine learning. IFAC-PapersOnLine, 53(2), 1385-1390. https://doi.org/10.1016/j.ifacol.2020.12.1888        [ Links ]

Franco, V. R. (2021). Aprendizado de máquina e psicometria: Inovações analíticas na avaliação psicológica [Editorial]. Avaliação Psicológica, 20(3), A-C. http://dx.doi.org/10.15689/ap.2021.2003.ed        [ Links ]

Franco, V. R., Laros, J. A., Wiberg, M., & Bastos, R. V. S. (2022). How to think straight about psychometrics: Improving measurement by identifying its assumptions. Trends in Psychology, 1-21. https://doi.org/10.1007/s43076-022-00183-6        [ Links ]

Grimmer, J., Roberts, M. E., & Stewart, B. M. (2021). Machine learning for social science: An agnostic approach. Annual Review of Political Science, 24, 395-419. https://doi.org/10.1146/annurev-polisci-053119-015921        [ Links ]

Guttman, L. (1944). A basis for scaling qualitative data. American Sociological Review, 9(2), 139-150. https://doi.org/10.2307/2086306        [ Links ]

Hallquist, M. N., Wright, A. G., & Molenaar, P. C. (2021). Problems with centrality measures in psychopathology symptom networks: Why network psychometrics cannot escape psychometric theory. Multivariate Behavioral Research, 56(2), 199-223. https://doi.org/10.1080/00273171.2019.1640103        [ Links ]

Hao, B., Li, L., Gao, R., Li, A., & Zhu, T. (2014). Sensing subjective well-being from social media. In International conference on active media technology (pp. 324-335). Springer.         [ Links ]

Hewson, C., Vogel, C., & Laurent, D. (2015). Internet research methods. Sage.         [ Links ]

Kim, W., Jeong, O. R., & Lee, S. W. (2010). On social Web sites. Information Systems, 35(2), 215-236. https://doi.org/10.1016/j.is.2009.08.003        [ Links ]

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning with application in R. Springer.         [ Links ]

Lalor, J. P., Wu, H., & Yu, H. (2019). Learning latent parameters without human response patterns: Item response theory with artificial crowds. In Proceedings of the Conference on Empirical Methods in Natural Language Processing. Conference on Empirical Methods in Natural Language Processing. NIH Public Access. https://doi.org/10.18653%2Fv1%2FD19-1434        [ Links ]

Luxton, D. D., June, J. D., & Kinn, J. T. (2011). Technology-based suicide prevention: current applications and future directions. Telemedicine and e-Health, 17(1), 50-54. https://doi.org/10.1089/tmj.2010.0091        [ Links ]

Magis, D., Yan, D., & Von Davier, A. A. (2017). Computerized adaptive and multistage testing with R: Using packages catR and mstR. Springer.         [ Links ]

Mehta, Y., Majumder, N., Gelbukh, A., & Cambria, E. (2020). Recent Trends in Deep Learning Based Personality Detection. Artificial Intelligence Review, 53(4), 2313-2339. https://doi.org/10.1007/s10462-019-09770-z        [ Links ]

Meijer, R. R., & Nering, M. L. (1999). Computerized adaptive testing: Overview and introduction. Applied Psychological Measurement, 23(3), 187-194. https://doi.org/10.1177%2F01466219922031310        [ Links ]

Mitkov, R. (Ed.). (2022). The Oxford handbook of computational linguistics. Oxford University Press.         [ Links ]

Mooney, D. D., & Swift, R. J. (1999). A course in mathematical modeling. American Mathematical Society.         [ Links ]

Murray, D. J., & Link, S. W. (2021). The creation of scientific psychology. Routledge.         [ Links ]

Nilsson, N. J. (2009). The quest for artificial intelligence: A history of ideas and achievements. Cambridge University Press.         [ Links ]

Santos, W. R., & Paraboni, I. (2019). Personality facets recognition from text (arXiv:1810.02980). arXiv. https://doi.org/10.48550/arXiv.1810.02980        [ Links ]

Park, G., Schwartz, H. A., Eichstaedt, J. C., Kern, M. L., Kosinski, M., Stillwell, D. J., ... & Seligman, M. E. (2015). Automatic personality assessment through social media language. Journal of Personality and Social Psychology, 108(6), 934-952. https://psycnet.apa.org/buy/2014-45458-001        [ Links ]

Paulhus, D. L. (1991). Measurement and control of response bias. In J. P. Robinson, P. R. Shaver, & L. S. Wrightsman (Eds.), Measures of personality and social psychological attitudes (pp. 17-59). Academic Press. https://doi.org/10.1016/B978-0-12-590241-0.50006-X        [ Links ]

Poole, D., Mackworth, A., & Goebel, R. (1998). Computational intelligence: a logical approach. Oxford University Press.         [ Links ]

Primi, R. (2018). Avaliação psicológica no século XXI: De onde viemos e para onde vamos. Psicologia: Ciência e Profissão (Online), 38, 87-97. https://doi.org/10.1590/1982-3703000209814        [ Links ]

Ramalingam, D., & Chinnaiah, V. (2018). Fake profile detection techniques in large-scale online social networks: A comprehensive review. Computers & Electrical Engineering, 65, 165-177. http://dx.doi.org/10.1016/j.compeleceng.2017.05.020        [ Links ]

Revelle, W., Dworak, E. M., & Condon, D. M. (2021). Exploring the persome: The power of the item in understanding personality structure. Personality and Individual Differences, 169, Article 109905. https://doi.org/10.1016/j.paid.2020.109905        [ Links ]

Rumelhart, D. E., McClelland, J. L., & Group, P. R. (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition: Foundations. https://doi.org/10.7551/mitpress/5236.001.0001        [ Links ]

Samuel, A. L. (1959). Some studies in machine learning using the game of Checkers. IBM Journal of Research and Development, 71-105. https://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.368.2254        [ Links ]

Settanni, M., Azucar, D., & Marengo, D. (2018). Predicting individual characteristics from digital traces on social media: A meta-analysis. Cyberpsychology, Behavior, and Social Networking, 21(4), 217-228. https://doi.org/10.1089/cyber.2017.0384        [ Links ]

Sijtsma, K. (2012). Psychological measurement between physics and statistics. Theory & Psychology, 22(6), 786-809. https://doi.org/10.1177%2F0959354312454353        [ Links ]

Smolensky, P. (1989). Connectionist modeling: Neural computation/mental connections. In L. Nadel, L. A. Cooper, P. Culicover, & R. M. Harnish (Eds.), Neural connections, mental computation (pp. 49-67). The MIT Press.         [ Links ]

Souza, F., Nogueira, R., & Lotufo, R. (2020). BERTimbau: Pretrained BERT Models for Brazilian Portuguese. In R. Cerri & R. C. Prati (Orgs.), Intelligent Systems (p. 403-417). Springer International Publishing. https://doi.org/10.1007/978-3-030-61377-8_28        [ Links ]

Spearman, C. (1904). "General intelligence", objectively determined and measured. American Journal of Psychology 15, 201-293. https://psycnet.apa.org/doi/10.2307/1412107        [ Links ]

Stevens, S. S. (1946). On the theory of scales of measurement. Science, 103(2684), 677-680. https://doi.org/10.1126/science.103.2684.677        [ Links ]

Sun, R. (Ed.). (2006). Cognition and multi-agent interaction: From cognitive modeling to social simulation. Cambridge University Press.         [ Links ]

Thurstone, L. L. (1925). A method of scaling psychological and educational tests. Journal of Educational Psychology, 16(7), 433-451. https://doi.org/10.1037/h0073357        [ Links ]

Thurstone, L. L. (1928). Attitudes can be measured. American journal of Sociology, 33(4), 529-554. https://doi.org/10.1086/214483        [ Links ]

Thurstone, L. L. (1931). Multiple factor analysis. Psychological Review, 38(5), 406-427. https://doi.org/10.1037/h0069792        [ Links ]

Torous, J., Larsen, M. E., Depp, C., Cosco, T. D., Barnett, I., Nock, M. K., & Firth, J. (2018). Smartphones, sensors, and machine learning to advance real-time prediction and interventions for suicide prevention: a review of current progress and next steps. Current Psychiatry Reports, 20(7), 1-6. https://doi.org/10.1007/s11920-018-0914-y        [ Links ]

Trendler, G. (2009). Measurement theory, psychology and the revolution that cannot happen. Theory & Psychology, 19(5), 579-599. https://doi.org/10.1177%2F0959354309341926        [ Links ]

Valladares, T. L., Golino, H., & Coan, J. A. (2020). Identifying emotions in texts using the Emoxicon approach to compare right and left-leaning trolls on Twitter. https://doi.org/10.31234/osf.io/u8ghv        [ Links ]

Van Engelen, J. E., & Hoos, H. H. (2020). A survey on semi-supervised learning. Machine Learning, 109(2), 373-440. https://doi.org/10.1007/s10994-019-05855-6        [ Links ]

Van Houdt, G., Mosquera, C., & Nápoles, G. (2020). A review on the long short-term memory model. Artificial Intelligence Review, 53(8), 5929-5955. https://doi.org/10.1007/s10462-020-09838-1        [ Links ]

Von Davier, A. A. (2017). Computational psychometrics in support of collaborative educational assessments. Journal of Educational Measurement, 54(1), 3-11. https://doi.org/10.1111/jedm.12129        [ Links ]

Von Davier, A. A., Deonovic, B., Yudelson, M., Polyak, S. T., & Woo, A. (2019). Computational psychometrics approach to holistic learning and assessment systems. Frontiers in Education, 4. https://doi.org/10.3389/feduc.2019.00069        [ Links ]

Wu, M., Davis, R. L., Domingue, B. W., Piech, C., & Goodman, N. (2021). Modeling Item Response Theory with Stochastic Variational Inference. arXiv preprint arXiv:2108.11579.         [ Links ]

Yadav, J., Kumar, D., & Chauhan, D. (2020). Cyberbullying detection using pre-trained BERT model. In 2020 International Conference on Electronics and Sustainable Communication Systems (ICESC) (pp. 1096-1100). IEEE.         [ Links ]

Zenisky, A., Hambleton, R. K., & Luecht, R. M. (2009). Multistage testing: Issues, designs, and research. In W. J. van der Linden & C. A.W. Glas (Eds.), Elements of adaptive testing (pp. 355-372). Springer.         [ Links ]

Zyoud, S. E. H., Sweileh, W. M., Awang, R., & Al-Jabi, S. W. (2018). Global trends in research related to social media in psychology: mapping and bibliometric analysis. International Journal of Mental Health Systems, 12(1), 1-8. https://doi.org/10.1186/s13033-018-0182-6        [ Links ]

 

 

Endereço para correspondência:
Víthor Rosa Franco
Rua Waldemar César da Silveira - Jardim Cura D'Ars. Universidade São Francisco
Campinas - São Paulo - Brasil. CEP: 13045510
Email: vithorfranco@gmail.com

Recebido em Julho de 2022
Aceito em Janeiro de 2023

 

 

Nota sobre os autores
Víthor Rosa Franco é psicólogo e mestre e doutor em Psicologia Social, do Trabalho e das Organizações pela Universidade de Brasília (UnB). Atualmente, é Professor no Programa de Pós-Graduação Stricto Sensu em Psicologia da Universidade São Francisco, campus Campinas.
Ricardo Primi é psicólogo. Doutor em Psicologia Escolar e do Desenvolvimento Humano pela Universidade de São Paulo É Professor Associado do Programa de Pós Graduação em Psicologia da Universidade São Francisco (Mestrado e Doutorado em Avaliação Psicológica). É pesquisador membro do EduLab21 Centro de Conhecimento do Instituto Ayrton Senna.