ARTIGOS

 

Mensurando habilidades socioemocionais de crianças e adolescentes: desenvolvimento e validação de uma bateria (nota técnica)

 

Avaliando las habilidades socioemocionales de niños y adolescentes: desarrollo e validación de una batería

 

 

Bruno Figueiredo Damásio^I; Grupo Semente Educação^II

^IDepartamento de Psicometria, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, Brasil
^IIPrograma Semente de Desenvolvimento de Habilidades Socioemocionais, São Paulo, SP, Brasil

Endereço para correspondência

 

 

---

RESUMO

As habilidades socioemocionais (HSE) têm sido compreendidas como um construto multidimensional, composto por variáveis emocionais, cognitivas e comportamentais que auxiliam no desenvolvimento saudável ao longo do ciclo vital. Estudos recentes têm demonstrado que as HSE podem ser desenvolvidas e aprendidas. Nesse sentido, há, atualmente, uma ampla concordância que o sistema educacional de ensino deve focar não só no desenvolvimento cognitivo, mas também no desenvolvimento das competências sociais e emocionais de crianças e adolescentes. A presente nota técnica descreve, brevemente, o procedimento de criação e as propriedades psicométricas de seis instrumentos de avaliação de HSE. As escalas foram desenvolvidas para mensurar o Programa Semente - um novo programa de aprendizagem de habilidades socioemocionais. Os instrumentos mensuram as facetas propostas pelo Collaborative for Academic, Social, and Emotional Learning (CASEL), a saber: autoconhecimento, autocontrole, perseverança, empatia, decisões responsáveis e comportamentos prossociais. Todos os instrumentos apresentam evidências de validade baseada na estrutura interna (estrutura fatorial, fidedignidade, invariância configural, métrica e escalar) bem como na relação com medidas externas (padrões de validade convergente e/ou concorrente). A versão final da bateria é composta por 45 itens. Juntos os construtos formam um fator de segunda-ordem, denominado HSE, que, também apresentou adequados índices de ajuste.

Palavras-chave: Habilidades socioemocionais, medida, escala, CASEL, Programa Semente.

---

RESUMEN

Las habilidades socioemocionales (HSE) son comprendidas como un constructo multidimensional, que consiste en variables emocionales, cognitivas y comportamentales que ayudan en el desarrollo saludable durante todo el ciclo de vida. Estudios recientes han demostrado que las HSE suelen ser desarrolladas y aprendidas. En este sentido, hoy en día existe un amplio consenso en que el sistema educativo de enseño debe centrarse no sólo en el desarrollo cognitivo, sino también en el desarrollo de habilidades sociales y emocionales de los niños y adolescentes. Esta nota técnica describe brevemente el procedimiento de creación y las propiedades psicométricas de seis herramientas de evaluación de HSE. Las escalas fueran diseñadas para medir el Programa Semente - un nuevo programa brasileño de aprendizaje de habilidades socioemocionales. Los instrumentos mensuran las HSE en conformidad con la propuesta del Collaborative for Academic, Social, and Emotional Learning (CASEL): autoconocimiento, autocontrol, perseverancia, empatía, decisiones responsables y comportamientos pro-sociales. Todos los instrumentos presentaran evidencias de validez en base a la estructura interna (estructura factorial, fiabilidad, invariancia configuracional, métrica y escalar), así como en relación con las medidas externas (validez convergente y/o concurrente). La versión final de la batería es compuesta de 45 ítems. Juntos, los constructos forman un factor de segundo-orden llamado HSE, que también mostró índices de ajuste adecuados.

Palabras clave: Habilidades socioemocionales, medida, escalas, CASEL, Programa Semente.

---

 

 

As habilidades socioemocionais (HSE) têm sido compreendidas como um construto multidimensional, que engloba variáveis emocionais (e.g., autoconhecimento e autocontrole), cognitivas (e.g., empatia) e comportamentais (e.g., perseverança, decisões responsáveis e comportamentos prossociais) que auxiliam no desenvolvimento saudável ao longo do ciclo vital (Weissberg, Durlak, Domitrovich, & Gullotta, 2015). As HSE diferem das Habilidades Sociais (HS) no sentido de que aquelas são mais amplas, envolvendo não apenas os aspectos relacionados às interações sociais, mas também aspectos individuais, de ordem cognitiva, emocional e comportamental. Pesquisas têm demonstrado que pessoas com maiores níveis de HSE apresentam atitudes mais positivas em relação a si mesmo, incluindo maior autoestima, autoeficácia, maior persistência frente a objetivos, melhores relacionamentos interpessoais, maior comprometimento e desempenho escolar, etc. A longo prazo, maiores níveis de HSE estão relacionados com maior nível educacional (i.e., realização de cursos superiores e pós-graduações), maior sucesso profissional, relações familiares e de trabalho mais positivas, melhores índices de saúde mental, reduzida psicopatologia e menores níveis de problemas de conduta (Domitrovich, Durlak, Staley, & Weissberg, 2017; Hawkins, Kosterman, Catalano, Hill, & Abbott, 2008; Weissberg et al., 2015).

Atualmente, há uma ampla variedade de programas de intervenção que, baseados em evidências científicas, buscam o ensino e o desenvolvimento de HSE. Em 2011, Durlak, Weissberg, Dymnicki, Taylor e Schellinger (2011) realizaram uma meta-análise buscando compreender o impacto de intervenções para desenvolvimento de HSE. Ao englobar 213 programas de intervenção e 270.034 crianças, foi demonstrado que, de fato, o aprimoramento das HSE repercute em uma otimização funcionamento psicológico e social, repercutindo, também, no desempenho acadêmico. Em média, crianças que participaram de algum tipo de intervenção para desenvolvimento de HSE apresentaram desempenho acadêmico 11% maior do que crianças e adolescentes que nunca se submeteram a este tipo de intervenção.

As evidências científicas acerca do tema demonstram que as HSE podem ser desenvolvidas e aprendidas (Weissberg et al., 2015). Nesse sentido, há, atualmente, uma ampla concordância entre pesquisadores, educadores e profissionais voltados a políticas públicas de que o sistema educacional de ensino deve focar não só no desenvolvimento cognitivo, mas também no desenvolvimento das competências sociais e emocionais de crianças e adolescentes, preparando os estudantes para a vida (Durlak et al., 2011).

Esse movimento mundial tem fomentado a criação de uma série de programas de intervenção que buscam o desenvolvimento de HSE. No Brasil, ainda são escassas as iniciativas que visem ao desenvolvimento de HSE. Uma das iniciativas nacional é o Programa Semente, desenvolvido pelo grupo Semente Educação. A intervenção proposta no Programa Semente é baseada nas diretrizes do Collaborative for Academic, Social, and Emotional Learning (CASEL). O CASEL é uma organização sem fins lucrativos, formada por uma equipe pioneira de pesquisadores, que há mais de duas décadas se dedicam a avaliação do impacto das HSE ao longo do ciclo vital, bem como auxiliam no desenvolvimento e na disseminação de programas de desenvolvimento de HSE que apresentem comprovada eficácia. De acordo com esta organização, os principais domínios a serem trabalhados nos programas de intervenção são:

1. Autoconhecimento – capacidade de reconhecer suas próprias emoções, objetivos de vida, valores pessoais, bem como suas potencialidades e limitações;

2. Autocontrole – capacidade de regulação das emoções e dos comportamentos, incluindo controle dos impulsos, adiamento de gratificação, perseverança frente a objetivos, etc;

3. Empatia – capacidade de se colocar no lugar do outro, reconhecendo seus sentimentos e emoções;

4. Decisões Responsáveis – habilidade de tomar decisões construtivas em relação ao comportamento pessoal e às relações sociais, considerando padrões éticos e seguros de conduta, evitando comportamentos de risco e avaliando, constantemente, as consequências das próprias atitudes;

5. Comportamentos Prossociais – capacidade de desenvolver e manter relações sociais saudáveis e positivas, envolvendo comportamentos de comunicação clara, escuta ativa, cooperação, busca por resolução de conflito de forma construtiva, etc (CASEL, 2015; Weissberg et al., 2015).

O Programa Semente é composto por quatro módulos que buscam desenvolver as HSE de crianças e adolescentes, focando no autoconhecimento, autocontrole, perseverança, empatia, decisões responsáveis e comportamentos prossociais, conforme propõe o CASEL (2015). Com o objetivo de avaliar o impacto do Programa Semente no desenvolvimento de HSE, está sendo desenvolvido estudos quasi-experimentais de avaliação de efetividade da proposta, com delineamento de pré e pós-teste em grupos experimentais e de comparação (Robson & McCartan, 2016). Para realizar a avaliação da intervenção, foram construídos questionários quantitativos que mensuram todos os domínios anteriormente mencionados. O processo de construção das escalas foi baseado, primordialmente, nos objetivos do Programa Semente. Os itens de cada um dos instrumentos foram construídos com vistas a abordar a perspectiva teórica do programa, buscando desenvolver escalas que fossem completamente tangenciais à intervenção proposta. Além disso, uma revisão integrativa da literatura auxiliou na avaliação sobre os instrumentos já existentes sobre cada um dos construtos que mais se aproximavam da intervenção. Ao todo, foram desenvolvidos seis questionários específicos para o Programa Semente (Escala Semente de Autoconhecimento, Escala Semente de Autocontrole, Escala Semente de Perseverança, Escala Semente de Empatia, Escala Semente de Decisões Responsáveis e Escala Semente de Comportamentos Prossociais). Os instrumentos são respondidos em uma escala tipo Likert de cinco pontos, variando de 0 (Nada parecido comigo) a 4 (Totalmente parecido comigo).

As escalas foram validadas utilizando as diretrizes da American Educational Research Association, American Psychological Association e National Council on Measurement in Education (AERA, APA, & NCME, 2014). Para cada um dos instrumentos foram avaliadas evidências de validade com base na estrutura interna (estrutura fatorial e fidedignidade) e evidências de validade com base em medidas externas (validade convergente e concorrente; AERA et al., 2014).

Inicialmente, foram realizadas análises fatoriais exploratórias (AFEs) e análises fatoriais confirmatórias (AFCs) para determinar a estrutura fatorial das escalas. O número de fatores a ser retido foi avaliado por meio da Análise Paralela, com permutação aleatória dos dados observados (Timmerman & Lorenzo-Seva, 2011) e pelo Método Hull (Lorenzo-Seva, Timmerman, & Kiers, 2011). As AFEs foram realizadas com o método de estimação Minimum Rank Factor Analysis (ten Berge & Kiers, 1991), com rotação oblíqua promin, implementados em uma matriz de dados policórica, considerando a natureza ordinal dos dados. Análises fatoriais confirmatórias (AFC) foram realizadas no software MPlus, utilizando o método de extração Weighted Least Squares Mean-and-Variance adjusted (WLSMV), adequado para dados ordinais (Muthén & Muthén, 2012). Os índices de ajuste utilizados na avaliação dos modelos, baseados na AFC foram o Root Mean Square Error of Aproximation (RMSEA), Comparative Fit Index (CFI) e Tucker-Lewis Index (TLI).

A fidedignidade das escalas foi avaliada por meio da fidedignidade composta, uma vez que esta considera a magnitude das cargas fatoriais dos itens (Raykov, 1997). Para fins de refinamento das escalas, nas AFEs, foram eliminados itens com carga fatorial abaixo de 0,40, itens que apresentaram carga cruzada ou que não carregaram em sua estrutura teoricamente esperada. Para a análise fatorial confirmatória, foram excluídos os itens que apresentaram piora substancial no ajuste do modelo, indicados pelos índices de modificação (Brown, 2006).

Também foram realizadas análises fatoriais confirmatórias multigrupo (AFCMG), com o objetivo de investigar se as versões finais dos instrumentos eram equivalentes para meninos e meninas, bem como para crianças do 6º ao 9º ano. Para cada instrumento, foram testados três modelos de invariância: configural, métrica e escalar (Sass, 2011). Para fins de avaliação da invariância do instrumento, foi utilizado o teste de diferença do Comparative Fit Index (ΔCFI) e do RMSEA (ΔRMSEA), assumindo os pontos de corte sugeridos pela literatura (ΔCFI < 0,01 e ΔRMSEA < 0,005; Chen, 2007; Cheung & Rensvold, 2002).

Participaram do estudo de validação das escalas 1295 estudantes (Meninos, n = 647 e meninas, n = 648), estudantes do 6º ao 9º ano do Ensino Fundamental, de nove diferentes escolas do Estado de São Paulo. A idade variou de 10 a 16 anos (M = 11,80, DP = 1,19). Do total da amostra, 445 estudavam no 6º ano, 347 no 7º ano, 272 no 8º ano e 231 no 9º ano.

Todos os instrumentos desenvolvidos apresentaram adequada estrutura fatorial. No total, a Bateria Semente de Avaliação de Habilidades Sociemocionais ficou composta por 45 itens. As tabelas 1 e 2 apresentam os principais indicadores psicométricos da versão final de cada uma das escalas. Conforme pode ser visto, todos os instrumentos apresentam indicadores favoráveis, demonstrando a adequação dos modelos propostos. Os índices de ajuste dos modelos foram todos acima dos pontos de corte comumente estabelecidos pela literatura: Valores de RMSEA foram inferiores a 0,08, com limite superior abaixo de 0,10 e os valores de CFI e TLI foram superiores a 0,90 (Brown, 2006).

Análises fatoriais confirmatórias multigrupo (AFCMG) foram implementadas para avaliar a invariância das medidas para sexo (meninas e meninos) e para diferentes grupos escolares (alunos do 6º e 7º ano e alunos do 8º e 9º ano). Por meio dos testes de diferença do CFI e RMSEA (Chen, 2007; Cheung & Rensvold, 2002) ficou demonstrado que todos os instrumentos apresentaram invariância configural, métrica e escalar, demonstrando não haver vieses de resposta entre sexo e entre alunos de diferentes séries. Assim, as evidências demonstram que a bateria de habilidades Socioemocionais do Programa Semente pode ser aplicada nesses diferentes grupos, permitindo sua adequada comparação (Sass, 2011).

Além das evidências de validade com base na estrutura interna, foram avaliadas as relações que as escalas apresentavam com medidas externas. Foram adaptadas para o contexto nacional três escalas externas, que serviram como medidas de validade convergente/concorrente para algumas das escalas desenvolvidas: A Private Sub-scale of the da The Revised Self-Consciousness Scales for Children (Takishima-Lacasa, Higa-McMillan, Ebesutani, Smith, & Chorpita, 2014), que mensura os níveis de autoconhecimento dos sujeitos; a GRIT Scale for Children (Duckworth & Quinn, 2009), que mensura a perseverança na busca de objetivos e a Basic Empathy Scale (BES; Jolliffe & Farrington, 2006), que mensura os níveis de empatia emocional e cognitiva.

A Escala Semente de Autoconhecimento apresentou correlação alta com a Private Sub-scale of the Revised Self-Consciousness Scales for Children (r = 0,745, p < 0,001). A Escala Semente de Perseverança apresentou alta correlação com a GRIT (r = 0,830, p < 0,001). A Escala Semente de Empatia também se correlacionou significativamente com a Basic Empathy Scale. O Fator Empatia Social da Escala Semente de Empatia apresentou correlação de r = 0,55 (p < 0,001) com o fator Empatia Cognitiva e r = 0,275 (p < 0,001) com o fator Empatia Emocional da Basic Empathy Scale. O fator Cognitivo/Emocional da Escala Semente de Empatia, por sua vez, apresentou correlação de r = 0,697 (p < 0,001) com o fator Empatia Emocional e de r = 0,754 (p < 0,001) com o fator Empatia Cognitiva da Basic Empathy Scale. Para as outras medidas (Decisões Responsáveis e Comportamentos Prossociais) não foram validadas medidas internacionais. Entretanto, ao correlacionar essas escalas com as outras medidas da Bateria Semente, foi possível obter correlações de magnitude moderada a alta (Tabela 3), conforme teoricamente esperado (Weissberg et al., 2015).

Uma vez que cada uma das escalas apresentou isoladamente adequados indicadores psicométricos, buscou-se investigar em que medida todos os instrumentos poderiam formar um escore único, denominado Habilidades Socioemocionais (HSE). Assim, foi realizada uma análise fatorial confirmatória de segunda-ordem, em que as variáveis latentes de autoconhecimento, autocontrole, perseverança, empatia (social e cognitiva/emocional), decisões responsáveis e comportamentos prossociais se agrupariam em um fator maior, denominado HSE. Os resultados desse modelo apresentaram índices de ajuste bastante favoráveis, sugerindo que todos as escalas podem, de fato, ser concebidas como partes do construto Habilidades Socioemocionais, conforme proposta pelo CASEL (2015). A Figura 1 apresenta a estrutura final da Bateria Semente de Avaliação de Habilidades Socioemocionais. Os índices de ajuste do modelo foram adequados: CFI: 0,931; TLI = 0,927; RMSEA (90% IC) = 0,040 (0,038-0,042). Conforme pode ser visto, a Bateria Semente de Habilidades Socioemocionais apresenta índices de ajuste favoráveis, demonstrando a sua aplicabilidade no contexto brasileiro.

 

Conclusões

As habilidades socioemocionais (HSE) têm sido apontadas na literatura como variáveis preditoras de diversos desfechos positivos ao longo do ciclo vital. O desenvolvimento de medidas que avalie adequadamente este construto apresenta ampla importância, uma vez que fomenta o desenvolvimento científico da área. A Bateria Semente de Avaliação de Habilidades Socioemocionais apresenta adequadas propriedades psicométricas, atestando a sua plausibilidade de uso. O desenvolvimento dessa bateria permitirá avaliar os níveis de HSE em crianças e adolescentes, bem como permitirá mensurar o impacto do Programa Semente. É importante salientar que, no Brasil, não havia, até o momento, uma medida que agregasse todos os conteúdos de HSE conforme propõe o CASEL. Assim, a Bateria Semente de Avaliação de Habilidades Socioemocionais contribui para suprir essa lacuna, ao permitir a avaliação de uma ampla gama de construtos por meio de um instrumento relativamente curto (45 itens). Esta bateria pode ser benéfica a diversos interessados, envolvendo pesquisadores, educadores e demais profissionais que lidem com HSE de crianças e adolescentes.

 

Referências

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for educational and psychological testing. Washington, DC: American Psychological Association.         [ Links ]

Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York: The Guilford Press.         [ Links ]

Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 14(3),464-504. doi: https://doi.org/10.1080/10705510701301834        [ Links ]

Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling, 9(2),233-255. doi: http://dx.doi.org/10.1207/S15328007SEM0902_5        [ Links ]

Collaborative for Academic, Social, and Emotional Learning. (2015). Effective Social and Emotional Learning Programs. Preschool and Elementary School Edition. Chicago, IL: CASEL Guide.         [ Links ]

Duckworth, A. L, & Quinn, P. D. (2009). Development and validation of the Short Grit Scale (GRIT-S). Journal of Personality Assessment, 91(2),166-174. doi: https://dx.doi.org/10.1080/00223890802634290        [ Links ]

Domitrovich, C. E., Durlak, J. A., Staley, K. C., & Weissberg, R. P. (2017). Social-emotional competence: An essential factor for promoting positive adjustment and reducing risk in school children. Child Development, 88(2),408-416. doi: https://doi.org/10.1111/cdev.12739        [ Links ]

Durlak, J. A., Weissberg, R. P., Dymnicki, A. B., Taylor, R. D., & Schellinger, K. B. (2011). The impact of enhancing students' social and emotional learning: A meta-analysis of school-based universal interventions. Child Development, 82(1),405-432. doi: https://doi.org/10.1111/j.1467-8624.2010.01564.x        [ Links ]

Hawkins, J. D., Kosterman, R., Catalano, R. F., Hill, K. G., & Abbott, R. D. (2008). Effects of Social Development Intervention in Childhood 15 Years Later. Archives of Pediatrics & Adolescent Medicine, 162(12),11-33. doi: https://doi.org/10.1001/archpedi.162.12.1133        [ Links ]

Jolliffe, D., & Farrington, D. P. (2006). Development and validation of the Basic Empathy Scale. Journal of Adolescence, 29(4),589-611. doi: https://doi.org/10.1016/j.adolescence.2005.08.010        [ Links ]

Lorenzo-Seva, U., Timmerman, M. E., & Kiers, H. A. (2011). The hull method for selecting the number of common factors. Multivariate Behavioral Research, 46(2),340-364. doi: http://dx.doi.org/10.1080/00273171.2011.564527        [ Links ]

Muthén L. K., & Muthén, B. O. (2012). Mplus: Statistical analysis with latent variables. User's guide. Los Angeles, CA: Authors.         [ Links ]

Raykov, T. (1997). Estimation of composite reliability for congeneric measures. Applied Psychological Measurement, 21(2),173-184. doi: https://doi.org/10.1177/01466216970212006        [ Links ]

Robson, C., & McCartan, K. (2016). Real world research: A resource for users of social research methods in applied settings (4^rd ed.). Chichester, UK: John Wily & Sons.         [ Links ]

Sass, D. A. (2011). Testing measurement invariance and comparing latent factor means within a confirmatory factor analysis framework. Journal of Psychoeducational Assessment, 29(4),347-363. doi: https://dx.doi. org/10.1177/0734282911406661        [ Links ]

Takishima-Lacasa, J. Y., Higa-McMillan, C. K., Ebesutani, C., Smith, R. L., & Chorpita, B. F. (2014). Self-consciousness and social anxiety in youth: The Revised Self-Consciousness Scales for Children. Psychological Assessment, 26(4),1292-1306. doi: https://dx.doi.org/10.1037/a0037386        [ Links ]

Ten Berge, J. M. F., & Kiers, H. A. L. (1991). A numerical approach to the exact and the approximate minimum rank of a covariance matrix. Psychometrika, 56(2),309-315. doi: https://dx.doi. org/10.1007/BF02294464        [ Links ]

Timmerman, M. E., & Lorenzo-Seva, U. (2011). Dimensionality assessment of ordered polytomous items with parallel analysis. Psychological Methods, 16(2),209-220. doi: https://dx.doi.org/10.1037/a0023353        [ Links ]

Weissberg, R. P., Durlak, J. A., Domitrovich, C. E., & Gullotta, T. P. (2015). Social and emotional learning: Past, present, and future. In J. A. Durlak, C. E. Domitrovich, R. P. Weissberg, & T. P. Gullotta (Eds.), Handbook of social and emotional learning: Research and practice (pp. 3-19). New York: Guilford.         [ Links ]

 

 

Endereço para correspondência: 1)
Bruno Figueiredo Damásio
Grupo Semente Educação
Rua Monte Alegre, 1268
São Paulo, SP - Brasil
E-mail: contato@programasemente.com.br

Endereço para correspondência: 2)
Bruno Figueiredo Damásio
Universidade Federal do Rio de Janeiro, Instituto de Psicologia, Departamento de Psicometria, Programa de Pós-Graduação em Psicologia
Avenida Pasteur, 250, Urca
Rio de Janeiro, RJ, Brasil 22290-902
E-mail: bf.damasio@gmail.com

Recebido: 04/05/2017
1ª revisão: 13/08/2017
Aceite final: 16/08/2017