ARTIGOS

 

Sinais de Alerta para Transtorno do Espectro Autista: Evidências de Validade do PROTEA-R-NV

 

Early Signs of Autism Spectrum Disorder: Validity Evidence of the PROTEA-R-NV

 

Señales de Alerta para el Trastorno del Espectro Autista: Evidencias de Validez del PROTEA-R-NV

 

 

Bibiana Gallas Steigleder; Cleonice Alves Bosa; Juliana Burges Sbicigo

Universidade Federal do Rio Grande do Sul, Porto Alegre - RS, Brasil. https://orcid.org/0000-0003-3558-0853, https://orcid.org/0000-0002-0385-4672, https://orcid.org/0000-0001-9600-3318

Endereço para correspondência

 

 

---

RESUMO

A identificação de Sinais de Risco e o diagnóstico de TEA demandam utilização de instrumentos com diversas fontes de evidências de validade. O objetivo deste estudo foi reunir evidências de validade do PROTEA-R-NV, incluindo: a) as baseadas em variáveis de critério e b) validade convergente com M-CHAT. Foi empregado um delineamento misto (grupos contrastantes e correlacional). Nas análises de comparação, participaram 15 crianças com TEA (idade média 44,8(16,64) meses) e 15 crianças sem TEA (idade média 45,13(17,62)), enquanto, nas análises correlacionais, participaram 44 crianças com e sem TEA (idade média 45,10(15,90)). Na maioria dos itens do PROTEA-R-NV e no escore total dos itens críticos, foram observadas diferenças estatisticamente significativas (grupo TEA apresentou escores mais altos, indicando maior prejuízo). Observou-se correlação forte positiva entre o escore de risco do M-CHAT e o escore dos itens críticos do PROTEA-R-NV. Assim, considera-se que o PROTEA-R-NV demonstrou adequadas evidências de validade de critério e convergente.

Palavras-chave: reprodutibilidade dos testes, transtorno do espectro autista, testes psicológicos

---

ABSTRACT

Identification of signs of ASD and diagnosis require the use of tests with diverse sources of validity evidence. The aim of this study was to gather validity evidence for the PROTEA-R-NV based on: a) criteria variables and b) convergent validity with the M-CHAT. A mixed method design was performed (comparative and correlational groups). In the comparative analysis, 15 children diagnosed with ASD (mean age 44.8 (SD=16.64) months) and 15 children without this diagnosis (mean age 45.13 (SD=17.62) months) participated. Participants in the correlational analysis were 44 children with and without ASD (mean age 45.10(SD=15.90) months). The majority of PROTEA-R-NV items and the total score of the critical items showed significant differences between groups, with the ASD group presenting higher scores, indicating more impairment. The M-CHAT total score showed strong and positive correlation with the PROTEA-R-NV critical items score. Accordingly, the PROTEA-R-NV presented adequate evidence of validity based on criteria and convergent validity.

Keywords: reproducibility of results; autism spectrum disorder; psychological tests

---

RESUMEN

La identificación de señales de alerta y el diagnóstico de TEA requieren el uso de instrumentos con diferentes fuentes de evidencias de validez. El objetivo de este estudio fue reunir evidencias de la validez del PROTEA-R-NV, incluyendo: a) aquellas basadas en variables de criterio, y b) validez convergente con M-CHAT. Se utilizó un diseño mixto (grupos contrastantes y correlacionales). En los análisis comparativos, participaron 15 niños con TEA (edad media 44.8(16.64) meses) y 15 niños sin TEA (edad media 45.13(17.62)). En los análisis correlacionales, participaron 44 niños con y sin TEA (edad media 45,10(15,90)). En la mayoría de los ítems de PROTEA-R-NV y en el puntaje de los ítems críticos, se observaron diferencias estadísticamente significativas (grupo TEA tuvo puntajes más altos, lo que indica un mayor daño). Hubo una fuerte correlación positiva entre la puntuación de riesgo de M-CHAT y la puntuación de los elementos críticos de PROTEA-R-NV. Por lo tanto, se considera que PROTEA-R-NV demostró evidencia adecuada de criterio y validez convergente.

Palabras clave: test de reproducibilidad; trastorno del espectro autista; tests psicológicos

---

 

 

O Transtorno do Espectro Autista (TEA) é considerado, atualmente, um transtorno do neurodesenvolvimento, e a estimativa de prevalência mundial mais recente é de um diagnóstico em cada 160 crianças (American Psychiatric Association [APA], 2014; World Health Organization [WHO], 2019). Esses dados evidenciam a importância do olhar clínico sobre a detecção precoce de sinais que indiquem problemas no desenvolvimento, os quais poderão acarretar transtornos graves como o TEA. Os assim chamados sinais de alerta (SA) podem ser observados desde cedo, no comportamento das crianças, por profissionais que têm conhecimento sobre os marcos do desenvolvimento infantil. A identificação de SA para TEA pode ser dividida em primeiro e segundo níveis (Johnson et al. 2007). No rastreio de primeiro nível, o objetivo é apontar risco para TEA e outros transtornos ou atrasos desenvolvimentais, diferenciando-os do desenvolvimento típico.

Instrumentos que avaliam risco para TEA na população geral podem ser considerados parte dessa categoria, e tais ferramentas não têm por objetivo discriminar os transtornos entre si, mas sim encaminhar para intervenções a fim de oferecer tratamento o mais rapidamente possível (Johnson et al., 2007). Já no rastreio de segundo nível, considera-se que, além de identificar atrasos no desenvolvimento, no caso do TEA, é relevante também que seja possível diferenciar o seu quadro sintomático dos demais possíveis transtornos do desenvolvimento, como atrasos de linguagem ou cognitivos. Essa especificação do risco para TEA tem por finalidade realizar encaminhamentos específicos de acordo com as características dos pacientes. Nesse caso, além da atenção dedicada a diversos aspectos desenvolvimentais em geral, podem ser avaliados com maior atenção aqueles que sabidamente ficam prejudicados no TEA, como interação social atípica e presença de comportamentos repetitivos e estereotipados. Para isso, instrumentos e técnicas de rastreio de segundo nível são desenvolvidos para serem utilizados em populações de alto risco, ou seja, que já apresentam sinais de atrasos desenvolvi mentais. (Johnson et al., 2007; Oosterling et al., 2009).

Dessa forma, para garantir a confiabilidade do processo de identificação de SA, é importante que o clínico considere a finalidade da avaliação (primeiro ou segundo nível) e selecione um instrumento adequado a esse objetivo. Outro fator relevante diz respeito às evidências de validade do teste. A validade deve ser apresentada por diversas fontes de evidências e destacam-se, neste estudo, aquelas com base na relação com critério. Esta é definida por associações com escores de outras medidas. Além disso, nessa categoria, também são incluídas as indicações de pertencimento a grupos (American Educational Research Association [AERA] et al., 2014).

Ressalta-se, então, a necessidade da utilização de instrumentos com adequadas evidências de validade. Porém, há pouca disponibilidade de testes visando a identificação de SA e o diagnóstico de TEA adaptados para a população brasileira e que possuam estudos investigando suas evidências de validade no contexto nacional.

O Autism Diagnostic Observation Schedule (ADOS) (Lord et al., 2000) é um instrumento considerado padrão ouro para o diagnóstico. Porém, há um único estudo de adaptação e validação para a população brasileira (Pacifico et al., 2019) e sua utilização requer treinamento internacional, bem como pagamento de royalties.

Já o Protocolo de Observação Estruturada para Rastreamento de Autismo (OERA) (Paula et al., 2017) é um instrumento cuja administração é de baixo custo e envolve um rápido treinamento. Apesar de tais facilidades, esse é um instrumento breve (rastreio de primeiro nível) e não pretende fornecer informações qualitativas e detalhadas do sujeito avaliado. Além disso, a aplicação do ADOS e do OERA envolve um protocolo estruturado, não tendo por objetivo avaliar as livres iniciativas das crianças (Pacifico et al., 2019; Paula et al., 2017). Nesse sentido, foi desenvolvido o Protocolo de Avaliação Comportamental para Crianças com Suspeita de TEA - versão revisada - Não verbal (PROTEA-R-NV) (Bosa & Salles, 2018). Esse instrumento busca preencher essa lacuna ao oferecer um ambiente de avaliação com ênfase na interação social numa situação lúdica espontânea que ocorre entre avaliador e criança, ainda que envolva certa estrutura na organização das ações.

Análises preliminares demonstraram que esse é um instrumento promissor para a identificação de comprometimentos que podem ser indicadores de TEA nos âmbitos da interação social, da comunicação e da brincadeira (Zanon et al, 2018). Além disso, apresenta um potencial clínico para auxiliar profissionais da saúde no rastreio de segundo nível, bem como contribuir para a avaliação diagnóstica do TEA. Entretanto, apesar desse potencial ter sido identificado em estudos preliminares de validade, há necessidade de se desenvolver novas pesquisas que ampliem as evidências de validade do PROTEA-R-NV (Marques & Bosa, 2015; Zanon et al., 2018).

Dessa forma, o objetivo geral deste trabalho foi investigar as evidências de validade do PROTEA-R-NV por meio da relação entre os resultados do instrumento e variáveis externas. Os objetivos específicos foram: I) reunir evidências de validade de critério baseadas na comparação de grupos contrastantes, investigando a capacidade do PROTEA-R-NV de discriminar crianças com e sem TEA (grupos TEA e sem TEA). A hipótese foi de que, controlando-se o nível de desenvolvimento da linguagem expressiva, haveria diferença significativa entre os dois grupos no PROTEA-R-NV, com o grupo TEA apresentando escores mais altos (pior desempenho) nos itens e no escore total dos itens críticos; II) reunir fontes de evidências de validade convergente entre o escore dos itens críticos do PROTEA-R-NV e o escore de uma medida de rastreio de TEA (M-CHAT). A hipótese foi de que haveria correlação positiva entre o número de itens assinalados como "falha" (em risco) no M-CHAT e os itens do PROTEA-R-NV, bem como o escore total dos seus itens críticos.

 

Método

Participantes

Para atender ao objetivo I, foram realizadas análises de grupos contrastantes. O grupo clínico foi composto por 15 crianças com diagnóstico de TEA (grupo TEA) e o grupo comparativo, por 15 crianças sem diagnósticos de atrasos ou transtornos do desenvolvimento (grupo sem TEA). Os participantes do grupo TEA foram acessados por programas de extensão da Universidade Federal do Rio Grande do Sul (UFRGS) em que são realizadas avaliações psicológicas, ou eles foram encaminhados por profissionais que realizam intervenções com crianças com TEA.

O grupo sem TEA foi recrutado por critério de conveniência, em escolas de educação infantil públicas e privadas e por indicação dos demais pais participantes. Os critérios de inclusão no grupo TEA foram: a) ter diagnóstico de TEA com base nos critérios do DSM-5 e ter sido identificado risco em um instrumento de triagem para TEA (M-CHAT) (Castro-Souza, 2011); b) possuir idade entre 2 anos e 6 anos e 6 meses e c) residir com ao menos um dos pais biológicos. Os critérios de exclusão foram deficiências físicas e/ou sensoriais não corrigidas das crianças que impedissem a realização da avaliação ou condições dos pais que interferissem na administração dos instrumentos. Os critérios de inclusão e exclusão no grupo sem TEA foram os mesmos do grupo TEA, com exceção do diagnóstico do transtorno. Também foi critério de exclusão apresentar sintomas de atrasos ou transtornos desenvolvimentais e de TEA no momento da coleta de dados.

Quanto à caracterização da amostra, nas análises de comparações, houve maior ocorrência do sexo masculino nos dois grupos (80% grupo TEA; 60% grupo sem TEA). Os grupos TEA e sem TEA apresentaram médias de idade em meses de 44,8(DP = 16,64) e 45,13(DP = 17,62), respectivamente. Não houve associação de grupo com sexo biológico ou diferença de idade. Acerca da escolarização, no grupo TEA, 9 (60%) crianças frequentavam escola de educação infantil ou escola de ensino fundamental, enquanto 12 (80%) frequentavam no grupo sem TEA. Em relação ao NSE, observou-se diferença estatisticamente significativa, t = 3,09, p = 0,005; d = 1,03, com o grupo sem TEA apresentando NSE maior. Quanto às variáveis clínicas, os grupos diferiram no nível de linguagem expressiva, avaliado pelo IDADI, com o grupo TEA pontuando menos, t = 6,05, p = 0,000; d = 2,26. No grupo sem TEA, nenhum participante fazia uso medicações psiquiátricas (100%). Já no grupo com TEA, oito (53,3%) das crianças não utilizavam esses fármacos, enquanto quatro (26,7%) utilizavam antipsicótico, uma (6,7%), anticonvulsivante e duas (13,3%) utilizavam ambos. A respeito de intervenções, 10 (66,7%) das crianças do grupo TEA realizavam intervenções psicoeducacionais e/ou médicas. Ainda relativo ao grupo TEA, nove (60%) crianças eram não verbais e, das crianças verbais, cinco (33,3%) começaram a falar pequenas frases após os 18 meses, ao passo que apenas uma (6,7%) adquiriu essa habilidade antes dos 18 meses.

Já acerca do objetivo II, foram realizadas análises de correlação com uma amostra de 44 crianças, com e sem diagnóstico de TEA, oriundos de bancos de dados e incluindo os participantes do objetivo I. Essas crianças participaram de pesquisas em serviços de extensão da UFRGS entre os anos de 2015 e 2019. Os critérios de inclusão foram: a) as crianças terem passado por avaliação utilizando-se o PROTEA-R-NV; b) possuírem idade entre um ano e meio e sete anos no momento da avaliação; c) os pais terem preenchido o M-CHAT e d) assinatura do Termo de Consentimento Livre e Esclarecido (TCLE) na ocasião. Os critérios de exclusão foram: a) dados faltantes no banco de dados e b) idades fora dos limites estipulados. A média de idade dos participantes (72,7% meninos) incluídos na análise de correlação foi M = 45,10 (DP = 15,90), cerca de três anos e sete meses. Não foi encontrada associação da presença de diagnóstico com sexo ou diferença de idade. Cerca de 68,2% (n = 30) tinham diagnóstico de TEA e 31,8% (n = 14) não apresentavam o diagnóstico.

Instrumentos

Ficha de Dados Sociodemográficos e de Desenvolvimento (FDSD). Destinou-se a obter informações sobre aspectos do desenvolvimento da criança, tendo como referência a anamnese do Sistema PROTEA-R de Avaliação da Suspeita do Transtorno do Espectro Autista (Sistema PROTEA-R) (Bosa & Salles, 2018).

Questionário Critério Brasil (QCB). (Associação Brasileira de Empresas de Pesquisa [ABEP], 2016). Foi utilizado para avaliação do nível socioeconômico familiar, empregando-se o número bruto do somatório dos itens de produtos, serviços e escolaridade (ABEP, 2016).

Protocolo de Avaliação Comportamental para Crianças com Suspeita de Transtorno do Espectro Autista - Revisado (PROTEA-R-NV) (Bosa & Salles, 2018). Faz parte do Sistema PROTEA-R e trata-se de uma escala de 17 itens que são avaliados por meio da observação durante a hora lúdica de crianças, especialmente não verbais, com idades em torno de 24 e 60 meses. Inclui momentos de brincadeira livre e semiestruturada. Seus itens são distribuídos entre as seguintes áreas: (a) comportamentos sociocomunicativos (oito itens): IAC (Iniciativa de Atenção Compartilhada), RAC (Resposta de Atenção compartilhada), IM (Imitação), ES (Engajamento Social), SOR (Sorriso), CFA (Contato Físico Afetivo), BA (Busca de assistência) e P/R (Protesto/Retraimento); (b) qualidade da brincadeira (seis itens): EXB (Exploração dos Brinquedos), FEX (Forma da Exploração), CV (Coordenação Visuomotora), BF (Brincadeira Funcional), BS (Brincadeira Simbólica) e SBS (Sequência da Brincadeira Simbólica); (c) movimentos repetitivos e estereotipados do corpo (três itens): MRM (Movimentos Repetitivos e Estereotipados das Mãos), MRC (Movimentos Repetitivos e Estereotipados de outras partes do corpo) e A (Comportamentos Autolesivos). Todos os itens são codificados em duas escalas: a) escala de frequência, de 3 pontos, que varia entre "baixa", "média" e "alta" (1, 2 e 3, respectivamente) e b) escala de qualidade, que compreende códigos que refletem níveis diferentes de intensidade, amplitude e abrangência dos comportamentos, variando entre: sem comprometimento, baixo nível de comprometimento, nível intermediário de comprometimento e alto nível de comprometimento (A, B, C e D, respectivamente).

O instrumento fornece um índice de risco para TEA com base em cinco itens críticos (IAC, RAC, IM, BS e MRC), nos quais o código de qualidade é transformado em um escore numérico. Quanto maior o escore, maiores os comprometimentos nos comportamentos avaliados. O escore de itens críticos varia de 0 a 15, onde 0 representa ausência de risco para TEA, escores de 1 a 8 representam risco relativo e de 9 a 15 identifica-se presença de risco. Porém, o cálculo de risco não é o único critério a ser avaliado para determinar o risco para o transtorno, visto que as demais informações coletadas na avaliação são igualmente importantes para as conclusões.

No presente estudo, foram utilizados os dados da primeira sessão de avaliação, a fim de se controlar o efeito da não familiaridade da criança com a situação de avaliação. Para as análises, todos os itens do protocolo foram transformados em escores numéricos, variando de 0 a 3, onde 3 representa maior prejuízo. Itens codificados como "não se aplica" foram considerados dados faltantes ("missing").

Nas pesquisas sobre o protocolo, foi observada adequada consistência interna do instrumento por meio de concordância entre juízes quanto à pontuação nos itens. Evidências de validade concorrente e convergente apontaram para achados que corroboram a literatura e as evidências empíricas da área acerca dos comportamentos (itens críticos) que mais distinguem o grupo com TEA dos controles (Zanon et al., 2018). Zanon et al. (2018) indicam a necessidade de ampliar esses estudos, pareando os grupos por linguagem ou QI, por exemplo. Dessa forma, busca-se salientar o PROTEA-R-NV como instrumento de rastreio de segundo nível.

Modified Checklist for Autism in Toddlers (M-CHAT) (Castro-Souza, 2011). Instrumento de relato parental para triagem de SA de TEA, avalia o perfil comportamental dos 16 aos 30 meses de idade da criança por meio de 23 itens. Para crianças acima dessa faixa etária, os pais realizaram uma avaliação retrospectiva. Os escores indicativos de TEA são, no mínimo, três respostas "falha" em qualquer item ou, no mínimo, duas respostas "falha" nos itens críticos (itens 2, 7, 9, 13, 14 e 15). Esse é apontado como o instrumento de rastreio de primeiro nível mais adequado para utilização no contexto brasileiro em razão dos seus adequados processos de adaptação e validação (Backes et al., 2014).

Inventário Dimensional de Avaliação do Desenvolvimento Infantil (IDADI) (Silva et al., 2020). Inventário de avaliação do desenvolvimento infantil baseado no relato parental. Seus itens avaliam comportamentos de crianças de 0 a 6 anos, devendo ser assinalados como "sim", "às vezes" ou "ainda não". Os itens contemplam cinco domínios: cognitivo, comunicação e linguagem (receptiva e expressiva), motricidade (ampla e fina), socioemocional e comportamento adaptativo. Os itens são convertidos a fim de gerar um escore para cada dimensão, onde respostas assinaladas como "sim" são transformadas em 2, "às vezes" são transformadas em 1 e "ainda não", em 0 e, por fim, são gerados somatórios para cada uma das dimensões.

Por ser um instrumento recentemente desenvolvido, no momento do levantamento dos dados, ainda não havia pontos de corte, porém os resultados forneceram um "escore desenvolvimental (ED)" que varia seu intervalo mínimo e máximo de acordo com cada escala e com cada faixa de idade. Maior ED representa melhor desempenho na dimensão avaliada. Estudos sobre suas propriedades psicométricas evidenciaram validade de conteúdo (Silva, 2017), relacionadas à estrutura interna da dimensão cognitiva (Mendonça Filho, 2017), e validade de critério (Miranda, 2017). No presente estudo, foram utilizados os ED relativos à dimensão Comunicação e Linguagem Expressiva a fim de se controlar o nível de desenvolvimento da linguagem expressiva dos grupos nas análises comparativas do objetivo I.

Questionário de Capacidades e Dificuldades (SDQ) (Saur & Loureiro, 2012). Instrumento para avaliação de aspectos da saúde mental de crianças e adolescentes. Foi administrado somente ao grupo sem TEA, a fim de verificar sinais e sintomas de atrasos ou problemas no desenvolvimento (critério de exclusão). Seus itens são divididos em cinco subescalas e foram observadas consistentes evidências de validade e fidedignidade do instrumento em sua versão brasileira (Saur & Loureiro, 2012).

Os itens são afirmações, assinaladas pelos responsáveis das crianças como "falso", "mais ou menos verdadeiro" ou "verdadeiro". As respostas são transformadas em escores numéricos, variando entre 0 e 2. O escore final do total de dificuldades é o somatório de todas as subescalas (exceto a de comportamento pró-social), em que maior pontuação representa maiores dificuldades. Para este estudo, os pontos de corte para exclusão do estudo foram escores de 15 (para crianças até 4 anos) e de 16 (para crianças acima de 4 anos).

Procedimentos

Foi utilizado um delineamento misto (grupos contrastantes e correlacional) (Nachmias & Nachmias, 1996). Acerca das análises comparativas, no grupo com TEA, foi realizado um convite por telefone e, em caso de aceite, agendado um encontro presencial com os responsáveis pelas crianças, onde foram administrados o TCLE, o QCB e realizada entrevista contemplando a primeira parte da FDSD. Nessa ocasião, somente os responsáveis estavam presentes e também foram enviados a segunda parte da FDSD, o M-CHAT e o IDADI para que estes preenchessem posteriormente. A ordem de administração desses dois últimos instrumentos foi randômica, a fim de se controlar o efeito de ordem das aplicações. Após, foi agendado um segundo encontro para a realização de uma sessão de avaliação com as crianças, que foi videogravada, na qual foi administrado o PROTEA-R-NV. No grupo sem TEA, os instrumentos aplicados foram os mesmos do grupo com TEA, acrescidos do SDQ, que foi preenchido em casa. Em alguns casos, nesse grupo, a coleta de dados foi realizada em um encontro. Quando isso ocorreu, os responsáveis assinaram o TCLE e após foi administrada a sessão do PROTEA-R-NV. Finalizada a avaliação da criança, foi conduzida a entrevista da primeira parte da FDSD, bem como aplicado o QCB. Os demais instrumentos foram enviados para casa.

A coleta de dados de ambos os grupos aconteceu nas dependências da UFRGS. Todas as avaliações foram realizadas por profissionais experientes em avaliação clínica. Também participaram bolsistas de iniciação científica com experiência clínica e treinamento na administração e aferição de todos os instrumentos sob a supervisão de psicólogos. O treinamento do PROTEA-R-NV e demais instrumentos teve duração de 30 horas. As avaliadoras receberam um treinamento teórico (15 horas) e um treinamento prático (15 horas), no qual observaram videogravações do PROTEA-R-NV e, posteriormente, codificaram-nas. As codificações foram definidas por consenso.

O projeto foi submetido para avaliação do Comitê de Ética em Pesquisa do Instituto de Psicologia da UFRGS e aprovado. A utilização dos dados aconteceu mediante autorização dos participantes, por meio da assinatura do TCLE relativo a cada projeto pelo qual o participante inicialmente acessou o serviço.

Análise de Dados

Para verificar a fidedignidade da codificação do PROTEA-R-NV, realizaram-se dois cálculos de concordância interavaliadores. O índice de concordância para o protocolo completo foi calculado utilizando-se a seguinte equação:

Calculou-se a estatística descritiva das variáveis sociodemográficas e clínicas. Testes paramétricos e não paramétricos de diferenças entre grupos e correlações foram utilizados conforme o padrão de distribuição das variáveis. Para administrar a inflação do alfa devido a múltiplas comparações, aplicou-se a taxa de correção para falsa descoberta (Benjamini-Hochberg, 1995). Os tamanhos de efeito foram interpretados de acordo com Cohen (1988). O nível de significância adotado foi de 5%.

 

Resultados

Análises Preliminares - Fidedignidade da pontuação do PROTEA-R-NV

Realizaram-se dois cálculos de concordância interavaliadores, tendo como referência a aferição da pesquisadora. O primeiro cálculo de confiabilidade foi realizado em relação à codificação do protocolo completo do PROTEA-R-NV por meio de duas videogravações da hora lúdica de crianças participantes da pesquisa (uma com TEA e outra sem TEA). Uma bolsista de iniciação científica treinada foi juíza e era cega ao diagnóstico da criança. Conforme estudo anterior, considerou-se apenas o código de qualidade para as análises de concordância, visto que a frequência não pode ser usada isoladamente (Zanon et al., 2018). A seleção dos vídeos para análise foi realizado por sorteio. As concordâncias foram de 70,59% (criança com TEA) e 82,34% (criança sem TEA).

Já em relação à segunda análise de fidedignidade, analisaram-se especificamente os itens críticos. Foram incluídos 30% (N = 9) dos casos da amostra total, sendo cinco com TEA e quatro sem TEA. A escolha dos casos foi realizada inicialmente pelas características das crianças e, em seguida, sortearam-se os participantes que correspondiam aos critérios selecionados. Dessa forma, buscou-se equiparar as crianças selecionadas nos dois grupos nos seguintes critérios: idade (mais novas e mais velhas), temperamento (mais tímidas e mais extrovertidas na brincadeira) e gravidade dos sintomas (dificuldades acentuadas e dificuldades menos acentuadas) no caso do grupo com TEA.

Tendo em vista que a codificação por meio de vídeos envolve muitas horas, incluindo treinamento, observação das sessões de avaliação e codificação dos itens, considerou-se que a exaustão poderia enviesar os códigos finais atribuídos pelos juízes. Assim, baseando-se no estudo de validação brasileira do instrumento Autism Diagnostic Interview-Revised (ADI-R) (Becker et al., 2012), optou-se por realizar a codificação dos itens críticos por meio de uma descrição feita pela pesquisadora do comportamento que melhor representava a criança em cada um dos itens. A caracterização por escrito dos comportamentos observados contou com exemplos detalhados para ilustrar a escolha pelos códigos. A adequação da descrição foi avaliada coletivamente pelo grupo de pesquisa, ocorrendo revisões no sentido de reduzir ambiguidades no texto. Assim, realizou-se o cálculo com um número maior de casos (N = 9) e com três juízes analisando os comportamentos.

A concordância foi realizada por três juízes treinados e cegos ao diagnóstico. Todos são psicólogos com, no mínimo, um ano de experiência clínica na avaliação de crianças. Índices de concordância (IC) acima de 0,8 são considerados satisfatórios (Cohen, 1988). Os IC, tendo como referência a pontuação do PROTEA-R-NV feita pela pesquisadora (referência), foram de 1 para todos os itens (IAC, RAC, IM, BS e MRC) e todos os juízes. Apenas no item IM, para os juízes 1 e 2, os IC foram de 0,842. Visto que os índices de fidedignidade mostraram-se aceitáveis nos casos analisados, inferiu-se que foram acuradas as codificações do PROTEA-R-NV dos demais casos.

I - Análise de Comparação: Grupo TEA vs. Grupo Sem TEA

Analisando-se os padrões de distribuição de cada um dos itens do PROTEA-R-NV e escore dos itens críticos, o item SBS (M = 0,88; DP = 1,05) apresentou um número elevado de casos faltantes (11 missings). Isso provavelmente ocorreu porque, caso a criança não pontuasse a presença de brincadeira simbólica (item BS), o item SBS era codificado com o código E, "não se aplica". Nesse item, a média do grupo TEA foi 2,20 (0,84) e a média do grupo sem TEA foi 0,43 (0,65). Por esse motivo, decidiu-se por exclui-lo das análises de comparação. Foi ainda observado que os itens EXB (M = 0,67; DP = 0,24) e CA (M = 0,03; DP = 0,17) apresentaram baixa variabilidade e, por isso, também foram excluídos nas análises comparativas. Esses itens apresentaram efeito de chão, sendo que o item EXB teve médias de 0,12 (0,34) no grupo TEA e de 0,00 (0,00) no grupo sem TEA, e o item CA teve médias de 0,07 (0,26) no grupo TEA e 0,00 (0,00) no grupo sem TEA. Por fim, os itens RAC e MRM apresentaram padrão de assimetria acentuada, então essas duas variáveis foram tratadas com testes não paramétricos. Já os demais itens do PROTEA-R-NV e o escore total dos itens críticos foram tratados com testes paramétricos.

Tendo em vista as diferenças significativas de NSE observadas entre os grupos, foram também testadas correlações dessa variável com os escores nos itens do PROTEA-R-NV. Houve correlação do NSE com quase todos os itens do instrumento e com o escore dos itens críticos (r = -0,37 a r = 0,53), com exceção dos itens ES, CFA e CV. Assim, foram conduzidas análises comparativas entre os grupos TEA e sem TEA no PROTEA-R-NV por meio de Análises de Covariância (ANCOVAs), controlando o NSE, na tentativa de minimizar o seu efeito nos resultados. De forma similar, ANCOVAs foram realizadas controlando o nível de desenvolvimento da linguagem expressiva, estimado pelo IDADI, uma vez que os grupos diferiram nessa variável, e o IDADI também foi correlacionado com quase todos os itens do PROTEA-R-NV (r = -0,85 e r = -0,49), exceto com CA.

Como pode ser visto na Tabela 1, houve diferenças entre os grupos TEA e sem TEA, covariando por NSE, em todos os itens do PROTEA-R-NV incluídos na análise, com o grupo TEA apresentando escores mais altos, o que significa maior comprometimento. Quando a covariante foi o IDADI, o instrumento distinguiu os grupos na maioria dos itens, exceto nos itens CFA, CV e BF (Tabela 2). Em geral, os tamanhos de efeito das diferenças foram de magnitude entre moderada e forte.

II - Correlações PROTEA-R-NV e M-CHAT

Observou-se uma correlação forte e positiva entre o escore total do M-CHAT e o escore dos itens críticos do PROTEA-R-NV (r = 0,72; p < 0,001), conforme a Tabela 3. Também são verificadas correlações positivas e fortes entre o escore total do M-CHAT e os itens IAC, IM, BS e SBS do PROTEA-R-NV. Os itens RAC, SOR, BA, P/R, FEX, BF e MRM correlacionaram-se moderadamente com o escore total do M-CHAT, enquanto o item MRC correlacionou-se fracamente. Os itens EXB e CA também foram excluídos da análise pelo efeito de chão.

 

Discussão

As análises de comparação no PROTEA-R-NV mostraram diferenças entre os grupos TEA e sem TEA em todos os itens incluídos na análise, (IAC, RAC, IM, ES, SOR, CFA, BA, P/R, FEX, CV, BF, BS, MRM e MRC) e, no escore dos itens críticos, controlando por NSE. Assim, tais itens demonstraram sensibilidade para diferenciar os grupos com e sem TEA. Quando controlados pelo nível de desenvolvimento da linguagem, as diferenças permaneceram nos itens IAC, RAC, IM, ES, SOR, BA, P/R, FEX, BS, MRM e MRC e no escore dos itens críticos. Dessa forma, os resultados apontam para evidências de que o PROTEA-R-NV mostrou-se adequado para discriminar os grupos nessas variáveis, demonstrando evidências de validade baseadas em critério. Ainda nas análises de comparação após controle do nível de desenvolvimento da linguagem, alguns itens isolados (IAC, IM, FEX e BS) e os itens críticos apresentaram tamanhos de efeito moderados, indicando que esses comportamentos são importantes na detecção de SA para TEA, até mesmo porque o grupo sem TEA apresentou escore zero nesses itens.

Os resultados corroboram um corpo de evidências científicas demonstrando que déficits nos comportamentos sociocomunicativos, na interação social recíproca, na brincadeira simbólica e a presença de padrões restritos e repetitivos de comportamento são considerados SA e critérios diagnósticos para TEA (Campbell et al., 2018; Daniels & Mandell, 2014; Zanon et al., 2014). Quanto ao baixo poder observado no item RAC, destacam-se as diferenças relatadas na literatura acerca do desenvolvimento das habilidades de resposta e iniciativa de atenção compartilhada. A RAC parece se estabelecer antes da IAC, visto que a última exige a aquisição de funções cerebrais mais complexas (como monitoramento e planejamento) do que as envolvidas na RAC (Zanon et al., 2015). Assim, os prejuízos na IAC parecem ser mais significativos para o diagnóstico de TEA (Mundy, 2018).

Considerando os déficits em interação social inerentes aos comportamentos associados ao diagnóstico no grupo TEA e sua relação com aspectos comunicativos, ao ser controlado o nível de desenvolvimento da linguagem expressiva, diminui-se uma possível interferência de atrasos linguísticos na explicação dos déficits observados (Edmunds et al., 2019; Yoder et al., 2015). Assim, o PROTEA-R-NV discriminou um grupo pequeno de crianças com e sem TEA acerca de comportamentos não verbais na maioria dos itens avaliados. Tais escores parecem não ter sido influenciados pelo nível de linguagem expressiva, visto que essa variável foi controlada nas análises.

Já os itens CFA, CV e BF não apresentaram diferenças significativas quando controlado o nível de desenvolvimento da linguagem. Porém, ressalta-se que o prejuízo nos comportamentos avaliados por tais itens não são critérios diagnósticos para TEA (APA, 2014). Estes, juntamente com os itens EXB, SBS e CA, que não puderam ser incluídos nas análises, devem ser interpretados com cautela no contexto clínico. Apesar disso, destaca-se que a análise desses itens fornece informações complementares sobre potencialidades e dificuldades individuais das crianças, com implicações terapêuticas (Bosa & Salles, 2018). Contudo, por não estarem incluídos nos critérios diagnósticos e não apresentarem evidências de capacidade discriminativa, esses itens não devem ser utilizados como determinantes na avaliação de risco.

Neste estudo também foram encontradas evidências de validade convergente para o PROTEA-R-NV, com correlação forte entre os itens críticos e o M-CHAT e correlações variando entre fortes (itens IAC, IM, BS e SBS) e moderadas entre o M-CHAT e a maioria dos itens do PROTEA-R-NV. Esse resultado pode ter relação com a natureza dos itens do M-CHAT, que investigam especialmente comportamentos de interação social e qualidade da brincadeira (Castro-Souza, 2011), enquanto o PROTEA-R-NV também investiga qualidade da brincadeira e comportamentos sociocomunicativos. A natureza dos itens do M-CHAT também pode ter influenciado no fato de uma das maiores correlações ter sido observada com o escore total dos itens críticos do PROTEA-R-NV. Do total de cinco, três itens (IAC, RAC e IM) avaliam comportamentos sociocomunicativos e um (BS) avalia qualidade da brincadeira. A esse respeito, o estudo da versão original do M-CHAT destacou que os seis itens que melhor discriminaram o grupo de crianças com TEA de crianças sem TEA foram aqueles associados a comportamentos de atenção compartilhada de relações sociais e de comunicação (Robins et al., 2001).

Considerando que o desenvolvimento da brincadeira simbólica está intimamente ligado à sociabilidade e que prejuízos em interação social recíproca são observados no TEA (principalmente na atenção compartilhada), além dos déficits nos comportamentos sociais, os atrasos na brincadeira simbólica apresentam-se também como importantes à identificação de risco para TEA, especialmente em crianças acima dos 24 meses (Campbell et al., 2018). Uma vez que os itens BS e SBS foram relacionados ao risco para TEA no M-CHAT, a avaliação da brincadeira simbólica no PROTEA-R-NV parece acurada para identificar déficits no desenvolvimento dessa habilidade, bem como mostra-se relevante para identificação de SA para TEA.

Tendo em vista que o objetivo do M-CHAT é o rastreio de primeiro nível, seus itens parecem mais específicos para identificar atrasos e déficits mais amplamente relatados como SA. Já o PROTEA-R-NV, como rastreio de segundo nível, pode caracterizar-se por um aumento na gama de comportamentos avaliados, bem como seu detalhamento. Porém, a análise dos itens sempre deve ser feita levando em conta sua relação com os demais resultados do protocolo, especialmente nesses itens (Bosa & Salles, 2018).

Por fim, ressalta-se que o objetivo desta pesquisa foi contribuir para os estudos de evidências de validade do PROTEA-R-NV baseadas em variáveis externas. Foram obtidas evidências de validade baseada no critério, ao diferenciar os grupos com TEA e sem TEA, e evidências de validade convergente a partir das correlações com o M-CHAT. O PROTEA-R-NV demonstra adequação de acordo com seus objetivos: de rastreio de risco de segundo nível para TEA e de fornecer informações detalhadas sobre as crianças avaliadas. Assim, reforça-se que o instrumento pode ser utilizado por profissionais da saúde como ferramenta de rastreio ou de confirmação diagnóstica.

Ressalta-se sua aplicabilidade no auxílio aos avaliadores na confirmação ou descarte da suspeita de TEA, tomando o escore dos itens críticos em conjunto com a observação dos comportamentos avaliados pelos itens e triangulação com as demais informações clínicas e educacionais. Os itens IAC, IM e BS foram os que demonstraram maior sensibilidade em diferenciar os grupos e maior correlação com o M-CHAT. Tais resultados corroboram com os SA apontados pela literatura como relevantes na identificação de risco para TEA (Campbell et al., 2018; Zanon et al., 2014).

Como limitações deste estudo, destaca-se a impossibilidade de realizar uma análise de fidedignidade da codificação da totalidade das videogravações das sessões do PROTEA-R-NV. Além disso, o tamanho reduzido da amostra coloca-se como uma limitação. Apesar da maioria das análises apresentarem significância, tamanho de efeito e poder satisfatórios, os itens CFA, CV e BF sugeriram baixo poder e tamanho de efeito, ainda que as médias do grupo com TEA tenham se apresentado maiores. Assim, esses itens podem exibir diferenças menos acentuadas entre os grupos e, sendo assim, o tamanho da amostra pode não ter sido suficiente para identificar essas diferenças sutis. Da mesma forma, o número elevado de dados faltantes no item SBS e a baixa variabilidade nos itens EXB e CA impossibilitaram a inclusão desses itens na análise de comparação, o que poderia ser minimizado com a utilização de amostras maiores, possibilitando maior variabilidade de dados. Ainda relativo ao tamanho da amostra, esse fator impossibilitou a categorização das análises por faixas etárias. Como recomendação para futuras pesquisas, sugere-se a comparação de grupos de crianças com TEA com outros grupos clínicos, como, por exemplo, com deficiências intelectuais ou transtornos de linguagem. Dessa forma, será possível reunir mais evidências sobre a acurácia do instrumento como rastreio de segundo nível. Sugere-se, ainda, que os grupos possam ser equiparados de acordo com medidas clínicas de desenvolvimento infantil, diretamente administradas na criança, eliminando-se o viés da percepção dos cuidadores.

 

Agradecimentos

Agradecemos a todas as famílias que se disponibilizaram a participar do estudo.

Financiamento

A presente pesquisa não recebeu nenhuma fonte de financiamento sendo custeada com recursos dos próprios autores.

Contribuições dos autores

Declaramos que todos os autores participaram da elaboração do manuscrito. Especificamente, o(s) autor(es) Bibiana Gallas Steigleder e Cleonice Alves Bosa participou(ram) da redação inicial do estudo - conceitualização, investigação, visualização, o(s) autor(es) Bibiana Gallas Steigleder e Juliana Burges Sbicigo participou(ram) da análise dos dados, e o(s) autor(es) Bibiana Gallas Steigleder, Juliana Burges Sbicigo e Cleonice Alves Bosa participou(ram) da redação final do trabalho - revisão e edição.

Disponibilidade dos dados e materiais

Todos os dados e sintaxes gerados e analisados durante esta pesquisa serão tratados com total sigilo devido às exigências do Comitê de Ética em Pesquisa em Seres Humanos. Porém, o conjunto de dados e sintaxes que apoiam as conclusões deste artigo estão disponíveis mediante razoável solicitação ao autor principal do estudo.

Conflito de interesses

Os autores declaram que não há conflitos de interesses.

 

Referências

American Educational Research Association [AERA], American Psychological Association [APA], & National Council on Measurement in Education [NCME]. (2014). Standards for Educational and Psychological Testing. American Educational Research Association.         [ Links ]

American Psychiatric Association [APA] (2014). Manual Diagnóstico e Estatístico de Transtornos Mentais (5ªed.). Artmed.         [ Links ]

Associação Brasileira de Empresas de Pesquisa [ABEP]. (2016). Critério Brasil 2015 e Atualização da Distribuição de Classes para 2016. http://www.abep.org/criterio-brasil        [ Links ]

Backes, B., Mônego, B. G., Bosa, C. A., & Bandeira, D. R. (2014). Psychometric properties of assessment instruments for autism spectrum disorder: a systematic review of brazilian studies. Jornal Brasileiro de Psiquiatria, 63(2), 154-164. https://doi.org/10.1590/0047-2085000000020        [ Links ]

Becker, M. M., Wagner, M. B., Bosa, C. A., Schmidt, C., Longo, D., Papaleo, C., & Riesgo, R. S. (2012). Translation and validation of Autism Diagnostic Interview-Revised (ADI-R) for autism diagnosis in Brazil. Arquivos de Neuro-psiquiatria, 70(3), 185-190. https://doi.org/10.1590/S0004-282X2012000300006        [ Links ]

Benjamini, Y., & Hochberg, Y. (1995). Controlling the false discovery rate: A practical and powerful approach to multiple testing. Journal of the Royal statistical society: series B (Methodological), 57(1), 289-300. https://doi.org/10.1111/j.2517-6161.1995.tb02031.x        [ Links ]

Bosa, C. A., & Salles, J. F. (2018). Sistema PROTEA-R de Avaliação da Suspeita de Transtorno do Espectro Autista. Vetor.         [ Links ]

Campbell, S. B., Mahoney, A. S., Northrup, J., Moore, E. L., Leezenbaum, N. B., & Brownell, C. A. (2018). Developmental changes in pretend play from 22 to 34 months in younger siblings of children with autism spectrum disorder. Journal of Abnormal Child Psychology, 46(3), 639-654. https://doi.org/10.1007/s10802-017-0324-3        [ Links ]

Castro-Souza, R. M. (2011). Adaptação Brasileira do M-CHAT (Modified Checklist for Autism in Toddlers). [Tese de doutorado, Universidade de Brasília] Universidade de Brasília. http://repositorio.unb.br/handle/10482/10210        [ Links ]

Cohen, J. (1988). Statistical Power Analysis for the Behavioral Sciences (2nd ed.). Lawrence Earlbaum Associates.         [ Links ]

Daniels, A. M., & Mandell, D. S. (2014). Explaining differences in age at autism spectrum disorder diagnosis: A critical review. Autism: The International Journal of Research and Practice, 18(5), 583-597. https://doi.org/10.1177/1362361313480277        [ Links ]

Edmunds, S. R., Kover, S. T., & Stone, W. L. (2019). The relation between parent verbal responsiveness and child communication in young children with or at risk for autism spectrum disorder: A systematic review and meta‐analysis. Autism Research, 12(5), 715-731. https://doi.org/10.1002/aur.2100        [ Links ]

Fagundes, A. J. D. F. M. (2015). Descrição, definição e registro de comportamento (17th ed.). Edicon.         [ Links ]

Johnson, C. P., Myers, S. M., & Council on Children with Disabilities (2007). Identification and evaluation of children with autism spectrum disorders. Pediatrics, 120(5), 1183-1215. https://doi.org/10.1542/peds.2007-2361        [ Links ]

Lord, C., Risi, S., Lambrecht, L., Cook, E. H., Leventhal, B. L., DiLavore, P. C., Pickles, A., & Rutter, M. (2000). The autism diagnostic observation schedule-generic: A standard measure of social and communication deficits associated with the spectrum of autism. Journal of Autism and Developmental Disorders, 30(3), 205-223. https://doi.org/0162-3257/00/0600-0205$18.00/0        [ Links ]

Marques, D. F., & Bosa, C. A. (2015). Protocolo de avaliação de crianças com autismo: evidências de validade critério. Psicologia: Teoria e Pesquisa, 31(1). 43-51. https://doi.org/10.1590/0102-37722015011085043051        [ Links ]

Mendonça Filho, E. J., (2017). Evidências de Validade Relacionadas à Estrutura Interna da Escala Cognitiva do Inventário Dimensional de Avaliação do Desenvolvimento Infantil. [Dissertação de mestrado não publicada]. Universidade Federal do Rio Grande do Sul.         [ Links ]

Miranda, J. R. (2017). Evidências de Validade de Critério do Inventário Dimensional de Avaliação do Desenvolvimento Infantil: Discriminação de Grupos com e sem Transtorno do Espectro Autista [Trabalho de conclusão de curso não publicado]. Universidade Federal do Rio Grande do Sul.         [ Links ]

Mundy, P. (2018). A review of joint attention and social-cognitive brain systems in typical development and autism spectrum disorder. European Journal of Neuroscience, 47(6), 497-514. https://doi.org/10.1111/ejn.13720        [ Links ]

Nachmias, C. F., & Nachmias, D. (1996). Research Designs: Cross-sectional and Quasi-experimental Designs. Em C. F., Nachmias, D., Nachmias, & J., DeWaard (Eds.), Research Methods in the Social Sciences (pp. 125-151). St. Martin's Press.         [ Links ]

Oosterling, I. J., Swinkels, S. H., Van der Gaag, R. J., Visser, J. C., Dietz, C., & Buitelaar, J. K. (2009). Comparative analysis of three screening instruments for autism spectrum disorder in toddlers at high risk. Journal of Autism and Developmental Disorders, 39(6), 897-909. https://doi.org/10.1007/s10803-009-0692-9        [ Links ]

Pacifico, M. C., de Paula, C. S., Namur, V. S., Lowenthal, R., Bosa, C. A., & Teixeira, M. C. T. V. (2019). Evidências preliminares do processo de validação da Autism Diagnostic Observation Schedule (ADOS): tradução, adaptação transcultural e equivalência semântica para a versão em português do Brasil. Trends in Psychiatry and Psychotherapy, 41(3), 218-226. https://doi.org/10.1590/2237-6089-2018-0063        [ Links ]

Paula, C. S., Cunha, G. R., Bordini, D., Brunoni, D., Moya, A. C., Bosa, C. A, Mari, J. J., & Cogo-Moreira, H. (2017). Identifying autism with a brief and low-cost screening instrument - OERA: construct validity, invariance testing, and agreement between judges. Journal of Autism and Developmental Disorders, 48(5), 1780-1791. https://doi.org/10.1007/s10803-017-3440-6        [ Links ]

Robins, D. L., Fein, D., Barton, M. L., & Green, J. A. (2001). The Modified Checklist for Autism in Toddlers: An Initial Study Investigating the Early Detection of Autism and Pervasive Developmental Disorders. Journal of Autism and Developmental Disorders, 31(2), 131-144. https://doi.org/10.1023/a:1010738829569        [ Links ]

Saur, A. M., & Loureiro, S. R. (2012). Qualidades psicométricas do Questionário de Capacidades e Dificuldades: revisão da literatura. Estudos de Psicologia (Campinas), 29(4), 619-629. https://doi.org/1590/S0103-166X2012000400016        [ Links ]

Silva, M. A. (2017). Construção e Estudo de Evidências de Validade e Fidedignidade do Inventário Dimensional de Avaliação do Desenvolvimento Infantil [Tese de doutorado não publicada]. Universidade Federal do Rio Grande do Sul.         [ Links ]

Silva, M. A., Mendonça Filho, E., & Bandeira, D. R. (2020). Inventário Dimensional de Avaliação do Desenvolvimento Infantil (IDADI). Vetor.         [ Links ]

World Health Organization [WHO] (2019). Autism Spectrum Disorders. https://www.who.int/news-room/fact-sheets/detail/autism-spectrum-disorders        [ Links ]

Yoder, P., Watson, L. R., & Lambert, W. (2015). Value-added predictors of expressive and receptive language growth in initially nonverbal preschoolers with autism spectrum disorders. Journal of autism and developmental disorders, 45(5), 1254-1270. https://doi.org/10.1007/s10803-014-2286-4        [ Links ]

Zanon, R. B., Backes, B., & Bosa, C. A. (2014). Identificação dos primeiros sintomas do autismo pelos pais. Psicologia: Teoria e Pesquisa, 30(1), 25-33. https://doi.org/10.1590/S0102-37722014000100004        [ Links ]

Zanon, R. B., Backes, B., & Bosa, C. A. (2015). Diferenças conceituais entre resposta e iniciativa de atenção compartilhada. Psicologia: Teoria e Prática, 17(2), 78-90. https://doi.org/10.15348/1980-6906/psicologia.v17n2p78-90        [ Links ]

Zanon, R. B., Pereira, T. C. A., Backes, B., Faro, K. C. A., Romeira, G. M., Esteves, C., Salles, J. F., & Bosa, C. A. (2018). Propriedades Psicométricas do PROTEA-R- NV: Evidências de Validade e Fidedignidade. Em C. A., Bosa & J. F., Salles (Eds). Sistema PROTEA-R de Avaliação da Suspeita de Transtorno do Espectro Autista, (pp. 87-106), Vetor.         [ Links ]

 

 

Endereço para correspondência:
Bibiana Gallas Steigleder
Av. Cel. Lucas de Oliveira, 2437/403
90630-084, Petrópolis, Porto Alegre - Brasil
E-mail: bibi.gallas@gmail.com

Recebido em janeiro de 2020
Aceito em março de 2021

 

 

Artigo derivado da dissertação de mestrado da Bibiana Gallas Steigleder com orientação da Cleonice Alves Bosa, defendida em 2019 no programa de pós-graduação em Psicologia da Universidade Federal do Rio Grande do Sul.
Sobre os autores:
Bibiana Gallas Steigleder é psicóloga e mestre pela Universidade Federal do Rio Grande do Sul (UFRGS). Especialista em avaliação psicológica. Atua na área de avaliação psicológica clínica e como supervisora de estágio no Centro de Avaliação Psicológica (UFRGS). E-mail: bibi.gallas@gmail.com
Juliana Burges Sbicigo é psicóloga (UNISINOS), mestre, doutora e pós-doutora em Psicologia pela Universidade Federal do Rio Grande do Sul (UFRGS). Professora do curso de graduação em Psicologia da Factum Faculdade. Pesquisadora colaboradora do Núcleo de Estudos em Neuropsicologia Cognitiva (NEUROCOG). E-mail: julianasbicigo@gmail.com
Cleonice Alves Bosa é psicóloga, doutora em Psicologia, professora titular e orientadora no Programa de Pós Graduação em Psicologia da Universidade Federal do Rio Grande do Sul, e coordena o Núcleo Integrado de Estudos e Pesquisa em Transtornos do Desenvolvimento. E-mail: cleonicebosa@gmail.com