Método

Estudo longitudinal quantitativo, observacional e descritivo para avaliar concordância entre aplicadores das Escalas Bayley III do desenvolvimento infantil, na cidade de Salvador, na Bahia, a quarta capital mais populosa do Brasil.

Resultados

A primeira medida de confiabilidade realizada na linha de base envolveu seis aplicadores e 29 crianças avaliadas por duplas de aplicadores, obtendo-se os seguintes resultados: os valores de kappa variaram entre 0.47 e 1 com média igual a 0.92, e pelo menos 70% das questões apresentaram valor próximo de 1, obtendo concordância excelente na classificação entre aplicadores. A média dos 58 escores das 29 avaliações nesse ponto foi 84,2 (DP = 24,8) para escala cognitiva, 81,3 (DP = 25,4) para linguagem e 80.7 (DP = 28.8) para motricidade.

A segunda medida contou com 67 crianças avaliadas e nove aplicadores para exame de equivalência. Os valores de kappa variaram de 0.43 a 1 com média igual a 0.89, com aproximadamente 70% das questões apresentando valor de kappa próximo de 1, mantendo a classificação excelente entre aplicadores. Para as 67 avaliações realizadas nesse ponto, a média dos 134 escores obtidos foi 73,3 (DP = 22,7) para escala cognitiva, 72,2 (DP = 24,7) para escala de linguagem e 70,0 (DP = 27,5) para escala motora.

Na terceira medida, 11 crianças compuseram a amostra de equivalência com a participação de quatro aplicadores. Os valores de kappa variaram de 0.21 a 1 com média igual a 0.96, mantendo-se 70% das questões com valores de kappa próximo de 1, e classificação excelente entre aplicadores. Nesse último ponto de medida, realizaram-se 11 avaliações (22 escores) com médias iguais a 63,9 (DP = 17), 57,9 (DP = 19) e 58,1 (DP = 26), para a escala cognitiva, de linguagem e motora, respectivamente. A Tabela 1 apresenta a distribuição da classificação do coeficiente kappa para os três pontos de avaliação do estudo.

A análise das medidas de confiabilidade na aplicação das Escalas Bayley III do desenvolvimento infantil realizada neste estudo longitudinal demonstrou valores satisfatórios do coeficiente kappa, indicando concordância excelente entre aplicadores, com discreta elevação para valores médios na primeira e terceira medidas (Tabela 1).

Cabe referir ainda que os itens com baixa concordância se distribuíram da seguinte forma neste estudo longitudinal de confiabilidade. Na linha de base, registrou-se apenas um item do domínio cognitivo (Item 8). A segunda medida de avaliação entre aplicadores registrou seis itens, sendo dois de linguagem expressiva (1;43), dois de linguagem receptiva (2;6), um item cognitivo (4) e outro de motricidade fina (1). Na terceira medida, registaram-se apenas dois itens relativos à linguagem expressiva (2;6).

O coeficiente de correlação intraclasses para cada um dos três escores de desempenho em cada ponto da avaliação se manteve acima de 90% revelando elevado nível de concordância entre aplicadores também classificado como excelente (Tabela 2).

Discussão

Em se tratando de um estudo longitudinal com renovação da equipe de aplicadores, foi possível manter a qualidade dos dados, reproduzindo resultado consistente no tempo e espaço, conforme as medidas de confiabilidade obtidas. O formato de treinamento inicial se completou com a sequência de supervisões regulares, qualificando a equipe ao identificar dúvidas e discordâncias, estabelecendo, portanto, um padrão de elevada confiabilidade interobservadores nas três medidas de avaliação realizadas (^{Souza et al., 2017}).

Analisando-se os resultados gerais dos três pontos avaliados, observaram-se algumas variações dos níveis de confiabilidade, indicando a importância de que para cada novo ponto de avaliação do estudo se realize a confiabilidade entre aplicadores, ainda que o instrumento em questão tenha demonstrado alta confiabilidade anteriormente.

O número crescente de estudos nacionais recentes que utilizaram as escalas Bayley III indica a importância e utilidade desse instrumento no diagnóstico de atrasos motores, cognitivos e de linguagem em crianças brasileiras (^{Ferreira et al., 2014}; ^{Hentges et al., 2014}). Consideram-se cientificamente relevantes investigações que examinam os achados para populações com alterações complexas do desenvolvimento infantil, enfatizando a necessidade de testar as acomodações necessárias, para manter evidências de validade e confiabilidade de determinados instrumentos de avaliação. Enfrentou-se neste estudo desafio importante, para avaliar crianças com alto risco de desenvolvimento decorrente de múltiplas deficiências e frequente comprometimento do desenvolvimento global.

As acomodações são requeridas em tais situações, permitindo alterações nos procedimentos-padrão de administração dos testes, para superar deficiências funcionais do participante, aumentando a validade das inferências a partir dos escores obtidos. Considera-se relevante o comprometimento funcional que o sujeito pode experimentar ao tentar demonstrar proficiência em uma avaliação (^{Kettler, 2012}). Empreendeu-se um esforço para viabilizar avaliação psicológica em uma população com tantas limitações, as quais poderiam colocar os sujeitos em condição de não testáveis perante outros instrumentos, contribuindo, portanto, para avanços na avaliação do desenvolvimento infantil no Brasil, um país sem nenhuma ferramenta similar validada (^{Madaschi et al., 2016}).

A BSID-III foi administrada por meio de procedimentos-padrão, com adaptações para deficiências visuais ou motoras da criança, conforme sugerido pelo manual (^{Bayley, 2006}). Dentre as acomodações utilizadas em nosso estudo, referimos alguns exemplos como uso de luz e brilho, aumento do tamanho dos objetos manipulativos e ampliação do tempo para resposta da criança.

Outras acomodações do teste na aplicação da BSID-III têm sido utilizadas. Por exemplo, para crianças apenas com visão clara, as luzes do teto foram desligadas e uma lanterna foi usada para fornecer contraste (^{Wheeler et al., 2020}). Embora a abrangência dos itens alcance o espectro de desenvolvimento desde o nascimento até a primeira infância, a dependência da produção visual e motora pode penalizar as crianças com SCZ em demonstrar sua capacidade de realização. Por outro lado, os escores brutos do BSID-III e os escores equivalentes à idade fornecem uma medida sensível da mudança potencial ao longo do tempo, permitindo monitoramento de detecção de mudanças no desenvolvimento (ganho ou perda de habilidades), acompanhamento dos impactos para identificar forças e fraquezas da criança como direcionadores em resposta ao tempo, tratamento, da intervenção, podendo também ser um auxiliar determinante dos impactos dos agravos das intercorrências clínicas que afetam diretamente o desenvolvimento, como ou convulsões ou outros sintomas clínicos (^{Wheeler et al., 2020}).

Embora os valores de kappa em pelo menos 70% das questões analisadas tivessem sido próximos de 1, houve questões distribuídas ao longo das três medidas com baixa concordância entre aplicadores. Na linha de base, isso ocorreu com questões do domínio cognitivo e nos demais pontos com os domínios da linguagem e motricidade. Uma hipótese possível que poderia explicar a baixa concordância seria a probabilidade de prejuízo do domínio cognitivo pela infecção viral e da alta correlação entre os três domínios. Sabendo-se que o prejuízo motor decorrente de hipertonia axial e apendicular pode comprometer a magnitude da resposta ou do comportamento da criança e, por conseguinte, dificultar o julgamento do avaliador na aplicação dessas provas que se afastaram da alta concordância. Nesse sentido, recomenda-se mais atenção ao treinamento dos itens que requerem maior sensibilidade do avaliador para reconhecer o desempenho da criança.

Ainda sobre itens da linguagem expressiva com baixa concordância, as provas que envolvem sons guturais indiferenciados requerem familiaridade do avaliador para interpretá-los e pontuar. E, por fim, a baixa concordância neste estudo atingiu itens constituídos por elementos da dimensão subjetiva como esboço do sorriso social ao falar com a criança. Apesar das várias fontes potenciais de discordância na aplicação de um teste psicométrico, os escores obtidos neste estudo foram bastante concordantes, refletindo tanto uniformidade na abordagem das crianças quanto na interpretação das respostas dadas por elas. Considera-se ter sido possível lidar com fatores relativos ao instrumento, população e contexto, atingindo um nível de confiabilidade elevado (^{Souza et al., 2017}). Ao utilizar a confiabilidade do tipo de equivalência, identificou-se o grau de aptidão dos aplicadores para observar e mensurar o fenômeno de maneira adequada, conforme preconizado pelo Manual das Escalas Bayley III de Desenvolvimento Infantil.

Avaliar a criança no seu domicílio ou eventualmente na unidade de saúde de sua referência facilitou a abordagem. O acesso do avaliador a esse espaço favoreceu alguma familiaridade com a limitação da criança, assim como a melhoria na comunicação e flexibilidade necessária para adotar acomodações. A validade ecológica enfatiza uma nova compreensão da relação entre resultados da avaliação de um teste com o desempenho das tarefas cotidianas. Considera ainda o desenvolvimento de testes compostos por tarefas cognitivas cotidianas, de modo que as inferências possam ser facilmente extraídas dos resultados e da provável capacidade do indivíduo de realizar aquelas tarefas na vida diária (^{Spooner & Pachana, 2006}). Para ^{Pasquali (2017)}, a validade ecológica se refere à forma como as evidências devem ser buscadas, aproximando métodos, materiais e situações da avaliação do mundo real que está sendo examinado.

Para a criança com desenvolvimento atípico altamente provável pelo diagnóstico da SCZV, a avaliação na residência ampliou a possibilidade de expressão do seu desenvolvimento. Os obstáculos encontrados desde as primeiras aplicações decorrentes de atrasos consideráveis nos diferentes domínios desenvolvimentais nos remeteu ao Manual da Bayley, para entender as adaptações e definir condutas e procedimentos para o trabalho de campo com essa população. Realizaram-se oficinas, estruturaram-se rotinas de monitoramento e supervisão permanente para garantia dos procedimentos de adaptação do instrumento sem afetar a integridade do teste.

Enfim, a adaptação do BSID-III para acomodar dificuldades visuais e motoras tornou possível avaliar com mais precisão a função de desenvolvimento de crianças com SCZ. Tratou-se de 16 adaptações, organizadas conforme o tipo de facilitação empregada (visual, motora ou geral), utilizadas em todas as áreas de avaliação deste instrumento. Os dados observados sugeriram a importância da construção de novas perspectivas na avaliação de crianças com desenvolvimento atípico, minimizando a interferência de déficits (^{Araújo et al., 2017}).

Considerações Finais

Demonstrou-se ser possível realizar avaliação domiciliar do desenvolvimento de crianças com múltiplas deficiências em contexto populacional, utilizando adaptações previstas pelas Escalas Bayley III, com níveis satisfatórios de confiabilidade. O treinamento, supervisão e monitoramento da equipe calibraram os avaliadores conforme as medidas de confiabilidade demonstradas pelo kappa e ICC. Evidências sobre bom desempenho de instrumentos neuropsicológicos em estudos populacionais investigando grupos ainda pouco explorados em saúde coletiva favorecem o andamento da pesquisa pela credibilidade dos resultados obtidos e auxiliam futuros pesquisadores na escolha da ferramenta.

Conclui-se que o estudo contribui para avançar o conhecimento sobre crianças com deficiências múltiplas na perspectiva da saúde coletiva, conferindo confiabilidade ao processo de avaliação psicológica em população com limitações múltiplas do desenvolvimento infantil no contexto comunitário. Considera-se cientificamente relevantes investigações que examinem os achados para populações com alterações complexas do desenvolvimento infantil, enfatizando a necessidade de testar as acomodações necessárias, para manter evidências de validade e confiabilidade de determinados instrumentos de avaliação.