Português (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Permalink
O Child Behavior Checklist (CBCL) é um dos instrumentos mais utilizados no Brasil, em âmbitos clínicos, como em pesquisas, e objetiva a avaliação da competência social e problemas de comportamento em crianças e adolescentes por meio do relato dos pais e/ou responsáveis (Achenbach & Rescorla, 2001; Borsa & Bandeira, 2011). Foi traduzido como “Inventário de Comportamentos da Infância e Adolescência” para o contexto brasileiro (Duarte & Bordin, 2000), mas seu uso em multiculturas possibilitou tradução para 110 idiomas distintos (https://aseba.org/translations/; acesso em agosto de 2020).
A primeira versão publicada foi desenvolvida no ano de 1981, nos Estados Unidos, pelo psiquiatra Thomas Achenbach. Seu processo de construção foi totalmente empírico, baseando-se em tratamentos estatísticos, principalmente análises fatoriais, de uma lista de queixas comportamentais presentes em prontuários médicos (Achenbach & Rescorla, 2001). A faixa etária-alvo para sua aplicação foi estabelecida para pais de crianças de dois a três anos de idade. Posteriormente, em 1983, foi publicada uma segunda versão, seguindo o mesmo modelo psicométrico, mas direcionada à faixa etária de pais de indivíduos de quatro a 16 anos. Mas, em 1991, foi realizada uma atualização nessa faixa etária, praticamente sem modificações dos itens, para quatro a 18 anos.
Subsequentemente, nos anos de 2000 e 2001, ambas as versões (de 1981 e 1991) foram atualizadas, ainda nesse mesmo país de origem, com mudanças em suas faixas etárias e em alguns dados psicométricos, passando para: (a) primeira versão, avaliação de crianças de um ano e meio a cinco anos de idade (CBCL 1½-5); (b) segunda versão, avaliação de sujeitos de seis a 18 anos (CBCL/6-18). Desde então, não houve modificações nas faixas etárias e nem em seus estudos de validade e de precisão, de acordo com os manuais comercializados nos EUA até o momento da finalização desta pesquisa (meados do segundo semestre de 2020).
Quanto à composição de itens desses instrumentos, tem-se na versão CBCL 1½-5, também denominada “para pré-escolares”, apresenta 99 e visam avaliar as seguintes “escalas sindrômicas”, de acordo com o manual: reatividade emocional, ansiedade/depressão, queixas somáticas, problemas de atenção, comportamento agressivo e problemas de sono (Achenbach & Rescorla, 2001). A versão CBCL/6-18, para escolares, é o foco da presente pesquisa, logo, quando for utilizada somente a sigla “CBCL”, a referência será a ela. É composta de 138 itens, dos quais 20 avaliam a competência social e 118 avaliam problemas de comportamento, também de acordo com seu manual (Achenbach & Rescorla, 2001). No entanto, há uma inconsistência nesses valores quando se observa a folha de resposta brasileira, pois, em seu crivo de correção, há 136 itens, sendo 16 para “competência social” e 120 para “problemas de comportamento”.
Especificamente a escala de competência social está dividida em três outras escalas: escala de atividades (composta de seis itens), escala de relacionamento social ou competência social (seis itens) e escala de performance acadêmica (quatro itens). Por sua vez, a seção de problemas de comportamento possui oito escalas sindrômicas (ansiedade/depressão, isolamento/depressão, queixas e somáticas, comportamento de quebrar regras, comportamento agressivo, problemas sociais, problemas de pensamento e problemas de atenção), distribuídas em 103 itens, e uma escala denominada de “outros problemas”, composta por 17 itens (Achenbach & Rescorla, 2001).
As oito escalas sindrômicas podem ainda ser organizadas em outras duas, de “problemas de comportamento internalizante” e “problemas de comportamento externalizante”. Na primeira, estão: ansiedade/depressão (13 itens), isolamento/depressão (oito itens) e queixas somáticas (11 itens). Na segunda: comportamentos de quebrar as regras (17 itens), comportamento agressivo (18 itens), problemas sociais (11 itens), problemas de pensamento (15 itens), problemas de atenção (10 itens) (Borsa & Nunes, 2011; Santos & Silvares, 2006).
Quanto à adaptação transcultural do CBCL para o Brasil, é importante ressaltar que não estava relatada no manual comercializado nesse país, que inclusive era o mesmo dos EUA até o momento de realização desta investigação (Achenbach & Rescorla, 2001). No Brasil, a única diferença ocorrida durante a aquisição do inventário é de que as folhas de resposta obtidas estão em português, mas ainda assim as normas de correção são estadunidenses.
Entretanto, Bordin et al. (2013) realizaram uma revisão da literatura dos CBCLs, do Youth Self- Report (YSR) e do Teacher’s Report Form (TRF), de modo a indicar o percurso histórico e de estudos sobre o desenvolvimento das versões originais e brasileiras. Especificamente para o CBCL, descreveram as principais alterações nos itens, escalas e pontos de corte na pontuação, ocorridas nas versões originais de 1991 a 2001, e o processo de tradução, retrotradução e adaptação cultural para o Brasil. Relataram que neste país, em 1995, foi realizado um processo tradução e investigação de evidências de validade de modo breve para a versão de 1991 (Bordin, Mari, & Caeiro, 1995). Relataram, interessantemente que, para a versão estadunidense de 2001, em 2002, 2005 e 2010, foram realizadas versões brasileiras diferenciadas para o inventário. As autoras afirmaram ainda que as traduções de 2002 e de 2005 passaram por inúmeros estudos transversais e longitudinais. Porém, dentre todos os citados por elas, nenhum buscou identificar diretamente suas evidências de validade ou a precisão.
Também no estudo de Bordin et al. (2013), é justificado que a versão de 2010 foi desenvolvida a partir, principalmente, das seguintes demandas: comparar cada item das duas versões em português produzidas, de 2002 e 2005, e formular uma versão unificada e melhorada; discutir as diferentes opções de palavras do português com significados semelhantes em inglês, a fim de escolher termos simples e compreensíveis para adultos com baixa escolaridade, sem distorcer o conteúdo dos itens originais; levar em consideração informações de grupos focais realizados com mães de baixa escolaridade para evitar termos em português que não fossem bem compreendidos pelos participantes do grupo, mesmo que linguisticamente equivalentes aos itens em inglês; ter uma tradução reversa cega da versão final para o inglês por um tradutor profissional bilíngue nativo dos EUA; comparar cada item da retrotradução com a versão original para fazer as devidas correções dos termos em português, a fim de garantir total coerência de significados nos dois idiomas. Ou seja, a motivação para criação dessa versão focou-se na investigação basicamente de sua validade aparente e nenhuma outra evidência de validade e/ou precisão foram verificadas.
Bordin et al. (2013) recomendaram que estudos que buscassem identificar tais evidências eram necessários no país. As evidências de validade configuram um dos parâmetros mais importantes no desenvolvimento e verificação da qualidade de um teste (American Educational Research Association (AERA), American Psychological Association (APA), National Council on Measurement in Education (NCME), 2014). Indicam o grau em que os achados empíricos e a teoria suportam as interpretações dos escores para determinado propósito (Andrade & Valentini, 2018). Outro parâmetro também importante é a precisão, que se refere à verificação dos erros que podem ser obtidos na medição, sob os quais espera-se que sejam pouco frequentes, de modo a indicar maior qualidade dos itens (Andrade & Valentini, 2018).
Tanto as evidências de validade como a precisão costumam apresentar influências de variáveis contextuais (culturais, socioeconômicas, linguísticas, entre outras) e do tempo, ou seja, são representativas da realidade e do momento em que foram obtidas. Sendo assim, por exemplo, em um processo de construção de um teste ou de sua transposição para uma novo país, é necessário que estejam asseguradas e sejam atuais, além disso, devem indicar qualidades psicométricas minimamente aceitáveis para tal instrumental (AERA et al., 2014). Desse modo, a fim de verificar as evidências de validade e precisão do CBCL no Brasil, por meio de revisão da literatura científica, o presente artigo foi proposto.
Método
Materiais
O objeto de análise neste trabalho foi artigos científicos, teses e dissertações que buscaram verificar as evidências de validade e de precisão do CBCL no Brasil. Foram buscados em bases de dados sem a delimitação de tempo de publicação e estiveram nos idiomas português e inglês. Para tanto, foram utilizadas recomendações do método “Principais Itens para Relatar Revisões sistemáticas e Metanálises” (PRISMA) que possui um checklist com 27 itens e um fluxograma com quatro itens, que auxiliam na execução e qualidade de revisões sistemáticas e metanálises (Galvão, Pansani, & Harrad, 2015).
Procedimentos
Foram realizadas buscas de artigos, teses e dissertações nas seguintes bases de dados, sem delimitação de tempo, para identificação das produções: (a) Scientific Electronic Library Online (SciELO); (b) banco de teses e dissertações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES); (c) América Latina e Caribe em Ciências da Saúde Literatura (LILACS); (d) Medical Literature Analysis and Retrieval System Online (MEDLINE); (e) Scopus. Utilizou-se somente a seguinte combinação de descritores em português: “cbcl” AND “validade” AND “precisão”; em inglês: “cbcl” AND “validity” AND “reliability” AND “Brazil”.
Após a busca, foram excluídos aqueles estudos que se encontravam repetidos entre as bases de acordo com leitura do título, sendo esse o único critério de exclusão adotado. Na sequência, os seguintes critérios de inclusão foram aplicados: (a) ser possível identificar no título, no resumo ou nas palavras-chaves de que se tratava de um estudo brasileiro que havia feito uso do CBCL; (b) ser possível identificar que se tratava de um estudo de validade e/ou precisão realizado no Brasil para o CBCL de acordo com a leitura completa do texto. Quando o estudo preenchia algum desses dois critérios, era classificado como uma investigação que buscou identificar “diretamente” as evidências de validade e/ou precisão do CBCL.
Ressalta-se que, durante a aplicação do critério de inclusão “b”, também foram adicionadas algumas outras análises. Uma delas foi a de que mesmo que determinado estudo não apresentasse, em nenhuma de suas seções (introdução, objetivos, método, resultados e discussão), a indicação de que havia investigado alguma validade e/ou precisão do CBCL, mas os autores da pesquisa relatassem em algum momento do texto que os resultados poderiam ser utilizados para tais interpretações, era incluído. Uma outra análise adotada foi a de que a pesquisa também era incluída caso o método adotado no artigo se enquadrasse em algum estudo proposto no anexo da Resolução Nº 9, de 25 de abril de 2018 do Conselho Federal de Psicologia (CFP) (2018), no qual são apresentados alguns tipos de análises psicométricas para identificação da validade e precisão de instrumentos psicológicos brasileiros. Quando às pesquisas eram aplicados esses procedimentos, eram classificadas como uma investigação que buscou identificar “indiretamente” as evidências de validade e/ou precisão do CBCL.
A busca ocorreu de outubro a novembro de 2019 e foi conduzida por dois pesquisadores, separadamente, para que houvesse rigor, validação dos resultados encontrados e para amenizar o risco de viés. A Figura 1 sinaliza que, por meio da busca inicial nas bases de dados, foi identificado um total de 591 produções, das quais 177 estavam duplicadas e foram excluídas. Na sequência, foi aplicado o critério de inclusão “a”, sendo selecionadas 322 publicações após leitura do título, resumo e palavras-chave. Por fim, de acordo com o último critério de inclusão, “b”, de leitura completa dos estudos, foram selecionadas somente seis publicações. A maioria dos estudos excluídos envolvia pesquisas clínicas ou institucionais, nas quais o CBCL foi utilizado como uma forma de levantamento e descrição dos desempenhos comportamentais de pacientes/clientes.
Em seguida, foram aferidas as seguintes categorias de análise: objetivos, amostra de respondentes do CBCL no estudo, base de dados, periódico/repositório da dissertação ou tese, local do estudo, autores, ano de publicação, principais resultados e tipo de validade.
Resultados
Na Tabela 1 encontram-se, para as seis publicações selecionadas, seus títulos, as categorias de análise de objetivo, amostra de respondentes do CBCL no estudo, base de dados, periódico, local do estudo, autores e ano de publicação. Inicialmente, pode-se perceber que todas as publicações selecionadas foram artigos e a maioria pertenceu à identificação direta de evidências de validade e/ou precisão (n=4). Todos os objetivos foram diferenciados, bem como as quantidades de respondentes ao inventário. Somente um dos seis estudos foi de revisão da literatura, o restante apresentou desenho metodológico descritivo. Dentre eles, dois apresentaram amostra com mais de 1000 participantes, dois com aproximadamente 50 e outro com 400. Interessantemente, essas amostras se referiram somente à descrição das crianças e não propriamente dos respondentes.
Tabela 1 Objetivos, Amostra, Informantes, Base De Dados, Periódico, Local de Realização do Estudo e Autores das Publicações Selecionadas
| Título | Objetivos /Amostra dos respondentes do CBCL | Base de dados | Periódico/Repositório | Local do estudo (Cidade/ Estado) | Autores (Ano de publicação) |
|---|---|---|---|---|---|
| Publicações que visaram a busca direta por evidências de validade e/ou precisão | |||||
| Validação da versão brasileira do “Child Behavior Checklist” (CBCL) (Inventário de Comportamentos da Infância e Adolescência): dados preliminares |
Objetivo: (a) verificar a validade do CBCL em relação aos critérios diagnósticos da 10° edição da Classificação Internacional de Doenças CID-10 (1993) e níveis de gravidade dos distúrbios psiquiátricos; (b) avaliar a sensibilidade e especificidade do CBCL segundo diferentes critérios de teste-positividade; (c) apontar as modificações introduzidas no questionário durante o processo de tradução e adaptação cultural do CBCL para nossa realidade; (d) esclarecer dúvidas frequentemente encontradas na aplicação do instrumento. Amostra descrita dos respondentes do CBCL: mãe/pai/responsável de 49 crianças de um ambulatório de pediatria encaminhadas para o ambulatório de psiquiatria; possuíam ou não queixas de distúrbios comportamentais em níveis leves, moderados e graves. |
LILACS | Revista ABP - APAL Associação Brasileira de Psiquiatria | São Paulo, SP | Bordin, I. A. S., Mari, J. J., & Caeiro, M. F. (1995) |
| Behavioural/emotional problems in brazilian children: findings from parents’ reports on the child behavior checklist. epidemiology and psychiatric sciences |
Objetivo: Comparar os resultados da Lista de Verificação de Comportamento Infantil (CBCL) para uma grande amostra da população geral brasileira com os de crianças americanas. Amostra descrita dos respondentes do CBCL: pais/responsáveis de 1228 pais de crianças da população geral e 247 pais/responsáveis de crianças de uma amostra clínica de uma clínica escola de psicologia. |
SciELO | Epidemiology and Psychiatric Sciences | Pesquisa multicêntrica | Rocha, M. M., Rescorla, L. A., Emerich, D. R., Silvares, E. F. , Borsa, J. C., Araújo, L. G., Bertolla, M. H., Oliveira, M. S., Perez, N. C., Freitas, P. M., & Assis, S. G. (2012) |
| Child behavior checklist (CBCL), youth self-report (YSR) e teacher’s report form (TRF): an overview of the development of the original and brazilian versions |
Objetivo: Fornecer informações detalhadas sobre o desenvolvimento CBCL, YSR e TRF nos Estados Unidos e no Brasil, descrevendo as principais alterações nos itens, escalas e pontos de corte nas versões originais entre 1991 e 2001, bem como o processo envolvido no processo. Amostra descrita dos respondentes do CBCL: estudo de revisão, sem participantes. |
SciELO | Cadernos de Saúde Pública | Rio de Janeiro, RJ | Bordin, I. A., Rocha, M. M., Paula, C. S., Teixeira, M. C. T. V., Achenbach, T. M., Rescorla, L. A., & Silvares, E. F. M. (2013) |
| Reliability of the child behavior checklist and teacher report form in a sample of brazilian children |
Objetivo: Avaliar a estabilidade temporal da Lista de Verificação de Comportamento Infantil (CBCL) e Formulário de Relatório do Professor (TRF), administrada a pais e professores de crianças em idade escolar, respectivamente. Amostra descrita dos respondentes do CBCL: pais/responsáveis das 53 crianças participantes do estudo. |
SciELO | Universitas Psychologica | Porto Alegre, RS | Frizzo, G. B., Pedrini, J. R., Souza, D. S., Bandeira, D. R., & Borsa, J. C. (2015) |
| Publicações que visaram a busca indireta por evidências de validade e/ou precisão | |||||
| Concordância parental sobre problemas de comportamento infantil através do CBCL |
Objetivo: Compreender como pais e mães se pronunciam sobre seus filhos(as), especificamente se ambos concordam quanto a problemas de comportamento de sua prole. Amostra descrita dos respondentes do CBCL: 400 casais pais/responsáveis de crianças da população geral. |
SciELO | Paideia | Porto Alegre, RS | Borsa, J. C., & Nunes, M. L. T. (2008) |
| Diferenças quanto ao gênero entre escolares brasileiros avaliados pelo inventário de comportamentos para crianças e adolescentes (CBCL/6-18) |
Objetivo: Analisar o efeito do gênero sobre as escalas do “Inventário de Comportamentos de Crianças e Adolescentes” (CBCL) para um grupo de crianças brasileiras e comparar os resultados com dados multiculturais obtidos com o mesmo instrumento. Amostra descrita dos respondentes do CBCL: pais/responsáveis de 1228 pais de crianças da população geral. |
LILACS | Psico | Pesquisa multicêntrica | Emerich, D. R., Rocha, M. M., Silvares, E. F. M., & Gonçalves, J. P. (2012) |
As bases de dados que indexaram os periódicos que realizaram as publicações foram a SciELO e a LILACS, sendo a primeira com maior frequência (n=4). Dentre os periódicos que realizaram as publicações, nenhum se repetiu. O local onde mais foram realizados estudos foi Porto Alegre, Rio Grande do Sul (n=3). As pesquisadoras que mais publicaram na área foram as professoras Edwiges Ferreira de Mattos Silvares, Juliane Callegaro Borsa e Marina Monzani da Rocha, cada uma com três publicações. O ano com maior frequência de publicação foi 2012, com duas.
Na Tabela 2, foi incluído o título das publicações selecionadas na primeira coluna, e as categorias de análise de principais resultados na segunda e as classificações das evidências de validade e precisão investigadas em cada uma delas na terceira coluna. Para os estudos que visaram pesquisar diretamente tais qualidades psicométricas, foi possível identificar qual era o tipo da classificação de modo mais breve. Para as que investigaram indiretamente, essas classificações foram inferidas pelos pesquisadores a partir da leitura do desenho metodológico do estudo.
Tabela 2 Principais Resultados Encontrados das Publicações Selecionadas e Classificação das Evidências de Validade e de Precisão que Visaram Investigar
| Título | Principais resultados | Tipo de evidências de validade e de precisão |
|---|---|---|
| Publicações que visaram a busca direta por evidências de validade e/ou precisão | ||
| Validação da versão brasileira do “Child Behavior Checklist” (CBCL) (Inventário de Comportamentos da Infância e Adolescência): dados preliminares | Os melhores índices de validade foram alcançados com a presença simultânea de três fatores: critério de teste-positividade para a CBCL, critério de morbidade para a avaliação psiquiátrica baseado na CID-10 (OMS, 1993) e inclusão dos indivíduos com distúrbios leves entre os casos. O trabalho também descreveu o processo de tradução da primeira versão do CBCL em nosso meio. | Evidências de validade baseadas em variáveis externas: validade de critério |
| Behavioural/emotional problems in brazilian children: findings from parents’ reports on the child behavior checklist. epidemiology and psychiatric sciences | A AFC indicou que os dados brasileiros mostraram o melhor ajuste ao modelo em relação aos EUA e quando comparado a todos os países estudados até o momento. Os padrões de gênero foram comparáveis aos relatados em outras sociedades, mas os escores médios de problemas para crianças brasileiras não referidas foram mais altos do que para crianças americanas. Portanto, o CBCL discriminou bem menos crianças não encaminhadas e encaminhadas no Brasil do que nos EUA. No geral, os resultados replicaram os relatados em comparações internacionais das pontuações do CBCL para 31 sociedades, fornecendo assim suporte para a robustez multicultural do CBCL, bem como suas evidências baseadas na estrutura interna. | Evidências de validade baseadas na estrutura interna e precisão |
| Child behavior checklist (CBCL), youth self-report (YSR) e teacher’s report form (TRF): an overview of the development of the original and brazilian versions | Descreveram as principais alterações em itens, escalas e pontos de corte na pontuação ocorridas nas versões originais de 1991 a 2001, e o processo de tradução, retrotradução e adaptação cultural para o Brasil e nas versões originais. | Estudo de revisão |
| Reliability of the child behavior checklist and teacher report form in a sample of brazilian children | A estabilidade temporal foi avaliada com base no coeficiente de correlação intraclasse (ICC). Alta confabilidade teste-reteste foi observada para o CBCL e TRF (com correlações variando entre 0,87-0,91 e entre 0,62-0,8, respectivamente). Esses achados sugerem que ambos os instrumentos permaneceram estáveis durante a avaliação de um ano, revelando a precisão do instrumento e corroborando os achados de estudos internacionais anteriores. | Precisão por teste-reteste |
| Publicações que visaram a busca indireta por evidências de validade e/ou precisão | ||
| Concordância parental sobre problemas de comportamento infantil através do CBCL | A concordância entre as respostas de pais e mães para os Problemas Internalizantes e Externalizantes foi moderada (K=0,464; K=0,572); para a Competência Social e Problemas Totais de Comportamento, a concordância foi baixa (K = 0,327; K = 0,347). Tais resultados apontam que pais e mães tendem a não concordar quando solicitados a se pronunciar sobre problemas de comportamento dos filhos | Invariância do item |
| Diferenças quanto ao gênero entre escolares brasileiros avaliados pelo inventário de comportamentos para crianças e adolescentes (CBCL/6-18) | Os meninos apresentaram escores significativamente mais altos nas escalas de problemas externalizantes e no total de problemas de comportamento, o que permitiu concluir que os efeitos da variável gênero sobre as escalas do CBCL são muito semelhantes no Brasil a outros países. Foi encontrado efeito da variável gênero para quatro das oito escalas sindrômicas, sendo elas: problemas de sociabilidade, problemas de atenção, violação de regras e comportamento agressivo. | Invariância do item |
Desse modo, observa-se que a verificação da invariância dos itens foi o tipo de classificação mais frequente, presente em dois estudos, sendo que um investigou a variável gênero dos pais/responsáveis e o outro o gênero da criança ou adolescente. Um outro estudo foi classificado não quanto à validade e/ou precisão, mas de “estudo de revisão”, pois buscou fazer um levantamento da literatura das pesquisas sobre o processo de tradução, retro-tradução e adaptação cultural para o Brasil e para as versões originais. Nas três demais publicações, os tipos de classificação investigados foram de evidências de validade baseadas em variáveis externas pela validade de critério, de evidências de validade baseadas na estrutura interna e de precisão por teste-reteste.
Discussão
O objetivo da presente pesquisa foi verificar as evidências de validade e precisão do CBCL no Brasil por meio de revisão da literatura científica. Dentre os resultados encontrados, a primeira categoria de análise obtida foi referente aos objetivos. Das seis pesquisas selecionadas, uma foi de revisão da literatura e abordou, mais especificamente, os processos de construção e de modificação dos itens das diferentes versões internacionais e nacionais. À época, já demonstrou a necessidade de estudos de validade e de precisão para o inventário em questão (Bordin et al., 2013). Os outros cinco artigos apresentaram objetivos que abordaram metodologias descritivas na busca por tais evidências de validade e de precisão (Sousa, Driessnack, & Mendes, 2007). Esse dado era esperado, pois essas metodologias abarcam a maioria dos tipos de estudo de validade, de encontro às pesquisas experimentais (Krumm, Hüffmeier, & Lievens, 2017).
Em relação às amostras, essas se apresentaram adequadas para as análises que os estudos se propuseram, visando inclusive princípios de análises paramétricas (Wu, Geng, & Zhao, 2017), como: para a análise de comparação de grupos (Bordin et al., 1995; Borsa & Nunes, 2008; Emerich, Rocha, Silvares, & Gonçalves, 2012), à análise fatorial confirmatória (AFC) e consistência interna (Rocha et al., 2012), e ao teste-reteste (Frizzo, Pedrini, Souza, Bandeira, & Borsa, 2015).
Além disso, em razão da necessidade de estudos de normatização do CBCL para o Brasil, a realização de tais pesquisas também se torna interessante em razão de seus números de participantes. Como parâmetro a essa discussão, o CFP (2018) propõe que dados normativos já sejam suficientes a partir do momento que envolverem apenas uma região geopolítica brasileira, com mínimo de 500 participantes, ou no caso de testes, que utilizem outros sistemas de normas (por critério, conteúdo e outros), com no mínimo 150. Ou seja, alguns dos estudos aqui levantados já oferecem amostras que contemplam esses critérios, e ainda mais se somados, favoreceriam níveis ainda mais aceitáveis de qualidade normativa (CFP, 2018).
Um outro dado averiguado foi em relação ao tipo de amostra. A maioria dos estudos descritivos encontrados (n=3) descreveu apenas as características (como idade e gênero) das crianças e/ou adolescentes que foram alvo das respostas ao CBCL, e não dos respondentes. Ou seja, esse viés não foi controlado, mas, assim como os gêneros das crianças podem influenciar no funcionamento dos itens, dos respondentes também podem, que são, ademais, o público-alvo do inventário. O estudo de Borsa e Nunes (2008) evidencia essa afirmação, que foi até mesmo um dos selecionados na presente revisão. O estudo realizado por Bordin et al. (1995) também demonstrou essa preocupação, e dados demográficos referentes a esse público foram apresentados.
Uma outra categoria analisada foi a base de dados de indexação dos periódicos. A que mais se destacou foi a SciELO (n=4). Esse dado consagra ainda mais sua importância como uma ferramenta divulgadora das pesquisas de países emergentes, que necessitam de livre acesso (Packer, 2009). Dentre os periódicos que mais publicaram, nenhum se repetiu e não possuía escopo específico de avaliação psicológica.
O local onde mais foram realizados estudos foi Porto Alegre, Rio Grande do Sul (n=2). Muito provavelmente esse fato esteja relacionado com o lugar de moradia e/ou de vínculo institucional das autoras, que também era referente a essa cidade. Inclusive, uma das pesquisadoras que mais publicaram na área foi a professora Juliane Callegaro Borsa, que fez graduação e pós-graduação na região, de acordo com análise de seu currículo lattes. Além dela, as professoras Marina Monzani da Rocha e Edwiges Ferreira de Mattos Silvares também se destacaram, sendo provenientes de São Paulo, região esta pioneira no estudo das traduções do CBCL, junto da Universidade Federal de São Paulo e da Universidade de São Paulo (Bordin et al., 2013).
O ano com maiores frequências de publicação foi 2012, com duas. Contudo, a escolha das traduções do CBCL adotadas e estudadas pode ter se configurado como um complicador quando pensada a generalização de seus achados para a versão atual comercializada. O que ocorre é que a versão de 1995, juntamente às traduções de 2002 e de 2005, fizeram e continuam fazendo parte de pesquisas no país de modo aleatório. Dessa forma, quando realizada leitura na integra dos estudos de 2012, verificou-se que não foi utilizada a versão de 2010, vendida atualmente, mas, sim, a de 2002 ou a de 2005. O mesmo ocorreu para o estudo realizado em 2015, publicação mais recente encontrada (Frizzo et al., 2015). No estudo de 2008, foi utilizada, de acordo com citação das autoras, ainda a versão de 1995. O uso de diferentes versões nas pesquisas, com nenhuma averiguando as qualidades psicométricas da atual versão comercializada pode comprometer, de certo modo, seu uso, tanto em âmbitos clínicos como no de pesquisas (Krach, McCreery, & Guerard, 2017).
Uma outra categoria averiguada foi referente aos resultados das pesquisas. Dentre os seis artigos encontrados, basicamente a maioria apresentou delineamento bem definido, número amostral adequado e resultados bem apresentados. Entretanto, dois deles foram mais imprecisos quanto à apresentação desses dados. O primeiro que pode ser citado é o realizado Bordin et al. (1995), que visou o processo de adaptação cultural, porém não administrou o procedimento de backtranslation, nem avaliação de concordância de juízes especialista sobre os itens. O número adotado de participantes parece ter sido por conveniência e foi baixo para a análise proposta de curva ROC (N=49). O aconselhável é de que seja equivalente ao cálculo amostral, a fim de se obter dados relevantes de sensibilidade e especificidade (Bujang & Adnan, 2016). No caso, todas as crianças do estudo pareceram apresentar alguma condição psiquiátrica, sem grupo controle – a descrição dos resultados da avaliação psiquiátrica ocorre de forma não muito bem descrita na publicação. Por sua vez, o segundo estudo foi o de revisão sobre a construção do inventário (Bordin et al., 2013), que abordou basicamente os processos de formulação dos itens e suas respectivas mudanças estruturais, em âmbitos nacional e internacional. Apresentou também como objetivo demonstrar o processo de adaptação cultural, que remetem às análises psicométricas relacionadas, porém tal referência é realizada de modo muito breve, com a apresentação de poucos dados estatísticos relacionados.
Por fim, a última categoria foi referente aos tipos de evidências de validade e de precisão averiguados nas publicações selecionadas. Foram verificadas evidências de validade baseadas em variáveis externas, por meio da validade de critério, na estrutura interna, por meio da AFC, e a precisão via consistência interna e do teste-reteste, bem como também foi estudada a invariância dos itens. Ou seja, foi um montante considerável para o reconhecimento de um teste com critérios de qualidade adequados (CFP, 2018). No entanto, já dito aqui, os resultados gerados foram baseados em diversas versões do instrumento, que não a atual, assim como também não foram identificados possíveis dados normativos para o país.
Por tanto, observa-se que a presente investigação cumpriu seus objetivos: realizou uma revisão da literatura científica sobre as evidências de validade e de precisão do CBCL no Brasil. Como limitação, considera-se aqui principalmente a combinação de descritores utilizada, que foi única. Ta l procedimento pode ter limitado a quantidade de publicações selecionadas. Sugere-se que futuramente sejam ampliadas as palavras de busca e que suas combinações sejam realizadas com as mais diversas interações possíveis. A partir disso, que também as pesquisas localizadas sejam analisadas com cautela. Por exemplo, é interessante que, caso se encontre investigações que compararam grupos clínicos com grupos-controle, sejam consideradas como um estudo de validade de critério, que no caso aqui seria classificada como uma busca indireta por evidências de validade. É importante que sejam verificadas também outras possibilidades de estudos que possam ser considerados para as mais diversificadas evidências de validade e precisão.
Como forma de aprimoramento do CBCL, de acordo com dados encontrados e lacunas observadas, sugerem-se estudos de análises de juízes especialistas dos itens, análise de Funcionamento Diferencial do Itens (DIF) e multigrupo, em relação aos gêneros dos respondentes e das crianças e adolescentes, que sejam estabelecidas normas e pontos de corte brasileiros, e que seja considerada a versão mais atual do inventário nas análises. Espera-se que esses estudos e o aqui realizado possam contribuir para o aprimoramento do CBCL em âmbito brasileiro.
