texto em 
Inglês (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Permalink
Com a aproximação da prática baseada em evidências (PBE) com a psicologia, foi dado início a um movimento de avaliar as estratégias de educação e treinamento com base na medição de competências profissionais (Barlow, 2012). Nesse contexto, a terapia cognitivo-comportamental (TCC), prática baseada em evidências (Dobson & Dobson, 2018), tem considerado cada vez mais os métodos de avaliação de competências como sendo de importância central na pesquisa de processos e resultados. O meio mais recomendado por especialistas em termos de avaliação de competências em programas de treinamento tem sido o exame da prática do terapeuta por meio de instrumentos de medida de competências preenchidos pelo supervisor para acessar competências ou habilidades específicas a partir da observação de sessões ao vivo ou em gravações de vídeo (Muse & McManus, 2016).
No Brasil e na América Latina, essas práticas e publicações acerca do tema ainda são escassas (Scotton et al., 2021), bem como a própria prática da PBE (Melnik et al., 2019). A formação na nossa região tem sido criticada por dissociar formação científica e prática, sendo que sua escassa produção tem foco nos processos de supervisão. As publicações existentes destacam a falta de modelos e sistematização para a realização da supervisão, a falta de diversificação de estratégias pedagógicas formativas e a escassez de estudos empíricos acerca da eficácia dos programas de treinamento e dos resultados terapêuticos (Barletta & Neufeld, 2020; Reis & Barbosa, 2018; Scotton et al., 2021).
A Cognitive Therapy Scale (CTS) (Young & Beck, 1980) e a Cognitive Therapy Scale Revised (CTS-R; Blackburn et al., 2001) têm sido os instrumentos mais amplamente utilizados para avaliação de sessões de terapeutas cognitivo-comportamentais e para validação de outras ferramentas de acesso a competências em transtornos específicos e determinadas populações. A CTS foi desenvolvida por Young e Beck (1980) para avaliar a competência dos terapeutas em implementar os protocolos da TCC. É uma escala de 11 itens, divididos em duas subescalas - habilidades gerais e habilidades específicas -, que devem ser pontuados por um avaliador externo. Cada item corresponde a um pressuposto teórico-prático (p. ex., agenda, feedback, uso de técnicas) da condução do tratamento. Todavia, pesquisas não têm dado suporte para essa divisão, revelando que se trata de um instrumento unidimensional (Reis & Barbosa, 2018). Em 2020, Moreno e DeSouza realizaram a adaptação transcultural da CTS para o contexto brasileiro, porém, até o momento, não foi publicado estudo com dados psicométricos dessa versão.
A CTS-R, por sua vez, foi desenvolvida visando superar as limitações da CTS, estabelecendo enunciados para os itens (em vez de apenas apresentar a competência a ser avaliada) e com um sistema de pontuação mais específico, incorporando a adesão, enfatizando a expressão emocional, reduzindo a sobreposição entre itens e incorporando elementos não específicos relacionados à aliança terapêutica (Blackbun et al., 2001; Muse & McManus, 2013; Reis & Barbosa, 2018). Diferentemente da CTS, a CTS-R já possui uma versão traduzida e adaptada para o contexto brasileiro com estudos estatísticos e boas características psicométricas (Reis & Barbosa, 2018). Segundos os autores dessa versão, as análises fatoriais também indicaram ser um instrumento unidimensional.
Além desses instrumentos, em 2017 foi desenvolvida por Muse et al. a Assessment of Core CBT Skills (ACCS), visando suprir críticas tanto à CTS quanto à CTS-R (ver Muse et al. 2017, para mais detalhes). Essa medida é baseada nessas escalas existentes para fornecer uma estrutura de avaliação, mas com uma série de estratégias para abordar as limitações delas (constituindo, assim, um novo instrumento), destacando-se a disponibilização de um espaço ao final de cada item destinado a um feedback narrativo, além das classificações numéricas. É válido destacar, entretanto, que a ACCS ainda não tem versão traduzida e adaptada para o contexto brasileiro.
No Brasil, ao longo dos últimos 30 anos, a modalidade grupal de intervenção (TCCG) tem ganhado destaque tanto nas pesquisas quanto na prática clínica, tanto pela sua eficácia quanto pela relação custo-benefício (Rangé et al., 2017). Assim como para a prática da TCC individual, existem diversas diretrizes e recomendações práticas e de treinamento para a modalidade em grupo disponibilizadas por instituições profissionais internacionais competentes, mas que ainda não foram integradas aos programas de treinamento em psicologia, em uma estrutura sistemática baseada em competências (Goigoechea & Kessler, 2018).
Ressalta-se, ainda, que há uma escassez de pesquisas sobre a adesão e a competência dos terapeutas em TCCG e que existem diversas limitações quanto à aplicação das escalas existentes para esse contexto, uma vez que não medem, por exemplo, a competência do profissional em manejar aspectos dos processos de grupo, entre outras competências específicas igualmente importantes (para mais detalhes sobre as competências do terapeuta em TCCG, ver Barlow, 2012; Pohl et al., 2017). A literatura aponta, ainda, que um terapeuta em TCCG precisa dominar tanto as competências necessárias em uma intervenção individual (p. ex., trabalhar a ativação comportamental do paciente com depressão) quanto as competências relacionados ao processo grupal, ou seja, manejar aspectos que surgem da interação entre os membros do grupo (Neufeld et al., 2017).
Nessa direção, pesquisadores da Alemanha (Pohl et al., 2017) publicaram um estudo sobre a construção de um instrumento de avaliação do terapeuta em TCCG, a CTS-D-G (em tradução livre, Escala Alemã de Terapia Cognitiva para Terapia em Grupo), cujo objetivo é atender essa lacuna. O instrumento tem como base tanto a CTS quanto a CTS-R. Nele, os itens foram reformulados e o instrumento foi expandido para incluir itens destinados a avaliar especificamente a competência do terapeuta nas configurações de grupo. Seus estudos estatísticos iniciais apontaram boas características psicométricas (Pohl et al., 2017).
A escala alemã foi o único instrumento encontrado para avaliar as competências do terapeuta cognitivo-comportamental de grupos disponível até o momento (e apenas para o contexto alemão). Levando em consideração essa escassez, destaca-se na literatura a necessidade do desenvolvimento de medidas de avaliação da intervenção do terapeuta de grupo como um próximo passo nesse âmbito (Pohl et al., 2017). Ressalta-se, ainda, que, apesar de já existirem instrumentos voltados para a avaliação das competências do terapeuta em TCC disponíveis para uso no Brasil, a ampla disseminação da TCCG no País requer que instrumentos voltados para esse contexto estejam disponíveis, visando garantir a qualidade das intervenções grupais oferecidas, bem como fornecer estratégias e ferramentas para o treinamento dos terapeutas.
Desse modo, este estudo tem o objetivo de apresentar a construção e o início da validação de conteúdo de um instrumento com a finalidade de avaliar terapeutas em TCCG, bem como apresentar a descrição do processo metodológico utilizado, com uma proposta viável de construção de instrumentos de qualidade, com ênfase no investimento em fundamentação teórica. A hipótese é de que a construção dessa escala, por estar pautada em princípios teóricos e metodológicos cuidadosos, além da consulta a instrumentos reconhecidos de avaliação de competências do terapeuta, apresentará bons indicadores iniciais de validade de conteúdo.
MÉTODO
Este trabalho apresenta um delineamento metodológico de construção de instrumento. É válido apontar que, em um primeiro momento, o objetivo das autoras era realizar o procedimento de tradução e adaptação transcultural da CTS-D-G.
Para tanto, iniciou-se o processo de tradução da CTS-D-G. Entretanto, ao analisar os dados oriundos das investigações teóricas da primeira autora, obtidos nas outras etapas do procedimento (descritas a seguir), e considerando-se a expertise da segunda autora sobre TCCG, optou-se por construir um novo instrumento, uma vez que foram percebidas lacunas importantes na CTS-D-G em aspectos fundamentais da teoria e da prática da TCCG. Entretanto, pautando-se no argumento de que os instrumentos internacionais são amplamente fundamentados em robusta bagagem teórica, estes foram utilizados como base inicial para a presente escala.
Fundamentação teórica
Foram realizados vários procedimentos na fundamentação teórica, sendo esta a principal etapa na construção e validação de conteúdo. Inicialmente foi realizada uma leitura flutuante acerca do tema das competências essenciais ao terapeuta cognitivo-comportamental, a fim de que a pesquisadora se familiarizasse com o tema. Essa fase oportunizou à pesquisadora entrar em contato com uma especialista na área, docente e supervisora, a quem foram feitas várias consultas sobre os processos de formação do terapeuta.
Foi realizada uma revisão integrativa da literatura nacional e latino-americana, com a seguinte pergunta norteadora: “quais são as competências essenciais ao psicólogo clínico?”.
A revisão foi conduzida nas bases de dados PsycINFO, LILACS, Scielo e Pepsic, tendo sido incluídos artigos de autores latino-americanos, escritos em português, inglês e espanhol, publicados nos últimos 12 anos, na área da psicologia e que abordassem as competências do terapeuta de maneira geral (não especificando abordagem teórica) ou competências do terapeuta cognitivo-comportamental como assunto principal (Scotton et al., 2021).
Para aprofundamento no tema e investigação sobre quais são as competências necessárias ao terapeuta de grupos especificamente, objetivou-se realizar outra revisão integrativa da literatura nacional e latino-americana, seguindo os mesmos procedimentos da primeira revisão, apenas variando as palavras-chave e os critérios para terapeutas de grupo. Entretanto, não foram encontrados artigos que atendessem aos critérios de inclusão. Assim, optou-se por realizar uma revisão narrativa da literatura, na qual fossem incluídos livros, capítulos, artigos internacionais relevantes e diretrizes de competências internacionais reconhecidas pelas principais organizações da área (Scotton & Neufeld a, under revision).
Além disso, também foi feito um estudo de caráter empírico qualitativo, no qual foram realizados dois grupos focais: o primeiro contou com sete psicólogos, docentes pesquisadores responsáveis por orientar alunos de graduação e pós-graduação no Brasil, que também são supervisores de terapeutas em formação em estágios clínicos de cursos da graduação em psicologia de diversos estados do País. Nesse grupo, foi apresentada a seguinte questão norteadora: “quais são as competências necessárias a um terapeuta cognitivo-comportamental?”; o segundo grupo contou com oito psicólogos pós-graduandos (mestrandos e doutorandos), que também são supervisores de estágios que desenvolvem a prática da TCCG em cursos de graduação em psicologia no Brasil. Nesse grupo, a questão norteadora foi adaptada especificamente em relação à prática dos terapeutas em TCCG (Scotton & Neufeld (No prelo [b])).
Construção da versão preliminar
Conforme descrito anteriormente, num primeiro momento objetivou-se fazer a tradução e adaptação da CTS-D-G. Para isso, após obter autorização dos autores do instrumento original, foram contatados dois tradutores independentes, seguindo orientações da International Test Commission (International Test Commission, 2017). Ambos são nativos no idioma de destino (português do Brasil), vivem na cultura brasileira, são fluentes no idioma de origem (alemão) e são familiarizados com a cultura alemã, sendo capazes de identificar expressões e especificidades da língua. Após obter duas versões traduzidas do instrumento, formou-se um comitê de juízes composto pelas autoras e uma juíza especialista no tema para realizar a síntese, comparar as diferentes traduções e avaliar as suas discrepâncias semânticas, idiomáticas, conceituais, linguísticas e contextuais, com o objetivo de se chegar a uma versão única (International Test Commission, 2017). É válido ressaltar que a juíza tem conhecimento técnico no tema do instrumento, bem como familiaridade com princípios de construção de testes, e que a segunda autora deste estudo, além dessas qualificações, é fluente na língua de origem e nativa na língua de destino.
Após analisar a primeira versão do instrumento, as autoras optaram por realizar alterações maiores em função das lacunas percebidas, e, assim, um novo instrumento passou a ser construído, tomando como base a síntese das traduções da CTS-D-G. Para essas alterações, além da CTS-D-G, foram utilizadas como referência a versão brasileira da CTS-R (Reis & Barbosa, 2018) e a ACCS (Muse et al., 2016) para composição da estrutura principal do instrumento (descrição dos itens e formas de resposta), bem como dados oriundos da etapa de fundamentação teórica para a construção de novos itens.
Foi criado um documento sintetizando as seguintes informações: comparação entre os itens da CTS-R e CTS-D-G (tanto em relação às competências abordadas por item quanto à redação da descrição do item e das escalas de resposta), e as competências elencadas nas revisões e nos grupos focais. Além disso, foi estudada a escala de resposta utilizada em ambos os instrumentos, que também sofreu alterações com base na literatura adotada. Assim, obteve-se uma segunda versão do instrumento.
Análise por juízes
Nessa etapa, a segunda versão do instrumento foi avaliada por sete juízes psicólogos, escolhidos em função de sua formação e, principalmente, experiência clínica em avaliação psicológica e/ou prática profissional com supervisão em TCCG. Foi criado um formulário on-line contendo uma breve introdução sobre o processo de construção e alterações realizadas. Primeiro, solicitou-se que os juízes avaliassem a adequação do rapport e da escala de resposta em uma escala Likert de três pontos (adequado, parcialmente adequado e inadequado). Em relação aos itens do instrumento, solicitou-se que os juízes avaliassem a adequação: a) semântica/linguística; b) do conteúdo do enunciado com base em seu conhecimento em TCC e TCCG; c) do conteúdo dos pontos da escala de resposta (exemplos e nível proposto) baseado em seu conhecimento em TCC e TCCG; e d) da proposta de mudança em relação aos instrumentos de base (versão brasileira da CTS-R e versão traduzida da CTS-D-G), com a mesma escala Likert para cada instância. Além disso, ao final de cada item, foi disponibilizado um espaço para feedback narrativo com sugestões de melhoria caso o item fosse considerado inadequado ou parcialmente adequado.
As avaliações de todos os juízes foram compiladas em uma planilha e analisadas quantitativa e qualitativamente. A análise quantitativa foi realizada calculando-se o coeficiente de validade de conteúdo (CVC) para cada item e para o total do instrumento, sendo aceitos valores superiores a 0,80 como indicativos da qualidade para o aspecto julgado. A análise qualitativa foi realizada pela análise das autoras dos feedbacks narrativos e discussão com os juízes, consistindo em uma triangulação metodológica. Itens com CVC inferiores a 0,80 foram modificados de acordo com as sugestões dos juízes. Também foram alterados itens que atingiram o critério quantitativo, mas que receberam sugestões consideradas relevantes para sua melhoria (Coluci et al., 2015).
Análise semântica dos itens
A análise semântica foi realizada a fim de verificar se todos os itens eram compreensíveis aos supervisores em TCCG, membros da população-alvo do instrumento (Coluci et al., 2015). Participaram dessa etapa 17 psicólogos, selecionados em função da sua experiência com supervisão em TCCG em cursos de graduação em psicologia em diversos estados do Brasil. Esses profissionais foram contatados por e-mail ou aplicativo de mensagens, por meio dos quais foram apresentados os objetivos e instruídos quanto à sua função na pesquisa. O instrumento foi enviado a cada participante com a solicitação de que avaliassem se o rapport e cada item, incluindo as respostas, estavam compreensíveis, e apontassem possíveis dificuldades caso fossem utilizar o instrumento para avaliar uma sessão de intervenção em grupo. Os supervisores poderiam responder tanto de maneira escrita quanto falada. Todos os itens que apresentaram dificuldades de compreensão foram modificados, obtendo-se uma quarta versão do instrumento.
Procedimentos éticos
O presente estudo faz parte de um projeto maior que investiga as competências clínicas em TCC no Brasil, aprovado no Comitê de Ética em Pesquisa (CAAE nº 91440818.0.0000.5407). Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE). Foram adotados procedimentos éticos de acordo com a Resolução nº 510/2016 do Conselho Nacional de Saúde (2016) para pesquisas envolvendo seres humanos.
RESULTADOS
Fundamentação teórica
A partir da leitura flutuante e das consultas à especialista, foi possível entrar em contato com importantes estudos empíricos e de revisão, livros e capítulos e, principalmente, com as diretrizes de competências do terapeuta mais utilizadas até o momento. Tais diretrizes consistem em sínteses orientadas por grupos de especialistas, que, por sua vez, baseiam-se em revisões, manuais e materiais de treinamento e são revisadas por pares (Muse & McManus, 2016).
A revisão integrativa da literatura também permitiu entrar em contato com estudos latino-americanos publicados após a disponibilização das principais diretrizes (sendo o ano de publicação um dos critérios de inclusão utilizados), sendo que as competências elencadas nesses artigos foram sistematizadas em quatro categorias: analíticas, instrumentais, sociais e de autoconhecimento, e autorreflexão (para mais detalhes, ver Scotton et al., 2021). Na revisão narrativa, foram sintetizadas as principais informações sobre competências do terapeuta de grupos, destacando-se a diretriz baseada no cubo de Rodolfa, adaptada para grupos (Barlow, 2012). No artigo, foi enfatizada a importância das competências associadas ao processo grupal, por exemplo, o manejo dos papéis de grupo, o equilíbrio na participação de todos os membros do grupo, entre outros. Esse estudo sistematizou as principais competências a serem consideradas (para mais informações, ver Scotton e Neufeld (No prelo[a])).
Os grupos focais conduzidos tiveram duração média de 1h30min, sendo gravados e transcritos. Para análise dos dados, foi realizada análise de conteúdo. As competências elencadas pelos participantes foram categorizadas de maneira semelhante ao estudo de revisão (para mais informações, ver Scotton & Neufeld (No prelo [b])).
Construção da versão preliminar
A partir da síntese das informações oriundas da etapa de fundamentação teórica e com a comparação entre os instrumentos, analisou-se a pertinência de cada item da CTS-D-G. Assim, ao final desse processo, a versão contou com 18 itens: definição e adesão à agenda da sessão; lidando com problemas/perguntas/obstáculos da terapia; clareza da comunicação; uso distribuído e eficiente do tempo; efetividade interpessoal; ativação de recursos; avaliação dos planos de ação; feedback; descoberta guiada; eliciação de expressão emocional adequada; eliciação de cognições-chave; eliciação de comportamentos; integração conceitual; aplicação apropriada das técnicas e estratégias de mudança; flexibilidade e adaptação às necessidades; definição do plano de ação; manejo de pacientes difíceis e equilíbrio de papéis; e manejo dos fatores terapêuticos. Ao final, foi acrescentado um espaço para o supervisor realizar uma avaliação global do terapeuta.
O rapport foi desenvolvido tendo como base o da versão brasileira da CTS-R (uma vez que a CTS-D-G não apresenta rapport), fazendo as adaptações necessárias à prática com grupos. Essa versão da CTS-R também foi usada como referência para desenvolver o enunciado de cada item, considerados mais completos e incorporando o componente de adesão (Reis & Barbosa, 2018).
A escala de respostas também foi modificada. Na versão, manteve-se o sistema de definir todos os pontos da escala, incorporando os argumentos da CTS-R de que a descrição de todos eles aumenta a confiabilidade e o poder discriminatório. Entretanto, modificou-se o número de pontos. Como o modelo Dreyfus para aquisição de competências (Dreyfus, 2004) tem cinco estágios (novato, iniciante com alguma competência, competente, proficiente e expert), optou-se por adaptar os pontos da escala Likert levando em conta a descrição de cada nível do modelo, resultando, assim, em uma escala de seis pontos (um ponto para cada estágio, mais o ponto zero que indica ausência da competência e da adesão).
Análise por juízes
Com relação à análise quantitativa, apenas um item obteve CVC inferior a 0,80 (item 3 - “estilo de comunicação”, que obteve CVC de 0,71), apenas em relação à adequação do conteúdo dos pontos da escala de resposta. É válido destacar que, além deste item, apenas dois outros itens obtiveram CVC entre 0,80 e 0,89 (itens 4 - “ritmo e uso eficiente do tempo” e 12 “identificação de comportamentos”, sendo que todos os outros itens obtiveram CVC acima de 0,95 em todos os aspectos avaliados. Além disso, o CVC total do instrumento foi de 0,96.
A análise qualitativa das sugestões dos juízes resultou em mudanças de diferentes naturezas. Na Tabela 1, são apresentadas as diferentes categorias de mudança realizadas nessa versão do instrumento, com exemplos de cada uma delas.
Tabela 1 Mudanças na etapa de avaliação por juízes.
| Categoria | Exemplo | |
|---|---|---|
| Ajustes no enunciado para remover intersecção com outros itens | Item 2 (lidando com problemas/perguntas/obstáculos da terapia): remoção da expressão “acolher e validar os pacientes”, por ter sobreposição com item 5 (Efetividade interpessoal) |
|
| Ajustes na redação - trocar palavras ou expressões para maior compreensão do avaliador | Item 4: “gestão do tempo é pobre” por “o terapeuta não faz tentativa de distribuição de tempo” | |
| Ajustes na redação - maior adequabilidade de linguagem | Item 5: trocar “fronteiras profissionais” por “postura ética” | |
| Ajustes na redação dos pontos da escala para maior diferenciação entre eles | Item 6: diferenciação entre pontos 4 e 5 - acréscimo da expressão “Problemas mínimos (por exemplo, perde algumas oportunidades de dar esse feedback)” para diferenciar do ponto 5, nível expert | |
| Maior adequação da descrição de cada ponto para correspondência com nível da escala Dreyfus | Item 1: ponto 0 da escala contava com expressão “agenda altamente inapropriada”, porém o ponto zero da escala pressupõe não adesão, sendo que esta expressão seria mais coerente no ponto 1 da escala, referente a um desempenho altamente inapropriado | |
| Ajuste na redação para mais coerência entre descrição do item e pontos da escala | Item 3: na descrição do item consta que deve ser avaliado se a velocidade na comunicação é apropriada ao entendimento dos participantes, mas os pontos da escala não traziam referência à velocidade. Isso foi acrescentado | |
| Ajustes teórico-técnicos | Item 9: ajustes na redação para deixar claro que o uso do questionamento socrático consiste em uma das técnicas para a descoberta guiada, e não a única | |
| Tabela 2. Ajustes a partir da análise semântica. | ||
| Categoria | Exemplo | |
| Rapport: ajustes nas instruções de preenchimento / adição de instruções | Troca da instrução: “Digite um X no nível de competência que você considera que o terapeuta atingiu a função central” por: “Digite um X no nível de competência (escala de 0 a 5) que você considera que o terapeuta atingiu, de acordo com a descrição do item (características principais)” | |
| Ajustes na redação para maior adequabilidade na linguagem (troca de expressões, remoção de repetição de palavras) | Item 15: troca da expressão “microagressão” por “expressões sutis de hostilidade” | |
| Correção de erros de digitação, de pontuação, acentuação e padronização (letras maiúsculas/ minúsculas, padronização de expressões) | Padronizar os termos “crenças intermediárias”, pois apareciam diferentes termos, como “crenças condicionais” | |
| Mudança na apresentação do enunciado | Separação das características a serem avaliadas com “a)”, “b)”, “c)” | |
| Incorporação exemplos nos pontos da escala, para facilitar a avaliação | Item 1 - adicionada a expressão “falta de empatia do terapeuta em relação às preocupações atuais dos participantes, resultando em rigidez na agenda” no ponto 1 da escala | |
| Adequação nas instruções dos enunciados para elucidar possíveis dúvidas no momento da avaliação do supervisor | Item 5 - reajustado de forma a especificar respostas comportamentais observáveis do terapeuta que possam indicar efetividade interpessoal, pois antes constavam exemplos de respostas não observáveis | |
Nenhum novo item foi sugerido pelos juízes, tampouco houve remoção de itens existentes, sendo que o item 3, que obteve CVC inferior a 0,80, foi modificado para maior adequação. É importante destacar que a plausibilidade das sugestões foram analisadas criteriosamente pelas autoras do artigo, formando, assim, um comitê especialista.
Análise semântica
Nessa etapa, novas modificações foram realizadas, a fim de facilitar a compreensão e a utilização do instrumento pelos supervisores. As alterações realizadas a partir das sugestões são apresentadas na Tabela 2.
Nenhum item foi removido nessa etapa. Os supervisores participantes indicaram as sugestões de alteração a partir de comentários no próprio instrumento ou via mensagens de áudio, reiterando que todos se predispuseram a discutir as sugestões de mudança. Assim como na etapa anterior, a plausibilidade das sugestões foi analisada pelas autoras.
DISCUSSÃO
Este trabalho descreveu a construção da Escala de Competências em Terapia Cognitivo-comportamental em Grupos (ECTCCG), que objetivou constituir um processo com critério e rigor teórico e metodológico, atendendo às recomendações das literaturas nacional e internacional (International Test Commission, 2017; Coluci et al., 2015). O foco deste estudo foi o investimento em uma robusta fundamentação teórica para validade de conteúdo, utilizando-se diversos recursos apontados como úteis e adequados pela literatura. A avaliação de conteúdo constitui um passo essencial no desenvolvimento de novas medidas, porque representa o início de mecanismos para associar conceitos abstratos com indicadores observáveis e mensuráveis (Alexandre & Coluci, 2011). Segundo a literatura, a elaboração das definições constitutivas e operacionais, a partir de um marco teórico específico, terá um impacto direto na qualidade do teste que se quer construir (Andrade & Valentini, 2018).
Visando atender da melhor maneira a lacuna no âmbito da avaliação dos terapeutas em TCCG, como já citado, ponderou-se sobre construir ou adaptar um instrumento. As posições dos diversos psicometristas em relação à adaptação ou construção de testes não são unívocas: enquanto alguns estão mais inclinados à construção, outros defendem a adaptação. Os que tendem à segunda opção argumentam, entre outros, que é a falta de desenvolvimento teórico em nossa cultura que possa gerar o corpo de pesquisa suficiente para o desenvolvimento de um instrumento de medida psicológica, levando em consideração que a fase mais complexa do processo de construção de um teste é justamente essa delimitação conceitual do construto a ser medido (Fernández et al., 2010). Assim, a opção mais adequada para o atual trabalho inicialmente seria a adaptação, dado que a literatura nos Estados Unidos e na Europa é notadamente mais robusta, como apontado.
Entretanto, pelos motivos apresentados na seção Método, optou-se pela construção de um novo instrumento. Sabe-se que a construção de instrumentos também tem como vantagem considerar as especificidades do contexto brasileiro, uma vez que a equivalência do construto, administração e formato do teste podem variar de uma cultura para outra. Além disso, tem-se a liberdade de adaptar itens, fazer versões reduzidas e adaptações para outros formatos de aplicação sem restrições (Fernández et al., 2010). A necessidade de grandes modificações e adaptações na CTS-D-G foi o que levou ao redirecionamento do processo para uma metodologia de construção de instrumento.
Manteve-se, todavia, o embasamento das escalas existentes (CTS-D-G e versão brasileira da CTS-R) para o presente instrumento, pautando-se no argumento de que são amplamente utilizadas para avaliação de programas de treinamento de terapeutas e que foram construídas a partir de importantes diretrizes de competências. Além disso, segundo Coluci et al. (2015), a utilização de instrumentos já existentes é útil, pois seus itens já foram testados quanto às qualidades psicométricas.
Como em um primeiro momento a intenção era traduzir e adaptar o instrumento alemão, buscou-se seguir as etapas iniciais desse processo de acordo com as diretrizes da literatura (Borsa et al., 2012), que apontam como estágios essenciais a tradução por pelo menos dois tradutores bilíngues independentes, a síntese das versões traduzidas e a avaliação da síntese por experts. Após essas etapas, pôde-se obter informações mais precisas do instrumento, as quais foram consideradas para a construção da presente escala.
A fundamentação teórica contou com diversos procedimentos em profundidade, em que buscou-se utilizar diferentes métodos apontados pela literatura como úteis e essenciais para a definição operacional do construto. A consulta a estudiosos da área tem como vantagem trazer o que há de mais recente no conhecimento do tema, e a busca na literatura junto às bases de dados nacionais e internacionais constitui o principal recurso nas pesquisas de desenvolvimento de instrumentos de medida (Alexandre & Coluci, 2011; Coluci, et al., 2015). De fato, as revisões conduzidas, bem como a consulta à especialista, permitiram uma imersão no tema das competências do terapeuta em TCC e TCCG, ao possibilitar entrar em contato com as principais publicações e diretrizes amplamente utilizadas em programas de excelência em treinamento de terapeutas. Além disso, permitiram uma perspectiva sobre a escassez de estudos e ferramentas no Brasil e na América Latina. As demais publicações derivadas desse processo de fundamentação teórica têm também o objetivo de começar a suprir essa lacuna (Scotton et al., 2021; Scotton & Neufeld [a,b]). Segundo Pasquali (2017), a utilização de teorias e diretrizes reconhecidas é imprescindível para a construção de instrumentos de medida válidos do ponto de vista do conteúdo.
Outro recurso significativo e excelente fonte de itens, segundo Coluci et al. (2015), é a experiência da população-alvo, em que os grupos focais se destacam entre as estratégias mais utilizadas. A coleta das opiniões dos supervisores dos dois grupos focais realizados complementou de forma bastante útil as informações adquiridas nas etapas anteriores. A ECTCCG contou, portanto, com uma combinação dos métodos dedutivo (a partir de revisões de literatura e escalas preexistentes) e indutivo (a partir da coleta de informações da população-alvo) para a geração dos itens, o que é recomendado pela literatura (Selau et al., 2020).
A síntese feita a partir de todas essas etapas da fundamentação teórica forneceu escopo teórico que embasou a construção de novos itens na presente escala, com temas que não foram abordados nos instrumentos de base (CTS-D-G e CTS-R), mas que são fundamentais à prática da TCCG. Trata-se dos itens referentes à adaptação às necessidades, ao manejo de papéis de participantes difíceis no grupo e ao equilíbrio de papéis e manejo dos fatores terapêuticos, que têm sido apontados na literatura como sendo relativamente negligenciados no treinamento dos terapeutas em TCCG (Rangé et al., 2017).
A mudança na escala de respostas visou tornar a pontuação mais fiel ao modelo de aquisição de competências de Dreyfus (2004), passando de uma escala Likert de sete pontos para uma de seis pontos. Um estudo de comparação de propriedades psicométricas e normalidade em escalas Likert não apontou diferenças entre escalas de diferentes pontos (ímpares e pares) em termos de média, desvio padrão, correlação item-item, correlação de item total, confiabilidade, análise fatorial exploratória ou carga fatorial. Destaca-se que a escala de seis pontos tende a seguir uma distribuição normal, o que pode ser vantajoso em termos psicométricos (Leung, 2011).
A opção por adicionar um campo para feedback qualitativo se deu com base no pressuposto de que, a partir dele, os avaliadores podem se basear nos comportamentos exemplares fornecidos como parte da escala e no material específico da sessão para dar exemplos de pontos fortes e áreas de melhoria, bem como destacar estratégias para desenvolvimento posterior. Assim, desempenha papel fundamental no desenvolvimento contínuo de profissionais competentes e reflexivos e é bem recebido por aqueles que estão sendo avaliados, a fim de que possam avaliar e refletir sobre seu próprio desempenho (Muse et al., 2017).
A escolha dos juízes é fundamental para potencializar a validade de conteúdo do instrumento (Pasquali, 2017). A construção da escala contou com sete juízes peritos na área e que tinham experiência com o desenvolvimento de instrumentos, sendo que sua formação teórica e prática foi essencial para que esta fosse uma etapa decisiva para a melhoria da ECTCCG. Assim, considera-se que houve conciliação entre teoria e experiências práticas na construção do instrumento, o que justificou mais mudanças teórico-técnicas.
A etapa de análise semântica foi realizada visando verificar a compreensão da população-alvo ao responder o instrumento, seguindo a recomendação da literatura. Segundo Coluci et al. (2015) e Selau et al. (2020), a dificuldade de compreensão pode prejudicar diretamente a validade de conteúdo do instrumento. Assim, essa etapa possibilitou fazer ajustes importantes para facilitar o entendimento dos respondentes, como a inclusão de exemplos nos pontos da escala de resposta, redação dos itens, instruções de preenchimento e forma de apresentação. Esses resultados ressaltam a importância dessa etapa, uma vez que, desse modo, foi possível aprimorar a validade de face do instrumento, além de contribuir para a validade de conteúdo.
Entre as etapas sistematizadas de construção de instrumento, sendo elas teóricas, empíricas e analíticas (Pasquali, 2017), o presente trabalho dedicou-se ao procedimento teórico na construção da ECTCCG. A obtenção de evidências de validade dos instrumentos é o parâmetro mais importante no seu desenvolvimento e avaliação. Ressalta-se, no entanto, que nem todos os testes disponíveis no escopo da avaliação no Brasil são bem construídos, sendo que alguns autores assinalam que a delimitação teórica dos construtos continua sendo um ponto muito deficiente na área (Andrade & Valentini, 2018).
Objetivando suprir essa lacuna, a construção da presente escala conciliou pressupostos teóricos, consulta a instrumentos reconhecidos, especialistas e população-alvo, tendo passado, ainda, por várias fases de refinamento dos itens. Além disso, tem a vantagem de conciliar métodos quantitativos e qualitativos. Considerando que esse processo é intenso e complexo (Selau et al., 2020), entende-se que todas as etapas foram fundamentais para a construção da ECTCCG, já que contribuíram para que fossem realizadas melhorias substanciais à versão inicial do instrumento. Com o trabalho dos juízes e da análise semântica, os procedimentos teóricos foram concluídos, os quais comportam a explicitação da teoria que embasa as competências do terapeuta em TCCG, bem como a representação comportamental do construto (Pasquali, 2017).
É fundamental destacar que, para constituir um instrumento válido e utilizável, a versão atual será submetida às próximas etapas do processo de construção. A primeira delas contará com uma aplicação-piloto, em que os supervisores deverão utilizar o instrumento para avaliar uma sessão de TCCG a partir da observação ao vivo ou da gravação em vídeo. A partir disso, novos estudos deverão ser conduzidos para investigar a adequação dos itens, agrupamento em dimensões, discriminação dos níveis de competência dos terapeutas e evidências de validade e fidedignidade a partir de análises estatísticas exploratórias e confirmatórias (Pasquali, 2017).
Como considerações finais, ressalta-se novamente que a temática de competências do terapeuta ainda é muito incipiente no Brasil. Apesar de no âmbito internacional já existir um escopo mais significativo de estudos nesse tema, ao se tratar das competências do terapeuta de grupos em TCC, esse contexto assemelha-se ao nacional em sua escassez de publicações, instrumentos disponíveis e incorporação sistemática das diretrizes em programas de treinamento em TCCG. Este estudo teve como objetivo apresentar a primeira versão de uma escala que visa contribuir com o processo de formação de terapeutas, com a pretensão de ancorar esse processo em uma prática baseada em evidências, garantindo o treinamento dos profissionais e a qualidade da intervenção oferecida.
