Português (pdf)
Artigo em XML
Referências do artigo
Tradução automática
Permalink
O cuidado ao longo de todo o processo de criação e validação de instrumentos é um ponto-chave no contexto de pesquisa em psicometria, dado que a partir de sua validação um instrumento passará a ser usado por toda a comunidade científica e leiga que por ele se interessar. Os instrumentos de pesquisa no formato de questionários, foco deste estudo, são amplamente utilizados em virtude de diversos fatores, como: capacidade de coletar grandes quantidades de dados, acessar informações sobre populações diversas e em contextos diferentes, apresentar potencial de produzir generalizações em seus achados e pela eficiência do método, tendo em vista o tempo relativamente curto necessário para a coleta de dados e um baixo custo para sua aplicação (Ryan, Gannon-Slater, & Culbertson, 2012).
No entanto, questionários podem produzir resultados distorcidos devido ao fato de serem instrumentos complexos que permitem apenas respostas objetivas, de forma que não seja possível aprofundar a compreensão e a motivação da resposta fornecida pelo participante. Embora existam diversas formas de se buscar a validade do instrumento por meio de cálculos amostrais e análises estatísticas, a busca pela correta compreensão dos itens através da validação do processo de resposta pode ser um ponto de destaque para amenizar riscos nessas variáveis (Ryan et al., 2012)
A Entrevista Cognitiva (EC) como etapa que antecede os testes-piloto vem se mostrando um procedimento importante para a análise teórico-prática sobre o processo de resposta de evidências de validade em testes psicológicos (Castillo-Díaz & Padilla, 2013). Permite ampliar a compreensão de como os respondentes processam os pensamentos, ideias, visões, percepções e experiências enquanto respondem a cada item dos questionários (Ryan et al., 2012). O uso da EC traz vantagens em relação a outras técnicas tradicionalmente empregadas em estudos de validação de instrumentos, como os grupos focais e de discussão, pois permite ter acesso à perspectiva individual e aprofundada de potenciais participantes do estudo acerca do instrumento que está sendo avaliado. Dessa forma, pode oferecer informações relevantes e necessárias antes mesmo da realização dos estudos-piloto.
Expectativas profissionais para o desenho, implementação, pontuação e relato de avaliações educacionais e psicológicas são delineadas pelos Standards for Educational and Psychological Testing, publicação conjunta da American Educational Research Association (AERA), American Psychological Association (APA) e do National Council on Measurement in Education (NCME) (Pitts & Naumenko, 2016). Dentre seus objetivos, nomeiam a validade dos testes, que é entendida como o grau em que evidência e teoria apoiam as interpretações de pontuações de testes conforme seus propósitos. Ainda, especificam cinco fatores que devem ser utilizados ao se avaliar as propostas de validação de instrumentos: conteúdo do teste, processos de resposta, estrutura interna, relações com outras variáveis e consequências do teste. Os Standards for Educational and Psychological Testing consideram que interpretações distorcidas de itens podem ter impacto direto na validação do instrumento, propondo que, durante o desenvolvimento, os itens devam ser revisados, no intuito de clarificar, averiguar a relevância e estrutura do construto (AERA, 2014).
A EC vem ao encontro dessas orientações, pois pode ser utilizada para identificar divergências de compreensão de itens, obter evidências de validade com base no conteúdo e nos processos de resposta, informando possíveis necessidades de revisão de itens (Peterson, Peterson, & Powell, 2017). O processo consiste em, por meio de entrevistas verbais, o entrevistador solicitar ao participante para descrever o que pensa enquanto responde cada item do instrumento, ou ainda, assim que finaliza as respostas da escala (Castillo-Díaz & Padilla, 2013). O objetivo é identificar se existem desalinhamentos entre a interpretação do participante e o item desenvolvido, identificando formas de ajuste para ampliar a compre-ensibilidade do item com base na informação fornecida pelo próprio respondente (Peterson et al., 2017).
Segundo Tourangeau (1984), no processo de resposta de um item, o respondente utiliza quatro operações cognitivas: compreensão, recuperação, julgamento e resposta. Os entrevistados precisam entender o que o item está afirmando, recuperar conhecimentos e informações em sua memória, fazer um julgamento sobre ele, selecionar e editar uma resposta, sendo que todas essas etapas carregam consigo uma fonte potencial de erro, não ocorrendo sempre na mesma ordem.
No processo de revisão por um especialista – etapa utilizada em processos de adequação de instrumento – este pode não perceber problemas em operações cognitivas e, assim, um erro no item passa despercebido aos olhos do pesquisador. Essa “falha” simples pode culminar em uma interpretação de item diferente da intenção do pesquisador (Hughes & Bureau, 2004; Presser, Couper, Lessler, Martin, & Rothgeb, 2004; Ryan et al., 2012).
Ainda, os mesmos processos de compreensão, recuperação, julgamento e resposta se dão de forma diferente quando realizados individualmente ou sob a condução de um pesquisador e em situações grupais. Pesquisadores que trabalham com a técnica de grupos focais (GF) defendem que, a partir de seu uso, é possível observar o fenômeno do “efeito de grupo”. Esse efeito faz com que a discussão em GF traga uma informação distinta do que seria a soma de uma série de entrevistas individuais realizadas separadamente. O GF, como outros grupos de discussão, oportuniza aos participantes questionarem uns aos outros ao mesmo tempo em que se explicam uns para os outros, o que tende a gerar um senso coletivo e a partilha de significados negociados e transformados por meio do debate (Souza, 2020).
Com relação às técnicas utilizadas no processo de entrevista, existem algumas mais praticadas e aceitas entre os pesquisadores. Estas encontram-se resumidas na Tabela 1.
Tabela 1
| Pensar em voz alta | Esse protocolo orienta ao participante que explique em voz alta o que está pensando sobre cada item – antes ou após cada um respondido – sendo a forma de condução escolhida padronizada entre os itens. Após descrição da pesquisa, os participantes são orientados sobre como pensar em voz alta por meio de exemplo. O respondente então lê o item e pensa em voz alta, relatando o que está pensando ao responder. O entrevistador, por sua vez, fica em silêncio, anotando comunicações verbais e não verbais. Existem pesquisas que tratam aspectos tanto positivos quanto negativos nesse modelo, principalmente no que diz respeito a possíveis interferências na resposta que seria dada pelo respondente, e à dificuldade que algumas pessoas têm de pensar em voz alta (Blair & Brick, 2009; Willis, 2005). |
| Sondagem verbal | Essa técnica faz perguntas sobre o pensamento dos participantes, em vez de apenas registrar o que eles relatam espontaneamente (Blair & Presser, 1993). Podem ser entrevistas padronizadas ou não padronizadas. Quando padronizadas, pode-se utilizar como base roteiros de entrevista que direcionam especificamente os vários processos cognitivos (por exemplo, compreensão, recuperação etc.), podendo aprofundar o entendimento do contexto com outras perguntas, se necessário (Willis, 2005; Ryan et al., 2012). |
| Modelo híbrido | Considera as fronteiras entre as duas técnicas mencionadas acima, dado que, em experiências de pesquisa, alguns pesquisadores defendem que, na prática, ambas podem acontecer juntas: sondagem verbal e pensar em voz alta. Por exemplo, usando a técnica de sondagem verbal, o participante tende a pensar em voz alta – ainda que de forma espontânea – quando está avaliando o item (Beatty & Willis, 2007; Blair & Brick, 2009; Ryan et al., 2012). |
Os principais estudos detalhando esse método se deram no meio internacional e, no Brasil, embora algumas pesquisas relatem ter utilizado etapa de entrevista no processo de validação, não foram encontrados estudos que detalhem como se dá essa etapa em estudos brasileiros. Dessa forma, o presente artigo tem caráter metodológico, objetivando propor o uso da Entrevista Cognitiva (EC) e suas etapas no processo de adaptação e busca de evidências de validade de instrumentos psicométricos. Traz, para isso, a sua aplicabilidade por meio de exemplos práticos retirados de um estudo empírico que utilizou a EC no processo de validação no contexto brasileiro. Este estudo também visa advogar em favor da maior inserção dessa etapa nos estudos de adaptação e validação feitos no Brasil. Defende-se o uso da EC como alternativa à realização de grupos focais ou de discussão por possibilitar acesso às percepções peculiares e diversas dos indivíduos sobre os fenômenos investigados em estudos psicométricos. Entende-se, como será possível observar a seguir, que o uso da técnica permite acesso a informações detalhadas acerca de processos internos que interferem nas respostas fornecidas por respondentes de instrumentos psicométricos.
As sessões a seguir detalharão na prática o processo de EC. Para fins de compreensão, o instrumento em validação utilizado no exemplo chama-se DLOQ (Dimensions of the Learning Organization Questionnaire), avalia Cultura de Aprendizagem Organizacional e deve ser aplicado em profissionais que estejam trabalhando em uma empresa. Este será mais bem explicado na sessão de Instrumentos deste artigo.
Método
Participantes
A amostra do estudo exemplo foi constituída por conveniência e composta por 10 participantes e duas rodadas de entrevista, sendo cinco participantes em cada uma. Segundo a literatura, as recomendações para tamanhos amostrais para EC são baixas, variando de n=5 para uma única rodada a n=15 em múltiplas rodadas (Beatty & Willis, 2007; Peterson et al., 2017; Willis, 1994). Tendo o intuito de buscar diferentes possibilidades de percepções de entendimento do questionário, foram considerados os critérios: 1. igual distribuição entre os sexos; 2. diferentes faixas etárias; 3. áreas de atuação diferentes; 4. distintos níveis de formação acadêmica; 5. variação em tempo de experiência; 6. estar atualmente trabalhando em uma empresa; 7. ter variação no tempo de vivência na empresa. Na Tabela 2, o perfil detalhado dos entrevistados é apresentado.
Tabela 2
| Entrevistado 1 | Entrevistado 2 | Entrevistado 3 | Entrevistado 4 | Entrevistado 5 | |
|---|---|---|---|---|---|
| Tempo de exp. total (anos/meses) | 3a9m | 9m | 20a | 7a | 12a |
| Tempo de exp. na empresa (anos/meses) | 0a9m | 2a | 0a4m | 1a4m | 3a10m |
| Atuação/ Função | Consultor de carreira | Analista de Negócios | Coordenadora de pessoas | Consultora de RH | Comunicação |
| Formação | Psicologia | Gestão de TI | Ciências Sociais | Psicologia | Relações Públicas |
| Escolaridade | Superior Completo | Superior Completo | Pós- graduação | Superior Completo | Superior Completo |
| Idade | 25 | 31 | 40 | 25 | 29 |
| Sexo | Masculino | Masculino | Feminino | Feminino | Masculino |
| Entrevistado 6 | Entrevistado 7 | Entrevistado 8 | Entrevistado 9 | Entrevistado 10 | |
| Tempo de exp. total (anos/meses) | 12a | 3a | 19a | 24 | 8a |
| Tempo de exp. na empresa (anos/meses) | 9a | 0a2m | 0a2m | 5a | 5a |
| Atuação/ Função | Analista de suporte | Comunicação Social | Gestão de pessoas | Gerente de projetos | Analista ambiental |
| Formação | Ensino médio completo | Relações Públicas | Gestão de RH | Administração | Ensino médio completo |
| Escolaridade | Superior Incompleto | Superior Completo | Pós- graduação | Superior Completo | Superior Incompleto |
| Idade | 34 | 25 | 38 | 43 | 26 |
| Sexo | Masculino | Feminino | Feminino | Feminino | Masculino |
Instrumentos
Escala Dimensions of the learning organization questionnaire – DLOQ. Instrumento em adaptação e validação para o contexto brasileiro, que passou pela etapa de entrevista cognitiva que está sendo exemplificado neste artigo. Trata-se de um questionário proposto por Marsick e Watkins (2003), que objetiva medir cultura de aprendizagem organizacional. O instrumento DLOQ, que vem sendo utilizado em outros países, possui: 43 itens sobre cultura de aprendizagem e 12 itens sobre Desempenho Organizacional. Trata-se de um instrumento pontuado a partir de escala Likert de seis pontos, variando de (1) quase nunca até (6) quase sempre. O questionário é composto por sete dimensões de Cultura para aprendizagem organizacional: 1. Aprendizagem contínua – “Na minha organização, as pessoas ajudam umas às outras a aprender.”; 2. Questionamento e diálogo – “Na minha organização, as pessoas são encorajadas a perguntar “por que”, independentemente do cargo que ocupam.”; 3. Colaboração e aprendizagem em equipe – “Na minha organização, as equipes/grupos são recompensadas pelas suas conquistas enquanto um grupo.”; 4. Sistemas para captação de aprendizagem – “Minha organização mede os resultados de tempo e recursos que são gastos em treinamentos.”; 5. Empoderamento de pessoas – “Minha organização convida as pessoas a contribuir com a visão da organização.”; 6. Conectar a organização – “Minha organização encoraja todos a trazer as visões de clientes para o processo de tomada de decisão.”; e 7. Prover liderança estratégica para o aprendizado – “Na minha organização, líderes geralmente apoiam pedidos para oportunidades de aprendizado e treinamento.” Sobre Desempenho organizacional, possui as duas dimensões: 1. Desempenho financeiro – “Na minha organização, a produtividade média por funcionário é maior do que a do ano passado.”; e 2. Desempenho de conhecimento – “Na minha organização, a porcentagem de trabalhadores qualificados, em comparação com o total de funcionários, é maior do que no ano passado.”
Entrevista Cognitiva. Procedimento discutido e detalhado neste artigo. No estudo, foi utilizada a técnica de “Sondagem verbal” com um roteiro de entrevista pré-determinado, conforme proposto por Peterson, Peterson e Powell (2017), apresentado na Tabela 3. A cada item do instrumento respondido pelo participante, realizaram-se imediatamente perguntas que buscam captar cada uma das quatro operações envolvidas no processo de resposta, assim como ao final de cada dimensão, a fim de identificar áreas potenciais de confusão.
Tabela 3 Roteiro entrevista Cognitiva
| Referência | Pontos de validação | Potenciais formas de validação |
|---|---|---|
| Item | Compreensão: A redação, a terminologia e a estrutura do item são claras e fáceis de entender? |
Você pode repetir a pergunta que acabei de fazer com suas próprias palavras? Houve alguma coisa confusa sobre este item? O que a palavra <termo> significa para você da forma como é usada na pergunta? Diga-me o que você estava pensando quando perguntei sobre <tópico do item> |
| Item | Recuperação: O entrevistado já tem uma posição sobre o assunto? O entrevistado tem o conhecimento necessário para responder à pergunta? Os cálculos mentais ou os requisitos de recuperação de memória de longo prazo são muito grandes? |
Antes de perguntar sobre <tópico do item>, quanto você pensou sobre isso? Quanto você acha que sabe sobre <tópico>? Quão fácil ou difícil é lembrar <tópico>? Como você calculou <tópico>? Você disse <opção de resposta selecionada>. Como você está certo disso? |
| Item | Julgamento: A questão é muito sensível para produzir uma resposta honesta? A questão é relevante para o respondente? A resposta é uma constante? |
Quão confortável você se sentiu respondendo o item? Parecia que uma das respostas deveria ser a resposta certa? Essa pergunta pareceu estranha ou inadequada? Quão bem esta pergunta se aplica a você? Sua resposta é sempre a mesma ou teria variação? |
| Item | Resposta: A resposta desejada está disponível e/ou refletida com precisão nas opções de resposta? As opções de resposta estão claras? |
Você conseguiu encontrar a primeira resposta que você daria para a pergunta nas opções de resposta apresentadas? Você disse <opção de resposta selecionada>. Quão bem essa opção refletiu com precisão a resposta que você queria dar? Houve uma resposta que você queria dar que não estava disponível nas opções de resposta? Houve opções de resposta que não faziam sentido para você? |
| Construto | Adequação do conteúdo: todos os itens combinados representam adequadamente o construto? Existem itens que não pertencem? |
O que você acha deste questionário? Este questionário foi sobre <tópico do questionário>. Houve alguma coisa não incluída nessas perguntas que é importante para você em relação ao <tópico>? |
Fonte.Peterson et al. (2017) traduzido pelo autor
Procedimentos
Essa etapa de pesquisa possui caráter exploratório. Seu método foi qualitativo e seu recorte, transversal. As entrevistas cognitivas ocorreram no segundo semestre de 2019, foram realizadas individualmente, de forma presencial, e foram gravadas com consentimento dos participantes. O tempo médio das entrevistas foi de 1h15min. Todas as atividades da pesquisa, incluindo a fase de entrevistas cognitivas estão seguindo as condições estabelecidas na Resolução 510/2016 do Conselho Nacional de Saúde (2016) e foram aprovadas pela Comissão Científica e Comitê de Ética em Pesquisa da Pontifícia Universidade Católica do Rio Grande do Sul – PUCRS – parecer nº 3.319.371.
Análise de Dados
Quando se aplica o método de entrevistas cognitivas, busca-se encontrar pontos de divergência ao invés de representatividade, ao contrário dos métodos psicométricos que buscam as evidências de validade (Peterson et al., 2017). A DLOQ é um instrumento que avalia a cultura de aprendizagem nas organizações e, considerando seu objetivo, buscou-se uma amostragem de entrevistados que pudesse trazer diversidade de experiências no que diz respeito ao conteúdo do instrumento, podendo acarretar assim diferentes entendimentos sobre um mesmo item. Foram incluídos participantes que fossem profissionais e atualmente estivessem fazendo parte de uma organização, em níveis hierárquicos distintos, e com tempo de empresa que também variassem para avaliarmos se esses pontos trariam diferença no processo de resposta.
Resultados
O método utilizado para condução das entrevistas foi a sondagem verbal no formato padronizado. As análises dos resultados foram conduzidas pelos dois pesquisadores que realizaram as entrevistas, examinando as respostas de cada respondente a cada item do questionário e buscando frases-chave e pontos relevantes nas interpretações dos itens. Quando inconsistentes com a intenção do instrumento original, os itens foram agrupados e retomados para revisão. Como forma de exemplificar a análise dos processos de respostas, apresentaremos, a seguir, exemplos de situações ocorridas durante a aplicação da entrevista cognitiva no processo de adaptação e busca de evidências da DLOQ:
Compreensão: Etapa que inclui prestar atenção às instruções e perguntas, compreender a questão, fazer as conexões entre os termos-chave da questão e os conceitos relevantes (Tourangeau, Rips, & Rasinski, 2000). O objetivo é que o respondente entenda e interprete a questão da mesma forma que o autor do questionário (Tourangeau & Bradburn, 2010).
Exemplo
| Etapa | Compreensão |
|---|---|
| Item | “Na minha organização, as equipes/grupos confiam que a organização agirá com base em suas recomendações. ” |
| Pergunta do entrevistador | Se eu te pedir para repetir essa pergunta com as tuas próprias palavras, como tu faria ela (sic)? |
| Interpretação do participante | “Esta pergunta está bem clara. [...] Se as equipes e os grupos confiam no que a empresa passa como diretriz.” |
| Comentário | Essa resposta mostra um problema de compreensão do item, dado que o objetivo era o contrário do que o participante compreendeu. No item, “suas recomendações” faz referência as “equipes/grupos” e não à “organização”. |
| No entanto, esse item mostrou-se confuso em mais de uma das entrevistas realizadas, sendo, por consequência, separado para revisão. |
Quando existe erro de compreensão, este pode ser resultante de uma ampla variedade de problemas. Exemplos são: ausência de parte da questão; não entender ou não ler as instruções; a questão usar termos desconhecidos; falta de familiaridade, ou compreensão equivocada de termos (Tourangeau et al., 2000). As ambiguidades léxicas, por exemplo, são um tipo de problema de compreensão que ocorre quando as palavras têm significados diferentes (Bradburn, 2004).
Recuperação: Após o entendimento do item, trata-se de resgatar na memória informações para respondê-lo. Estas podem ser memórias de longo, médio ou curto prazo, e são influenciadas por uma variedade de fatores, incluindo: fonte, duração e período de tempo em que ocorreram, qualidade e ajuste entre terminologia e experiências dos participantes (Bradburn, 2004).
Exemplo
| Etapa | Recuperação |
|---|---|
| Item | “Minha organização apoia funcionários que tomam riscos calculados. ” |
| Pergunta do entrevistador | O quão certo você está da sua resposta? |
| Interpretação do participante | “Achei fácil de entender e responder. [...] Exemplo: ‘- Eu acho que eu consigo resolver isso no tempo que a gente precisa, acho que dá. Se não der, vamos resolver da forma tradicional. Coloca na balança e faz.’[...]” |
| Comentário | Esse item foi claro para o participante, que mencionou exemplos que justificavam sua resposta, citando mais de uma situação vivenciada no momento de responder ao item na entrevista. |
Julgamento: Na formulação de uma resposta, o respondente se envolve em uma variedade de tarefas cognitivas para avaliar e integrar o que recuperar da memória, incluindo, por exemplo, estimar lacunas para preencher o que está faltando. Nesse caso, o ponto crucial é entender se o respondente é capaz de avaliar adequadamente as informações relevantes. A maioria dos pesquisadores concorda que esses “processos” de julgamento são aplicáveis se os respondentes da pesquisa avaliam fatos, comportamentos ou atitudes (Tourangeau et al., 2000).
Exemplo
| Etapa | Julgamento |
|---|---|
| Item | “Na minha organização, as equipes/grupos tratam os membros como iguais, independentemente da posição, cultura ou outras diferenças.” |
| Pergunta do entrevistador | Sua resposta teria variação? |
| Interpretação do participante | “Para mim tem dois pontos aqui: a palavra ‘posição’ e ‘cultura e outras diferenças’. Entre cultura e outras diferenças as pessoas tratam super bem e respeitam [..] Entre posições há um certo distanciamento[...] Então esses dois pontos não posso colocar “quase sempre” porque tem essa palavra “posição” e tem diferença no tratamento[...]. Acho que devia separar o item em dois.” |
| Comentário | O entrevistado demonstrou ter capacidade de avaliar as informações relevantes, considerando comportamentos e atitudes. Além dele, outros participantes, ao longo das entrevistas, trouxeram essa mesma discussão sobre o item mencionado. |
Resposta: Após realizar um julgamento, o respondente escolhe uma resposta e a comunica. Nesse caso, existe a adaptação entre a intenção de respostas e as respostas oferecidas. Considerando que as opções de resposta das escalas normalmente são pré-estabelecidas, pode haver uma limitação entre a intenção de resposta do respondente e as opções existentes (Bradburn, 2004; Ryan et al., 2012).
Exemplo
| Etapa | Resposta |
|---|---|
| Item | “Na minha organização, as pessoas podem receber incentivo financeiro e outros recursos para ajudar no seu aprendizado.” |
| Pergunta do entrevistador | Entrevistador não chegou a fazer perguntas, foi um comentário feito em voz alta quando o entrevistado pensou no item. |
| Interpretação do participante | “Agora me deu dúvida sobre o que seria o 4 e o que seria o 5, na definição do cabeçalho, pois não é bem frequente, mas ao mesmo tempo também não é inexistente. [..] Acho que colocaria o 5... não, colocaria o 4.” |
| Comentário | A escala Likert de seis pontos do questionário em validação possui nome no cabeçalho da escala apenas nos extremos (1 – quase nunca e 6 – quase sempre). Com isso, as opções de 2 a 5 não possuem seu significado de forma explícita no cabeçalho. Esse apontamento de dúvidas surgiu em algumas das entrevistas cognitivas. |
Quando uma alteração importante é realizada, uma segunda rodada de EC é sugerida para validar o processo de resposta. Quando as revisões são pequenas, os autores da escala podem seguir para a próxima fase do processo de adaptação e validação.
No estudo exemplo, após primeira rodada com cinco entrevistas, pode-se perceber que as Dimensões de Desempenho organizacional continham itens dos quais os participantes não tinham acesso às informações, respondendo os itens baseados em inferências. Somado a isso, as respostas da escala Likert não os permitia optar pela resposta “Não sei”. Após análise dos itens e contato com as autoras do questionário – Marsick e Watkins – devido as diferenças culturais e de compreensão dos itens optou-se por seguir a validação apenas da parte de Cultura de aprendizagem. Essa decisão deu-se a partir da análise das entrevistas da primeira rodada e seguiu-se com a segunda rodada de entrevistas retirando-se as dimensões de Desempenho Organizacional.
Discussão
Propor o uso da entrevista cognitiva (EC) no processo de adaptação e validação de instrumentos psicométricos no contexto brasileiro foi o objetivo principal deste artigo. Por meio do exemplo prático trazido no estudo utilizando a EC, foi possível ilustrar potenciais fontes de confusão no que diz respeito aos processos cognitivos nas respostas de itens.
As entrevistas expostas neste artigo foram umas das etapas de um projeto maior de validação e adaptação de instrumento no Brasil. Para chegarmos na etapa de EC, foram feitos os procedimentos sugeridos por Borsa, Damásio e Bandeira (2012) que incluíram: 1. tradução inicial da escala para o português por dois tradutores independentes, nativos na língua portuguesa e com fluência em inglês. 2. consolidação inicial do instrumento; 3. avaliação da tradução por especialista na área e um representante da amostra; 4. revisão da consolidação inicial para nova proposição do instrumento adaptado para o Brasil. Nessa etapa, inserimos o 5. processo de entrevistas cognitivas (EC), relatado neste artigo. A partir daqui os próximos passos seguiram: 6. nova consolidação do instrumento com ajustes necessários e 7. etapa de back translation. Após todas essas etapas concluídas, foi realizado o 8. início do estudo-piloto no contexto brasileiro e realização de uma análise fatorial, de consistência interna dos itens e de confiabilidade (Borsa et al., 2012).
Considerando todas essas etapas, vimos que apesar de seguirmos os passos de processo de validação já consolidados e utilizados por pesquisadores, a não inclusão da etapa de EC faria com que aspectos importantes de compreensão fossem subestimados, resultando na divergência entre a intenção dos autores e a interpretação dos respondentes no que tange aos itens. Com a inserção da EC, foi possível antever itens da DLOQ que possivelmente seriam fontes de problema no estudo-piloto e ajustá-los.
Essas considerações vão ao encontro do observado nos estudos que utilizam EC, realizados por autores como Buers et al., (2014), Peterson et al. (2017), Ryan et al. (2012), os quais reuniram evidências de validade em processos de resposta, ou ainda, por Hughes e Bureau (2004), que comparam a contribuição de diferentes tipos de métodos na etapa pré-teste. Peterson et al. (2017) trazem ainda em seu estudo outra vantagem no processo de EC: seus resultados podem ser usados em tomadas de decisão após os dados psicométricos terem sido coletados. Alguns métodos como análise fatorial exploratória, análise fatorial confirmatória, entre outros, permitem a identificação de itens com baixo desempenho no que diz respeito aos resultados quantitativos. No entanto, esses métodos não nos dizem o porquê de as estatísticas estarem baixas. Com as entrevistas, é possível entender qualitativamente essas situações. Além disso, as EC permitem que indivíduos com diferentes características (e possivelmente compreensões e interpretações do conteúdo dos itens) possam compartilhar sua perspectiva sobre o instrumento, contribuindo assim para que os ajustes necessários sejam feitos visando ao melhor desempenho do instrumento. Cabe destacar que a informação gerada por meio dessa técnica difere grandemente da produção coletiva dos grupos focais e de discussão comumente utilizados em processos de adaptação e validação de instrumentos psicométricos (Souza, 2020).
A inserção da etapa de EC apresenta um resultado importante, pois permitiu aos autores terem acesso a itens com problemas e ajustá-los em tempo de assegurar o maior sucesso na validação do instrumento. Com base nos resultados obtidos, sugere-se implementação dessa etapa nos estudos de adaptação e validação feitos no Brasil. Defende-se que o uso das entrevistas cognitivas possibilita reduzir equívocos no processo de desenvolvimento e adaptação de instrumentos. Ainda que não seja possível garantir a eliminação total de falhas no processo, somada às demais etapas, a EC poderá contribuir para a obtenção de instrumentos mais adequados à realidade local e válidos para acessar os fenômenos de interesse dos pesquisadores.
