Análise semântica e evidências de validade da escala metacognitiva para idosos¹

 

Semantic analysis and validity evidence of the Metacognitive Scale for the Elderly

 

Análisis semántico y las evidencias de validez de la Escala Metacognitiva para los Ancianos

 

 

Alex Bacadini França², Patrícia Waltz Schelini

Universidade Federal de São Carlos

 

 

---

RESUMO

Esta pesquisa teve como objetivo principal investigar as evidências de validade baseadas no conteúdo e realizar a análise semântica dos itens de uma escala destinada à avaliação da metacognição em idosos. Para investigar as evidências de validade de conteúdo, a escala foi analisada por especialistas da área. O índice de concordância resultante da análise das respostas dos especialistas foi de 68%. A análise semântica foi realizada com a aplicação da escala em amostra piloto composta por 15 idosos entre 60 e 83 anos de idade. Estas investigações provocaram a mudança na redação das instruções e dos itens, bem como nos descritores da escala.

Palavras-chave: metacognição; idosos; medidas.

---

ABSTRACT

This research aimed to investigate content validity evidence and to perform semantic analysis of scale items for assessment of metacognition in the elderly. To investigate the evidence of content validity, the scale was analyzed by experts. The concordance index resulting from the analysis of expert responses was 68%. Semantic analysis was performed using scale application to a pilot sample of 15 individuals between 60 and 83 years old. These investigations resulted in wording modifications in the instructions and in the items, as well as in the scale descriptors.

Keywords: metacognition; elderly; measurements.

---

RESUMEN

Esta investigación tuvo como objetivo investigar las evidencias de validez basadas en el contenido y realizar análisis semántico de los elementos de una escala para la evaluación de la metacognición en los ancianos. Para investigar las evidencias de validez de contenido, la escala fue analizada por expertos. El índice de concordancia resultante del análisis de las respuestas de los expertos fue del 68%. El análisis semántico se llevó a cabo usando una escala en una muestra piloto que comprende 15 individuos de entre 60 y 83 años de edad. Estas investigaciones dieron como resultado cambios en la redacción de las indicaciones y elementos, así como los descriptores de la escala.

Palabras-clave: metacognición; los ancianos; las medidas.

---

 

 

O número de pessoas que passam dos 60 anos vem aumentando expressivamente, juntamente com a expectativa de vida, que, em alguns estados brasileiros, pode chegar a mais de 73 anos (IBGE, 2010). Esses fatores trazem, dentre outras questões, uma que merece atenção especial: como viver a terceira idade de maneira saudável e produtiva? Segundo a Organização Mundial da Saúde (OMS, 2005), para responder a essa questão, não se deve apenas discutir sobre envelhecimento, mas vida saudável na terceira idade.

Para tornar a terceira idade o mais proveitosa possível, é necessário que o idoso esteja sempre pensando e planejando, sempre consciente de suas ações. Consequentemente, o idoso regulará sua própria atividade e refletirá sobre suas próprias produções, tornando-se independente nas suas ações (Portilho, 2006; 2008).

Um dos caminhos para que a pessoa se conheça e se torne autorregulada é a metacognição (Portilho, 2008). O conceito teórico idealizado por Flavell (1979) se define no pensar sobre o pensar. Pode-se considerar a metacognição como uma ordem superior que "vigia" e "governa" o sistema cognitivo, enquanto que, simultaneamente, faz parte desse mesmo sistema (Pascualon-Araújo & Schelini, 2013). A pessoa pode adquirir a habilidade de analisar as tarefas, refletir sobre a informação, averiguar o objetivo da atividade que irá realizar, observar o que há de novo e familiar e avaliar a dificuldade de suas tarefas e de suas ações (Boruchovitch, Schelini, & Santos, 2010; Brown, 1997; Flavell, 1979; Portilho, 2006, 2008).

Para especificar os domínios da metacognição, Flavell (1979, 1987) propôs o Modelo de Monitoramento Cognitivo (Model of Cognitive Monitoring). Nesse modelo, o autor sugere que o monitoramento dos processos cognitivos ocorre por meio de ações e interações entre quatro classes de fenômenos: o conhecimento metacognitivo, as experiências metacognitivas, os objetivos cognitivos e as ações ou estratégias cognitivas. De forma sucinta, o modelo de Flavell (1987) expõe três conceitos: conhecimento metacognitivo, monitoramento e autorregulação cognitiva. Esses três conceitos atuam juntos, um interagindo com o outro, influenciando as atividades cognitivas (Grendene, 2007; Pascualon, 2011; Pascualon- Araújo & Schelini, 2013; Zampieri & Schelini, 2013).

O conhecimento metacognitivo está relacionado com o que o indivíduo aprendeu ao longo de vida sobre cognição. É dividido em três variáveis: pessoa, tarefa e estratégia. A categoria pessoa inclui conhecimentos e crenças a respeito das pessoas como processadores cognitivos. A categoria tarefa refere-se ao conhecimento das implicações do processamento cognitivo das informações e das exigências de cada tarefa. A categoria estratégia inclui conhecimentos sobre várias estratégias (Dunlosky & Metcalfe, 2009; Grendene, 2007; Pascualon, 2011). O monitoramento e a autorregulação cognitiva implicam atividades orientadas pelo conhecimento metacognitivo que fornecem informações sobre a evolução do indivíduo em empreendimentos cognitivos. Geralmente, essas informações advêm de experiências metacognitivas, experiências afetivas ou, ainda, experiências cognitivas, por exemplo, o sentimento do indivíduo quando percebe que não entendeu a explicação de um professor. A autorregulação refere-se ao controle e à regulação, por parte do indivíduo, dos seus próprios comportamentos. É por meio dela que a pessoa pode detectar se vai conseguir concluir a tarefa ou se, enquanto realiza uma atividade, está no caminho certo (Dunlosky & Metcalfe, 2009).

No entanto, os adultos mais velhos podem ter dificuldades na implementação do pensamento regulado e no uso de estratégias autorreguladas para melhorar as tarefas do dia a dia. Com as habilidades metacognitivas desenvolvidas ao longo da vida, pode-se aperfeiçoar o desempenho de muitas tarefas, como: estudar, aprender novos conhecimentos, retornar ao trabalho ou desenvolver habilidades novas com confiança, empenho e agilidade. Além disso, as habilidades metacognitivas podem auxiliar o idoso a estabelecer novas metas, fazer revisão sobre sua ação ou selecionar novas estratégias, modificando e monitorando o seu raciocínio (Portilho, 2006, 2008; Sé, 2006).

Os métodos de avaliação metacognitiva parecem proporcionar uma investigação objetiva da integridade dos processos envolvidos na autoavaliação. Para Hertzog, Hultsch, e Dixon (1989), a abordagem mais utilizada na avaliação metacognitiva tem sido o autorrelato. No entanto, há poucas abordagens padronizadas para investigar esses processos em idosos. Em consulta realizada à base de dados BIREME, em outubro de 2012, foram encontrados 16 artigos com a palavra-chave "metacognition". Apenas um tratava da criação e validação de instrumento para medir a metacognição em idosos: o de Klusmann, Evers, Schwarzer, e Heuser (2011). Com a mesma palavra- chave na base de dados da PubMed, foram encontrados 17 artigos. O único sobre a criação e validação de instrumento para medir a metacognição foi o mesmo encontrado na busca anterior.

O instrumento utilizado em vários países é o Metamemory In Adulthood (MIA – Metamemória na vida adulta). Elaborado por Dixon, Hultsch, e Hertzog (1988), consiste em 108 itens que, sob a forma de escala do tipo Likert de cinco pontos, buscam avaliar sete dimensões da metamemória: a) estratégia – conhecimento sobre estratégias ou utilização de estratégias de memória; b) tarefa – conhecimento de processos básicos de memória; c) capacidade – percepções sobre a própria capacidade de memorizar; d) mudança – alterações percebidas na capacidade de memorizar com o envelhecimento; e) ansiedade – estresse relacionado às situações de memorização; f) metas – importância de ter bom desempenho em tarefas de memória; e g) controle – percepção de controle sobre as habilidades de memória (Neri, Yassuda, & Lasca, 2005; Ponds & Jolles, 1996). Posteriormente, foram realizados estudos sobre as características psicométricas do MIA e identificou-se que ele poderia ser dividido em subescalas compondo dois fatores: estratégia, tarefa e metas, que formam o fator conhecimento, e capacidade, controle e mudanças, referentes ao fator autoeficácia (Neri et al., 2005; Ponds & Jolles, 1996).

Troyer e Rich (2002) analisaram evidências de validade de um instrumento mais recente destinado à avaliação da metamemória, o Multifactorial Memory Questionnaire – MMQ (Questionário Multifatorial de Memória). Esse questionário visa a avaliar três dimensões de autorrelato de memória, incluindo o contentamento geral ou satisfação com a capacidade da própria memória (subescala Contentamento), percepção da capacidade de memória (subescala Habilidade) e uso de estratégias diárias de memória (subescala Estratégia). O instrumento com 60 itens foi aplicado em grupos de cinco a 15 participantes. Foram analisados os componentes principais com rotação varimax, produzindo três fatores principais e confirmando a divisão dos itens em escalas que representam as diferentes dimensões da metamemória hipotetizadas pelos autores. Vale questionar, com relação a tal estudo, o emprego da análise fatorial em amostra tão pequena (Troyer & Rich, 2002).

Com relação aos instrumentos elaborados em estudos com idosos, de 60 anos ou mais, para avaliar os processos metacognitivos de maneira mais ampla, sem o foco exclusivo na memória, foram criados recentemente o CCSMHA de Buckley (2008) e Bucley, Norton, Deberard, Welsh-Bohmer, e Tschanz (2010) e o Brief Questionnaire on Metacognition (Breve Questionário de Metacognição) de Klusmann et al. (2011), descritos a seguir.

Buckley (2008) e Buckley et al. (2010) examinaram as propriedades psicométricas de uma escala de metacognição com os participantes de um grande estudo populacional: a investigação em Memória, Saúde e Envelhecimento de County Cache, Utah (sigla em inglês: CCSMHA). O instrumento foi elaborado com o Questionário informante sobre declínio cognitivo em idosos (IQCODE – Informant Questionnaire on Cognitive Decline in the Elderly), desenvolvido por Jorm (2004). O IQCODE é dirigido a um informante a quem se pergunta sobre o status cognitivo de um idoso. São sete itens que compõe o CCSMHA; o indivíduo deve classificar sua capacidade cognitiva atual em comparação com três anos atrás, por meio de uma escala do tipo Likert de cinco pontos: (1) muito melhor, (2) um pouco melhor, (3) não mudou muito, (4) um pouco pior, (5) muito pior (Buckley, 2008). Participaram do estudo, entre homens e mulheres, 687 pessoas com idade acima de 65 anos. Para verificar a consistência interna do CCSMHA, foi calculado o coeficiente alfa de Cronbach e foi obtido o valor de 0,75, considerado aceitável (Buckley, 2008). A validade foi analisada por meio de análise fatorial e teste de correlação de Pearson entre cada um dos sete itens. Os itens se correlacionaram positivamente. Como o autor esperava, os itens cognitivos foram relacionados mais fortemente entre si do que com os itens funcionais e vice-versa.

Um instrumento ainda mais recente foi elaborado por Klusmann et al. (2011), o Brief Questionnaire on Metacognition (Breve questionário sobre metacognição). A configuração final é composta por nove itens que avaliam a metamemória e a metaconcentração. Para registrar as respostas, foi utilizada escala do tipo Likert de cinco pontos: absolutamente errado, bem errado, nem certo nem errado, pouco verdadeiro e absolutamente verdadeiro. Os itens foram aplicados em 228 mulheres acima de 70 anos que obtiveram pontuação mínima de 26 pontos no miniexame do estado mental. Além disso, as participantes responderam a questionário a respeito da sua capacidade de cuidar das tarefas diárias e de gerenciar a própria casa. O coeficiente alfa de Cronbach para metamemória foi de 0,65 e para metaconcentração foi de 0,63. Tais coeficientes, um pouco abaixo de 0,70, podem ter ocorrido devido ao enfoque na heterogenidade dos itens que cobrem as habilidades de memória e concentração.

É possível constatar a escassez de instrumentos validados sobre a metacognição de forma ampla, além da ausência de instrumentos de mensuração da metacognição para a terceira idade brasileira (França, 2013). Todavia, Noronha, Freitas, e Ottati (2002) enfatizam que a construção de testes psicológicos não é uma tarefa simples. Segundo Pasquali (2003), para dar início ao processo de validação de escalas psicológicas, é necessário que essas sejam validadas semanticamente. Os construtos devem ser descritos com base em conceitos da teoria e transformados em itens que possam ser mensurados operacionalmente. Após a elaboração dos itens, devem ser submetidos à análise de juízes especialistas para verificar sua compreensão (análise semântica) e, posteriormente, devem ser apresentados a uma parcela da população-alvo. A aplicação em amostra piloto permite verificar se os itens são compreensíveis. Dentre os participantes, deve ser considerado o estrato mais baixo (de habilidade) da população-alvo, bem como uma parcela de maior habilidade (Pasquali, 1997).

Pasquali (1999) lista dez critérios a serem seguidos para que os itens sejam elaborados de forma adequada: 1) critério comportamental – o item deve expressar um comportamento; 2) objetividade – facilidade na identificação da resposta; 3) simplicidade – expressar idéia única; 4) clareza – ser compreensível por todos os estratos da população-alvo; 5) relevância – avaliar o construto em questão; 6) precisão – cada item tem sua posição definida no construto, diferenciando-se dos demais; 7) variedade – variar a linguagem utilizada e o modo de formular os itens, como metade na afirmativa e metade na negativa; 8) modalidade – não utilizar expressões como "muito" e "excelente"; 9) tipicidade – frases com expressões típicas do atributo; 10) credibilidade (face validity) – item não deve parecer sem propósito ou inapropriado à faixa etária para a qual se destina.

Nota-se que a análise de validade baseada no conteúdo e análise semântica é de suma importância para construção de instrumentos psicológicos. Dessa forma, investigaram-se as evidências de validade baseadas no conteúdo e realizou-se a análise semântica da Escala metacognitiva sênior (EMETA-S).

 

Método

Participantes

Para analisar as evidências de validade baseadas no conteúdo, foram selecionados três especialistas, um em metacognição, um em psicologia do envelhecimento e, por último, um especialista em construção de instrumentos psicológicos. A seleção dos juízes foi feita por meio de consulta ao currículo via Plataforma Lattes (CNPq), e também por conhecimento dos pesquisadores sobre a produção bibliográfica com relação ao tema.

Para a realização da análise semântica, foram convidados participantes de um centro público de formação de adultos e idosos, a Universidade Aberta da Terceira Idade – UATI. Localizada em cidade do interior do estado de São Paulo, a universidade promove um programa de educação permanente em diversas áreas, como saúde, cultura, esporte, lazer, cidadania e trabalho. Dos voluntários que aceitaram o convite para participar desta etapa, foram selecionados, por conveniência, 15 com idade igual ou superior a 60 anos. As características deles podem ser observadas na Tabela 1.

 

 

Instrumentos

Para rastrear comprometimentos cognitivos nos participantes, foi utilizado o miniexame do estado mental (MEEM). A escolha do MEEM se deu por ser considerada a escala mais utilizada para rastreamento cognitivo, com alta sensibilidade e especificidade para detecção de comprometimento cognitivo, além de ser validada no Brasil (Brucki, Nitrini, Caramelli, Bertolucci, & Okamoto, 2003). De fácil e rápida aplicação, o MEEM é composto por cinco grandes dimensões que se correlacionam: concentração, linguagem/práxis, orientação, memória e atenção, com um escore máximo de 30 pontos. Para o presente estudo foram adotados os escores de corte listados abaixo. O ponto de corte mais baixo para idosos escolarizados foi 24 pontos (Brucki et al., 2003).

O segundo instrumento utilizado foi a Escala de metacognição sênior (EMETA-S), desenvolvida para este trabalho. A escala é do tipo Likert de quatro pontos, composta por 74 itens. Para cada item, o sujeito deve escolher (assinalar) uma dentre quatro possibilidades de resposta representadas ao mesmo tempo por números, de 1 a 4 e círculos que aumentam conforme a numeração:

 

 

Ao responder, o participante determina se o item da escala é capaz de descrevê-lo ou representá-lo. Se o participante acreditasse que o item não era capaz de representá- lo completamente, assinalaria a primeira coluna com o número um acompanhado do menor círculo. Por outro lado, se acreditasse que o item era capaz de descrevê-lo completamente, marcaria a última coluna, com o número quatro acompanhado do maior círculo.

Procedimentos

O procedimento descrito a seguir foi submetido e aprovado pelo Comitê de Ética em Pesquisa com Seres Humanos e todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido (TCLE), que continha os objetivos da pesquisa, os procedimentos, além do contato do pesquisador. Inicialmente, a escala foi confeccionada com base na literatura nacional e internacional da área e, principalmente, conforme a Escala de metacognição – EMETA (Pascualon, 2011; Pascualon-Araújo & Schelini, 2013).

Na elaboração da EMETA-S, todos os 40 itens da EMETA original foram lidos e os comportamentos, atividades ou situações voltadas às crianças foram modificados para adaptar os itens aos idosos. Além disso, outros 34 itens foram criados. Ao final, foi intitulada de EMETA-Sênior (EMETA-S). A EMETA-S também possui três exemplos já respondidos, compondo as instruções iniciais, um item para o participante responder sozinho e a escala propriamente dita, totalizando 74 itens.

Para aferição das evidências de validade de conteúdo, a EMETA-S foi encaminhada, via correio eletrônico, para os três especialistas. Eles analisaram a escala com relação aos construtos investigados (conhecimento metacognitivo e controle ou autorregulação cognitivos) e com relação à escolha dos itens e sua adequação para a população-alvo do estudo. Complementando esse material, foram apresentadas, por escrito, as definições de metacognição com ênfase no conhecimento metacognitivo e autorregulação cognitiva. Também foi solicitado aos juízes que analisassem a adequação das instruções, exemplos, itens e formato da escala. As respostas provenientes dessa etapa foram tratadas de acordo com sua pertinência e relevância para o aprimoramento da Escala de metacognição sênior.

Após essa etapa, ocorreram as aplicações individuais do miniexame do estado mental (MEEM) nos 15 indivíduos com idade a partir de 60 anos, a fim de verificar qualquer tipo de comprometimento cognitivo. Na sequência, foi realizada a aplicação da EMETA-S nos participantes, de forma coletiva ou individual. A aplicação coletiva ocorreu em salas disponibilizadas pela coordenação da Universidade Aberta da Terceira Idade (UATI) – foram reunidos até cinco idosos de uma vez. A aplicação individual ocorreu na própria residência do participante, em um cômodo sem interferências sonoras, confortável, com boa iluminação e mesa de apoio. O participante, nesse caso, foi alertado, antecipadamente, que não poderia interromper a aplicação do instrumento para realizar outra tarefa.

Nos dois tipos de aplicação (individual e coletiva), foi entregue a folha com as instruções, os exemplos e os 74 itens da escala. As instruções foram lidas em voz alta pelo aplicador e, a cada vez que um dos três itens de exemplo era lido, questionava-se os participantes para verificar se eles haviam entendido todas as palavras, se havia alguma dúvida e se sabiam o que deveria ser feito. A primeira pergunta foi sobre o que deveria ser feito: "Ficou claro o que vocês têm que fazer?". Se a resposta fosse negativa, o aplicador lia novamente as instruções apresentadas na escala e depois repetia a pergunta inicial. Se a resposta fosse afirmativa, o aplicador então pedia para eles explicarem o que entenderam. Se fosse julgado que as verbalizações apresentadas estavam corretas, o pesquisador prosseguia, perguntando sobre dúvidas com relação ao significado de palavras. Se houvesse alguma palavra que o participante não soubesse o significado, ele poderia perguntar e sinalizar no próprio texto. Após a explicação do significado, o aplicador pedia para que eles sugerissem outra palavra para substituí-la. Não havendo dúvidas sobre as instruções e os exemplos, o item proposto como treino era lido para os participantes. O aplicador verificou as respostas e fez comentários como: "A senhora marcou o número quatro, com o círculo maior, porque se acha extremamente capaz de entender com facilidade alguma tarefa que alguém pediu?". Isso foi realizado como mais uma forma de certificar que os participantes haviam entendido a tarefa. A pré-testagem continuou e o aplicador pediu para os participantes responderem aos itens da escala dizendo que, se surgisse qualquer dúvida, esclarecimentos seriam feitos.

A análise das evidências de validade baseadas no conteúdo foi realizada, em uma primeira etapa, por meio da avaliação da concordância das respostas de três juízes especialistas. Para tanto, os juízes deveriam ler cada item e classificá-lo como apropriado para avaliar o conhecimento metacognitivo ou a autorregulação cognitiva. Os juízes também realizaram análises com relação à redação dos itens, de forma a torná-los mais compreensíveis. Além dos juízes, para verificar se a população-alvo conseguiria compreender os itens e as instruções, a EMETA-S, com as modificações sugeridas, foi apresentada a uma amostra piloto (N=15). Os resultados são descritos a seguir. É útil ressaltar que, primeiramente, serão abordados os dados produzidos pelos juízes/especialistas e, em seguida, as informações obtidas por meio da aplicação da escala numa amostra da população-alvo (idosos).

Análise de Dados

Sobre a análise dos juízes, quando três concordavam que um item era representativo de certa dimensão, a concordância era de 100%; quando apenas dois juízes concordavam sobre a mesma dimensão, o índice de concordância era de 77%. Para o presente estudo, considerando o total de juízes, um item só foi considerado adequado quando os três concordassem sobre a dimensão avaliada por ele (item).

 

Resultados

Dos 74 itens pertencentes à EMETA-S, 50 foram classificados unanimemente pelos especialistas, entre conhecimento metacognitivo e autorregulação cognitiva (68% dos itens). Sobre a redação dos itens, o item 56 exemplifica uma sugestão de mudança em palavras. Originalmente, o item era: "Quando estou jogando algo penso se estou ganhando ou perdendo", após a sugestão dos juízes: "Quando estou jogando um jogo, penso se estou ganhando ou perdendo". Com relação à inclusão de novas palavras, o item 7 pode ser um exemplo. Originalmente, o item era: "Tento me concentrar nas atividades que tenho mais dificuldades", após a sugestão dos juízes: "Tento me concentrar nas atividades do dia a dia que tenho mais dificuldades". A exclusão de palavras pode ser representada no item 27, que originalmente era: "Enquanto leio um livro, tento lembrar as coisas que li nos capítulos anteriores", após a sugestão dos juízes: "Enquanto leio um livro, tento lembrar o que li nos capítulos anteriores".

Os juízes comentaram sobre a necessidade de maior especificidade nos itens com as seguintes palavras: tarefa, coisa, algo e atividade. Avaliaram que tais palavras possuíam sentidos muito amplos e poderiam gerar questionamentos a respeito de que tarefa, coisa, algo ou atividade se tratava no item.

Para verificar se a população-alvo conseguiria compreender os itens e as instruções, a EMETA-S, com as modificações sugeridas pelos juízes, foi apresentada a uma amostra piloto, na qual foi previamente aplicado o MEEM (M=27,73; DP=2,05).

A aplicação da EMETA-S começava com a leitura das instruções em voz alta para os participantes. Após a leitura o aplicador questionava se eles haviam entendido. Caso os participantes afirmassem que sim, o pesquisador prosseguia; caso não, o pesquisador relia as instruções e perguntava qual ponto era difícil de ser compreendido. Um aspecto inicialmente sinalizado foi a dificuldade de compreender o quanto cada número valeria na resposta. Surgiram verbalizações como: "Como é mesmo? O número um é o que mesmo?". O pesquisador então esclarecia a dúvida e prosseguia para os exemplos, facilitando a compreensão, pois viu-se que os participantes conseguiram visualizar melhor como eram dispostas as afirmações e as alternativas de respostas.

Como treino, foi solicitado que respondessem à mesma afirmação vista nos exemplos. Após responderem, os participantes pediram ajuda para ver se tinham respondido corretamente, levando em conta como as afirmações acerca da metacognição se aproximavam ou não deles. Sanadas as dúvidas, o pesquisador solicitou aos participantes que continuassem a responder ao instrumento.

No decorrer da aplicação, os participantes verbalizaram que, para responder ao instrumento, estavam pensando sobre como se percebiam em época passada, ou seja, na época em que eram mais ativos laboralmente. Um exemplo desse tipo de verbalização foi "As frases estão me levando a pensar no antes, na época de trabalho." Tal fato poderia enviesar as respostas em futuras aplicações, já que a EMETA-S visa a avaliar a metacognição de idosos no seu momento de vida atual. Para evitar o viés e esclarecer o participante sobre o que deveria pensar em seu momento atual, julgou-se necessário alterar a instrução, de modo que, onde estava escrito "Leia cada uma e faça um "X" no menor círculo (...)", houve acréscimo de uma nova oração: "Pensando na sua vida atual, leia cada uma e faça um "X"(...)".

No meio da aplicação, permanecia a dúvida sobre ao que os números se referiam, principalmente entre os participantes com baixa escolaridade. Alguns exemplos de falas que indicam tais dúvidas: "O número um é o que mesmo?", "Se eu assinalar o número quatro, quer dizer ‘muito a ver comigo' ou ‘pouco a ver comigo?" Como sugestão, os participantes indicaram colocar junto aos círculos, em vez de números, descrições, como havia nas instruções. A sugestão foi incorporada à escala, de modo que foram acrescentados descritores nominais (ver Figura 2), retirados os números e reformulada a instrução.

 

 

A instrução apresentada inicialmente era:

"Eu vou lhe entregar uma folha com várias frases.

Leia cada uma e faça um "X" no número 1, que está acompanhado do menor círculo, se a frase não conseguir descrevê- lo, ou seja, se a frase não tiver nada a ver com você. Por outro lado, caso a frase o descreva totalmente, marque o número 4, que está acompanhado do maior círculo.

Você pode marcar qualquer número/círculo: do 1 até o 4. Mas preste atenção: quanto menor o número (círculo), menos a frase tem a ver com você e; quanto maior o número (círculo), mais a frase tem a ver com você."

Depois de incorporar a sugestão dos participantes, a instrução inicial modificou-se para:

"Eu vou lhe entregar uma folha com várias frases.

Leia cada uma e faça um "X" no menor círculo, se a frase não tiver nada a ver com você, ou seja, se a frase não conseguir descrevê-lo. Por outro lado, caso a frase tenha tudo a ver com você, marque o maior círculo.

Você pode marcar qualquer círculo: do menor até o maior. Mas preste atenção: quanto menor o círculo, menos a frase tem a ver com você e quanto maior o círculo, mais a frase tem a ver com você."

Houve alterações no segundo e no terceiro parágrafos das instruções, com a exclusão dos números que representavam as possibilidades de respostas, conforme ilustra a Figura 2. O instrumento reformulado foi aplicado em três novos participantes e o pesquisador observou que não houve dúvidas com relação a como responder a esta versão da escala. Os participantes também não precisaram recorrer ao pesquisador para lembrar o significado dos números nem precisaram retornar às instruções no começo do instrumento, pois havia descritores nominais que poderiam ser consultados no topo de cada bloco de itens.

Ao final da aplicação na amostra piloto, as sugestões dos participantes foram analisadas e julgadas importantes, o que provocou troca, acréscimo ou exclusão de palavras em seis itens, como o 54, que originalmente era apresentado do seguinte modo: "Depois de terminar um conserto em casa, me pergunto se podia ter feito de um jeito mais fácil", e passou a ser apresentado assim: "Depois de terminar um conserto ou de arrumar a casa, me pergunto se podia ter feito de um jeito mais fácil". A importância das contribuições dos juízes e participantes para o alcance dos objetivos do estudo e o aprimoramento da escala é discutida a seguir.

 

Discussão

Haynes, Richard, e Kubany (1995) comentam que a "avaliação de conteúdo" é uma etapa imprescindível no desenvolvimento de novos instrumentos. Ela é o início da associação de conceitos abstratos com indicadores mensuráveis. A validade de conteúdo, de modo geral, pode ser definida como o grau em que cada elemento de um instrumento de medida é relevante e representativo de um constructo específico. Dentre os elementos que fazem parte do um instrumento, são incluídos as instruções, o formato das respostas e os itens de forma individual (Alexandre & Coluci, 2011; Haynes et al., 1995;). Uma vez que, por meio dos procedimentos de verificação das evidências de validade baseadas no conteúdo, é possível avaliar se os itens estão se referindo à característica do comportamento em questão, alguns autores recomendam que tais evidências sejam proporcionadas com o auxílio de juízes especialistas no tema (Haynes et al., 1995; Pasquali, 1999). No presente estudo, a análise das evidências sobre a validade de conteúdo foi realizada por meio da avaliação da concordância das respostas de três juízes especialistas.

Vinte e quatro itens obtiveram baixos índices de concordância entre os juízes. Esses itens deveriam ser eliminados por não terem atingido índice de concordância de 80% (Pasquali, 1999), mas não foram eliminados neste momento. A EMETA-S, em nova etapa complementar a este estudo, será aplicada em uma amostra de aproximadamente 200 participantes e as respostas apresentadas por eles, nesses itens, serão submetidas à análise fatorial que confirmará ou não a necessidade de exclusão. Assim, os itens com baixo índice de concordância e baixa carga fatorial poderão ser definitivamente excluídos.

A análise dos juízes contribuiu substancialmente para o processo de validação de conteúdo, indicando quais itens poderiam gerar confusão na população-alvo, bem como incluindo comportamentos voltados à realidade brasileira. Esta etapa foi importante para a validação do instrumento, pois as sugestões serviam para facilitar a compreensão dos itens da EMETA-S. Assim, todas as sugestões dos juízes foram aceitas e incorporadas aos itens por serem úteis e relevantes para o aprimoramento da escala. Consequentemente, por meio dos ajustes proporcionados, aprimorou-se a escala antes que ela fosse aplicada em uma amostra maior.

Esta etapa identificou dificuldades na compreensão das instruções, dos exemplos e dos itens. Puderamse realizar novas adaptações dos itens e a adequação das instruções por meio das sugestões da própria população- -alvo. Outra importante constatação foi a dificuldade da população-alvo em compreender os descritores da escala Likert, que originalmente eram representados apenas com números e círculos que aumentavam gradualmente. A permanência dos círculos e a troca de números pela descrição do que simbolizavam foram essenciais para melhorar a compreensão dos participantes, além de antecipar possíveis contratempos nas aplicações futuras.

Ao longo do processo de investigação das evidências de validade baseadas no conteúdo e na análise semântica da EMETA-S, verificou-se a necessidade de modificar itens para torná-los mais objetivos, para não causar dúvidas entre os participantes e para proporcionar melhorias na descrição das instruções e na apresentação da escala.

Elaborar uma escala para mensurar de forma válida e fidedigna a metacognição pode ser considerado um desafio, tendo em vista que há poucos instrumentos destinados a avaliar as habilidades metacognitivas na terceira idade. Os relatos encontrados com foco nos idosos abrangiam habilidades metacognitivas específicas, principalmente a metamemória (Dixon et al., 1988; França, 2013; Hertzog et al., 1989). Vale ressaltar que apenas dois estudos pretenderam elaborar uma escala para mensuração da metacognição de forma ampla e contemplando apenas participantes idosos (Buckley, 2008; Klusmann et al., 2011).

O instrumento desenvolvido pretende contribuir à investigação da metacognição na população idosa e também pretende enriquecer a área de avaliação psicológica no Brasil. O processo de elaboração da Escala de metacognição sênior (EMETA-S) procurou seguir as diretrizes propostas na resolução n°. 02/2003 do Conselho Federal de Psicologia (CFP, 2003), que definiu os parâmetros para a elaboração, utilização e realização de estudos para verificar as evidências de validade e precisão de instrumentos.

A investigação das evidências de validade de conteúdo, realizada por três especialistas, foi importante para o aprimoramento da versão original do instrumento. Isto porque os juízes fizeram sugestões que facilitaram a compreensão dos itens que compõe a EMETA-S, evitando possíveis equívocos dos participantes. Além disso, analisaram os itens à luz das duas dimensões eleitas para avaliação (conhecimento metacognitivo e autorregulação), o que foi extremamente útil à seleção dos melhores itens para a versão final da escala. De igual modo, a apresentação do instrumento a uma amostra piloto, com a finalidade de verificar se os participantes conseguiriam compreender seus itens e instruções, proporcionou importantes reflexões sobre a apresentação da escala, viabilizando a adequação dos itens e instruções por meio de sugestões da própria população para a qual o instrumento se destinaria.

Em suma, pode-se dizer que os procedimentos metodológicos realizados foram pertinentes. Neste contexto, os métodos de validação da EMETA-S podem contribuir para o delineamento de futuras pesquisas sobre a construção de instrumentos. Do ponto de vista prático, o instrumento pode ser útil na exploração inicial das habilidades metacognitivas de idosos, de modo a proporcionar, no futuro, indicativos que facilitem aos profissionais a compreensão de tais habilidades e, consequentemente, a estimulação delas. No entanto, esta investigação deve ser considerada como um enfoque preliminar, visto que um instrumento precisa acumular evidências de validade.

Somente após a constatação de novas evidências de validade e do estabelecimento de normas da escala, ela poderá ser considerada uma forma válida e fidedigna na verificação das habilidades metacognitivas na terceira idade. Seguindo esse princípio, considera-se importante investigar as evidências de validade baseadas nas relações com variáveis externas (como testes avaliando construtos relacionados, um exemplo seria o Mini exame do estado mental) e novas evidências de validade por meio da análise da estrutura interna do teste, utilizando a análise fatorial confirmatória.

 

Referências

Alexandre, N. M. C., & Coluci, M. Z. O. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, 16(7), 3061-3068.         [ Links ]

Boruchovitch, E., Schelini, P. W., & Santos, A. A. A. (2010). Metacognição: conceituação e medidas. Em A. A. A. Santos, F. F. Sisto, E. Boruchovitch, & E. Nascimento (Orgs.). Perspectivas em avaliação psicológica (pp. 123-143). São Paulo: Casa do Psicólogo.         [ Links ]

Brown, A. (1997). Transforming schools into communuties of thinking and learning about serious matters. American Psychologist, 52(4), 399-413.         [ Links ]

Buckley, T. (2008). Measuring unawareness of cognitive decline in a population of elderly individuals: The cache county study. (Dissertação de Mestrado, State University, Utah). Recuperado de http://digitalcommons.usu.edu/cgi/viewcontent.cgi?article=1066&context=etd         [ Links ]

Buckley, T., Norton, M. C., Deberard, M. S., Welsh-Bohmer, K. A., & Tschanz, J. T. (2010). A brief metacognition questionnaire for the elderly: Comparison with cognitive performance and informant ratings the cache county study. International Journal of Geriatric Psychiatry, 25(7), 739-747.         [ Links ]

Brucki S. M. D., Nitrini R., Caramelli P., Bertolucci P. H. F., & Okamoto I. H. (2003). Sugestões para o uso do Mini exame do estado mental no Brasil. Arquivos de Neuro-Psiquiatria, 61, 777-781.         [ Links ]

Conselho Federal de Psicologia [CFP]. (2003). Resolução no. 02/2003. Recuperado de http://pol.org.br/legislacao/pdf/resolucao2003_2.pdf         [ Links ]

Dixon, R. A., Hultsch, D. F., & Hertzog, C. (1988). The Metamemory in Adulthood (MIA) Questionnaire. Psychopharmacology Bulletin, 24, 671-688.         [ Links ]

Dunlosky, J., & Metcalfe, J. (2009). Metacognition. Reino Unido: Sage Publications.         [ Links ]

Flavell, J. H. (1979). Metacognition and Cognitive Monitoring. American Psychologist, 34, 906-911.         [ Links ]

Flavell, J. H. (1987). Speculations about the nature and development of metacognition. Em F. E. Weinert, & R. H. Kluwe (Eds.), Metacognition, motivation and understanding (pp. 21-29). Hillsdale: Lawrence Erlbaum Associates.         [ Links ]

França, A. B. (2013). Escala metacognitivas para idosos: elaboração de itens e análise dos parâmetros psicométricos. (Dissertação de mestrado). Universidade Federal de São Carlos, São Carlos, Brasil.         [ Links ]

Grendene, M. V. C. (2007). Metacognição: uma teoria em busca de validação. (Dissertação de Mestrado). Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre, RS, Brasil.         [ Links ]

Haynes, S. N., Richard, D. C. S., & Kubany, E. S. (1995). Content validity in psychological assessment: a functional approach to concepts and methods. Psychological Assessment. 7(3), 238-247.         [ Links ]

Hertzog, C., Hultsch, D. F., & Dixon, R. (1989). Evidence for the convergent validity of two self-report metamemory questionnaires. Developmental Psychology, 25(5), 687-700.         [ Links ]

Instituto Brasileiro de Geografia e Estatística [IBGE]. (2010). Síntese dos indicadores sociais: uma análise das condições de vida da população brasileira. Rio de Janeiro: IBGE         [ Links ]

Jorm, A. (2004). The Informant Questionnaire on Cognitive Decline in the Elderly (IQCODE): A review. International Psychogeriatrics, 16, 1-19.         [ Links ]

Klusmann, V., Evers, A., Schwarzer, R., & Heuser, I. (2011). A brief questionnaire on metacognition: Psychometric properties. Aging & Mental Health, 15(8), 1052-1062.         [ Links ]

Neri, A. L., Yassuda, S. & Lasca, V. B. (2005). Metamemória e auto-eficácia: um estudo de validação de instrumentos de pesquisa sobre memória e envelhecimento. Psicologia: Reflexão e Crítica, 18, 78-90.         [ Links ]

Organização Mundial da Saúde [OMS] (2005). Envelhecimento ativo: uma política de saúde. (S. Gontijo Trad.). Organização Pan-Americana da Saúde: Brasília.         [ Links ]

Pascualon, J. F. (2011). Escala de avaliação da metacognição infantil: elaboração dos itens e análise dos parâmetros psicométricos. (Dissertação de Mestrado). Universidade Federal de São Carlos, São Carlos, SP, Brasil.         [ Links ]

Pascualon-Araújo, J. F., & Schelini, P. W. (2013). Escala de avaliação da Metacognição infantil: evidências de validade baseadas no conteúdo e análise semântica. Avaliação Psicológica, 12, 147-156.         [ Links ]

Pasquali, L. (1997). Psicometria: teoria e aplicações. Brasília: Editora Universidade de Brasília.         [ Links ]

Pasquali, L. (1999). Testes referentes ao construto: teoria e modelo de construção. Em L. Pasquali (Org.). Instrumentos Psicológicos: manual prático de elaboração (pp.37-71). Brasília, DF: Laboratório de Pesquisa em Avaliação e Medida – LabPAM.

Pasquali, L. (2003). Psicometria. Teoria dos testes na psicologia e na educação (2ª ed), Petrópolis, Rio de janeiro: Editora Vozes.         [ Links ]

Ponds, R. W. H. M., & Jolles, J. (1996). Memory complaints in elderly people: The role of memory abilities, metamemory, depression, and personality. Educational Gerontology, 22, 341-357.         [ Links ]

Portilho, E. M. L. (2006). As estratégias metacognitivas de quem aprende e de quem ensina. Em M. I. Maluf (Org.). Aprendizagem: tramas do conhecimento, do saber e da subjetividade (pp. 47-59). Petrópolis: Vozes,         [ Links ]

Portilho, E. M. L. (2008). Aprendizagem ao longo da vida. Revista Cenário Rural, 3(1), 13-24.         [ Links ]

Noronha, A. P. P., Freitas, F. A., & Ottati, F. (2002). Parâmetros psicométricos de testes psicológicos de inteligência. Arquivos de Neuropsiquiatria. 6(2), 195-201.         [ Links ]

Sé, E. V. G. (2006). Mente na Terceira Idade. Recuperado de http://www2.uol.com.br/vyaestelar/metacognicao.htm         [ Links ]

Troyer, A. K., & Rich, J. B. (2002). Psychometric properties of a new metamemory questionnaire for older adults. The journals of gerontology. Series B, Psychological sciences and social sciences, 57(1), 19-27.         [ Links ]

Zampieri, M., & Schelini, P. W. (2013). O uso de medidas intelectuais na análise do monitoramento metacognitivo de crianças. Psicologia: Teoria e Pesquisa. 29(2), 81-88.         [ Links ]

 

 

Recebido em agosto de 2013
Reformulado em novembro de 2013
2ª reformulação em março de 2014
Aprovado em abril de 2014

 

 

Sobre os autores

Alex Bacadini França: é doutorando em Psicologia na Universidade Federal de São Carlos – UFSCar. Mestre em Psicologia (bolsista FAPESP). Possui graduação em Comunicação Social.
Patrícia Waltz Schelini: possui graduação em Psicologia pela Pontifícia Universidade Católica de Campinas, mestrado e doutorado em Psicologia pela Pontifícia Universidade Católica de Campinas. Atualmente é professora adjunta do Departamento de Psicologia da Universidade Federal de São Carlos.

¹Esta pesquisa teve o apoio da Fundação de Amparo à Pesquisa do Estado de São Paulo – FAPESP.
²Endereço para correspondência: Programa de Pós-Graduação em Psicologia, Universidade Federal de São Carlos, Rod. Washington Luis, Km 235, 13565-905, São Carlos-SP. Tel.: (16) 3351-8475. E-mail: alex.tonante@gmail.com