Escala de Avaliação da Metacognição Infantil: evidências de validade e análise semântica

 

Scale to assess metacognition in children: evidence of validity and semantic analysis

 

Escala de Evaluación de la Metacognición Infantil: evidencias de validez y análisis semántico

 

 

Jussara F. Pascualon-Araujo^1;2; Patrícia Waltz Schelini

Universidade Federal de São Carlos

 

 

---

RESUMO

A metacognição corresponde a pensamentos e conhecimentos que os indivíduos possuem sobre seus próprios pensamentos e processos cognitivos. Tendo em vista a carência de instrumentos nacionais que mensurem essa capacidade, este estudo objetivou a elaboração de itens e análise das evidências de validade baseadas no conteúdo e análise semântica de uma escala destinada à avaliação da metacognição de crianças entre 9 e 12 anos de idade. A Escala de Metacognição elaborada obteve um índice de concordância de 70,3% na avaliação de especialistas na área que também sugeriram mudanças em alguns itens e instruções iniciais. A escala foi aplicada em duas amostraspiloto de 15 participantes com idades entre 9 e 11 anos que produziram outras modificações nas instruções e a redução do número de itens de 70 para 67. Os resultados obtidos foram favoráveis ao acúmulo de evidências de validade, entretanto, outros parâmetros psicométricos ainda devem ser avaliados.

Palavras-chave: metacognição infantil; avaliação psicológica; psicometria.

---

ABSTRACT

Metacognition correspond to thoughts and knowledge that individuals have about their own thoughts and cognitive processes. Because the lack of national instruments that measure this ability, this study aimed the development of items and analyses the evidence of validity based on content and semantic analysis of the scale for assessment metacognition of children between 9 and 12 years old. The Metacognition Scale obtained a concordance of 70.3% in the evaluation of experts and they also suggested little changes in some items and instructions. The scale was applied in two sample of 15 participants aged between 9 and 11 years and have produced other changes in the instructions and reducing the number of items 70 to 67. The results were favorable to the accumulation of the evidence of validity; however, other psychometric parameters must still be evaluated.

Keywords: metacognition of children; psychological assessment; psychometrics.

---

RESUMEN

La metacognición representa los pensamientos y conocimientos que las personas tienen acerca de sus propios pensamientos y procesos cognitivos. Dada la falta de instrumentos nacionales que miden esta capacidad, este estudio tuvo como objetivo la elaboración de ítems y análisis de las evidencias de validez basadas en el contenido y análisis semántico de una escala para la evaluación de la metacognición en niños entre 9 y 12 años de edad. La Escala de metacognición obtuvo una concordancia del 70,3% en la valoración de los expertos en el área que también propusieron cambios en algunos elementos y en las instrucciones iniciales. La escala se aplicó en una muestra piloto de 15 participantes de edades comprendidas entre los 9 y 11 años y se han producido otros cambios en las instrucciones y la reducción del número de ítems de 70 a 67. Los resultados fueron favorables a la acumulación de evidencia de validez, sin embargo, otros parámetros psicométricos aún no se han evaluado.

Palabras-clave: metacognición infantil; evaluación psicológica; psicometría.

---

 

 

O termo metacognição foi utilizado primeiramente por Flavell (1976, 1979) para se referir ao “conhecimento e cognição sobre o fenômeno cognitivo” (Flavell, 1979, p. 906), isto é, pensamentos e conhecimentos que o indivíduo possui sobre seus próprios pensamentos e processos cognitivos. A literatura apresenta outras definições subsequentes para o termo metacognição (Flavell, Miller, & Miller, 1999; Freire, 2009; Jacobse & Harskamp, 2012; Jou & Sperb, 2006; Leite & Darsie, 2010; Neves, 2007; Panaoura, & Philippou, 2005; Sternberg, 2000; Wells & Cartwright-Hatton, 2004), entretanto, percebe-se que todas se baseiam na formulação inicial de Flavell (1976, 1979) e possuem como ponto central o conhecimento e o controle que os indivíduos adquirem sobre seus próprios processos mentais. Por se tratar de um autor pioneiro, cujas formulações deram origem a definições subsequentes, maior ênfase será dada a Flavell.

Com o intuito de explicar o conceito e especificar os domínios da metacognição, Flavell (1979) propõe o Modelo do Monitoramento Cognitivo (Model of Cognitive Monitoring) que sugere que o monitoramento dos processos cognitivos ocorre por meio da ação e interação de quatro classes de fenômenos: a) o conhecimento metacognitivo; b) as experiências metacognitivas; c) os objetivos cognitivos, e; d) as ações ou estratégias cognitivas. O conhecimento metacognitivo é definido por Flavell (1979) como a crença que um indivíduo possui sobre ele próprio, quais são as variáveis e como elas atuam no curso e na resposta final dos processos cognitivos. Essas variáveis são divididas em variáveis pessoais (conhecimento sobre si mesmo e outras pessoas como sendo seres cognitivos); variáveis da tarefa (entendimento de como variações nas habilidades necessárias para lidar com a tarefa influenciam o manejo e o alcance dos objetivos propostos) e; variáveis de estratégia (quais são as estratégias mais eficazes para atingir determinados objetivos). Já a experiência metacognitiva abrange vivências cognitivas ou afetivas que acompanham e pertencem a qualquer empreendimento cognitivo, são as percepções conscientes que podem ser observadas antes, durante ou após a concretização de um processo cognitivo. Pode estar conexa à percepção de fracasso ou sucesso, exercendo, muitas vezes, influência sobre a atividade cognitiva e permitindo a mudança de objetivos (Boruchovitch, Schelini, & Santos, 2010; Flavell, 1979, 1987). Em relação à terceira classe de fenômenos, os objetivos cognitivos, Flavell (1979) os relaciona aos intuitos dos processos cognitivos, isto é, aquilo que o indivíduo pretende alcançar com determinado processo cognitivo. Por fim, as ações ou estratégias cognitivas são os comportamentos ou cognições empregados para atingir os objetivos, ou seja, são os meios empregados para alcançar os propósitos estabelecidos.

Posteriormente, Flavell (1987) expõe um novo modelo para explicar o funcionamento metacognitivo composto apenas por três elementos: o conhecimento metacognitivo, o monitoramento cognitivo e a autorregulação cognitiva. O conhecimento metacognitivo diz respeito ao conhecimento adquirido sobre questões cognitivas, o que o indivíduo aprendeu ao longo de sua vida sobre cognição. O autor subdivide esse conceito em três variáveis: a) variáveis da pessoa; b) variáveis da tarefa e, c) variáveis da estratégia. O monitoramento cognitivo e a autorregulação cognitiva se relacionam a atividades orientadas pelo conhecimento metacognitivo que oferecem dados sobre a evolução do indivíduo em algum empreendimento cognitivo. Frequentemente, esses dados são originados de experiências metacognitivas, experiências afetivas ou ainda experiências cognitivas relacionadas a um empreendimento cognitivo como, por exemplo, o sentimento que o indivíduo experiencia quando percebe que não entendeu os últimos parágrafos lidos de um texto. Portanto, como o próprio autor afirma, percebe-se que esses três conceitos – conhecimento metacognitivo, monitoramento e autorregulação cognitiva – atuam juntos, um interagindo sobre outro de maneira a influenciar as atividades cognitivas.

Apesar de o modelo criado por Flavell em 1987 abranger os mesmos pontos do modelo proposto por este mesmo autor em 1979, nota-se uma sutil diferenciação entre eles. O Modelo do Monitoramento Cognitivo de 1979 aloca o termo estratégia (ou ação) como um dos quatro fenômenos que interagem entre si para a ocorrência do monitoramento dos processos cognitivos e também como uma das variáveis do conhecimento metacognitivo, já o modelo proposto em 1987 situa o termo estratégia como uma variável do conhecimento metacognitivo apenas. Mesmo considerando a sutil diferenciação, o conceito de “estratégia” parece não ter sofrido alterações.

O novo modelo de Flavell (1987) enfatiza ainda uma possível interação entre o desenvolvimento dos processos metacognitivos e os processos de informação elementares, como saber ler, mencionando o efeito da extensão de algumas limitações em conteúdos específicos sobre o desenvolvimento de alguma habilidade metacognitiva. Por exemplo, conhecer poucas estratégias para a resolução de um problema matemático limita o aluno na habilidade metacognitiva de autorregulação, ele pode ser capaz de avaliar a estratégia para a resolução como inadequada a seus objetivos, porém, pode permanecer nela porque não apresenta conhecimento sobre outras estratégias. O autor explica que somente após o indivíduo possuir um determinado conhecimento sobre um tema específico é que ele pode desenvolver conhecimento metacognitivo sobre esse mesmo tema. Assim, como exemplifica Flavell (1987), um indivíduo que não é alfabetizado, isto é, não sabe ler e escrever, não poderia desenvolver habilidades metacognitivas para a leitura de textos. Esse indivíduo não poderia pensar que uma estratégia eficaz para não cometer erros durante a leitura de um livro seria ler as palavras mais devagar ao invés de mais rápido, uma vez que ele não sabe ler e não desenvolveu essas diferentes estratégias para compará-las entre si e selecionar a mais adequada aos objetivos propostos.

Revisando a literatura sobre metacognição, nota-se uma concentração principalmente na área da educação relacionando habilidades metacognitivas com desempenho acadêmico e processos de aprendizagem. Nesse contexto e analisando um conjunto de artigos específicos sobre o conceito metacognição, Andretta, Silva, Susin e Freire (2010) destacaram a relação direta entre melhor capacidade metacognitiva e melhores habilidades de aprendizagem, uma vez que a primeira é considerada como uma ferramenta promotora e facilitadora do aprender. Outro exemplo é o estudo de Vadhan e Stander (1994) que observaram que notas mais elevadas em provas estão diretamente relacionadas ao maior desenvolvimento e utilização de habilidades metacognitivas, suscitando a possibilidade de estas habilidades auxiliarem no processo de aprendizagem. Na mesma linha de investigação, temse Boruchovitch (1999) que, mensurando a utilização e seleção de estratégias metacognitivas de aprendizagem, concluiu que alunos que apresentam desempenho escolar satisfatório são mais hábeis nessas atividades do que alunos com desempenho não satisfatório.

Metcalf (2009) parece ir ao encontro de Vadhan e Stander (1994) e Boruchovitch (1999), acrescentando que a habilidade metacognitiva mais relevante para a aprendizagem é o monitoramento metacognitivo, que permite ao indivíduo avaliar se compreendeu a informação apresentada e identificar corretamente o ponto mal compreendido. Abordando o contexto específico da leitura, Mokhtari e Reichard (2002) encontraram que leitores que avaliam suas habilidades como excelentes apresentaram maior uso de estratégias de resolução de problemas do que leitores que avaliaram suas habilidades como não tão boas.

Do exposto, pode-se perceber que a utilização das habilidades metacognitivas está relacionada a um melhor desempenho acadêmico por parte dos alunos e, sendo assim, investigar a existência e a utilização destas habilidades pelos indivíduos revela-se como uma importante estratégia para auxiliar na aprendizagem. Entretanto, antes de ensinar os alunos a utilizar as habilidades metacognitivas, faz-se necessária a investigação sobre a existência das mesmas no repertório dos indivíduos. Uma maneira frequentemente utilizada para tanto é a aplicação de instrumentos específicos para mensurar a metacognição.

A literatura internacional apresenta alguns instrumentos destinados a essa finalidade como o Inventário de Conscientização Metacognitiva (MAI – Metacognitive Awareness Inventory) que, formulado por Shraw e Sperling- Denisson (1994, citado por Panoura & Philippou, 2005), é constituído por 52 questões que avaliam a utilização de determinadas habilidades cognitivas em contextos específicos, por exemplo, a organização de informações recebidas. Dois exemplos de itens do MAI são: “Eu sou bom em organizar informação” (“I am good at organizing information”) e “Eu me pergunto se estou alcançando meus objetivos” (“I ask myself if I am meeting my goals”).

Também é possível citar o Inventário de Consciência Metacognitiva de Estratégias de Leitura (Metacognitive Awareness of Reading Strategies Inventory – MARSI), formulado por Mokhtari e Reichard (2002), que mensura a consciência do uso de estratégias de leitura em crianças com idade entre seis e 12 anos enquanto trabalham em tarefas de leitura. Baseando-se no pressuposto compartilhado por vários autores de que consciência e monitoramento dos próprios processos de compreensão são aspectos críticos para a habilidade de leitura, alguns itens compreendidos no inventário são: “Eu tenho um propósito na mente enquanto eu leio” (“I have a purpose in mind when I read”), “Eu paro de tempos em tempos e penso no que eu estou lendo” (“I stop from time to time and think about what I’m reading”) e “Eu tomo notas enquanto leio” (“I take notes while reading”).

Outro instrumento internacional é o Questionário de Lacuna na Mente (Blank in the Mind Questionnaire – BIMQ) criado por Moraitou e Efklides (2009) que tem por objetivo diferenciar experiências indicativas de lacuna na memória de experiências indicativas de lacuna no conhecimento. Os autores relacionam a lacuna da mente às experiências metacognitivas. Diferentemente do fenômeno de lacuna no conhecimento, no qual o indivíduo não possui a informação necessária para a realização de uma tarefa, isto é, a informação é desconhecida por ele, a lacuna na mente diz respeito a um esquecimento temporário de alguma informação já conhecida pelo indivíduo. A lacuna na mente se relaciona com a metacognição, segundo os autores, pois a percepção de sua ocorrência exige a identificação de uma falha em um processo cognitivo e, como esta identificação acontece durante um empreendimento cognitivo, faz parte da experiência metacognitiva. O BIMQ é um instrumento de autorrelato formado por 29 itens que avaliam as experiências de lacuna na mente e no conhecimento, bem como as reações negativas relacionadas à falha na memória. Um exemplo de item relacionado à lacuna na mente é “Eu me esqueci o que eu queria dizer” (“I forgot what I wanted to say”); um item de lacuna no conhecimento seria “A questão era muito difícil” (“The question was very difficult”) e um item representativo de reações negativas relacionadas à memória é: “Eu estava triste” (“I was sad”).

Têm-se também os Questionários Metacognitivos (MCQ – Meta-Cognitions Questionaire), elaborados por Cartwright-Hatton e Well (1997) e o MCQ – 30, versão reduzida do MCQ, criada por Wells e Cartwright-Hatton (2004). Esses questionários são formados por afirmações sobre crenças e processos envolvidos nos pensamentos do próprio indivíduo, fundamentando-se no pressuposto de que alguns aspectos da metacognição estão relacionados ao desenvolvimento e à manutenção de desordens psicológicas observadas em quadros clínicos, como transtorno de ansiedade generalizada, síndrome do pânico, transtorno obsessivo compulsivo e hipocondria. Nesse sentido, as crenças na desordem psicológica seriam um componente metacognitivo que contribui para padrões de respostas mal adaptadas e para o desenvolvimento e persistência de desordens psicológicas (Cartwright-Hatton & Well, 1997). Alguns exemplos de itens são: “Eu preciso me preocupar para me manter organizado” (“I need to worry in order to remain organised”); “Eu deveria ter controle dos meus pensamentos o tempo todo” (“I should be in control of my thougths all of the time”) e “Eu não posso ignorar minhas preocupações” (“I cannot ignore my worrying thoughts”).

Jacobse e Harskamp (2012) elaboraram o VisA (Visualization and Accuracy – Visualização e Acurácia), um instrumento que engloba julgamentos de previsão, julgamentos pós atividade e visualizações de problemas para acessar a combinação entre monitoramento metacognitivo e regulação. Diferentemente dos instrumentos apresentados, o VisA é formado por quatro problemas e, em cada um deles, o respondente é convidado a dividir a resolução em várias etapas que compreendem fazer um esquema dos passos que serão seguidos e também dizer seu nível de confiança sobre o alcance da resposta correta antes e após a resolução.

Finalmente, no que se refere à literatura internacional, cabe citar um questionário de tarefas específicas sobre estratégias de aprendizagem, elaborado por Schellings (2011). “Eu pensei sobre o melhor jeito para ler o texto” ("I thought about the Best way to read the text”) e “Eu notei palavras no texto que eu não sabia” ("I noticed words in the text that I did not know") são exemplos de itens contidos no questionário.

Já na literatura nacional, pode-se citar a Escala de Estratégias de Leitura – Formato Universitário, elaborada por Joly, Cantalice e Vendramini (2004), que se baseou na MARSI (Mokhtari e Reichard, 2002) e em outros instrumentos destinados à avaliação de estratégias de leitura. É constituído por 45 afirmações que avaliam o tipo de estratégia de leitura e a frequência com que ela era utilizada antes, durante e após a leitura de um texto. Três categorias de afirmações foram elaboradas: estratégias metacognitivas globais (“Verificar o que já sei e conheço sobre o assunto tratado no texto”, é um exemplo de item); estratégias metacognitivas de apoio (“Usar marca texto para destacar as informações que acho importantes para lembrá-las depois”); e estratégias metacognitivas de resolução de problemas (“Analisar se as informações são lógicas e fazem sentido para checar minha compreensão”).

Derivadas da Escala de Estratégias de Leitura – Formato Universitário podem ser citadas também a Escala de Estratégias de Leitura – Nível Fundamental I (Joly, 2006) e a Escala Metacognitiva de Leitura Aplicada ao Ensino Médio – EMeL-EM (Joly, Santos, & Marini, 2006). Ambas têm como objetivo avaliar o tipo e a frequência de estratégias metacognitivas que os indivíduos utilizam antes, durante e após a leitura de textos. Os respondentes devem ler cada item e escolher, em uma escala do tipo Likert de três pontos que indica frequência de comportamento emitido, a alternativa que mais lhe descreve diante de afirmações como: “Fazer anotações ao lado do texto”, “Dar uma olhada na quantidade de páginas” e “Parar de ler para ver se eu estou entendendo”.

Outro instrumento é a Escala de Estratégias de Aprendizagem para Alunos do Ensino Fundamental (EAEF), formulada por Boruchovitch e cols. (2006) que, por meio de uma entrevista estruturada, investiga as estratégias de aprendizagem de alunos do Ensino Fundamental. Os itens são relativos a situações análogas às situações de ensino e aprendizagem reais dos participantes, investigando mais especificamente a aprendizagem em sala de aula, o estudo em casa, a realização de tarefas escolares e a preparação para as provas. Constituem-se como integrantes da escala itens como: “Você costuma ‘se esquecer’ de fazer o dever de casa?”; “Você percebe quando não entende o que está lendo?” e “Quando você estuda, você percebe se não está conseguindo aprender?”.

A Escala de Avaliação das Estratégias de Aprendizagem para o Ensino Fundamental (EAVAP-EF), de autoria de Oliveira, Boruchovitch e Santos (2010), é mais um exemplo de instrumento nacional destinado à avaliação de estratégias cognitivas e metacognitivas de aprendizagem de crianças do ensino fundamental. A EAVAP-EF é uma escala do tipo Likert de três pontos, contendo itens como: “Você costuma grifar as partes importantes do texto para aprender melhor?”; “Quando você estuda, percebe se não está conseguindo aprender?” e “Você costuma se distrair ou pensar em outra coisa quando está lendo ou fazendo o dever de casa?”.

Focalizando apenas os instrumentos nacionais, pode-se observar uma concentração na área de leitura e aprendizagem de conteúdos acadêmicos, não tendo sido encontrado um instrumento que incluísse itens referentes à metacognição aplicada em outros contextos do dia a dia, como aqueles relativos a atividades corriqueiras, feitas em casa e atividades de lazer. As atividades não acadêmicas também envolvem o uso de habilidades metacognitivas. Assim, uma criança que se questiona se entendeu o que assistiu em um programa na televisão ou que pensa em diferentes maneiras para brincar com um jogo e escolhe a melhor, se vale de habilidades metacognitivas. Vale ressaltar que a ênfase dos instrumentos tende a recair sobre o uso de estratégias metacognitivas. A proposta da escala, cuja análise das evidências de validade de conteúdo é apresentada no presente estudo, tem como ideia subjacente a avaliação da metacognição em termos de conhecimento e autorregulação metacognitivos.

Portanto, tendo em vista esse quadro, surge a oportunidade de elaboração de uma forma de avaliação que abranja habilidades além das estratégias metacognitivas em contextos de sala de aula e de aprendizagem escolar. Espera-se que o instrumento aqui proposto contribua para o aumento do conhecimento sobre a metacognição, uma vez que o fato de uma mesma escala abordar situações acadêmicas e não acadêmicas proporcionaria uma amostra de comportamento mais ampla de cada indivíduo, valorizando, inclusive, a importância da estimulação das habilidades metacognitivas em toda e qualquer resolução de problemas que envolva a cognição.

Desse modo, o objetivo do estudo foi elaborar um instrumento que avaliasse as estratégias metacognitivas de participantes entre nove e 12 anos de idade, especificamente no que se referia ao conhecimento metacognitivo e ao controle ou autorregulação cognitiva. Além disso, pretendeu-se investigar, por meio de especialistas, as evidências de validade baseadas no conteúdo e também realizar a análise semântica da escala, por meio da aplicação em amostra piloto.

 

Método

Participante

Para analisar as evidências de validade baseadas no conteúdo, participaram três professores de duas universidades públicas e de uma universidade particular do Estado de São Paulo, sendo dois especialistas em metacognição e um especialista em elaboração de instrumentos psicológicos. Para a realização da análise semântica utilizouse uma amostra formada por dois grupos de alunos, um proveniente de salas do programa de Aceleração da Aprendizagem (PAA) e outro proveniente de salas com alunos regulares (SR), totalizando 15 alunos matriculados em uma escola municipal de uma cidade do interior do Estado de São Paulo. O grupo PAA foi constituído por 10 alunos, sete meninos e três meninas, com idade entre nove e 11 anos que participavam do Programa de Aceleração em razão de apresentarem baixo desempenho acadêmico, isto é, apresentarem um rendimento acadêmico inferior ao rendimento esperado de acordo com a idade cronológica. Esse grupo foi escolhido, pois se considerou que ele representaria o estrato da população que poderia exibir maior dificuldade na compreensão das instruções e dos itens da escala, uma vez que eles já apresentavam dificuldades acadêmicas evidenciadas. Já o grupo SR foi formado por cinco alunos, três meninos e duas meninas, com idades entre nove e 10 anos, selecionados por representarem as faixas etárias mais baixas utilizadas no estudo e por não apresentarem dificuldade de leitura, uma vez que é necessário que os alunos leiam os itens sem ajuda externa.

Instrumento

Foi utilizada a Escala de Metacognição (EMETA) elaborada para atingir os objetivos deste trabalho. A EMETA é uma escala do tipo Likert de seis pontos, sendo que o participante, a partir da leitura de afirmações, deve assinalar uma dentre seis possibilidades de resposta, ou seja, aquela que mais se parece com ele. As possibilidades de resposta são representadas ao mesmo tempo por números (entre 1 e 6) e círculos, que vão aumentando de acordo com a numeração, conforme demonstra a Figura 1.

 

 

Se um participante considerar que determinado item da escala não é capaz de descrevê-lo ou representá-lo, ele deve assinalar a primeira coluna, com o número um acompanhado pelo menor círculo. Se, ao contrário, acreditar que o item é capaz de representá-lo completamente, assinala a última coluna, com o número seis acompanhado do maior círculo.

A EMETA foi inicialmente formada por três exemplos já respondidos compondo as instruções iniciais, um item para o participante responder sozinho e a escala propriamente dita, constituída por 70 itens divididos em duas subescalas: a subescala destinada à avaliação do conhecimento metacognitivo e a subescala para avaliação do controle ou autorregulação cognitiva. Durante o procedimento, após aplicação na amostra PAA, a escala passou por algumas alterações. O número de exemplos que o participante deveria responder sozinho aumentou de um para quatro e o total de afirmações da escala passou de 70 para 67. Alguns exemplos de itens que compõem a EMETA são: “Durante uma brincadeira, vejo se estou prestando atenção em como estou me saindo nela”; “Enquanto assisto a um programa de televisão me pergunto se estou ou não o entendendo”; “Durante uma brincadeira penso no que sou bom e no que não sou bom”; “Eu sei o que sou e o que não sou capaz de fazer”; “Quando preciso lembrar de várias informações juntas, crio uma ordem entre elas” e “Quando quero prestar atenção a um programa de televisão, assisto-o sozinho”. A configuração dos itens como foram apresentados aos participantes pode ser observada na Figura 2.

 

 

Procedimentos

O procedimento utilizado foi submetido e aprovado pelo Comitê de Ética em Pesquisa com seres humanos. Inicialmente a EMETA foi encaminhada via correio eletrônico para três juízes. Dois especialistas em metacognição analisaram a escala em termos da representatividade dos itens em relação aos construtos investigados (conhecimento metacognitivo e controle ou autorregulação cognitivos) e da escolha dos itens ter sido apropriada e relevante. Já o especialista em elaboração de instrumentos analisou a adequação das instruções, exemplos, itens e formato da escala. As respostas provenientes dessa etapa foram analisadas de acordo com sua pertinência e relevância para o aprimoramento da Escala de Metacognição.

Logo após essa análise, deu-se início às aplicações nas amostras de participantes entre nove e 11 anos PAA e SR. Antes das aplicações, foi realizado o contato com uma instituição de ensino, solicitando a autorização para a realização do procedimento de coleta de dados com os alunos, sendo que, nesse contato inicial ocorreu uma breve apresentação da pesquisa, explicitação da sua relevância e contribuição para a educação, além da apresentação da EMETA que seria utilizada com os alunos. Após obtenção de autorização por parte da diretoria da instituição, o Termo de Consentimento Livre e Esclarecido (TCLE) foi encaminhado aos responsáveis pelos alunos selecionados por meio das educadoras de cada sala. Apenas alunos cujos pais autorizaram a participação constituíram as amostras desta pesquisa.

A aplicação da EMETA nas duas amostras de participantes ocorreu em dois momentos distintos, com um intervalo de 10 dias entre eles, sendo a primeira aplicação realizada na amostra PAA. O mesmo procedimento foi utilizado nas duas amostras: os alunos foram retirados da sala de aula e conduzidos até a biblioteca da escola e solicitados a se sentarem um ao lado do outro. As folhas contendo as instruções, os exemplos e os itens foram entregues para cada um. Em seguida, as instruções foram lidas em voz alta e, após isto, foram realizados alguns questionamentos aos participantes a fim de verificar se eles não haviam entendido alguma palavra, se havia alguma dúvida ou se sabiam o que deveria ser feito.

Primeiramente foi perguntado aos participantes: “Vocês entenderam o que têm que fazer?”. Se a resposta fosse negativa, as instruções eram lidas novamente e depois era repetida a pergunta inicial. Se a resposta fosse afirmativa era dito: “Expliquem o que vocês entenderam que devem fazer”. Se as verbalizações apresentadas estivessem corretas, os participantes eram questionados sobre dúvidas em relação ao significado de palavras. Ao invés disso, se as verbalizações fossem julgadas como incorretas, as instruções eram novamente lidas e, ao final, era pedido que explicassem o que haviam entendido. Esse procedimento se repetiu até que todos entendessem a tarefa proposta.

Eliminadas as dúvidas em relação ao que fazer, os significados das palavras eram questionados aos indivíduos: “Tem alguma palavra que vocês não sabem o que é?”. Se os participantes respondessem que não, a aplicação do instrumento prosseguia. Porém, se algum participante não soubesse o significado de qualquer palavra, era dito: “Circulem as palavras que vocês não sabem o que são”. Após isso, as palavras circuladas eram explicadas aos participantes e eles eram questionados se tinham alguma sugestão de palavra para substituí-la. Após as instruções, os exemplos foram lidos em voz alta e, em seguida, os participantes responderam aos itens da escala, sendo solicitado que circulassem todos aqueles itens ou palavras que não entendessem.

Resultados e Discussão

O processo de elaboração da escala procurou ir ao encontro da situação atual da área de avaliação psicológica no Brasil, acordando com a resolução n°. 02/2003 do Conselho Federal de Psicologia que, dentre outros aspectos, define diretrizes para a elaboração, utilização e realização de estudos para verificar as evidências de validade e precisão de instrumentos. Assim, este estudo tenta contribuir com a evolução da área de avaliação psicológica no país e com a literatura sobre metacognição.

Primi, Muniz e Nunes (2009) comentam que estudos sobre validade de conteúdo verificam a representatividade dos itens de um instrumento em relação às dimensões que ele se propõe a mensurar. Essa análise deve ser realizada por juízes peritos no tema, uma vez que sua tarefa é avaliar se os itens estão se referindo ou não a característica do comportamento em questão (Pasquali, 1999). Dessa maneira, quando se solicita que especialistas no conceito abrangido pelo instrumento julguem a adequação dos itens ao construto proposto, realiza-se análise das evidências de validade de conteúdo.

No presente estudo, a análise das evidências acerca da validade de conteúdo foi realizada por meio da avaliação da concordância das respostas de dois especialistas em metacognição. A observação das respostas apresentou um índice de concordância de 70,3%, significando que, aproximadamente 70% dos itens foram classificados igualmente entre conhecimento metacognitivo e controle ou autorregulação cognitivos.

Conforme comentado por Urbina (2007) e por Primi, Muniz e Nunes (2009), os dados referentes ao cálculo da concordância entre as respostas dos especialistas constituem evidências de validade de conteúdo, uma vez que esses especialistas avaliam se os itens do teste estão relacionados ao construto a ser medido pelo instrumento. Em outras palavras, os especialistas analisam cada item e verificam se eles estão de acordo com o conceito e dimensões que o pesquisador se propôs a medir.

Dessa maneira, quando a porcentagem de concordância entre os especialistas é baixa, indica que a dimensão do construto que se pretendia abranger em alguns itens não estava bem delimitada e, por isto, os especialistas atribuíram diferentes dimensões a eles. Nas ocasiões em que isso ocorre, os itens e a própria definição de construto utilizada devem ser revistos e até reformulados antes de o instrumento ser aplicado na população alvo. No entanto, quando a porcentagem encontrada é alta, isto significa que os especialistas classificaram os itens como pertencentes às mesmas dimensões e, por isto, são considerados adequados para mensurar a característica em questão, podendo ser aplicados na população.

Como observado anteriormente, 70,3% de concordância significa que houve cinco itens que apresentaram um índice de concordância igual a 0% e que, segundo Pasquali (1999), deveriam ser eliminados, uma vez que há a necessidade de, pelo menos, um índice de concordância de 80% como critério de permanência do item ao traço a que teoricamente se refere. Entretanto, tais itens não foram eliminados no presente estudo, pois a etapa seguinte da elaboração da EMETA prevê sua aplicação em uma amostra de aproximadamente 200 participantes e as respostas apresentadas por eles nesses e nos outros itens serão submetidas à análise fatorial que confirmará ou não a necessidade de exclusão desses cinco e de outros itens.

Os especialistas em metacognição também apresentaram algumas sugestões para modificações na redação dos itens que constituíam o instrumento. Para alguns itens foram apresentados comentários relacionados a mudanças na redação, como troca de palavras, troca da ordem das palavras e exclusão ou inserção de palavras. Por exemplo, no item “Eu entendo melhor uma coisa quando são usados desenhos”, foi sugerida uma troca de palavras alterando-o para “Eu entendo melhor uma explicação quando são utilizados desenhos”. Todas as sugestões propostas pelos especialistas abrangeram pequenas alterações como a exposta anteriormente e, por serem julgadas como pertinentes à análise semântica, foram incorporadas aos itens.

Por sua vez, o especialista em elaboração de instrumentos propôs algumas alterações na redação das frases que compunham as instruções da escala, mais especificamente no que se refere aos exemplos contidos em tais instruções. As instruções iniciais apresentadas ao especialista e as modificações após a incorporação das sugestões encontram-se representadas na Tabela 1.

 

 

As sugestões propuseram a inserção das palavras “respondente”, “pessoa que respondeu” e “No caso, ela”. As demais modificações foram decorrentes de concordância entre sujeito e predicado que se fizeram necessárias após reformulação dos exemplos. Todas as sugestões propostas pelo especialista em elaboração de instrumentos foram incorporadas às instruções, exceto a inclusão da palavra respondente. Julgou-se que essa era uma palavra de difícil compreensão para os participantes, especialmente aos pertencentes à menor faixa etária da amostra (nove anos de idade). Optou-se por inserir em seu lugar a expressão pessoa que respondeu por ser esta uma expressão equivalente e, provavelmente, mais usual que a outra. Entendeuse que essa alteração, posterior à sugestão do especialista, não prejudicaria a compreensão dos exemplos, visto que a expressão “pessoa que respondeu” também foi uma inserção proposta no segundo exemplo.

Ainda em relação às observações do especialista em elaboração de instrumentos, a instrução sobre a forma de responder a escala após incorporação das sugestões propostas ficou: “Eu vou lhe entregar uma folha com várias frases.

Leia cada uma e faça um X no número 1, que está acompanhado do menor círculo, se a frase não conseguir lhe descrever, isto é, se a frase não tiver nada a ver com você. Caso a frase lhe descrever totalmente, marque o número seis, que está acompanhado do maior círculo.

Você pode marcar qualquer número/círculo: do 1 até o 6. Mas preste atenção: quanto menor o número (círculo) menos a frase tem a ver com você e, quanto maior o número (círculo) mais a frase tem a ver com você”.

Considerou-se que o encaminhamento da Escala de Metacognição aos três especialistas foi uma etapa importante para a elaboração do instrumento, visto que eles apresentaram sugestões com o objetivo de facilitar a compreensão dos itens e das instruções que compuseram a EMETA. Possivelmente, as intervenções resultantes da análise dos especialistas evitaram algumas incompreensões dos participantes e, consequentemente, proporcionaram ganho de tempo, uma vez que evitaram a condução de inúmeras aplicações em diferentes amostras piloto para a identificação de pontos falhos.

Com a finalidade de verificar se os participantes conseguiriam compreender os itens e as instruções da Escala de Metacognição, foi planejada a aplicação em uma amostra de participantes entre nove e 11 anos. Essa aplicação possibilitou a observação de comportamentos durante a realização da tarefa, permitindo a identificação de dificuldades não apontadas pelos especialistas. A análise semântica também foi proporcionada por essa etapa, pois se observou diretamente se uma amostra da população alvo compreendia o que foi redigido nas instruções e itens da Escala de Metacognição.

Durante a aplicação na amostra Programa de Aceleração da Aprendizagem (PAA), quando foi pedido que os participantes dissessem o que haviam entendido da tarefa proposta, um deles disse: “Vai vendo o que você se alembra (sic) ou o que você faz e vai colocando o X onde mais se parece com você”.

Por meio da observação de trechos do discurso dos participantes, como o transcrito acima, foi considerado que a tarefa havia sido compreendida adequadamente pelos alunos da amostra PAA. Entretanto, no momento em que começaram a responder aos itens, todos os participantes pediram ajuda. Durante a realização da tarefa, pela segunda vez, os participantes da amostra PAA fizeram poucas perguntas e elas estavam relacionadas a incompreensões de palavras, como por exemplo, a palavra “desenho” e o verbo “ganhando”. Por se perceber que, após a leitura em voz alta das palavras questionadas os participantes disseram ter compreendido o item, julgou-se que a incompreensão era resultante da própria dificuldade de leitura (e não de compreensão de significado) apresentada pelo grupo, uma vez que eram palavras compostas pelas letras “nh”. Sendo assim, nenhuma mudança nas palavras foi realizada.

Contudo, como já apresentado na seção Instrumento, uma pequena modificação foi realizada previamente à aplicação na amostra Sala Regular (SR) resultante da aplicação em PAA. Pelo entendimento de que a dificuldade observada nos alunos no momento da execução da tarefa possa ter sido resultado de um número insuficiente de itens de treino que compunham as instruções iniciais, foram acrescentados três itens ao já existente. Dessa maneira, os itens de treino aumentaram de um para quatro.

Excetuando-se esse fato, a aplicação na amostra SR seguiu os mesmos procedimentos da aplicação na amostra PAA. Foi solicitado que os participantes verbalizassem o que haviam entendido sobre a tarefa. Um dos participantes disse: “Eu tenho que ler aqui e marcar um X onde é mais parecido comigo”.

Foi considerado que os alunos haviam entendido a tarefa e, diferentemente da amostra PAA, os participantes da amostra SR não apresentaram dificuldades no momento de responder aos itens, isto é, responderam sem pedir auxílio. Pode-se supor que a ausência de dificuldade em realizar a tarefa propriamente dita seja resultado da inserção de mais itens para os participantes treinarem antes de responderem à escala. A aplicação prévia que ocorreu em uma amostra piloto também forneceu informações relevantes para a adequação da Escala de Metacognição, uma vez que as dificuldades encontradas pelos participantes puderam ser observadas mais diretamente e modificadas para as aplicações futuras.

 

Considerações finais

A oportunidade de elaborar uma escala surgiu após vasta pesquisa na literatura nacional e internacional que apontou número reduzido de instrumentos direcionados a avaliar as habilidades metacognitivas. Especialmente na literatura nacional, o pequeno número de relatos encontrados abrangia habilidades metacognitivas específicas, como estratégias direcionadas à leitura, compreensão de textos e resolução de problemas matemáticos (Chahon, 2006; Joly, 2006; Joly, Cantalice, & Vendramini, 2004; Joly, Santos, & Marini, 2006; Neves, 2007), além de outros direcionados a aspectos da aprendizagem (Davis, Nunes, & Nunes, 2005; Joly, Santos, & Marini, 2006; Oliveira, Boruchovitch & Santos, 2010). Entretanto, nenhuma produção direcionada à avaliação das habilidades metacognitivas em um contexto além do educacional foi observada, o que despertou o interesse pela elaboração de um instrumento que abordasse este ponto de maneira a proporcionar uma avaliação mais ampla, isto é, que demonstrasse o uso ou não dessas habilidades em um conjunto maior de situações, como em atividades de lazer.

No momento de sua elaboração, a EMETA foi concebida como um instrumento de rastreio para habilidades metacognitivas, ou seja, a escala faria uma exploração inicial das habilidades apresentadas ou não pelos participantes sem fazer, nessa primeira fase, investigações minuciosas do ambiente em que o aluno se insere. A necessidade dessas investigações surgirá em passos posteriores, nos quais haverá a programação de uma intervenção que atenda às demandas daquela população específica em seu ambiente particular.

Após os resultados serem analisados e os objetivos da pesquisa contemplados de forma satisfatória, acredita- se que o texto apresentado tenha contribuído para o campo de estudos sobre a metacognição, principalmente para a área de avaliação. Apesar disso, reconhece-se que esse foi apenas um passo diante de uma ampla gama de aspectos ainda a serem estudados no sentido da acumulação de evidências de validade. Somente após a realização de estudos adicionais de validade e do estabelecimento de normas da escala, ela poderá ser considerada um norte para observações mais atentas acerca das habilidades metacognitivas ampliando, desta maneira, o conhecimento sobre como essas habilidades se relacionam com outras variáveis, como desempenho acadêmico e utilização de estratégias mais eficientes para alcançar objetivos estabelecidos.

 

Referências

Andretta, I., Silva, J. G., Susin, N., & Freire, S. D. (2010). Metacognição e Aprendizagem: como se relacionam? PSICO, Porto Alegre, PUCRS, 41(1), 7-13.         [ Links ]

Boruchovitch, E. (1999). Estratégias de aprendizagem e desempenho escolar: considerações para a prática educacional. Psicologia: Reflexão e Crítica, 12(2), 361-376.         [ Links ]

Boruchovitch, E., Santos, A. A. A., Costa, E. R., Neves, E. R. C., Cruvinel, M., Primi, R., & Guimarães, S. E. R. (2006). A construção de uma escala de estratégias de aprendizagem para alunos do ensino fundamental. Psicologia: Reflexão e Crítica, 22(3), 297-304.         [ Links ]

Boruchovitch, E., Schelini, P. W., & Santos, A. A. A. (2010). A metacognição: conceituação e medidas. Em A. A. A. dos Santos, F. F. Sisto, E. Boruchovitch, & Nascimento, E. (Org.), Perspectivas em avaliação psicológica (pp. 123-143). São Paulo: Casa do Psicólogo.         [ Links ]

Cartwriht-Hatton, S. & Wells, A. (1997). Beliefs about worry and intrusions: the meta-cognitions questionnaire and its correlates. Journal of anxiety disorders, 11(3), 279-296.         [ Links ]

Chahon, M. (2006). Metacognição e resolução de problemas aritméticos verbais: teoria e implicações pedagógicas. Revista do Departamento de Psicologia – UFF, 2, 163-176.

Conselho Federal de Psicologia-CFP. (2003). Resolução no. 02/2003. Retirado em 18/11/2010, no World Wide Web: http://www.pol.org.br        [ Links ]

Davis, C., Nunes, M. M. R., & Nunes, C. A. A. (2005). Metacognição e sucesso escolar: articulando teoria e prática. Cadernos de pesquisa, 35(125), 205-230.         [ Links ]

Flavell, J. H. (1976). Metacognitive aspects of problem solving. Em L. B. Resnik (Ed.), The Nature of Intelligence (pp. 231-236). Hillsdale: Lawrence Erlbaum.         [ Links ]

Flavel, J. H. (1979). Metacognition and Cognitive Monitoring: A new area of cognitive- developmental inquiry. American Psychologist, 34(10), 906-911.         [ Links ]

Flavel, J. H. (1987). Speculations about the nature and development of metacognition. Em F. Weinert & R. Kluwe (Org.), Metacognition, Motivation and Understanding (pp. 21-29). Hillsdale, NJ: Lawrence Erlbaum.         [ Links ]

Flavell, J. H., Miller, P. H., & Miller, S. A. (1999). Desenvolvimento Cognitivo (3ª ed.). Porto Alegre: Artmed.         [ Links ]

Freire, L. G. L. (2009). Auto-regulação da aprendizagem. Ciência & Cognição, 14(2), 276-286.         [ Links ]

Jacobse, A. E. & Harskamp, E. G. (2012). Towards efficient measurement of metacognition in mathematical problem solving. Metacognition and Learning, 7, 133-149.         [ Links ]

Joly, M. C. R. A. (2006). Escala de estratégias de leitura para a etapa inicial do ensino fundamental. Estudos em Psicologia – Campinas, 23(3), 271-278.

Joly, M. C. R. A., Cantalice, L. M., & Vendramini, C. M. M. (2004). Evidências de validade de uma escala de estratégias de leitura para universitários. Interação em Psicologia, 8(2), 261-270.         [ Links ]

Joly, M. C. R. A., Santos, L. M., & Marini, J. A. S. (2006). Uso de estratégias metacognitivas de leitura por alunos do ensino médio. Paidéia, 16(34), 205-212.         [ Links ]

Jou, G. I. & Sperb, T. M. (2006). A metacognição como estratégia reguladora da aprendizagem. Psicologia: Reflexão e Crítica, 19(2), 177-185.         [ Links ]

Leite, E. A. P. & Darsie, M. M. P. (2010). Implicações da metacognição no processo de aprendizagem da matemática. Revista Eletrônica de Educação, 5(2), 179-191.         [ Links ]

Metcalf, J. (2009). Metacognitive judgments and control of study. Current Directions in Psychological Science, 18(3), 159-163.         [ Links ]

Mokhtari, K. & Reichard, C. A. (2002). Assessing students’ metacognitive awareness of reading strategies. Journal of Educational Psychology, 94(2), 249-259.

Moraitou, D. & Efklides, A. (2009). The blank in the mind questionnaire (BIMQ). European Journal of Psychological Assessment, 25(2), 115-122.         [ Links ]

Neves, D. A. B. (2007). Leitura e metacognição: Uma experiência em sala de aula. Encontros Bibli: revista eletrônica de biblioteconomia e ciência da Informação, 24, 1-9.         [ Links ]

Oliveira, K. L., Boruchovitch, E., & Santos, A. A. A. (2010). EAVAP-EF – Escala de avaliação das estratégias de aprendizagem para o ensino fundamental. São Paulo: Casa do Psicólogo.

Panaoura, A. & Philippou. G. (2005). The measurement of young pupils'metacognitive ability in mathematics: The case of self-representation and self evaluation. Em CERME 4. Retirado em 18/11/2010 de http://cerme4.crm.es/Pa/panaoura.philippou.pdf        [ Links ]

Pasquali, L. (1999). Testes referentes ao construto: teoria e modelo de construção. Em L. Pasquali (Org.), Instrumentos Psicológicos: Manual prático de elaboração (pp. 37-71). Brasília, DF: Laboratório de Pesquisa em Avaliação e Medida – LabPAM.

Primi, R., Muniz, M., & Nunes, C. H. S. S. (2009). Definições contemporâneas de validade de testes psicológicos. Em C. S. Hutz (Org.), Avanços e polêmicas em avaliação psicológica (pp. 243-265). São Paulo: Casa do Psicólogo.         [ Links ]

Schellings, G. (2011). Applying learning strategy questionnaires: problems and possibilities. Metacognition and Leraning, 6, 91-109.         [ Links ]

Sternberg, R. (2000). Psicologia cognitiva. Porto Alegre: Artes Médicas.         [ Links ]

Urbina, S. (2007). Fundamentos da Testagem Psicológica (C. Dornelles, Trad.). Porto Alegre: Artmed.         [ Links ]

Vadhan, V. & Stander, P. (1994). Metacognitive ability and test performance among college students. The Journal of Psychology, 128(3), 307-309.         [ Links ]

Wells, A. & Cartwright-Hatton, S. (2004). A short form of the metacognitions questionnaire: properties of the MCQ-30. Behaviour Research and Therapy, 42, 385-396.         [ Links ]

 

 

Recebido em agosto de 2012
Reformulado em outubro de 2012
Aprovado em dezembro de 2012

 

 

Sobre as autoras

Jussara F. Pascualon-Araujo: é mestre em Psicologia pelo Programa de Pós-Graduação em Psicologia da Universidade Federal de São Carlos, bolsista de doutorado pela FAPESP.
Patrícia Waltz Schelini: é professora dos cursos de graduação e pós-graduação em Psicologia da Universidade Federal deSão Carlos.

¹Endereço para correspondência:
Programa de Pós-Graduação em Psicologia, Universidade Federal de São Carlos, Rodovia Washington Luis, Km 235, 13565-905, São Carlos-SP.

²Agradecimentos: CAPES e INCT/ECCE