Avaliação do monitoramento metacognitivo: análise da produção científica

 

Metacognitive monitoring evaluation: scientific literature analysis

 

Evaluación del monitoreo metacognitivo: análisis de la producción científica

 

 

Patrícia Waltz Schelini^{1, I}; Luma Tiziotto Deffendi^I; Márcia Akemi Fujie^I; Evely Boruchovitch^II; Márcia de Fátima Rabello Lovisi de Freitas^III

^IUniversidade Federal de São Carlos
^IIUniversidade Estadual de Campinas
^IIIKroton Educacional

 

 

---

RESUMO

O presente estudo investigou como o monitoramento metacognitivo foi avaliado nas pesquisas nacionais e internacionais entre 2005 e 2015. Foram analisados 51 artigos e os resultados evidenciaram que os anos mais profícuos foram 2012 e 2014, mas sem qualquer produção nacional. Quanto aos autores dos estudos, de um total de 120, apenas seis publicaram mais de um trabalho. As amostras das pesquisas foram majoritariamente compostas por estudantes universitários. A maior parte dos estudos examinou o monitoramento metacognitivo por meio de outras técnicas que não testes, escalas, inventários e questionários, embora a avaliação realizada com base em instrumentos também tenha sido expressiva. Foram contabilizadas 36 técnicas diferentes para avaliar o monitoramento metacognitivo, sendo as mais utilizadas: Tarefa de Sensação de Conhecimento, protocolos de pensar em voz alta, Julgamentos de Aprendizagem, Metacognitive Awareness Inventory e Met.a.ware. Ressalta-se a necessidade de outras investigações, especialmente sobre a qualidade das técnicas empregadas nos estudos.

Palavras-chave: avaliação psicológica, metacognição, produção científica.

---

ABSTRACT

This study investigated how metacognitive monitoring was evaluated in national and international research between 2005 and 2015. We analyzed 51 articles and results showed that the most prolific years were 2012 and 2014, although there was no national production. Regarding the studies' authors, among 120 total, only six published more than one article. Research samples were composed mainly of college students. Most studies evaluated metacognitive monitoring though techniques other than tests, scales, inventories and questionnaires, although instrument-based assessment was also expressive. A total of 36 different techniques were recorded to assess metacognitive monitoring. The most predominant were: Feeling of Knowing Task, Think Aloud Protocols, Learning Judgments, Metacognitive Awareness Inventory and Met.a.ware. The need for further research, especially on the quality of the techniques used in the studies is acknowledged.

Keywords: psychology assessment, metacognition, scientific literature.

---

RESUMEN

Este estudio analizó la forma en cómo fue evaluado el monitoreo metacognitivo en las investigaciones nacionales e internacionales entre los años 2005 y 2015. Se analizaron 51 artículos y los resultados mostraron que los años más fructíferos fueron 2012 y 2014, sin existir producciones nacionales. En cuanto a los autores de los estudios, de un total de 120, sólo seis publicaron más de un trabajo. Las muestras de las investigaciones fueron compuestas en su mayoría por estudiantes universitarios, y la mayoría de los estudios examinaron el monitoreo metacognitivo por medio de otras técnicas diferentes a los tests, escalas, inventarios y cuestionarios, a pesar de que la evaluación realizada con base en instrumentos fue significativa. Fueron contabilizadas 36 técnicas diferentes para evaluar el monitoreo metacognitivo, siendo las más utilizadas: Tarea de Sensación del Conocimiento, protocolos de pensar en voz alta, Juicios de Aprendizaje, Metacognitive Awareness Inventory y Met.a.ware. Se hace mención a la necesidad de otras investigaciones, especialmente sobre la calidad de las técnicas utilizadas en los estudios.

Palabras-clave: evaluación psicológica, metacognición, producción científica.

---

 

 

A metacognição é um construto complexo e multifacetado definido por Flavell (1979) como "conhecimento e cognição sobre o fenômeno cognitivo" (p. 906). De acordo com Dunlosky e Metcalfe (2009), o conceito de metacognição engloba três componentes- -chave: o conhecimento, o monitoramento e o controle metacognitivos. O conhecimento metacognitivo envolve o conhecimento acerca da cognição, por exemplo, sobre como ocorre a aprendizagem ou como melhorá-la, ou ainda, sobre o que o indivíduo entende o que consegue ou não fazer a partir de suas habilidades cognitivas. Já o monitoramento metacognitivo se refere à avaliação ou o julgamento do estado atual de uma atividade cognitiva e/ou do progresso durante a realização de uma tarefa cognitiva. Como exemplos de ações da ordem do monitoramento cognitivo, pode-se citar: a autoavaliação da adequação das estratégias usadas para solucionar um problema e o autoexame acerca do quão bem está se compreendendo o que se estuda. O controle metacognitivo, por sua vez, diz respeito às ações ou providências que devem ser tomadas a partir das informações provenientes do monitoramento cognitivo, tendo em vista regular ou ajustar aspectos de uma tarefa cognitiva. Optar pelo uso de uma nova estratégia de aprendizagem para aprender um conteúdo, após verificar que a atual não está funcionando bem, pode ser considerado um exemplo relacionado ao controle metacognitivo.

É possível dizer que os conceitos gerais sobre metacognição, relatados no parágrafo anterior, parecem ter sido influenciados por dois modelos teóricos: o de Monitoramento Metacognitivo de Flavell (Flavell, 1979, 1987) e o de Nelson e Narens (1994). Ambos destacam a relevância da habilidade designada como monitoramento metacognitivo, relacionada à observação e reflexão sobre o andamento dos processos cognitivos, permitindo, assim, o julgamento ou caracterização do funcionamento cognitivo (Schwartz & Perfect, 2002; Son & Schwartz, 2002). O monitoramento metacognitivo permite que o indivíduo estime seu desempenho cognitivo e o grau de ajustamento deste em relação às tarefas.

No que se refere à avaliação do construto, Veenmam, Van Hout-Wolters e Afflerbach (2006), assim como Desoete (2008), apresentam uma classificação das formas de análise de metacognição baseada no momento em que a avaliação ocorre: a avaliação off-line (não simultânea) e on-line (simultânea). A avaliação off-line (não simultânea) ocorre em momento anterior e posterior à realização de uma tarefa, por exemplo, quando o indivíduo é requisitado a relatar as estratégias metacognitivas utilizadas para solucionar um problema antes ou após a sua execução, e não no exato momento em que ele está sendo executado (Desoete, 2008). A análise de protocolo é uma medida off-line bastante utilizada para investigação da metacognição e consiste em solicitar ao indivíduo que descreva as estratégias que utilizou enquanto realizava uma tarefa após tê-la terminado. Também se constituem em método off-line escalas do tipo Likert, nas quais o participante deve graduar o quanto cada sentença descreve seu comportamento emitido durante a resolução de uma tarefa proposta (Desoete, 2008). Quando o questionamento é feito antes da realização da atividade cognitiva, a avaliação é nomeada como prospectiva; já se a avaliação for efetuada após a conclusão da tarefa é chamada de retrospectiva. Considerando este último tipo de avaliação, especial atenção deve ser despendida ao intervalo existente entre a execução da atividade e o momento em que se realiza o questionamento ao indivíduo, pois, quanto maior o intervalo, mais susceptível a distorções será o relato em razão de lapsos na memória. É possível que indivíduos com baixa auto-observação produzam relatos que não descrevam com acurácia seus desempenhos nas atividades (Boruchovitch, Schelini, & Santos, 2010; Desoete, 2008).

Por sua vez, a avaliação on-line (simultânea) é realizada durante a execução da atividade, ocorrendo no exato momento em que o indivíduo se comporta tanto cognitiva quanto metacognitivamente. Solicitar que o participante pense em voz alta (técnica conhecida como Think-Aloud Protocols ou protocolos de pensar em voz alta) enquanto executa uma atividade, isto é, que ele verbalize seus pensamentos em relação aos procedimentos empregados, as dificuldades encontradas e o resultado alcançado ou não com as estratégias eleitas enquanto executa a atividade é um exemplo de avaliação on-line (Desoete, 2008). Exemplos similares a esse tipo de avaliação é o relatório escrito (report writing), no qual o sujeito escreve em um papel seus comportamentos e o falando sobre (talking about) que, além das descrições dos comportamentos, permite uma reflexão sobre fatores críticos do processo de aprendizagem (Panaoura & Philippou, 2005). Assim como na avaliação off-line, a avaliação on-line também merece uma consideração: o tempo necessário para a realização da segunda é maior do que o necessário para a primeira. Além do que, pouco ainda se sabe sobre a influência que os procedimentos como o pensar em voz alta exercem sobre a execução da tarefa em si cujo desempenho metacognitivo é foco de avaliação (Desoete, 2008). Sobre as avaliações on-line, Boruchovitch et al. (2010) apontam que a orientação apresentada para o aluno pensar em voz alta e revelar seus pensamentos durante a realização de uma tarefa pode ser tida como uma medida confiável em situações específicas, no entanto, ela que requer um tempo maior dedicado à avaliação.

Embora se tenha conhecimento de que os componentes da metacognição operam de forma dinâmica e interligada, várias têm sido as tentativas de mensurá- -los isoladamente. Nesse sentido, questões relacionadas a como as pessoas monitoram seus processos de pensamento, bem como referentes à precisão e a eficácia do monitoramento e suas implicações, entre outras, têm, segundo Dunlosky e Metcalfe (2009), atraído o interesse de pesquisadores.

No que se refere exclusivamente ao monitoramento, foco do presente estudo, seu produto é chamado de julgamento (Efklides, 2006; Nelson & Narens, 1994; Son & Schwartz, 2002). Os julgamentos também podem ser emitidos em três momentos distintos: antes, durante ou após a realização de uma tarefa. Quando o conteúdo ou a tarefa são apresentados ao indivíduo, seus julgamentos correspondem às estimativas sobre a realização da tarefa, antes de sua execução e, por isso, são designados julgamentos prospectivos. Durante a realização de uma tarefa, o indivíduo pode estimar se seu desempenho é satisfatório e adequado para atingir os objetivos pretendidos. Os julgamentos feitos antes ou durante as tarefas são chamados de: ease-of-learning (facilidade de aprendizagem), judgements of learning (julgamentos de aprendizagem - JoLs), feeling-of-knowing (sensação de conhecimento - FOK). Os julgamentos do tipo ease-of-learning ocorrem antes da aprendizagem de um conteúdo, sendo caracterizados, por exemplo, pelas estimativas sobre o tempo de estudo que será necessário utilizar na apreensão de informações. Os Judgments of Learning (JoLs) e Feeling-of-Knowing (FOK) são usualmente utilizados para medir o monitoramento da memória episódica. Os Judgments of Learning (JoLs) exigem que o indivíduo estime a probabilidade de que irá se lembrar de um item ou conteúdo recém-aprendido. Por outro lado, os FOK exigem que o indivíduo reconheça quais informações não foram lembradas.

Para caracterizar um procedimento em que um julgamento é requerido, pode-se citar a Feeling-of-Knowing Task (Tarefa de Sensação de Conhecimento, FOK). Hart (1965), investigando a correspondência entre os julgamentos a respeito do próprio desempenho e o apresentado pelos indivíduos em tarefas de recordação, elaborou o paradigma RJR (Recall-Judgment-Recognition, Recordação-Julgamento-Reconhecimento) para mensurar as avaliações que os indivíduos realizavam sobre suas memórias. Em linhas gerais, o paradigma RJR era composto por três etapas: a primeira, lembrança (recall), na qual eram feitas algumas perguntas sobre conhecimentos gerais. Na segunda etapa, julgamento (judgement), era pedido que os participantes estimassem a chance deles se lembrarem das respostas corretas às perguntas que não conseguiram responder inicialmente, caso estas lhes fossem apresentadas em formato de múltipla escolha. Por fim, na terceira etapa, reconhecimento (recognition), as opções de resposta eram apresentadas para os participantes realizarem a tarefa. A estimativa de acerto das questões apresentadas pelos participantes era chamada de feeling of knowing (sensação de conhecimento) e se relacionava à capacidade de o indivíduo estimar seu desempenho em recordar informações (Dunlosky & Metcalfe, 2009). Os julgamentos feitos após a conclusão da tarefa são chamados de julgamentos de confiança e são designados como retrospectivos. Os julgamentos de confiança são assim chamados por refletirem a estimativa do indivíduo sobre a probabilidade de acerto de uma tarefa já realizada, ou seja, a probabilidade de ter alcançado o objetivo da tarefa. (Son & Schwartz, 2002).

O monitoramento, dentre os vários componentes e processos metacognitivos, é destacado nessa pesquisa pelo seu papel na obtenção de informações que as pessoas podem ter sobre seus próprios desempenhos cognitivos. Por meio dele, os comportamentos ocorrem de forma satisfatória, atendendo aos critérios de tarefas de caráter cognitivo; as estratégias são adaptadas e as informações sobre o desempenho são eficientemente processadas. O presente estudo tem como objetivo analisar como o monitoramento metacognitivo vem sendo avaliado nas pesquisas nacionais e internacionais nos últimos 10 anos. Assim, pretende-se, de forma geral, verificar quais são as técnicas existentes e mais recentemente utilizadas para avaliar o monitoramento, de maneira a contribuir com discussões para o avanço na sua mensuração.

 

Método

A pesquisa foi operacionalizada mediante a busca eletrônica de artigos indexados nas bases de dados PsycInfo, Web of Science e Scielo, a partir dos descritores avaliação do monitoramento metacognitivo e dos seus correspondentes para a língua inglesa (metacognitive monitoring evaluation e metacognitive monitoring assessment). As consultas incluíram o período de 2005 até 22 de março de 2015, totalizando, portanto, um período de 10 anos. Excluídas as repetições, foram obtidas 102 referências (58 do Psychinfo, 44 do Web of Science e nenhuma do Scielo).

De modo a garantir o acesso às informações dos estudos, a amostra compreendeu as publicações de artigos indexados em periódicos, bem como aos trabalhos publicados na íntegra em língua inglesa, espanhola ou portuguesa. Os estudos que não atendiam a ambos ou a um dos critérios foram excluídos. Procedeu-se à leitura dos resumos dessas referências, sendo então selecionadas aquelas que tratavam do tema específico, ou seja, da avaliação do monitoramento metacognitivo. Assim, os estudos teóricos e os trabalhos cujos participantes eram não humanos foram excluídos, resultando em 51 referências, conforme ilustrado na Figura 1.

 

 

Procedimento

Os 51 artigos foram analisados mediante leitura cuidadosa e na íntegra, sendo consideradas as seguintes variáveis: ano de publicação, autores, escolaridade dos participantes, características da avaliação do monitoramento metacognitivo descritas e técnicas de avaliação do monitoramento metacognitivo apresentadas aos participantes (como escalas, testes ou questionários). As classificações dos artigos em termos das variáveis mencionadas foram realizadas pelas autoras da pesquisa, separada e concomitantemente.

 

Resultados

Os resultados serão descritos de forma a permitir, primeiramente, a observação da quantidade de estudos sobre a avaliação do monitoramento metacognitivo publicados entre os anos de 2005 e 2015, considerando-se as bases de dados Psychinfo e Web of Science. Vale dizer que nenhum estudo foi obtido na base Scielo, além disso a busca efetuada não resgatou qualquer artigo nacional.

Em seguida serão indicados os autores que mais publicaram no período contemplado. Também será apresentada a quantidade de estudos de acordo com a escolaridade dos participantes, segundo as características da avaliação do monitoramento metacognitivo e técnicas utilizadas.

Por meio da Tabela 1, percebe-se um aumento no número de publicações nos últimos quatro anos, sendo o ano de 2012 o mais produtivo (10 publicações), seguido pelos anos de 2014 (9 publicações) e 2013 (7 publicações). Dentro do período de tempo contemplado pela revisão bibliográfica, o ano de 2005 se destacou como o menos produtivo no âmbito de publicações a partir das palavras-chave pesquisadas, com apenas um estudo publicado. Cabe ressaltar que a busca considerou apenas trabalhos publicados até abril de 2015.

 

 

No que se refere aos autores dos estudos, de um total de 120 referenciados, apenas seis publicaram mais de um trabalho no período entre 2005 e abril de 2015. De Backer em coautoria com Valcke e Van Keer (2012a, 2012b) possuem dois trabalhos publicados em um mesmo ano, já Schellings (2011, 2013) e Stadtler e Bromme (2007, 2008) têm dois trabalhos publicados em anos diferentes.

De Backer et al. (2012a) objetivaram explorar o potencial da tutoria recíproca entre pares (reciprocal peer tutoring), um procedimento interventivo, para promover o conhecimento metacognitivo e a autorregulação de universitários. A amostra foi composta por 67 universitários que ao longo de um semestre deveriam tutoriar uns aos outros, sendo que o pré e o pós testes incluíram: uma versão do Metacognitive Awareness Inventory ou Inventário de Consciência Metacognitiva (MAI, Schraw & Dennisson, 1994) destinado à avaliação do conhecimento metacognitivo e autorregulação, bem como protocolos de pensar em voz alta (think-aloud protocols) para a avaliação de estratégias utilizadas durante tarefas. Os resultados indicaram que os alunos demonstraram um uso significativamente mais frequente da regulação metacognitiva, bem como do uso de estratégias. O outro artigo publicado por De Backer et al. (2012b) de forma semelhante ao anterior também objetivou avaliar o impacto da tutoria recíproca entre pares (reciprocal peer tutoring) sobre a adoção de habilidades metacognitivas. A amostra foi composta por 51 estudantes universitários que integraram um grupo experimental e outros 46 distribuídos em dois grupos- -controle. A habilidade de regulação foi avaliada por meio dos protocolos de pensar em voz alta (think-aloud protocols - Meijeret, Veenman, & van Hout-Wolters, 2006; van Someren et al., 1994). Os resultados do pós-teste indicaram que os estudantes que participaram da tutoria (grupo experimental) utilizaram cada vez mais uma orientação metacognitiva, aprimorando as habilidades de monitoramento e avaliação.

Schellings (2011) visou discutir a avaliação de estratégias de aprendizagem, sendo que em um delineamento multimétodo, as medidas do pensar em voz alta (think-aloud protocols) foram comparadas a questionários. Correlações fracas e moderadas foram obtidas entre os instrumentos e o autor concluiu que os aprendizes ou não estavam aptos para verbalizar as atividades envolvidas em seus processos de aprendizagem ou que diferentes habilidades foram avaliadas pelos materiais (protocolos e questionários). A partir das conclusões iniciais foi elaborado um questionário específico (não nomeado) baseado em uma taxonomia para a codificação de protocolos de pensar em voz alta, tendo sido verificada uma maior correlação (r=0,51) entre o novo questionário e os protocolos de pensar em voz alta do que é regularmente relatado em outros estudos. No segundo artigo, Schellings et al. (2013), um questionário (não nomeado) foi elaborado para avaliar habilidades metacognitivas, tendo sido baseado diretamente em uma taxonomia para a codificação de protocolos de pensar em voz alta. Um grupo de vinte alunos estudou um texto enquanto pensavam em voz alta e logo após o estudo receberam o questionário. A correlação geral entre o questionário e os protocolos de pensar em voz alta foi de 0,63.

Um dos estudos de Stadler e Bromme (2007) teve o objetivo de verificar a hipótese de que para a análise de documentos obtidos na internet, os leitores tendem a formar modelos documentais ou representações de conteúdos e fontes. Participaram da pesquisa de Stadler e Bromme (2007) 100 indivíduos que, com pouco conhecimento médico, tiveram que realizar um trabalho de análise de fontes sobre um assunto da Medicina. Divididos em quatro grupos experimentais, os participantes receberam diferentes tipos de prompts metacognitivos (uma espécie de lembrete verbal ou uma pergunta que objetiva motivar o participante a se aprofundar, entender ou se questionar sobre um assunto): de avaliação, monitoramento ou ambos os tipos, havendo um grupo que não recebeu o prompt. Os resultados indicaram que o grupo que recebeu o prompt de avaliação foi superior em termos de conhecimento sobre as fontes, produzindo mais argumentos sobre as mesmas. Os autores enfatizam, pelos resultados obtidos, a importância da metacognição no lidar com vários documentos. No estudo de 2008, Stadtler e Bromme desenvolveram uma ferramenta computacional, o Met.a.ware que auxilia os leigos na realização de buscas por assuntos médicos na internet por meio dos prompts metacognitivos e da classificação ontológica. Na investigação experimental do Met.a.ware 118 participantes considerados leigos em Medicina foram convidados a fazer uma busca de um assunto médico. Os autores concluíram que os participantes que receberam prompts de monitoramento adquiriram significativamente mais conhecimento sobre os assuntos médicos. Assim, o Met.a.ware foi considerado uma ferramenta eficaz na busca por fontes e no conhecimento sobre o assunto médico, alvo da pesquisa.

Os dados sobre a escolaridade dos participantes pesquisados são apresentados na Tabela 2.

 

 

A Tabela 2 indica que as amostras foram majoritariamente compostas por estudantes universitários (26 estudos ou 50,9%). Um total de cinco estudos não apresentou o dado sobre a escolaridade de sua amostra, informando apenas a idade dos participantes, que variou de 6 a 91 anos.

Alguns dos artigos não tinham como objetivo principal a avaliação do monitoramento metacognitivo, mas esta (avaliação) foi incluída nos métodos das produções analisadas para permitir o alcance das metas pretendidas. Assim, observando-se os 51 artigos, as características da avaliação do monitoramento metacognitivo foram categorizadas conforme demonstrado na Tabela 3.

 

 

De acordo com a Tabela 3, a maior parte dos estudos avaliou o monitoramento metacognitivo por meio de outras técnicas que não testes, escalas, inventários e questionários (n=25 ou 49%), muito embora a avaliação realizada por meio desses instrumentos também tenha sido expressiva (n=19). Apenas em três artigos (Akin, Abaci, & Cetin, 2007; Burke & Wiliams, 2012; Toering, Elferink-Gemser, Jonker, van Heuvelen, & Visscher, 2012) foi proposta a elaboração ou adaptação de instrumentos para a avaliação do monitoramento metacognitivo, bem como a investigação de suas evidências de validade e precisão.

Akin et al. (2007) investigaram a validade e a precisão da versão em turco do Inventário de Consciência Metacognitiva (Metacognitive Awareness Inventory, MAI). A amostra do estudo foi composta por 607 estudantes universitários, e os resultados indicaram que as formas turca e inglesa apresentaram uma correlação forte (r=0,93). Por meio da análise fatorial oito subescalas foram identificadas: conhecimento declarativo, conhecimento procedural, conhecimento condicional, planejamento, acompanhamento, avaliação, depuração e gerenciamento de informações. A consistência interna da escala total foi de 0,95. O segundo estudo relativo à categoria de elaboração e validação de um instrumento foi desenvolvido por Burke e Williams (2012) e visou a elaboração da Avaliação das Habilidades de Pensamento de Alunos (Assessment of Pupils Thinking Skills, APTS) que, destinada a crianças entre 9 e 12 anos, é formada por 14 itens voltados a uma gama de habilidades de pensamento e metacognição. Um outro instrumento foi proposto pelos autores, as Medidas de Habilidades Individuais de Pensamento (Individual Thinking Skills Assessments, ITSA), compostas por seis materiais que avaliam habilidades específicas do pensamento individual. Os APTS e a ITSA podem ser utilizadas separadamente ou em conjunto para avaliar as habilidades de pensamento e mudanças nessas habilidades. Não foram indicados pelos autores procedimentos que visassem a obtenção de evidências de validade e precisão dos instrumentos propostos. O estudo de Toering et al. (2012) visou a elaboração da Escala de Autorregulação da Aprendizagem (Self-Regulation of Learning Self-Report Scale, SRL-SRS), composta por seis subescalas: planejamento, automonitoramento, avaliação, reflexão, esforço e autoeficácia. Foram realizadas duas análises confirmatórias a partir de duas amostras (N=601 e N=600) de adolescentes entre 11 e 17 anos, que colaboraram à conclusão de que se trata de um instrumento com evidências de validade de construto que confirmam a existência de seis subescalas.

A Tabela 4 pode ser vista como complementar à 3 porque apresenta quais foram os testes, escalas, inventários, questionários e demais técnicas citadas nos 51 artigos para avaliar o monitoramento metacognitivo.

 

 

Foram contabilizadas 36 técnicas diferentes para avaliar o monitoramento metacognitivo e, dentre elas, as mais utilizadas foram: Feeling-of-Knowing Task (Tarefa de Sensação de Conhecimento, FOK), Think-Aloud Protocols (protocolos de pensar em voz alta), Judgments of Learning (Julgamentos de Aprendizagem, JoLs), Metacognitive Awareness Inventory (MAI) e o Met.a.ware. No que se refere a Feeling-of-Knowing Task, aos Think-Aloud Protocols e aos Judgments of Learning, os três foram abordados na introdução do presente estudo, o MAI (Metacognitive Awareness Inventory - Inventário de Conscientização Metacognitiva), formulado por Schraw e Denisson (1994), é um instrumento de autorrelato que avalia o conhecimento e a regulação cognitiva por meio de 52 itens distribuídos entre dois fatores caracterizados como conhecimento e regulação cognitiva. Após a realização de algumas análises, Schraw e Denisson (1994) encontraram que o MAI apresenta boa consistência interna (0,93) e a variância total explicada pelos itens é de 58%. Finalmente, o Met.a.ware (Stadler & Bromme, 2007) é uma ferramenta computacional que estimula o uso de processos metacognitivos de avaliação e monitoramento.

Outras técnicas foram citadas em apenas uma publicação: Awareness of Independent Learning Inventory (AILI), Cognitive Failures Questionnaire (CFQ), Confidence Scales, Deep Learning Approache (DLA), Diário individual (sem nome especificado), Escala Survey Academic Self-Regulation (SASR), Feedback to the Activity, Index of Reading Awareness (IRA), Interview About Metacognitive Awareness, Judgments of Performance, Junior Metacognitive Awareness Inventory (Jr. MAI), Learning and Studies Strategies Inventory (LASSI), Lucangeli-Cornoldi Instrument, Memory Measure and Remember-Know Measure, Meta-Cognitions Questionnaire (MCQ), Metacognitive Inventory in Science (MIS), Metacognitive Self-Control, Metacomprehension Strategy Index (MSI), Metamemory and Memory Accuracy, Motivated Strategies for Learning Questionnaire (MSLQ), Motivation for Reading Questionnaire-Revised (MRQ), Questionário de Estratégias de Leitura, Questionnaire in the Various Metacognitive Activities (QMA), Questionnaire on Application of Metacognitive Strategies in English Listening, Questionnaire on Autonomous Listening Competence, Rating Student Self- Regulated Learning Outcomes: A Teacher Scale (RSSRL), Reflexão Metacognitiva, Relatório de Autoreflexão, Remember-Know Task, State Metacognitive Inventory, Thought Control Questionnaire (TCQ). A seguir os resultados do presente estudo são discutidos.

 

Discussão

Este trabalho objetivou verificar como o monitoramento metacognitivo tendeu a ser avaliado nas pesquisas nacionais e internacionais nos últimos 10 anos, considerando- se três bases de dados: PsycInfo, Web of Science e Scielo. Foram analisados 51 artigos de acordo com as variáveis: ano de publicação, autores, escolaridade dos participantes, características da avaliação do monitoramento metacognitivo descritas e técnicas de avaliação do monitoramento metacognitivo apresentadas aos participantes.

Em relação à primeira variável de análise, ano de publicação, os dados evidenciaram um aumento no número de trabalhos nos últimos quatro anos, sendo os anos de 2012, 2014 e 2013, nessa ordem, os mais produtivos. Em 2012 foram publicados 10 artigos, tendo em vista que esse foi o número máximo, não é possível considerá-lo como elevado, sobretudo quando se leva em conta, por exemplo, que as concepções sobre metacognição foram originadas na década de 70. No que concerne aos autores que mais produziram nos últimos 10 anos, apenas seis publicaram mais de um trabalho no período entre 2005 e 2015: De Backer et al. (2012a, 2012b), Schellings (2011, 2013) e Stadtler e Bromme (2007, 2008) possuem dois trabalhos publicados. Tal fato parece evidenciar a descontinuidade dos autores no que se refere à pesquisa sobre a avaliação do monitoramento metacognitivo, uma vez que de 120 autores dos 51 artigos, uma parcela ínfima publicou mais de uma vez sobre a temática da avaliação do monitoramento. Cabe também destacar que o cenário é mais precário em relação aos autores brasileiros, uma vez que nenhuma publicação nacional foi identificada entre os 51 estudos. Considerando os problemas educacionais que a realidade brasileira apresenta, nos dias de hoje, aliados ao potencial do construto monitoramento metacognitivo para a sua superação, recomenda-se que esforços devam ser empreendidos na construção e/ou tradução, adaptação e validação de instrumentos para mensurá-lo, em contexto nacional.

Quanto à escolaridade, a maior parte dos estudos foi composta por amostras de estudantes universitários, o que pode indicar uma maior facilidade de acesso a essa população. Por outro lado, o fato de grande parte dos estudos incluir universitários acabou ocasionando a baixa frequência de pesquisas em relação a outras populações, como a de pré-escolares e analfabetos, que não foram incluídas em qualquer dos 51 trabalhos. Os estudantes de ensino médio e participantes com ensino superior completo compuseram amostras de uma pequena quantidade de estudos. Ampliar as investigações acerca da avaliação do monitoramento metacognitivo em diversos segmentos da escolarização, levando-se em conta as diferenças desenvolvimentais é uma direção que deve ser foco de atenção das pesquisas futuras.

A maior parte dos 51 estudos avaliou o monitoramento metacognitivo por meio de outras técnicas que não testes, escalas, inventários e questionários, apesar de que a avaliação realizada por meio desses instrumentos também foi expressiva. Uma pequena quantidade de artigos propôs a elaboração ou adaptação de instrumentos para a avaliação do monitoramento e a investigação de suas evidências de validade e precisão. Dentre as 36 técnicas diferentes citadas nos estudos para avaliar o monitoramento metacognitivo, as mais utilizadas foram: Feeling-of-Knowing Task (Tarefa de Sensação de Conhecimento, FOK), Think-Aloud Protocols (protocolos de pensar em voz alta), Judgments of Learning (Julgamentos de Aprendizagem, JoLs), Metacognitive Awareness Inventory (MAI) e o Met.a.ware.

De acordo com Dunlosky e Metcalfe (2009), a Feeling-of-Knowing Task (FOK) e os Judgments of Learning (JoLs) correspondem aos julgamentos metacognitivos que são estimativas sobre a realização da tarefa, antes ou durante sua execução, e por isso são designados julgamentos prospectivos. Pela tendência de ocorrerem ou serem solicitados antes ou após a execução da atividade, os julgamentos são classificados como avaliação off-line. As escalas do tipo Likert, inventários, questionários e testes também podem ser considerados medidas off-line da metacognição. Assim, o Metacognitive Awareness Inventory (MAI) é uma medida off-line que tem como crítica o fato de que indivíduos com baixa auto-observação ou mesmo dificuldades de memorização tendem a produzir relatos que não descrevem com acurácia seus comportamentos (Boruchovitch et al.; Desoete, 2008). De acordo com Veenmam et al. (2006) e Desoete (2008), os Think-Aloud Protocols seriam um tipo de avaliação on-line (simultânea) que, realizadas durante a execução da atividade, ocorrem no exato momento em que o indivíduo se comporta tanto cognitiva quanto metacognitivamente. A vantagem das medidas on-line é que elas tendem a não interferir de forma significativa nos processos de pensamento e regulação, apesar de demandarem um tempo maior na obtenção dos dados.

De forma geral é possível destacar a necessidade de aprimorar as análises estatísticas por meio de correlações, da análise de componentes principais e modelagem de equações estruturais entre múltiplas tarefas que avaliam o monitoramento metacognitivo, com o objetivo de testar os modelos teóricos idealizados. Para tanto parece ser preciso a elaboração de uma quantidade maior de pesquisas multi-método que envolvam técnicas on-line e off-line apresentadas em populações diversas, inclusive analfabetos e pré-escolares, não comtemplados nos 51 estudos analisados.

Por fim, cabe destacar que os resultados obtidos estão sujeitos a limitações impostas, por exemplo, pela escolha das palavras-chave e pela classificação feita pelas próprias bases de dados. A busca poderia ter sido complementada pela pesquisa manual (handsearch) realizada para minimizar a perda de artigos, uma vez que algumas produções podem não ter sido identificadas e algum periódico pode não ter feito parte do rastreamento. Ademais, para que haja maior divulgação no âmbito internacional da produção de autores brasileiros, seria importante o encaminhamento dos resumos das dissertações e teses para o Dissertation Abstracts International, de forma que possam ser incluídos na base de dados PsycINFO. Além disso, a publicação em periódicos internacionais poderia ser ainda mais incentivada, apesar dos elevados custos.

 

Referências

As referências assinaladas com um asterisco referem-se aos manuscritos utilizados na presente revisão.

*Akin, A., Abaci, R., & Cetin, B. (2007). The validity and reliability of the Turkish version of the metacognitive awareness inventory. Educational Sciences: Theory & Practice, 7(2), 671-678.         [ Links ]

Boruchovitch, E., Schelini, P. W., & Santos, A. A. A. (2010). Metacognição: conceituação e medidas. Em A. A. A. Santos, F. F. Sisto, E. Boruchovitch & Nascimento, E. (Eds). Perspectivas em avaliação psicológica (pp. 123-143). São Paulo: Casa do Psicólogo.         [ Links ]

*Burke, L. A, & Williams, J. M. (2012). Two thinking skills assessment approaches: "Assessment of Pupils' Thinking Skills" and "Individual Thinking Skills Assessments". Thinking Skills and Creativity, 7(1), 62-68.         [ Links ]

*De Backer, L., Van Keer, H., & Valcke, M. (2012a). Exploring the potential impact of reciprocal peer tutoring on higher education students' metacognitive knowledge and regulation. Instructional Science, 40(3), 559-588. doi: 10.1007/s11251-011-9190-5.         [ Links ]

*De Backer, L., Van Keer, H., & Valcke, M. (2012b). Fostering university students' metacognitive regulation through peer tutoring. Procedia - Social and Behavioral Sciences, 69(24), 1594-1600. doi: 10.1016/j.sbspro.2012.12.104.         [ Links ]

Desoete, A. (2008). Multi-method assessment of metacognitive skills in elementary school children: How you test is what you get. Metacognition and Learning, 3(1), 189-206. doi: 10.1007/s11409-008-9026-0.         [ Links ]

Dunlosky, J., & Metcalf, J. (2009). Metacognition. Thousands Oak, CA: SAGE.         [ Links ]

Efklides, A. (2006). Metacognition and affect: What can metacognitive experiences tell us about the learning process? Educational Research Review, 1(1), 3-14. doi: 10.1016/j.edurev.2005.11.001.         [ Links ]

Flavell, J. H. (1979). Metacognition and cognitive monitoring: A new area of cognitive-developmental inquiry. American Psychologist, 34(10), 906-911.         [ Links ]

Flavel, J. H. (1987). Speclations about the nature and development of metacognition. Em F. Weinert & R. Kluwe (Ed.), Metacognition, Motivation and Understanding (pp. 21-29). Hillsdale, NJ: Lawrence Erlbaum.         [ Links ]

Hart, J. T. (1965). Memory and the feeling-of-knowing experience, Journal of Educational Psychology, 56(4), 208-216.         [ Links ]

Meijeret, J., Veenman, M. V. J., & van Hout-Wolters, B. H. A. M. (2006). Metacognitive activities in text studying and problem-solving: Development of a taxonomy. Educational Research and Evaluation, 12(3), 209-237. doi: 10.1080/13803610500479991         [ Links ]

Nelson, T. O., & Narens, L. (1994). Why investigate metacognition. Em J. Metcalfe, & A. P. Shimamura (Eds.). Metacognition: Knowing about knowing (pp. 1-25). Cambridge, MA: MIT Press.         [ Links ]

Panaoura, A., & Philippou.G. (2005). The measurement of young pupils' metacognitive ability in mathematics: The case of self-representation and self-evaluation. Journal Proceedings of CERME, 4, 1-10. Recuperado de http://cerme4.crm.es/Pa ... /panaoura.philippou.pdf         [ Links ]

*Schellings, G. (2011). Applying learning strategy questionnaires: Problems and possibilities. Metacognition Learning, 6(2), 91-109. doi: 10.1007/s11409-011-9069-5.         [ Links ]

*Schellings, G. L. M., van Hout-Wolters, B. H. A. M., Veenman, M. V. J., & Meijer, J. (2013). Assessing metacognitive activities: The indepth comparison of a task-specific questionnaire with think-aloud protocols. European Journal of Psychology of Education, 28(3), 963- 990. doi: 10.1007/s10212-012-0149-y.         [ Links ]

Schraw, G., & Dennison, R. S. (1994). Assessing Metacognitive Awareness. Contemporary Educational Psychology, 19(1), 460-475. doi: 10.1006/ ceps.1994.1033.         [ Links ]

Schwartz, B. L., & Perfect, T. J. (2002). Introduction: toward an applied metacognition. Em T. J. Perfect & B. L. Schwartz (Eds.). Applied Metacognition (pp. 1-12). Cambridge: University Press.         [ Links ]

Son, L. K., & Schwartz, B. L. (2002). The relation between metacognitive monitoring and control. Em T. J. Perfect, & B. L. Schwartz (Eds.). Applied Metacognition (pp.15-35). Cambridge: University Press.         [ Links ]

*Stadtler, M., & Bromme, R. (2008). Effects of the metacognitive computer-tool met.a.ware on the web search of laypersons. Computers in Human Behavior, 24(3), 716-737. doi: 10.1016/j.chb.2007.01.023.         [ Links ]

*Stadtler, M., & Bromme, R. (2007). Dealing with multiple documents on the WWW: The role of metacognition in the formation of documents models. International Journal of Computer-Supported Collaborative Learning, 2(2-3), 191-210. doi: 10.1007/s11412-007-9015-3.         [ Links ]

*Toering, T., Elferink-Gemser, M. T., Jonker, L., van Heuvelen, M. J. G., & Visscher, C. (2012). Measuring self-regulation in a learning context: Reliability and validity of the Self- Regulation of Learning Self-Report Scale (SRL-SRS). International Journal of Sport and Exercise Psychology, 10(1), 24-38. doi: 10.1080/1612197X.2012.645132.         [ Links ]

van Someren, M. W., Barnard, Y. F., & Sandberg, J. A. C. (1994). The think-aloud method. A practical guide to modeling cognitive processes. London: Academic Press.         [ Links ]

Veenman, M. V. J., Van Hout-Wolters, B. H. A. M., & Afflerbach, P. (2006). Metacognition and learning: Conceptual and methodological considerations. Metacognition and Learning, 1(1),3-14. doi: 10.1007/s11409-006-6893-0.         [ Links ]

Zampieri, M., & Schelini, P. W. (2013). O uso de medidas intelectuais na análise do monitoramento metacognitivo de crianças. Psicologia: Teoria e Pesquisa, 29(2), 81-88.         [ Links ]

 

 

recebido em setembro de 2015
reformulado em maio de 2016
aprovado em agosto de 2016

 

 

Sobre os autores

Patrícia Waltz Schelini: é Psicóloga, possui Doutorado em Psicologia pela Pontifícia Universidade Católica de Campinas e Pósdoutorado pela Universidade do Minho (Portugal). Atualmente é professora Associada I do Departamento de Psicologia da Universidade Federal de São Carlos e coordenadora do Curso de Graduação em Psicologia da UFSCar.
Luma Tiziotto Deffendi: é doutoranda na Universidade Federal de São Carlos.
Márcia Akemi Fujie: é mestranda na Universidade Federal de São Carlos.
Evely Boruchovitch: é Professora Titular do Departamento de Psicologia Educacional da Faculdade de Educação da Universidade Estadual de Campinas (UNICAMP) Ph.D em Educação pela University of Southern California, Los Angeles.
Márcia de Fátima Rabello Lovisi de Freitas: é doutora em psicologia. Conteudista na Kroton Educacional.

¹Endereço para correspondência: Programa de Pós-Graduação em Psicologia, Universidade Federal de São Carlos, Rodovia Washington Luis, Km 235, 13565-905, São Carlos-SP.