SciELO - Scientific Electronic Library Online

 
vol.20 issue4EditorialDraw-A-Person with A Story (DAP-S) Test and Children with Learning Difficulties author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Avaliação Psicológica

Print version ISSN 1677-0471On-line version ISSN 2175-3431

Aval. psicol. vol.20 no.4 Campinas Oct./Dec. 2021

http://dx.doi.org/10.15689/ap.2021.2004.21981.01 

ARTIGOS

 

Estudo Psicométrico do Questionário de Avaliação da Consciência Metatextual

 

Psychometric study of the Metatextual Awareness Assessment Questionnaire

 

Estudio Psicométrico del Cuestionario de Evaluación de la Conciencia Metatextual

 

 

Neide de Brito CunhaI; Adriana Satico FerrazII; Acácia Aparecida Angeli dos SantosII

ICentro Paula Souza, São Paulo-SP, Brasil https://orcid.org/0000-0003-4945-4495
IIUniversidade São Francisco, Campinas-SP, Brasil https://orcid.org/0000-0002-9856-0094 https://orcid.org/0000-0002-8599-7465

Endereço para correspondência

 

 


RESUMO

O objetivo desta pesquisa foi investigar as propriedades psicométricas do Questionário de Avaliação da Consciência Metatextual (QACM). A amostra contabilizou 618 alunos do 3º ao 5º ano de escolas públicas, com idades entre 8 e 13 anos. Os instrumentos utilizados foram o QACM e dois testes de Cloze, que avaliam a compreensão de leitura. Verificou-se a evidência de validade baseada na estrutura interna para a versão com 15 itens do QACM (RMSEA = 0,03; CFI e TLI = 0,98). A evidência de validade baseada na relação com outras variáveis, tipo critério, foi estabelecida pela identificação de diferenças no desempenho no QACM para a variável ano escolar. O QACM apresentou 42% e 38% da variância explicada para o Cloze 1 e 2, respectivamente, conferindo a evidência de validade baseada na relação com outras variáveis, tipo convergente. Implicações psicopedagógicas são discutidas, mostrando possíveis alternativas de uso para o instrumento.

Palavras-chave: habilidade metalinguística; habilidades para leitura; parâmetros psicométricos; prova de Cloze; validade do teste.


ABSTRACT

This study aimed to investigate the psychometric properties of the Metatextual Awareness Assessment Questionnaire (Questionário de Avaliação da Consciência Metatextual; QACM). The sample consisted of 618 students from the 3rd to the 5th year of public schools, aged between 8 and 13. The instruments used were the QACM and two Cloze tests, which assess reading comprehension. There was evidence of validity based on the internal structure for the 15-item version of the QACM (RMSEA = .03; CFI and TLI = .98). Evidence of validity based on the relationship with other variables, criterion type, was established by identifying differences in performance in the QACM according to the school year variable. The QACM presented 42% and 38% of the variance explained by Cloze 1 and 2, respectively, providing evidence of validity based on the relationship with other variables, convergent type. Psychopedagogical implications are discussed, considering possible alternative uses for the instrument.

Keywords: metalinguistic skill; reading skills; psychometric parameters; Cloze test; test validity.


RESUMEN

El objetivo de esta investigación fue pesquisar las propiedades psicométricas del Cuestionario de Evaluación de la Conciencia Metatextual (QACM). La muestra contó con 618 alumnos de 3º a 5º año de escuelas públicas, con edades comprendidas entre 8 y 13 años. Los instrumentos utilizados fueron el QACM y dos tests Cloze, para evaluar la comprensión lectora. Hubo evidencias de validez basadas en la estructura interna de la versión de 15 ítems del QACM (RMSEA = 0,03; CFI e TLI = 0,98). Las evidencias de la validez relacionadas con las variables externas, como los criterios, se establecieron mediante la identificación de diferencias estadísticamente significativas en el rendimiento del QACM en cada año escolar. El QACM presentó 42% y 38% de la varianza explicada para el Cloze 1 y 2, respectivamente, proporcionando evidencias de validez relacionadas con otras variables, tipo convergente. Se discuten las implicaciones psicopedagógicas, mostrando posibles alternativas para el uso del instrumento.

Palabras clave: habilidad metalingüística; habilidades de lectura; parámetros psicométricos; test Cloze; validez de la prueba.


 

 

A Base Nacional Comum Curricular (Conselho Nacional de Educação, 2017), que estabelece os objetivos de aprendizagem e desenvolvimento, preconiza para o componente Língua Portuguesa a diversidade de gêneros textuais prevista de forma progressiva, com uma distribuição adequada em termos de variedade e das competências necessárias para o desenvolvimento e aquisição de novos conhecimentos de maior amplitude e complexidade. O documento reforça o uso da diversidade de gêneros textuais desde a Educação Infantil até o ensino fundamental - anos finais - para o aprendizado efetivo da competência em leitura.

Ao ingressar no ensino fundamental, a BNCC recomenda desenvolver as habilidades em leitura de forma contextualizada por meio da leitura de textos pertencentes a gêneros que circulam nos diversos campos de atividade humana, devendo aumentar progressivamente a complexidade cognitiva das atividades ao longo de todos os itinerários da Educação Básica. Na Educação Infantil, o uso dos gêneros textuais deve despertar o interesse das crianças pela leitura e introduzi-las ao mundo letrado, mesmo que não compreendam ainda o código escrito. Já no ensino fundamental I, os gêneros textuais oferecerão suporte ao processo de alfabetização e terão a função primordial de formar leitores partindo de práticas contextualizadas com os diversos campos de atuação que, no decorrer do percurso conduzirão o aluno de forma intencional ao uso das diversidades textuais de forma autônoma, a fim de que reconheça as suas funções sociais nos meios em que circulam (Conselho Nacional de Educação, 2017).

Dolz et al. (2004) partem do pressuposto de que, para formar verdadeiros leitores e escritores, é necessário trabalhar a diversidade de gêneros textuais, para que haja a articulação das capacidades sociodiscursivas e linguísticas, além da apropriação de diversas práticas de letramento e aprendizado. Nessa direção, Avancini (2016) enfatiza a importância da leitura na formação social do indivíduo e que esta é diretamente ligada à exposição a textos e à leitura.

Os gêneros textuais têm natureza sociocultural e materializam a língua em situações comunicativas diversas. O seu estudo é importante devido à percepção de sua relevância para o ensino de língua portuguesa e funcionalidade na vida cotidiana. Os tipos textuais, por sua vez, são caracterizados por se apresentarem como sequências linguísticas e sua formação é marcada por aspectos lexicais, sintáticos, tempos verbais e relações lógicas. É um conjunto bastante limitado que abrange as categorias de narração, argumentação, descrição, exposição e injunção (Marcuschi, 2010).

A BNCC reitera o movimento metodológico dos Parâmetros Curriculares Nacionais (Ministério da Educação, 1998), quando assume que estudos de natureza teórica e metalinguística - que abordam a língua, a literatura, a norma padrão e outras variedades da língua - não devem ser tomados como um fim em si mesmo. Eles devem estar envolvidos em práticas de reflexão que permitam aos estudantes aumentarem suas capacidades de uso da língua/linguagens em práticas situadas de linguagem, chamadas de consciência metatextual, termo cunhado por Gombert (1997).

Nesse sentido, a pesquisa de Bogaerds-Hazenberg et al. (2020), na qual os pesquisadores sintetizaram os resultados de 44 estudos quase-experimentais sobre intervenções com uso de estruturas de textos informativos e narrativos no ensino fundamental, mostrou que a instrução da estrutura do texto teve efeitos positivos imediatos na compreensão de leitura dos alunos. Os autores argumentaram que o ensino da estrutura de texto merece um lugar no currículo do ensino fundamental, para que os efeitos positivos sobre a leitura sejam mantidos ao longo da escolarização.

No Brasil, a pesquisa de Santos et al. (2017) encontrou superioridade do grupo experimental sobre o grupo controle nos resultados da intervenção em leitura com o uso de testes de Cloze de gêneros textuais diversos de acordo com a estrutura do QACM. Nobile e Barrera (2018) também fizeram uma intervenção com o objetivo de verificar a eficácia de sessões de intervenção, visando ao desenvolvimento das habilidades metatextuais, sobre a produção escrita de histórias e o conhecimento explícito da estrutura narrativa, de alunos do ensino fundamental. As autoras utilizaram produções de texto com tema livre e questionário sobre o conhecimento da estrutura narrativa adaptado do Questionário de Avaliação da Consciência Metatextual (QACM), aplicados antes e após a intervenção. Os resultados indicaram efeito significativo favorável à intervenção referente ao conhecimento da estrutura narrativa, porém essa melhora se refletiu apenas parcialmente nas produções escritas.

O exame das relações entre a compreensão de leitura e as habilidades metalinguísticas - consciência morfológica e consciência metatextual - por Santos et al. (2018), apontou para a identificação de correlações positivas, de magnitude moderada a forte entre os construtos e a apresentação de maiores médias nas habilidades avaliadas mediante o avanço dos anos escolares. Foram utilizados nessa pesquisa dois textos de Cloze (Santos, 2005), as Tarefas de Consciência Morfológica e o QACM.

Outro estudo de Cunha e Santos (2019) constatou que 46% da variância no desempenho nos testes de Cloze foram explicadas pelo desempenho no QACM, demonstrando que avaliam habilidades compartilhadas. Nobile e Barrera (2019) analisaram a relação entre a habilidade metatextual com o uso do QACM e o desempenho na produção escrita de histórias de alunos do ensino fundamental. Os resultados indicaram correlação positiva entre a habilidade metatextual e a produção escrita. Os alunos do 5º ano apresentaram desempenho superior aos do 4º na produção de texto, mas não em relação à habilidade metatextual, o que levou as autoras a proporem que esta seja objeto de desenvolvimento explícito pela escola, a fim de melhorar a qualidade dos textos produzidos.

No sentido de proporcionar aos professores, psicopedagogos e psicólogos um instrumento que pudesse revelar o nível de conhecimento de tipos textuais, Santos e Cunha (2014) elaboraram o Questionário de Avaliação da Consciência Metatextual (QACM), com base na Teoria do Processamento Humano da Informação e nos preceitos da Psicologia Cognitiva. Há alguns estudos de validade do instrumento, no entanto, entende-se que, quanto mais evidências de validade um instrumento de medida apresentar, maiores são as chances de que de fato ele esteja medindo o que pretende medir. A validade total é obtida por meio da soma de todas as validades (Martins, 2006; Sampieri et al., 2006), caso contrário o instrumento apresentaria evidência de determinada validade para uma população específica.

O QACM teve duas configurações. Uma versão com 11 itens era respondida pelo aluno por meio de uma pergunta aberta o tipo textual correspondente a cada texto. Com base nos estudos psicométricos, o QACM passou por uma revisão dos textos (itens) para resolver o problema do efeito teto nos alunos do 5º ano, bem como apresentar opções de resposta fechadas para otimizar a correção do teste e evitar a subjetividade na correção (Cunha, & Santos, 2014).

Na segunda versão, o QACM passou a conter 20 textos. Para cada eram apresentados cinco tipos textuais, sendo que apenas um deles correspondia à resposta correta. Essa versão do QACM foi utilizada para avaliar a eficácia de uma intervenção voltada ao desenvolvimento da compreensão de leitura de alunos do 6º ano, que consistiu na aplicação da técnica de Cloze a partir do uso de diversos tipos textuais (Santos et al., 2017). Em outro estudo posterior com o QACM, Cunha e Santos (2019) observaram que alguns alunos se queixavam sobre o instrumento ser longo demais, visto que, para caracterizar o gênero textual, os itens reproduzem as características do seu suporte de veiculação (dicionário, manual, e-mail). Para evitar o efeito fadiga nos alunos ao responderem esse instrumento, assim como a possível interferência disso no resultado da testagem, o presente estudo propôs a redução do número de itens do instrumento.

A nova configuração do instrumento também submetida à investigação de suas propriedades psicométricas, tendo como objetivo principal deste estudo analisar as evidências de validade do QACM reduzido, a saber, (a) evidência de validade baseada na estrutura interna; (b) estimativas de fidedignidade; (c) evidência de validade relacionada com variáveis externas, tipo critério, por meio da verificação de possíveis diferenças de desempenho no QACM para a variável ano escolar; (d) evidência de validade relacionada com variáveis externas, tipo convergente, por meio das relações do questionário com dois testes de Cloze, que avaliam a compreensão de leitura. O objetivo secundário desta pesquisa foi averiguar a invariância do QACM para as variáveis ano escolar e sexo.

Essa investigação faz-se necessária para se certificar que o QACM reduzido continua a medir aquilo que se propõe a avaliar e, principalmente, para fundamentar as interpretações dos resultados obtidos. Ademais, importa verificar o quanto a estrutura da nova versão do QACM é fidedigna (AERA et al., 2014). Como hipótese de trabalho, esperava-se que a versão reduzida teria parâmetros psicométricos equivalentes à da versão original de 20 itens.

 

Método

Participantes

A amostra de estudo foi composta por 618 alunos do ensino fundamental I de escolas do Sul de Minas Gerais e do interior do estado de São Paulo. Os alunos estavam matriculados no 3º (n = 176), 4º (n = 247) e 5º ano (n = 195). As idades dos alunos variaram de oito a 13 anos (M = 9,40; DP = 1,07), sendo a proporção de meninos (n = 328) ligeiramente maior do que a de meninas (n = 290).

Instrumentos

Questionário de Avaliação da Consciência Metatextual (QACM; Santos, & Cunha, 2014). Esse instrumento avalia a consciência metatextual de alunos do ensino fundamental I (3º ao 5º ano) por meio de 20 tipos de textos (ex., história, notícia de jornal, adivinha, dentre outros) que representam cinco gêneros textuais, a saber, narrativos, injuntivos, dissertativos, dialogais e descritivos. Cada item do QACM apresenta um tipo de texto sem que seja identificado o seu suporte. O formato de resposta é composto por cinco tipos de textos contendo uma opção correta e quatro incorretas. Para responder o teste, o aluno é orientado a realizar uma leitura silenciosa de cada texto e assinalar apenas uma alternativa, correspondente ao tipo lido. A interpretação do QACM baseia-se na somatória dos seus escores. A pontuação mínima é de 0 pontos e máxima de 20 pontos.

Alguns estudos conferiram evidências de validade ao instrumento, a saber: um piloto, com 11 questões abertas (Cunha, & Santos, 2014); convergência de construtos com a compreensão de leitura, identificada com base nas medidas relacionadas, e de critério, distinguindo os alunos pelo seu nível de escolaridade (Santos, & Cunha, 2012); predição do desempenho em compreensão de leitura, demonstrando que são habilidades compartilhadas e estimativas de precisão verificada pelo coeficiente alfa (α = 0,81) (Cunha, & Santos, 2019). Nestes dois últimos estudos, o QACM continha 20 questões fechadas.

Teste de Cloze - textos "A princesa e o fantasma" (Cloze 1) e "Uma vingança infeliz" (Cloze 2) (Santos, 2005). Em ambos os testes preparados com base na técnica de Cloze (Taylor, 1953), a compreensão de leitura dos alunos do ensino fundamental I (3º ao 5º ano) é avaliada por meio do preenchimento de lacunas dos quintos vocábulos previamente omitidos nos textos. Cada texto possui aproximadamente 250 vocábulos e 15 lacunas. Na aplicação, o aluno é orientado a realizar uma primeira leitura silenciosa e, posteriormente, preencher os espaços em branco com palavras que confiram um sentido aos textos. A aplicação pode ser feita de forma individual ou coletiva. Não é preestabelecido um tempo mínimo e máximo para finalizar a tarefa.

Para o presente estudo, a correção dos textos de Cloze pautou-se na sua forma literal, que considerou como acerto apenas a apresentação de vocábulos idênticos ao que fora omitido no texto e que com a escrita ortograficamente corretas. Caracterizou-se como erro o não preenchimento dos critérios de acerto e as lacunas em branco.

No que se refere às propriedades psicométricas, os dois testes de Cloze possuem evidências de validade (a) de construto, (b) baseada em medidas que avaliam construtos relacionados (consciência fonológica), (c) de critério concorrente (por grupos contrastantes e ano escolar), (d) convergente (escrita) (Mota, & Santos, 2014; Oliveira et al., 2012; Santos, & Monteiro, 2016; Suehiro, & Santos, 2015) e por processo de resposta (Cunha et al., 2018). Os testes também possuem estimativas de precisão, verificada por Oliveira et al. (2016). Para o presente estudo, a consistência interna dos testes de Cloze indicaram α = 0,82 (Cloze 1) e α = 0,77 (Cloze 2).

Procedimento de Coleta de Dados

O projeto foi submetido e aprovado pelo Comitê de Ética, sob Protocolo de CAAE n. 0277.0.142.000-10. Em seguida, houve autorização da Secretaria de Educação, as diretoras das escolas foram contatadas e os detalhes da coleta de dados foram combinados. Aos participantes foram assegurados de que a pesquisa não influenciaria na nota, não afetaria o desempenho acadêmico deles na escola, além de ser de caráter estritamente confidencial. Os pais dos alunos poderiam permitir que os filhos participassem ou não da pesquisa. Aos que aceitaram participar, foi entregue o Termo de Consentimento Livre e Esclarecido para assinatura. Quanto ao Termo de Assentimento Livre e Esclarecido, ele foi aplicado verbalmente nas crianças que consentiram em participar do estudo.

A aplicação dos instrumentos foi feita coletivamente, em sessão única, com as crianças em suas salas de aula, em horários cedidos pelos professores. Inicialmente, os alunos responderam aos testes de Cloze, para os quais era solicitado que lessem o texto completo e depois escrevessem as palavras que melhor completassem e dessem sentido às lacunas. Era alertado que o tamanho do traço correspondia ao tamanho da palavra que cabia em cada espaço. O tempo de aplicação não ultrapassou 20 minutos para cada texto.

Em seguida, foi aplicado o QACM. Os pesquisadores explicaram que havia 20 textos e que os alunos deveriam ler cada um deles e assinalar apenas uma resposta com a designação do tipo de texto entre as cinco opções disponíveis.

Procedimento de Análise de Dados

Os dados foram analisados por meio dos softwares Factor (Lorenzo-Seva & Ferrando, 2020), Mplus (versão 7.11; Muthén, & Muthén, 2012) e o Statistical Package for the Social Sciences (versão 25.0). Pressupostos para a fatoração. Matriz fatorável com valor p < 0,05 no teste de esferacidade de Bartlett (Tabachnick, & Fidell, 2007) e teste de Kaiser-Meyer-Olkin (KMO) - valores entre 0,90 e 1, excelentes; 0,80 e 0,89, bom; 0,70 e 0,79, mediano; 0,60 e 0,69, medíocre; 0,50 e 0,59, ruim; e 0 e 0,49, inadequado (Friel, 2008).

Retenção fatorial. Análise Paralela e o indicador de unidimensionalidade Mean of Item Residual Absolute Loading (MIREAL < 0,30) (Damásio, & Dutra, 2017). Análise fatorial exploratória (AFE) aplicada para a seleção dos itens para compor o QACM reduzido e para investigação da evidência de validade baseada na estrutura interna do instrumento. Utilização do procedimento de reamostragem bootstrap (500 amostras); matriz de correlação policórica; método de extração Robust Diagonally Weighted Least Squares (RDWLS) (Asparouhov & Muthén, 2010); estabilidade dos fatores por meio do índice H-latente e observado > 0,80, classificado como adequado (Ferrando, & Lorenzo-Seva, 2018).

Interpretação da plausibilidade dos modelos (AFE e MEE). Índices de ajuste Root Mean Square Error of Approximation - IC 90% (RMSEA; < 0,05 ajustamento muito bom; 0,06 e 0,10 ajustamento aceitável; > 0,10 ajustamento inaceitável); Non-Normed Fit Index (NNFI/TLI) e Comparative Fit Index (CFI) (0,95 ajustamento muito bom; 0,90; 0,94 ajustamento bom; 0,80; 0,89 ajustamento sofrível; < 0,80 ajustamento mau) (Marôco, 2014). Replicabilidade do construto na AFE. Nível do item - índice H latente > 0,80, nível do fator - H observado > 0,80. Esses índices indicam o quanto a estrutura fatorial é bem definida e estável em futuras replicações do instrumento (Ferrando & Lorenzo-Seva, 2018). Índices de confiabilidade. Confiabilidade composta (CC > 0,70; Peterson, & Kim, 2013) e coeficiente alfa (α > 0,70, Dunn et al., 2014).

Análise de invariância de medida. Invariância configural (número de itens), métrica (número de itens e cargas fatoriais) e escalar (número de itens, cargas fatoriais e os interceptos). A indicação de invariância pautou-se no χ2 com p > 0,05 e as mudanças nos valores de CFI entre os três modelos < 0,01 (Cheung, & Rensvold, 2002). Comparação de grupos. Análise de variância ANOVA (solicitou-se a prova post hoc de Tukey). O tamanho do efeito foi verificado pelo valor do eta ao quadrado (η2, < 0,1, trivial; 0,1, pequeno; 0,25, médio; 0,37, grande; Goss-Sampson, 2019). Correlação produto-momento de Pearson. A interpretação da magnitude das correlações se baseou em 0, nulo; 0,1 e 0,3, fraco; 0,4 e 0,6 moderado; 0,7 e 0,9, forte e 1, perfeito (Dancey, & Ready, 2013).

Modelagem por equações estruturais (MEE). Método de estimação Weighted Least Square Mean and Variance Adjusted (WLSMV; Muthén, & Muthén, 2010). Interpretação da adequação do modelo: Razão do χ2/gl < 0,05 (Marôco, 2014) e valores de índices de ajuste RMSEA, CFI e TLI indicados na AFE.

 

Resultados e Discussão

Para reduzir o número de itens do QACM e investigar a evidência de validade baseada na estrutura interna dessa versão por meio da análise fatorial exploratória, primeiramente verificou-se que os dados amostrais eram adequados para a fatoração - teste de esferacidade de Barlett com p < 0,001 e o teste de KMO, com valor de 0,81, classificado como bom. A análise paralela apontou para a retenção de um único fator, com o valor da média de variância dos reais = 34,13%, sendo maior que a média de variância explicada dos dados aleatórios = 10,15% (95% IC). Essa estrutura do QACM foi corroborada pelo indicador MIREAL, cujo valor foi de 0,20. Embora haja cinco grupos de tipos de textos, segundo Marcuschi (2010) - narração, argumentação, descrição, exposição e injunção - como era esperado, a análise paralela e o indicador de unidimensionalidade MIREAL indicaram que essas categorias não corresponderam a fatores distintos.

Os índices de ajuste do modelo do QACM gerado pela análise fatorial exploratória (AFE1) são qualificados como muito bons, a saber: RMSEA = 0,03 (90% IC 0,01 - 0,05), NNFI (TLI) = 0,97 e CFI = 0,98. A Tabela 1 apresenta os valores das suas cargas fatoriais e comunalidades (H2) na AFE1, bem como os tipos de textos representados por cada item.

Conforme exposto na Tabela 1, na AFE1 quatro itens apresentaram carga fatorial abaixo de 0,30, com comunalidades próximas a 0. Dessa análise, procedeu-se a eliminação desses itens referentes aos seguintes tipos de texto: resenha e crônica, do tipo dissertativo, história em quadrinho, do tipo narração e crônica, do tipo dissertativo. Essa eliminação foi considerada favorável porque esses quatro tipos textuais eram os mais presentes no QACM, não havendo diminuição no número de tipos para cada gênero textual.

Optou-se também pela exclusão do item 6, (tipo textual: piada; gênero textual: narrativo) devido a seu conteúdo ser considerado pouco adequado, quanto ao possível desconforto que poderia causar ao público-alvo do instrumento pela alusão à gordofobia implícita em seu enunciado. Na mesma direção do enunciado acima, sobre outros itens eliminados, a retirada desse item também foi favorável ao instrumento porque há outros itens do gênero narrativo no QACM.

O novo modelo do QACM (AFE2) reportado na Tabela 1 é considerado plausível, com índices de ajuste qualificados como muito bons - RMSEA = 0,03 (90% IC 0,01 - 0,05); CFI = 0,98 e TLI = 0,98. Nessa estrutura, os 15 itens do instrumento apresentaram cargas fatoriais > 0,30. O valor do H-latente indica que os itens sustentam esse modelo do QACM, porém o H-observado ficou aquém do ideal para garantir a sua replicabilidade em outras aplicações. Novos estudos com o instrumento servirão para verificar se essa mesma estrutura do QACM se mantém. Os índices de confiabilidade, CC = 0,89 e α= 0,79 são classificados como adequados.

Esses resultados demonstram que a versão reduzida do QACM obtida na AFE2 possui evidência de validade baseada na estrutura interna e estimativas de fidedignidade. Os 15 tipos de textos do QACM foram agrupados de acordo com os seus respectivos gêneros textuais (Tabela 1). Assim, ficaram 15 tipos textuais, com três itens para cada gênero (Marcuschi, 2010).

Previamente à investigação da evidência de validade baseada nas relações com outras variáveis, tipo critério para o ano escolar, analisou-se a invariância de medida dos textos do QACM para essa variável. Verificou-se, também, a invariância dos textos do QACM para a variável sexo. Os resultados encontram-se na Tabela 2.

Conforme indicado na Tabela 2, identificou-se a não invariância de medida do QACM na comparação de todos os modelos para a variável ano escolar. Isso indica que a estrutura do teste, as cargas fatoriais dos itens (tipos de textos), bem como a comparação dos escores dos três grupos no QACM não são equivalentes, isto é, são percebidos de forma diferente para alunos do 3º ao 5º ano.

Por sua vez, verificou-se a invariância de medida dos textos da versão reduzida do QACM para a variável sexo (não significância estatística do χ2 e diferença do ΔCFI < 0,01). Esse resultado indica que a estrutura fatorial do QACM avalia da mesma forma o conhecimento dos tipos textuais de meninos e meninas, que as cargas fatoriais apresentam a mesma importância entre ambos os sexos e os escores de um grupo são comparáveis com outro grupo.

Após essas análises, investigou-se as possíveis diferenças de desempenho no QACM quanto ao ano escolar. O teste de Levene indicou que não existe homogeneidade das variâncias para a variável ano escolar (p = 0,003). Houve diferenças estatisticamente significativas no QACM verificadas pela análise de variância ANOVA e a prova post hoc de Tukey identificou subgrupos de desempenho entre os três anos escolares. Na Tabela 3, observa-se que o QACM foi capaz de diferenciar os anos escolares, sendo que os alunos do 5º ano se saíram melhores no teste em comparação ao do 4º e 3º ano. Ademais, o valor do η2 indicou um tamanho de efeito da variância trivial.

O resultado da Tabela 3 permite inferir que o QACM, em sua versão reduzida, é sensível para captar a evolução na consciência metatextual dos alunos. Isso ocorreu com o avanço da escolaridade, de forma congruente ao que foi demonstrado por estudos que revelaram evidências de validade do instrumento em sua versão original (Cunha, & Santos, 2014; Santos et al., 2018).

Essa evolução vai ao encontro do que é preconizado pela BNCC (Conselho Nacional de Educação, 2017), que recomenda o aumento progressivo da complexidade cognitiva das atividades ao longo de todo o percurso da Educação Básica. É no decorrer desse itinerário que se conduzirá o aluno, de forma intencional, ao uso dos diversos gêneros textuais de forma autônoma, a fim de que reconheça as suas funções sociais nos meios em que circula.

Por conseguinte, investigou-se a evidência de validade baseada na relação com outras variáveis, tipo convergente, do QACM com os dois testes de Cloze. A Tabela 4 indica as médias, desvios padrões e as correlações entre os instrumentos.

A análise descritiva indicou que a amostra geral obteve M = 9,48 (DP = 3,51) no QACM reduzido. Esse resultado indica que os estudantes acertaram 63,2% dos itens, pouco acima da metade, o que demonstra que os alunos têm dificuldades para identificar os tipos textuais. Esses estudantes podem ter a articulação das capacidades sociodiscursivas e linguísticas prejudicadas, assim como a apropriação de práticas de letramento e aprendizado, como destacado por Dolz, Noverrraz e Schneuwly (2004). É nesse sentido, que Bogaerds-Hazenberg et al. (2020) defendem que o ensino da estrutura dos textos deve ser priorizado no currículo do ensino fundamental para que efeitos positivos sobre a leitura sejam mantidos no decorrer da escolarização. Programas de intervenção também podem ser desenvolvidos para remediar o baixo desempenho de habilidades linguísticas como implementados por Santos et al. (2017) e Nobile e Barrera (2018).

As correlações do QACM com os dois testes de Cloze foram positivas e de magnitude moderada, como visto na Tabela 4. Correlações análogas foram identificadas no Cloze 1 e Cloze 2. Esse resultado sugere que o bom desempenho em consciência metatextual relaciona-se com a habilidade de compreensão de leitura, como já foi verificado anteriormente (Bogaerds-Hazenberg et al., 2020; Cunha, & Santos, 2019; Nobile, & Barrera, 2018; Santos et al., 2017; 2019; Santos et al., 2018).

Em seguida, utilizou-se a modelagem por equações estruturais para investigar a variância explicada do QACM para os dois textos do teste de Cloze. Esse modelo apresentou χ2 = 1358.156; gl = 942 (p < 0,001), com χ2/gl = 1,44 e índices de ajuste muito bons, com RMSEA = 0,03 (90% IC 0.024 - 0.030); CFI e TLI = 0,96. A Figura 1 apresenta o modelo contendo os coeficientes padronizados (betas) e a variância explicada (R2) do QACM para os dois testes de Cloze.

 

 

De acordo com a Figura 1, os 15 tipos de textos do QACM apresentaram 42% de variância explicada para o Cloze 1 (β= 0,76) e 38% para o Cloze 2 (β= 0,79). Esse resultado indica que a consciência metatextual, avaliada pelo QACM, possui o potencial de predizer a habilidade dos alunos do 3º ao 5º ano de compreender a leitura, corroborando o resultado de outras pesquisas (Cunha, & Santos, 2019; Santos et al., 2018).

A interpretação da versão de 15 itens do QACM baseou-se na pontuação mínima de 0 pontos e máxima de 15. A redução de itens possibilitou que o QACM ficasse mais enxuto e, consequentemente, tenderá a demandar menos tempo para respondê-lo. Ressalta-se que a extensão do instrumento era um fator que gerava reclamações por parte dos alunos. Nesse sentido, espera-se que a versão com 15 itens do QACM não afete a motivação dos estudantes para executar a tarefa.

Os tipos textuais que foram eliminados com base neste estudo psicométrico eram aqueles que mais se repetiam quanto aos seus gêneros textuais. Assim considera-se que o instrumento ficou mais adequado e confiável para avaliar a consciência metatextual. Acredita-se que o QACM reduzido possa ser útil para professores, psicopedagogos e psicólogos que necessitam conhecer o nível de conhecimento de tipos e gêneros textuais. A hipótese inicial foi confirmada visto que a versão reduzida tem os parâmetros psicométricos necessários para o seu uso para a pesquisa e para aplicação no espaço escolar, como o questionário anterior com 20 itens.

Cabe destacar que há a possibilidade de elaborar programas de intervenção com base na estrutura desse questionário, como já desenvolvidos por pesquisadores que têm enfrentado o problema do baixo desempenho dos estudantes em compreensão de leitura, tão observados nestes tempos nas avaliações de larga escala nacionais e estrangeiras. Pode-se assinalar que o instrumento, ora focalizado, tem como limitação sua possibilidade de uso apenas para o ensino fundamental I. Novos estudos com o instrumento poderão investigar como analisar a consciência metatextual em alunos dos demais níveis de escolarização, haja vista para o fato de discentes de todos os níveis também apresentarem dificuldades importantes de compreensão de leitura.

 

Agradecimentos

Não há menções.

Financiamento

A presente pesquisa não recebeu nenhuma fonte de financiamento sendo custeada com recursos dos próprios autores.

Contribuições dos autores

Todos os autores participaram da elaboração do manuscrito. Especificamente, as autoras Neide de Brito Cunha e Acácia Ap. Angeli dos Santos participaram da redação inicial do estudo - conceitualização, investigação, visualização, o as autoras Neide de Brito Cunha e Adriana Satico Ferraz participaram da análise dos dados, e as autoras Neide de Brito Cunha, Acácia Ap. Angeli dos Santos e Adriana Satico Ferraz participaram da redação final do trabalho - revisão e edição.

Disponibilidade dos dados e materiais

Todos os dados e sintaxes gerados e analisados durante esta pesquisa serão tratados com total sigilo devido às exigências do Comitê de Ética em Pesquisa em Seres Humanos. Porém, o conjunto de dados e sintaxes que apoiam as conclusões deste artigo estão disponíveis mediante razoável solicitação ao autor principal do estudo.

Conflito de interesses

Os autores declaram que não há conflitos de interesses.

 

Referências

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education, (2014). Standards for educational and psychological testing. American Educational Research Association.         [ Links ]

Asparouhov, T., & Muthén, B. (2010). Weighted least squares estimation with missing data. Mplus Technical Appendix.         [ Links ]

Avancini, M. (2016). Símbolo difícil de emplacar. Revista Educação, 20(230), 28-43.         [ Links ]

Bogaerds-hazenberg, S. T. M., Evers-Vermeul, J., & Van den Bergh, H. A. (2020). Meta-analysis on the effects of text structure instruction on reading comprehension in the upper elementary grades. Reading Research Quarterly, 56(3), 435-462. https://doi.org/10.1002/rrq.311        [ Links ]

Cheung, G. W., & Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing measurement invariance. Structural Equation Modeling: A Multidisciplinary Journal, 9(2), 233-255. https://doi.org/10.1207/S15328007SEM0902_5        [ Links ]

Conselho Nacional de Educação, Conselho Pleno, Brasil. (2017). Resolução CNE/CP nº 2, de 22 de dezembro, institui e orienta a implantação da Base Nacional Comum Curricular, a ser respeitada obrigatoriamente ao longo das etapas e respectivas modalidades no âmbito da Educação Básica. http://basenacionalcomum.mec.gov.br/images/historico/RESOLUCAOCNE_CP222DEDEZEMBRODE2017.pdf        [ Links ]

Cunha, N. B., & Santos, A. A. A. (2019). Avaliação da consciência metatextual e sua predição da compreensão de leitura. Psicologia: Teoria e Prática, 21(1), 37-52. http://dx.doi.org/10.5935/1980-6906/psicologia.v21n1p53-68        [ Links ]

Cunha, N. B., & Santos, A. A. A. (2014). Estudo de validade do questionário de avaliação de consciência metatextual. Revista Psicologia: Teoria e Prática, 16(1), 141-154.         [ Links ]

Cunha, N. B., Santos, A. A. A., & Oliveira, K. L. (2018). Evidências de validade por processo de resposta no Cloze. Fractal: Revista de Psicologia, 30(3), 330-337. https://doi.org/10.22409/1984-0292/v30i3/5817        [ Links ]

Damásio, B. F., & Dutra, D. F. (2017). Análise fatorial exploratória: um tutorial com o software Factor. Em B. F. Damásio & J. C. Borsa (Orgs.). Manual de desenvolvimento de instrumentos psicológicos, (pp. 241-266). Vetor Editora.         [ Links ]

Dancey, C. P., & Reidy, J. (2013). Métodos de pesquisa: Estatística sem matemática para Psicologia. Penso.         [ Links ]

Dolz, J., Noverraz, M., & Schneuwly, B. (2004). Sequências didáticas para o oral e a escrita: apresentação de um procedimento. Em B. Schneuwly, & J. Dolz, (Org.). Gêneros orais e escritos na escola. (pp. 81-108). Mercado de Letras.         [ Links ]

Dunn, T. J., Baguley, T., & Brunsden, V. (2014). From alpha to omega: A practical solution to the pervasive problem of internal consistency estimation. British Journal of Psychology, 105(3), 399-412. https://doi.org/10.1111/bjop.12046        [ Links ]

Ferrando, P. J., & Lorenzo-Seva, U. (2018). Assessing the quality and appropriateness of factor solutions and factor score estimates in exploratory item factor analysis. Educational and Psychological Measurement, 78(5), 762-780. https://doi.org/10.1177/0013164417719308        [ Links ]

Friel, C. M. (2008). Notes on factor analysis. Criminal Justice Center.         [ Links ]

Gombert, J. E. (1997). Metalinguistic development in first language acquisition. Em L. van Lier, & D. Corson. (Orgs.). Encyclopedia of language and education (pp. 43-52). Kluwer Academic Publishers.         [ Links ]

Goss-Sampson, M. (2019). Statistical analysis in JASP: A guide for students. https://doi.org/10.6084/m9.figshare.9980744        [ Links ]

Lorenzo-Seva, U., & Ferrando, P. J. (2020). Factor Analysis. psico.fcep.urv.cat/utilitats/factor        [ Links ]

Marcuschi, L. A. (2010). Gêneros textuais: definição e funcionalidade. Em A. P. Dionísio; A. R., Machado & M. A. Bezerra. (Orgs.). Gêneros textuais e ensino (pp. 19-36). Parábola Editorial.         [ Links ]

Marôco, J. (2014). Análise de equações estruturais: Fundamentos teóricos, software & aplicações. ReportNumber.         [ Links ]

Martins, G. A. (2006). Sobre confiabilidade de validade. Revista Brasileira de Gestão de Negócios, 8(20), 1-12. http://www.spell.org.br/documentos/ver/6471/sobre-confiabilidade-e-validade/i/pt-br        [ Links ]

Ministério da Educação, Brasil. (1998). Secretaria de Educação Fundamental. Parâmetros Curriculares Nacionais: Português. http://portal.mec.gov.br/seb/arquivos/pdf/portugues.pdf        [ Links ]

Mota, M. M. P. E. D., & Santos, A. A. A. (2014). The Cloze evaluation as a measure of reading ability in primary education. Psicologia Escolar e Educacional, 18(1), 135-142. https://doi.org/10.1590/S1413-85572014000100014        [ Links ]

Muthén, L. K., & Muthén, B. O. (2010). Mplus user's guide: statistical analysis with latent variables. Muthén & Muthén.         [ Links ]

Muthén, L. K., & Muthén, B. O. (2012). Mplus User's Guide: Statistical Analysis with Latent Variables. Muthén & Muthén.         [ Links ]

Nobile, G. G., & Barrera, S. D. (2019). Habilidades metatextuais e escrita de textos em alunos do Ensino Fundamental. Psico, 50(2), 1-10. https://doi.org/10.15448/1980-8623.2019.2.29879        [ Links ]

Nobile, G. G., & Barrera, S. D. (2018). Habilidades metatextuais: uma intervenção na produção escrita de textos narrativos. Psicologia Escolar e Educacional, 22(2), 311-318. https://doi.org/10.1590/2175-3539207626        [ Links ]

Oliveira, K. L., Santos, A. A. A., Boruchovitch, E., & Rueda, F. J. M. (2012). Compreensão da leitura: análise do funcionamento diferencial dos itens de um Teste de Cloze. Psicologia: Reflexão e Crítica, v. 25(2), 221-229. https://doi.org/10.1590/S0102-79722012000200003        [ Links ]

Oliveira, K. L. D., Santos, A. A. A., & Rosa, M. T. (2016). Compreensão em leitura no ensino fundamental. Psicologia: Ciência e profissão, 36(3), 546-557. https://doi.org/10.1590/1982-3703001172014        [ Links ]

Peterson, R. A., & Kim, Y. (2013). On the relationship between coefficient alpha and composite reliability. Journal of Applied Psychology, 98(1), 194-198. https://doi.org/10.1037/a0030767        [ Links ]

Sampieri, R. H., Collado, C. F., Lucio, M. P. B., Moraes, D. V., Garcia, A. G. Q., & Silva, M. J. D. (2006). Metodologia de pesquisa. McGraw-Hill.         [ Links ]

Santos, A. A. A. (2005). Evidências de validade de critério para o Teste de Cloze. [Relatório Técnico não Publicado]. Universidade São Francisco: Itatiba-SP.         [ Links ]

Santos, A. A. A., & Cunha, N. B. (2012). Consciência metatextual no ensino fundamental. Psico-USF, 17(2), 233-241. https://doi.org/10.1590/S1413-82712012000200007        [ Links ]

Santos, A. A. A., Ferraz, A. S., & Rueda F. J. M. (2018). Relações entre a Compreensão de Leitura e as Habilidades Metalinguísticas. Psicologia Escolar e Educacional, 22(2), 301-309. https://doi.org/10.1590/2175-35392018026239        [ Links ]

Santos, A. A. A., & Monteiro, R. M. (2016). Validade do Cloze enquanto técnica de avaliação da compreensão de leitura. Estudos Interdisciplinares em Psicologia, 7(2), 86-100. http://dx.doi.org/10.5433/2236-6407.2016v7n2p86        [ Links ]

Santos, A. A. A., Oliveira, K. L., Cunha, N. B., & Osés, P. C. C. (2017). Effectiveness of an Intervention Program for Linguistics Skill Development. Paidéia, 27(67), 37-45. https://doi.org/10.1590/1982-43272767201705        [ Links ]

Suehiro, A. C. B., & Santos, A. A. A. (2015). Compreensão de leitura e consciência fonológica: evidências de validade de suas medidas. Estudos de Psicologia, 32(2), 201-211. https://doi.org/10.1590/0103-166X2015000200005        [ Links ]

Tabachnick, B. G., Fidell, L. S., & Ullman, J. B. (2007). Using multivariate statistics. Pearson.         [ Links ]

Taylor, W. L. (1953). Cloze Procedure: A New Tool for Measuring Readability. Journalism Bulletin, 30(4), 415-433. https://doi.org/10.1177%2F107769905303000401        [ Links ]

 

 

Endereço para correspondência:
Adriana Satico Ferraz
Rua José Franco de Oliveira, nº 99, Bairro Arraial
Tuiuti-SP, CEP 12930-000
E-mail: adrianasatico.as@gmail.com

Recebido em dezembro de 2020
Aceito em março de 2021

 

 

Sobre as autoras
Neide de Brito Cunha é licenciada em Letras e Pedagogia. Doutora em Psicologia pela Universidade São Francisco. É docente do Centro Estadual de Educação Tecnológica Paula Souza. Investiga habilidades linguísticas e autorregulação da aprendizagem.
Adriana Satico Ferraz é psicológica, Mestre e doutoranda em Psicologia pela Universidade São Francisco. Investiga habilidades linguísticas, autorregulação da aprendizagem, adaptação ao ensino superior e motivos para a evasão acadêmica.
Acácia Aparecida Angeli dos Santos é psicóloga, Doutora em Psicologia pela Universidade de São Paulo. Docente do Programa de Pós-graduação Stricto Sensu em Psicologia da Universidade São Francisco. Investiga habilidades linguísticas e outros construtos relacionados à aprendizagem.

Creative Commons License