ARTIGO ORIGINAL

 

Avaliação da alfabetização: elaboração e validação de conteúdo do IBALEC

 

Literacy Assessment: Preparation and content validation of IBALEC content

 

 

Gislaine Gasparin Nobile^I; Sylvia Domingos Barrera^II; Flávio Rebustini^III

^IUniversidade de São Paulo, Ribeirão Preto, SP, Brasil
^IIUniversidade de São Paulo, Ribeirão Preto, SP, Brasil
^IIIUniversidade de São Paulo, São Paulo, SP, Brasil

Endereço para correspondência

 

 

---

RESUMO

Profissionais de saúde frequentemente recebem crianças com queixas de dificuldades de aprendizagem, porém, em geral, não possuem instrumentos breves para avaliar as defasagens da criança em relação às habilidades de leitura e escrita. Neste sentido, foi construído o Instrumento para Breve Avaliação da Leitura, Escrita e Compreensão (IBALEC), destinado a avaliar o desempenho em habilidades básicas de leitura, escrita e compreensão de alunos do Ciclo I do Ensino Fundamental. O objetivo deste trabalho é apresentar a estrutura e processo de validação de conteúdo do IBALEC. Após sua construção preliminar, o instrumento foi submetido a um painel formado por nove especialistas da área da aprendizagem da língua escrita, os quais avaliaram os itens do instrumento quanto à sua adequação aos objetivos propostos, incluindo aspectos como clareza, organização, objetividade e pertinência. Foi aplicado como índice de validade para a seleção dos itens o Content Validity Ratio (CVR), o qual indicou um valor crítico de 0,95, sendo acima do valor esperado (0,77). Foram obtidos, ainda, os seguintes CVR: pertinência 0,96; objetividade 0,98; organização 0,98 e clareza 0,95. Os índices obtidos sugerem a adequação do instrumento a suas finalidades. Torna-se essencial avançar para as etapas de evidências de estrutura interna e relação com outras variáveis para aumentar a confiabilidade do instrumento.

Unitermos: Leitura. Escrita. Compreensão. Desempenho Escolar. Psicometria.

---

SUMMARY

Health professionals often receive children with complaints of learning difficulties, however, in general, they do not have brief instruments to assess the child's lags in relation to reading and writing skills. In this sense, the Instrument for Brief Assessment of Reading, Writing and Understanding (IBALEC) was built, aimed at assessing the performance in basic reading, writing and comprehension skills of students in Cycle I of Elementary School. The objective of this work is to present the structure and content validation process of IBALEC. After its preliminary construction, the instrument was submitted to a panel formed by nine specialists in the area of learning the written language, who evaluated the items of the instrument as to their suitability for the proposed objectives, including aspects such as clarity, organization, objectivity and pertinence. The Content Validity Ratio (CVR) was applied as a validity index for the selection of items, which indicated a critical value of 0.95, being above the expected value (0.77). The following CVR were also obtained: pertinence 0.96; objectivity 0.98; organization 0.98 and clarity 0.95. The indexes obtained suggest the suitability of the instrument for its purposes. It is essential to proceed to the stages of evidence of internal structure and relationship with other variables to increase the reliability of the instrument.

Keywords: Reading. Writing. Comprehension. School Performance. Psychometric.

---

 

 

INTRODUÇÃO

Aprender a ler e a escrever é uma necessidade inquestionável nas sociedades letradas. Ao longo do tempo, a invenção da escrita contribuiu para o registro, a transmissão e a manutenção de informações, possibilitando também o acúmulo dos diversos conhecimentos. Assim, é inadmissível impossibilitar o acesso à aprendizagem da leitura e escrita ou aceitar, em uma sociedade letrada, indivíduos privados desse direito¹.

Apesar dessa importância, os dados da Avaliação Nacional de Alfabetização^2,3, realizada com alunos de 3º ano do Ensino Fundamental de todo país, que objetiva aferir os níveis de alfabetização e letramento em Língua Portuguesa e Matemática, indicaram que mais da metade dos alunos têm nível insuficiente em provas de leitura e matemática. O índice de alunos com nível insuficiente em leitura é de 54,73%, o que indica que os estudantes não conseguem identificar a finalidade de um texto e localizar uma informação explícita. Sobre a escrita, 34% estão no pior patamar, não sendo capazes de escreverem as palavras de maneira alfabética e produzirem textos ilegíveis.

Ressalta-se que a Base Nacional Comum Curricular⁴ - documento normativo que define o conjunto orgânico e progressivo de aprendizagens essenciais que todos os alunos devem desenvolver ao longo das etapas da educação básica - considera o 2º ano como o final do ciclo da alfabetização. Neste sentido, tem-se como meta que os alunos saibam ler e escrever na faixa etária dos 7 anos.

Um dos maiores desafios nacionais contemporâneos é garantir a aprendizagem da leitura e da escrita na idade certa a todos os alunos⁵. Para superá-lo, é necessária a identificação dos vários fatores implicados no processo de ensino e aprendizagem, como, por exemplo, como se aprende a ler e a escrever, quais habilidades cognitivas e linguísticas favorecem a aprendizagem da leitura e da escrita, podendo ser consideradas preditoras do sucesso na alfabetização, o papel do envolvimento das famílias como meio potencializador do processo de escolarização, bem como a promoção de práticas pedagógicas mais eficazes para o ensino da leitura e da escrita a serem adotadas nos cursos de formação de professores e nas escolas. É preciso considerar, ainda, que algumas crianças podem apresentar dificuldades específicas na aprendizagem da leitura e da escrita.

Segundo Fonseca⁶, as dificuldades de aprendizagem são um motivo de inquietude para múltiplos profissionais, sendo eles médicos de várias especialidades, psicólogos, neuropsicólogos, pedagogos, psicopedagogos, professores e pais, principalmente pelo fato de que não há uma teoria sólida sob seus paradigmas e pressupostos, bem como uma taxonomia única relacionada ao fenômeno.

Para Rotta⁷, um cérebro com estrutura normal, condições funcionais e neuroquímicas adequadas não é garantia de um aprendizado adequado. O ato de aprender é um ato de plasticidade cerebral, modulado por fatores intrínsecos (genéticos) e extrínsecos (experiência); neste sentido, as dificuldades para a aprendizagem são resultado de alguma falha nesses fatores. De acordo com a autora, "dificuldades para a aprendizagem é um termo genérico que abrange um grupo heterogêneo de problemas capazes de alterar as possibilidades de a criança aprender, independentemente de suas condições neurológicas para fazê-lo". (p. 97-98)⁷.

É relevante distinguir, neste contexto, dificuldade de aprendizagem dos transtornos de aprendizagem. O Manual Diagnóstico e Estatístico de Transtornos Mentais (DSM-5), que é uma classificação de transtornos mentais e critérios associados, os quais facilitam diagnósticos mais confiáveis, destaca três tipos de transtornos específicos de aprendizagem: leitura, escrita e matemática. Estes transtornos fazem parte dos transtornos do neurodesenvolvimento, que são um grupo de condições com início na primeira infância, caracterizados por déficits que acarretam prejuízos no funcionamento pessoal, social, acadêmico ou profissional.

Um transtorno específico de aprendizagem na área da leitura ou escrita é diagnosticado frente a pelo menos um dos seguintes déficits:

1. Leitura de palavras de forma imprecisa ou lenta e com esforço (p. ex., lê palavras isoladas em voz alta, de forma incorreta ou lenta e hesitante, frequentemente adivinha palavras, tem dificuldade de soletrá-las). 2. Dificuldade para compreender o sentido do que é lido (p. ex., pode ler o texto com precisão, mas não compreende a sequência, as relações, as inferências ou os sentidos mais profundos do que é lido). 3. Dificuldades para ortografar (ou escrever ortograficamente) (p. ex., pode adicionar, omitir ou substituir vogais e consoantes). 4. Dificuldades com a expressão escrita (p. ex., comete múltiplos erros de gramática ou pontuação nas frases; emprega organização inadequada de parágrafos; expressão escrita das ideias sem clareza). (p. 66)⁸

O DSM-5 considera ainda um critério importante para o diagnóstico do transtorno específico de aprendizagem o fato de que o desempenho do indivíduo nas habilidades acadêmicas afetadas esteja bem abaixo da média esperada para a idade, conforme avaliado por instrumentos adequados. As dificuldades devem ser persistentes por pelo menos seis meses e ocorrerem no início da escolarização. Ressalta-se que as dificuldades de aprendizagem não são atribuídas a deficiências intelectuais, atraso global do desenvolvimento, deficiências auditivas ou visuais, problemas neurológicos ou motores, adversidade psicossocial ou instrução educacional inadequada.

O transtorno específico da aprendizagem é um transtorno do neurodesenvolvimento com uma origem biológica que é a base das anormalidades no nível cognitivo as quais são associadas com as manifestações comportamentais. A origem biológica inclui uma interação de fatores genéticos, epigenéticos e ambientais que influenciam a capacidade do cérebro para perceber ou processar informações verbais ou não verbais com eficiência e exatidão. (p. 68)⁸

O diagnóstico dos transtornos de aprendizagem é clínico, abrangente e envolverá profissionais especialistas, como neurologistas, psicólogos, psicopedagogos, neuropsicólogos e fonoaudiólogos.

Diferentemente dos transtornos de aprendizagem, que pressupõem causa biológica para as dificuldades cognitivas de processamento da linguagem oral, responsáveis pelos déficits nas habilidades de leitura e escrita observados, as dificuldades de aprendizagem podem surgir por vários motivos, dentre os quais se destacam: problemas relacionados com a escola (condições pedagógicas, condições físicas da sala de aula, condições do corpo docente), relacionados com a família (baixa escolaridade dos pais, falta de hábito de leitura, condições socioeconômicas e desagregação familiar) e, relacionados com a criança (distintos em problemas físicos em geral: dificuldades sensoriais, visual ou auditiva, doenças crônicas; transtornos psiquiátricos, como fobias, depressão, transtorno opositor desafiante e as patologias neurológicas, embora não sejam as causas primárias das dificuldades para aprender)⁷.

A prevalência dos transtornos específicos de aprendizagem, segundo o DSM-5, gira em torno de 5% da população. Entretanto, pesquisas realizadas no Brasil indicam que cerca de 30 a 40% da população que frequenta os primeiros anos do Ensino Fundamental tem algum tipo de dificuldade escolar⁹. Ao considerar o baixo rendimento escolar associado aos transtornos de aprendizagem, o percentual de 30% cai para uma média de 2 a 10% da população, porém, se um diagnóstico adequado não for realizado, não é possível determinar se o baixo rendimento escolar tem como causa uma dificuldade ou um transtorno de aprendizagem¹⁰.

De acordo com Capellini & Conrado¹¹, a elevada proporção de escolares com dificuldades na alfabetização os faz ser confundidos com crianças que apresentam transtornos de aprendizagem, quando, na verdade, o que apresentam é uma falha no acesso fonológico da informação decorrente de problemas na alfabetização. Ainda, de acordo com Zorzi¹², um número muito elevado de crianças, tanto de escolas públicas como privadas, tem experimentado situações de fracasso escolar em razão das dificuldades para aprender a ler e escrever, o que leva o autor a concluir que muitas propostas educacionais podem não estar dando conta de se apresentarem como meios eficientes e adequados às necessidades e características de tais crianças.

Muitas crianças são encaminhadas a profissionais de saúde (pediatras, neurologistas e psicólogos) com queixas de dificuldades de aprendizagem, porém esses profissionais, em geral, não possuem instrumentos breves para avaliar a defasagem da criança em termos escolares, especificamente no que se refere à aprendizagem da leitura e da escrita. Entretanto, essa avaliação é fundamental para fornecer indícios sobre a gravidade do problema e mesmo para servir como critério para futuros atendimentos e encaminhamentos.

Diante dessa lacuna, foi construído o Instrumento para Breve Avaliação da Leitura, Escrita e Compreensão (IBALEC), destinado a avaliar o desempenho em habilidades básicas de leitura, escrita e compreensão da leitura de alunos do Ciclo I do Ensino Fundamental (EF), tendo como base a abordagem da Psicologia Cognitiva e seguindo todas as etapas psicométricas para sua validação e normatização. Nesse sentido, o objetivo deste trabalho é apresentar a base teórica, a estrutura e o procedimento de validação de conteúdo do IBALEC.

Evidências de validade importantes podem ser obtidas a partir de uma análise da relação entre o conteúdo de um teste e o construto que se pretende medir. O conteúdo do teste se refere aos temas, palavras e formato dos itens, tarefas ou perguntas em um teste¹³. Há quatro componentes essenciais na etapa de validade de conteúdo: definição do domínio, representação do domínio, relevância do domínio e adequação do procedimento para a construção do teste¹⁴. Sendo que domínio se refere a como o conceito ou fenômenos medidos pelo instrumento são operacionalmente definidos¹⁵.

Estrutura do IBALEC e Fundamentação Teórica Subjacente

A primeira atividade proposta no IBALEC é a escrita das letras do alfabeto. Nesse item, a criança deve escrever as letras do alfabeto na ordem convencional, ou aquelas que souber. Após a escrita das letras, o aplicador solicita à criança que as nomeie. São pontuadas somente as letras lidas e escritas corretamente. No caso das crianças mais velhas (3º ano em diante) é possível começar a aplicação pelo segundo tópico do instrumento (leitura de palavras), retomando o alfabeto apenas no caso de fracasso nas atividades de leitura e escrita de palavras.

Antes mesmo do ensino formal, as crianças já começam a aprender o nome das letras, seja no ambiente familiar, em situações informais, ou mesmo na escola de Educação Infantil. Estudos indicam que o conhecimento das letras pode predizer o desenvolvimento da leitura e da escrita^16,17. Estudos internacionais sugerem que um conhecimento de menos de 10 letras ao final da pré-escola é um indicativo de risco para dificuldades de aprendizagem no Ensino Fundamental^18,19.

A segunda atividade do IBALEC propõe a leitura de 12 palavras, as quais foram escolhidas para abranger representações ortográficas regulares (considerando a relação biunívoca entre letra-som ou o uso de regras contextuais), e irregulares (considerando os casos de representação múltipla em que um mesmo som pode ser escrito por várias letras, de acordo com regras morfológico-gramaticais ou com a etimologia da palavras).

Para verificar a habilidade da leitura, quando os psicólogos tentam explicar como ocorre sua aprendizagem, geralmente o fazem por meio de modelos de estágios ou fases, que diferem quanto a detalhes, mas compartilham vários aspectos comuns²⁰. Neste sentido, a proposta teórica que fundamentou os critérios para a construção e pontuação do IBALEC, referente à leitura de palavras, foi elaborada por Ehri²¹ e apresenta quatro fases.

Na primeira fase, denominada "pré-alfabética", as crianças leem as palavras lembrando de pistas visuais (na própria palavra escrita) ou contextuais (fora da palavra escrita). Sendo assim, "(...) os leitores pré-alfabéticos adotam uma abordagem de pistas visuais inicialmente, pois não possuem o conhecimento ou capacidade para usar os nomes ou sons das letras para formar conexões alfabéticas" (p. 160). Crianças que se encontram nessa fase inicial da leitura costumam reconhecer a escrita de algumas marcas e às vezes do próprio nome, falhando, de modo geral, na leitura de palavras.

A segunda fase, alfabética parcial, surge quando os leitores iniciantes realizam conexões entre letras e sons, usando os valores sonoros de algumas letras com o intuito de formar conexões entre grafias e pronúncias, ou seja, ao aprender a nomeação das letras, esses leitores conseguem lembrar de como ler palavras, formando, assim, conexões fonéticas na memória. A leitura "(...) durante a fase alfabética parcial é um processo imperfeito, que ocorre entre iniciantes que não possuem conhecimento do sistema alfabético e habilidade de segmentação fonêmica" (p. 164). Crianças que se encontram nessa fase costumam identificar algumas letras e às vezes utilizam esse conhecimento para tentar "adivinhar" as palavras escritas, a partir do reconhecimento da letra inicial (por exemplo, "lendo" a palavra RELÓGIO como RATO).

É na terceira fase, alfabética plena, que os leitores iniciantes conseguem formar conexões entre todos os grafemas e fonemas para lembrar como ler as palavras. Nesse sentido, os leitores adquirem habilidade de decodificação e conhecimento grafofonêmico, os quais são utilizados para conectar as ortografias plenamente com suas pronúncias na memória. Crianças dessa fase já conseguem ler palavras regulares com estrutura silábica simples, embora possam apresentar uma leitura mais lenta, via decodificação fonológica.

A próxima fase, alfabética consolidada, começa a se constituir ainda na fase alfabética plena. Nesta fase, o leitor opera com unidades ortográficas maiores, que podem se referir a morfemas, afixos, ataques e rimas, palavras monossilábicas e grafias mais frequentes de sílabas em palavras polissilábicas, as quais passam a ser reconhecidas de forma automática. É nessa fase também que as palavras irregulares passam a ser lidas de forma rápida e sem erros.

A terceira atividade do instrumento propõe a escrita de palavras, por meio de oito figuras de animais. As palavras contêm estruturas silábicas simples (consoante-vogal - CV) e complexas (CVC, CCV, CVV). A base teórica para a construção e pontuação do IBALEC, referente à escrita de palavras, também foi elaborada a partir da proposta de Ehri²², a qual identifica quatro fases na aprendizagem da escrita.

Na fase pré-alfabética, a criança não conhece os nomes e os sons das letras e, não estabelece qualquer relação entre ambos, apresentando uma escrita com letras dispostas aleatoriamente. A fase semialfabética tem lugar quando a criança começa a aprender o nome e os sons das letras, iniciando a compreensão da natureza fonológica da escrita. Nessa fase, ela é capaz de isolar e representar apenas alguns sons da palavra a ser escrita, geralmente a primeira letra, mas as vezes também a última e com grande frequência, no caso do português brasileiro, as vogais.

Já na fase alfabética completa, a criança é capaz de representar praticamente todos os sons ouvidos na pronúncia da palavra por letras foneticamente apropriadas, mesmo com erros ortográficos, geralmente em algumas sílabas complexas. Por fim, na fase alfabética consolidada, a criança começa a operar com unidades maiores do que o fonema, apresentando sensível diminuição dos erros ortográficos.

Na quarta atividade do IBALEC, é solicitada a escrita de seis frases, com base na figura de seis objetos, com a intenção de verificar o nível de organização sintática e semântica das frases produzidas, bem como a atenção às regras ortográficas, incluindo a utilização de letras maiúsculas e minúsculas e o uso de pontuação. A proposta aqui é ir além da ortografia, embora esta também seja considerada na pontuação, a fim de acessar habilidades mais complexas de processamento da linguagem, de modo a construir frases que façam sentido, respeitando também regras gramaticais e ortográficas, além das demais convenções da escrita. De acordo com Godoy²³, a aprendizagem da escrita compreende, além dos processos gráficos e ortográficos, processos composicionais, que envolvem planejamento e revisão do texto, ligados à forma e ao conteúdo do que é escrito.

A quinta atividade do IBALEC avalia a habilidade de compreensão da leitura, sendo composta de um texto simples, acompanhado de seis questões para serem respondidas por escrito. Estas visam avaliar tanto a recuperação de informações explícitas do texto quanto a capacidade de elaboração de inferências.

Para Nation²⁴, a compreensão é o objetivo final da leitura, não sendo uma simples questão de reconhecer palavras ou entender cada palavra individualmente, à medida que se passa os olhos sobre ela, "(...) os modelos da compreensão reconhecem a necessidade de que os leitores construam uma representação mental do texto, um processo que exige integração entre uma variedade de fontes de informação, desde características lexicais ao conhecimento relacionado com os acontecimentos do mundo" (p. 266).

De acordo com Perfetti et al.²⁵, os processos de compreensão que levam a essa representação mental ocorrem em níveis múltiplos em diversas unidades da linguagem, sendo eles: no nível da palavra (processos lexicais), no nível da sentença (processos sintáticos) e no nível do texto.

Dentre os processos considerados críticos para a realização da compreensão em um nível superior, destaca-se a habilidade de realizar inferências, sendo que a linguagem de um texto, falado ou escrito, não é totalmente explícita, com isto, é exigido do leitor que ele conecte os elementos do texto a seu conhecimento de mundo, tornando-o coerente através do preenchimento de "lacunas" deixadas pelo autor.

Já o monitoramento da compreensão, possibilita que o leitor verifique o seu entendimento e faça correções onde esse entendimento não seja razoável. De acordo com Perfetti et al.²⁵, "(...) o monitoramento da compreensão, assim como a inferência, contribui e resulta da representação que o leitor faz do texto. Isso torna difícil atribuir os problemas de compreensão unicamente a uma incapacidade geral de monitorar a compreensão" (p. 253), já que qualquer problema pode ser resultado "(...) de uma representação incompleta do significado da sentença, da incapacidade de ativar conhecimento relevante no momento crítico, da incapacidade de monitorar a coerência do texto com relação à sua consistência interna ou ao conhecimento que o leitor tem do mundo" (p. 253).

A sensibilidade à estrutura dos estilos linguísticos e as diversas configurações textuais (narrativas, descritivas e outras) podem trazer problemas novos, resolvidos com a experiência em leitura e com o desenvolvimento de habilidades metatextuais²⁶. Os leitores menos hábeis indicam ter uma percepção menor das características de histórias (gênero textual mais encontrado nas escolas), as quais poderiam colaborar para estruturar a sua representação mental do texto, ou seja, déficits no conhecimento da estrutura dos diferentes tipos de texto podem limitar a capacidade de compreensão.

Em um nível menor da compreensão, encontram-se os processamentos sintático e lexical, sendo que dificuldades de compreensão podem estar localizadas em pontos de elevada demanda de processamento, originados, de acordo com vários estudos, por limitações na memória de trabalho, ou seja, a recuperação, armazenamento e manipulação de informações. Por sua vez, o vocabulário (conhecimento do significado das palavras) é instrumental na compreensão, sendo que a leitura também possibilita incrementos no conhecimento do significado das palavras. Não saber o significado das palavras representa um empecilho na compreensão de textos, nesse sentido, o leitor deve inferir o significado a partir do texto, desde que ele saiba a maioria das palavras e, este processo está correlacionado com a memória de trabalho, a qual corresponde a um ou mais sistemas de capacidade limitada que armazenam e manipulam informações²⁵.

Ressalta-se, também, para a compreensão, a importância da identificação de palavras (decodificação). A associação entre a identificação de palavras e a capacidade de compreensão da leitura se desenvolve por meio de amparo mútuo. "À medida que as crianças desenvolvem habilidades de leitura de palavras, a compreensão se torna menos limitada pela identificação de palavras e mais influenciada por outros fatores" (p. 260)²⁵, como aqueles descritos anteriormente.

 

MÉTODO

Participantes

Após a construção preliminar do instrumento, este foi submetido a um painel formado por nove especialistas atuantes na área da saúde, educação e pesquisa acadêmica, sendo um fonoaudiólogo com doutorado e especialista em linguagem; um psicólogo com doutorado e especialista em neuropsicologia; um pedagogo com mestrado, especialista em psicopedagogia clínica e institucional e professor da rede estadual; um pedagogo com doutorado, especialista em coordenação pedagógica e supervisor de ensino da rede municipal; um pedagogo e coordenador pedagógico da rede estadual; um pedagogo com mestrado, especialista em neuropsicopedagogia, neuroaprendizagem e psicopedagogia clínica e institucional; um fonoaudiólogo com doutorado em educação, professor de cursos de graduação e pesquisador na área da aprendizagem e dos distúrbios da leitura e da escrita; um psicólogo com pós-doutorado em psicologia experimental, professor em programa de pós-graduação e pesquisador nas áreas da leitura, escrita, funções executivas, alfabetização, instrumentos de avaliação e; um psicólogo com doutorado em psicologia do desenvolvimento, professor em programa de graduação e pós-graduação e pesquisador nas áreas de desenvolvimento/adaptação de instrumentos de avaliação das funções neuropsicológicas, desenvolvimento das funções neuropsicológicas, linguagem escrita e transtornos específicos de aprendizagem.

Comumente, os painéis de juízes seguem a recomendação de Lynn²⁷, a qual destaca ser suficiente cinco juízes. Contudo, a literatura contemporânea indica a necessidade de comitê multidisciplinar, composto por pesquisadores, tradutores, profissionais, metodologistas e pessoas laicas²⁸. Torna-se temerário em um país de dimensões continentais e de ampla diversidade cultural como o Brasil restringir as opiniões acerca de um fenômeno à avaliação de apenas cinco especialistas, o que pode gerar viés no instrumento.

Instrumento

Os juízes avaliaram os itens do IBALEC respondendo a um roteiro contendo duas partes. Na primeira parte do formulário, o juiz avaliou, para cada item do instrumento, a presença ou ausência dos seguintes critérios, definidos conforme dicionário de língua portuguesa: a) Pertinência: define-se como pertinente aquela questão relevante para alcançar o objetivo da pesquisa; b) Objetividade: define-se como objetiva aquela questão de fácil entendimento; c) Organização: define-se como organização a disposição das questões e alternativas como também seu conteúdo e, d) Clareza: define-se como clara aquela questão que contém as informações importantes para o alcance dos objetivos do estudo, enunciada de maneira compreensível.

Havia um espaço para o juiz descrever, caso desejasse, os itens necessários, porém ausentes no instrumento, bem como os itens desnecessários. Já na segunda parte, havia um campo para comentários e sugestões.

Procedimentos de coleta e análise dos dados

Após a aprovação do estudo pelo Comitê de Ética em Pesquisa (CAAE n^o 02902118.2.0000.5407) da faculdade à qual a pesquisa está vinculada, foi enviada uma carta-convite via correio eletrônico aos juízes selecionados, considerando sua expertise na área da saúde e educação. Conforme o aceite, foi enviado, a cada juiz, o instrumento com uma breve fundamentação teórica, justificativa, objetivos, forma de pontuação, bem como o roteiro para a avaliação. As respostas foram tabuladas no programa Excel e avaliadas para cada item a partir do Content Validity Ratio (CVR)^29,30.

 

RESULTADOS E DISCUSSÃO

Como índice de validade para a seleção dos itens adotou-se o CVR, desenvolvido por Lawshe³¹. A adoção do CVR visa a um rigor maior na aplicação do índice de validade de conteúdo, por permitir a adoção de um número maior de juízes. O Índice de Validade de Conteúdo (IVC) usualmente utilizado pode gerar viés¹⁵, bem como pune o índice com um número maior de juízes³⁰, em razão do índice não ser ajustado ao número de juízes. Já o valor do CVR _crítico é calculado com base no número de especialistas do painel²⁹. Para este trabalho, o CVR _crítico esperado é 0,77, considerando o painel composto por nove juízes²⁹.

Outro aspecto ainda mais importante é o fato do IVC poder gerar inflação da concordância ao acaso³¹. Num estudo sobre índices de validade de conteúdo, Pedrosa et al.³² avaliaram 13 índices de validade de conteúdo e concluíram que o CVR é o índice mais adequado e o que traz maiores benefícios em relação às alternativas propostas ao longo dos anos. O CVR ainda é considerado o índice mais sofisticado para a validação de conteúdo³³.

O CVR foi aplicado inicialmente para a avaliação da relevância do item. Portanto, no intuito de verificar se o item efetivamente mede a variável latente. Diferentemente dos estudos que utilizam as médias dos quesitos, este estudo aplicou um fluxo hierárquico, já que outros indicadores como a clareza do item e a facilidade de compreensão poderiam inflar a média do CVR e lançar para a fase seguinte itens que não mensurassem a variável latente. Da mesma forma, como aponta DeVellis³⁴, o item pode ser relevante, mas as palavras podem ser problemáticas. A média do CVR só foi aplicada aos itens que demostraram aderência ao fenômeno.

Na Tabela 1 é possível observar o CVR dos itens que compõem o IBALEC (que pode ter seu valor entre +1 e -1), por meio das respostas dos juízes, para a primeira parte do roteiro de avaliação utilizado.

Já a Tabela 2 apresenta o CVR _crítico para cada critério (pertinência, objetividade, organização e clareza), os quais indicaram um valor crítico igual ou superior a 0,95, estando, portanto, acima do valor esperado (0,77).

 

 

Para a segunda parte da avaliação do IBALEC, os juízes fizeram alguns comentários e sugestões, em relação aos quais torna-se importante tecer algumas considerações. Em primeiro lugar, houve a sugestão por parte de três juízes do acréscimo de pseudopalavras para a avaliação da leitura e escrita, já que os acertos poderiam ocorrer devido à familiaridade prévia da criança com alguma(s) das palavras utilizadas.

Essa consideração não foi aceita, pois o instrumento não tem como objetivo avaliar a eficácia de diferentes rotas de leitura²⁰, objetivo esse que tornaria indispensável a utilização de pseudopalavras. Além disso, considerou-se que o número de itens propostos e a estrutura de variabilidade dos mesmos em termos de regularidade, extensão e complexidade silábica seria suficiente para dirimir possíveis efeitos de acertos aleatórios (isto é, relacionados à simples memorização visual de palavras mais simples e frequentes). Por outro lado, e de acordo com as sugestões propostas por alguns juízes, foram acrescentadas mais três palavras irregulares para a leitura, bem como houve a troca de duas palavras multissilábicas por palavras trissilábicas.

Em relação à produção escrita de frases, conforme orientação do painel de especialistas, foi retirada uma figura e colocada em forma de exemplo, ou seja foi oferecida uma frase pronta, um modelo.

Outra sugestão considerada foi a inclusão de uma atividade composta por frases curtas e simples, para avaliar a compreensão leitora, aplicada anteriormente à compreensão de texto. Neste sentido, a atividade construída é composta por três frases escritas, acompanhadas de três figuras cada uma, onde o aluno deve escolher, para cada frase, a figura que melhor corresponde ao significado da frase lida. Esta atividade destina-se, principalmente, a crianças dos anos iniciais, as quais muitas vezes não dominam a leitura de forma automática, embora possam apresentar habilidades de decodificação suficientes para a compreensão de frases curtas e simples, com o apoio de ilustrações.

Por fim, outra sugestão aceita diz respeito à primeira atividade do instrumento, ou seja, a escrita e leitura das letras do alfabeto que a criança conhece. Nessa atividade foi sugerido por três juízes solicitar à criança que nomeie as letras escritas, do final para o começo, de modo a evitar a recitação mecânica das letras, ou seja, a simples memorização da ordem do alfabeto.

Ressalta-se que, após as sugestões do painel de especialistas, o IBALEC foi revisado, considerando que os altos índices de CVR apresentados nas Tabelas 1 e 2, para cada item e de acordo com os critérios estabelecidos, demonstraram que o instrumento mede com eficiência a variável latente que se propõe.

 

CONCLUSÃO

Este estudo descreveu aspectos do processo de elaboração e da análise da validação de conteúdo do IBALEC, instrumento elaborado para avaliar de forma breve e compreensiva o nível das habilidades de leitura e escrita em alunos do Ciclo 1 do Ensino Fundamental. Procurou-se descrever a base teórica que fundamentou a elaboração do instrumento, bem como apresentar os resultados da validação de conteúdo realizada por meio do índice de concordância (CVR) de nove juízes, especialistas na área de conhecimento das habilidades de leitura e escrita e suas dificuldades.

A partir da concepção do instrumento e das propostas encaminhadas e consolidadas pelo painel de juízes, os índices obtidos sugerem a adequação do instrumento a suas finalidades. Essa é uma etapa importante na construção de instrumentos de avaliação de habilidades. Entretanto, é essencial avançar para as etapas de evidências de estrutura interna e relação com outras variáveis para aumentar a confiabilidade do instrumento.

Tais cuidados são essenciais na produção de instrumentos de medida apropriados para embasar atividades clínicas e de pesquisa. Ressalta-se que a forma como foi realizada a pontuação das respostas de cada item do instrumento será apresentada em outro artigo, relativo à segunda etapa de evidência de estrutura interna.

 

REFERÊNCIAS

1. Nobile GG. Efeitos de intervenção em habilidades metatextuais sobre o desempenho na produção escrita de textos narrativos [Tese]. Ribeirão Preto: Universidade de São Paulo; 2017.         [ Links ]

2. Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Índice de Desenvolvimento da Educação Básica (Ideb), 2017. Brasília: Inep; 2018. Disponível em: http://portal.inep.gov.br        [ Links ]

3. Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep). Avaliação Nacional de Alfabetização (ANA), 2016. Brasília: Inep; 2017. Disponível em: http://ana.inep.gov.br/ANA/        [ Links ]

4. Brasil. Ministério da Educação. Base Nacional Comum Curricular (BNCC). Brasília: Ministério da Educação; 2021. Disponível em: http://basenacionalcomum.mec.gov.br/        [ Links ]

5. Roazzi A, Santos MJ, Paula FV. A aprendizagem da leitura e da escrita: teoria e prática. apresentação. In: Roazzi A, Paula FV, Santos MJ, eds. Leitura & Escrita: A sua aprendizagem na teoria e na prática. Curitiba: Juruá; 2014. p. 9-16.         [ Links ]

6. Fonseca V. Dificuldades de aprendizagem: abordagem neuropsicopedagógica. 5ª ed. Rio de Janeiro: Wak Editora; 2016.         [ Links ]

7. Rotta NT. Dificuldades para aprendizagem. In: Rotta NT, Ohlweiler L, Riesgo R, eds. Transtornos da Aprendizagem: abordagem neurobiológica e multidisciplinar. 2ª ed. Porto Alegre: Artmed; 2016. p. 94-104.         [ Links ]

8. American Psychiatric Association (APA). Manual diagnóstico e estatístico de transtornos mentais: DSM-5. Porto Alegre: Artmed; 2014. Disponível em: https://edisciplinas.usp.br/pluginfile.php/5276592/mod_resource/content/1/DSM%20V.pdf        [ Links ]

9. Alves LM, Ribeiro MM. Desempenho em memória de trabalho em escolares com e sem queixas de alterações de aprendizagem. Rev Tecer. 2011;4(6):54-65.         [ Links ]

10. Andrade OVCA, Andrade PE, Capellini SA. Caracterização do Perfil Cognitivo-Linguístico de Escolares com Dificuldades de Leitura e Escrita. Psicol Reflex Crit. 2014; 27(2):358-67.         [ Links ]

11. Capellini SA, Conrado TLB. Desempenho de escolares com e sem dificuldades de aprendizagem de ensino particular em habilidade fonológica, nomeação rápida, leitura e escrita. Rev CEFAC. 2009;11(Suppl 2):183-93.         [ Links ]

12. Zorzi JL. Aprendizagem e distúrbios da linguagem escrita: questões clínicas e educacionais. Porto Alegre: Artmed; 2003.         [ Links ]

13. American Educational Research Association (AERA), American Psychological Association (APA), National Council on Measurement in Education (NCME). The Standards for Educational and Psychological Testing. Washington: AERA/APA/NCME; 2014.         [ Links ]

14. Sireci S, Faulkner-Bond M. Validity evidence based on test content. Psicothema. 2014;26(1):100-7.         [ Links ]

15. Almanasreh E, Moles R, Chen TF. Evaluation of methods used for estimating content validity. Res Social Adm Pharm. 2019;15(2):214-21.         [ Links ]

16. Justi CNG, Pollo TC. O conhecimento do nome das letras e o aprendizado da leitura e da escrita. In: Santos MJ, Barrera SD, orgs. Aprender a ler e escrever: bases cognitivas e práticas pedagógicas. São Paulo: Vetor; 2019. p. 115-35.         [ Links ]

17. Justi CNG, Cunha N, Justi FRR. Letter-name knowlwdge: Predicting reading and writing difficulties. Estud Psicol (Campinas). 2020;37:e180173.         [ Links ]

18. Heilmann JJ, Moyle MJ, Rueden AM. Using alphabet knowledge to track the emergent literacy skills of children in head start. Topics Early Child Spec Educ. 2018;38(2):118-28.         [ Links ]

19. Piasta SB, Wagner RK. Developing Early Literacy Skills: A Meta-Analysis of Alphabet Learning and Instruction. Read Res Q. 2010;45(1):8-38.         [ Links ]

20. Ellis AW. Leitura, Escrita e Dislexia: Uma análise cognitiva. Porto Alegre: Artes Médicas; 1995.         [ Links ]

21. Ehri LC. O desenvolvimento da leitura imediata de palavras: fases e estudos. In: Snowling MJ, Hulme C, eds. A ciência da leitura. Porto Alegre: Penso; 2013. p. 153-72.         [ Links ]

22. Ehri LC. Learning to read and learning to spell are one and the same, almost. In: Perfetti CA, Rieben L, Fayol M, eds. Learning to spell: research, theory, and practice across languages. Mahwah: Lawrence Erlbaum Associates; 1998. p. 237-69.         [ Links ]

23. Godoy DMA. Aprender a escrever: Contribuição das habilidades de consciência fonêmica, nomeação seriada rápida e memória de trabalho. Rev Ibero Am Est Educ. 2016;11(4):2558-75.         [ Links ]

24. Nation K. Dificuldades de compreensão da leitura em crianças. In: Snowling MJ, Hulme C, orgs. A Ciência da Leitura. Porto Alegre: Penso; 2013. p. 266-83.         [ Links ]

25. Perfetti CA, Landi N, Oakhill J. A aquisição da habilidade de compreensão da leitura. In: Snowling MJ, Hulme C, orgs. A Ciência da Leitura. Porto Alegre: Penso; 2013. p. 245-65.         [ Links ]

26. Gombert JE. Metalinguistic development. Harvester: Wheatsheaf; 1992.         [ Links ]

27. Lynn MR. Determination and quantification of content validity. Nurs Res. 1986;35(6):382-5.         [ Links ]

28. Epstein J, Osborne RH, Elsworth GR, Beaton DE, Guillemin F. Cross-cultural adaptation of the Health Education Impact Questionnaire: experimental study showed expert committee, not back-translation, added value. J Clin Epidemiol. 2015;68(4): 360-9.         [ Links ]

29. Ayre C, Scally AJ. Critical values for Lawshe's content validity ratio: revisiting the original methods of calculation. Meas Eval Couns Dev. 2014;47(1):79-86.         [ Links ]

30. Wilson FR, Pan W, Schumsky DA. Recalculation of the critical values for Lawshe's content validity ratio. Meas Eval Couns Dev. 2012;45(3):197-210.         [ Links ]

31. Lawshe CH. A Quantitative approach to content validity. Pers Psychol. 1975;28(4): 563-75.         [ Links ]

32. Pedrosa I, Suárez-Álvarez J, García-Cueto E. Evidencias sobre la validez de contenido: avances teóricos y métodos para su estimación. Acción Psicol. 2013;10(2):3-18.         [ Links ]

33. Streiner DL, Norman GR, Cairney J. Health measurement scales: a practical guide to their development and use. Oxford: Oxford University Press; 2015.         [ Links ]

34. DeVellis RF. Scale development: Theory and applications. New York: Sage Publications; 2019.         [ Links ]

 

 

Endereço para correspondência:
Gislaine Gasparin Nobile
Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto. Departamento de Psicologia
Universidade de São Paulo
Avenida Bandeirantes, 3900 - Bairro Monte Alegre
Ribeirão Preto, SP, Brasil - CEP 14040-901
E-mail: gislainenobile@yahoo.com.br

Artigo recebido: 13/12/2020
Aprovado: 1/11/2021

 

 

Trabalho realizado na Universidade de São Paulo, Ribeirão Preto, SP, Brasil.
Conflito de interesses: Os autores declaram não haver.