Participantes

Nas Etapas 1 e 3, participaram seis juízes independentes, 83% do sexo feminino, todos professores doutores brasileiros especialistas na avaliação da leitura. Na Etapa 2, participaram alunos do 2º ao 5º ano do ensino fundamental (N=80; 49% meninos; faixa etária=8 a 11 anos; M=9,5; DP=1,2), de duas escolas estaduais, falantes nativos de português do Brasil, todos classificados pelo TELCS como bons leitores (percentil 50 ou superior). Na Etapa 4, participaram alunos do 3º ano do ensino fundamental (N=108; 51% meninos; faixa etária=8 a 10 anos; M=8,5; DP=0,6), dos quais 90 participaram do reteste após 15 dias de intervalo, todos sabendo ler com fluência todos os quinze vocábulos do RRT.

Instrumentos

Teste de Taxa de Leitura (RRT). Avalia o construto reconhecimento de palavras. Requer o reconhecimento acurado e fluente de palavras isoladas, dispostas no formato de texto e lidas em voz alta. O RRT é composto por quinze vocábulos (AR, BALA, DIA, FADA, JÁ, LUA, MAR, OVO, PÃO, PÉ, REI, RUA, TIME, UVA, VIDA), repetidos aleatoriamente em 20 linhas. Foram criadas cinco listas paralelas, com distinta organização dos vocábulos. O tempo limite para a leitura de cada lista é de um minuto. O RRT é impresso com fonte Times New Roman, tamanho 9, cor preta, um espaço entre palavras e espaçamento simples entre linhas (Figura 2). O tamanho de 20 linhas foi utilizado para evitar que a leitura terminasse antes de um minuto (^{Ludlow et al., 2006}; ^{Waldie & Wilkins, 2004}). Calcula-se a variável taxa de acurácia, referente ao número de palavras lidas corretamente por minuto.

Figura 2 Exemplo de Estímulo do Teste de Taxa de Leitura 

Teste de Leitura: Compreensão de Sentenças (TELCS). Avalia a habilidade de compreensão de leitura de sentenças (^{Vilhena et al., 2016}). O escore bruto é dado em número de sentenças completadas corretamente dentro do tempo, o que equivale a variável taxa de acurácia de leitura de sentenças. É composto por 36 sentenças incompletas, com a última palavra sempre omitida. Apenas uma das cinco alternativas a escolher dá sentido à sentença [e.g., O meu tio, depois de muito estudo, tornou-se um (jacaré, ninho, médico, senhor, comércio)]. O TELCS demonstrou satisfatórias propriedades psicométricas, com fontes de evidência de fidedignidade (alfa de Cronbach, coeficiente de Spearman-Brown, teste-reteste), validade de conteúdo (adaptação, retrotradução, controles psicolinguísticos de frequência e extensão, descrição dos itens), validade de estrutura interna (efeitos de escolaridade e idade, distribuição normal), validade externa (convergente, discriminante, de critério) e normatização (^{Machado & Maluf, 2019}; ^{Medina et al., 2018}; ^{Medina & Guimarães, 2019}; ^{Pinheiro et al., 2017}; ^{Vilhena & Pinheiro, 2016}, ²⁰²⁰; ^{Vilhena et al., 2016}).

Lista de 120 Vocábulos. Criada para este estudo a partir da Etapa 1 de consulta à juízes. A lista é composta por 120 vocábulos de alta frequência de ocorrência, de curto comprimento, no singular, sem dígrafos, regionalismos e termos pejorativos. A lista foi impressa em página A4, com fonte Times New Roman e tamanho 14. Foram criadas três formas paralelas com os vocábulos reorganizados em ordem aleatoriamente.

Procedimentos

Todos os participantes assinaram o Termo de Consentimento Livre e Esclarecido. A pesquisa recebeu a aprovação do Comitê de Ética em Pesquisa da Universidade Federal de Minas Gerais (número de identificação CAAE: 17754514.6.0000.5149) e respeitou todos os aspectos contidos na Resolução 466 de 2012 do Conselho Nacional de Saúde para pesquisa envolvendo seres humanos (^{Ministério da Saúde, 2013}).

Para a Etapa 1, foram enviados e-mails com pedido de participação na pesquisa a dez professores doutores brasileiros, especialistas na avaliação da leitura, dentre os quais seis pesquisadores concordaram colaborar como juízes independentes. Uma vez que não se realizou uma tradução literal dos vocábulos do RRT original em inglês, não se fizeram necessárias as etapas de tradução, retrotradução e equivalência semântica. A coleta de dados foi realizada online por meio do preenchimento de uma planilha contendo 422 vocábulos curtos e de alta frequência de ocorrência, pré-selecionados de acordo com o fluxograma apresentado na Figura 3. De forma independente, os juízes classificaram o grau de dificuldade de cada vocábulo, os considerando fáceis ou difíceis de serem lidos por crianças no início do processo de alfabetização. O grau de concordância entre juízes foi verificado para cada vocábulo.

Figura 3 Fluxograma do Processo de Validação de Conteúdo e de Fidedignidade do Teste de Taxa de Leitura 

Na Etapa 2, foi verificada a acurácia de cada vocábulo na amostra de leitores do 2º ao 5º ano do ensino fundamental. Após a fase de treino, os participantes responderam o TELCS individualmente, sem assistência, em silêncio, o mais rápido possível, dentro de no máximo cinco minutos. Foi dado um ponto para cada resposta correta e zero para as incorretas ou omitidas (máximo: 36 pontos), com o escore bruto convertido para percentil. Os participantes com boa leitura no TELCS (percentil 50 ou superior) leram em voz alta, mas sem tempo limite, uma das três formas paralelas da lista de 120 vocábulos derivada da Etapa 1. Os erros de acurácia foram registrados para cada vocábulo. Os dois instrumentos foram administrados por um psicólogo em uma sala de aula reservada na escola durante o período de aula.

Na Etapa 3, os juízes foram consultados para deliberarem sobre a escolha dos quinze vocábulos do Teste de Taxa de Leitura a partir dos 38 vocábulos sem erros de acurácia identificados na Etapa 2 (Figura 3).

A Etapa 4 investigou a fidedignidade teste-reteste e das formas paralelas. A versão final do Teste de Taxa de Leitura foi aplicada em uma amostra de alunos do 3º ano do ensino fundamental, com reteste após 15 dias de intervalo. Primeiro, a lista de treino do RRT foi aplicada para familiarizar o participante com a tarefa de leitura sequencial de palavras organizadas de forma descontextualizada, por 60 segundos. Durante as instruções de aplicação do RRT, foi pedido que o participante lesse em voz alta, o mais rápido possível, de forma fluente e com a menor quantidade de erros. Após o treino, foram aplicadas em sequência duas das cinco formas paralelas do RRT, de forma aleatória, com duração máxima de 60 segundos cada.

Análise de Dados

Para a análise de dados de validação de conteúdo, foi feito um levantamento dos índices de confiabilidade entre os juízes por meio da medida Kappa, que é uma medida de concordância interobservador que quantifica o grau de acordo entre juízes. O coeficiente Kappa pode variar de -1 a 1, indicando discordância ou concordância completa, com o valor 0 indicando uma concordância igual ao acaso. Valores acima de 0,75 representam concordância excelente, valores entre 0,40 e 0,75 representam uma concordância suficientemente boa, e valores abaixo de 0,40 uma concordância pobre (^{Landis & Koch, 1977}). Na Etapa 1 de validação do RRT, estipulou-se uma concordância mínima de 75% como critério de inclusão dos vocábulos.

Etapa 1. Consulta à Juízes: Delimitação dos Vocábulos

Para prover fontes de validade de conteúdo para o RRT, a Etapa 1 teve como objetivo realizar uma consulta à juízes especialistas para formular uma lista com vocábulos de fácil leitura no português. A pesquisa dos vocábulos baseou-se no banco de dados da contagem de frequência de ocorrência de palavras no português brasileiro de ^{Pinheiro (2015)}. Esse corpus é composto por 1.774.164 palavras (tokens) contidas em 124 livros (i.e., Português, Matemática, Estudos Sociais e Ciências), adotados pelo Ministério da Educação do 1º ao 5º ano do ensino fundamental em todos os estados do Brasil. Dentre um universo de 40.509 vocábulos (types), filtrou-se apenas os 947 de alta frequência de ocorrência (no mínimo 200 ocorrências por milhão) para crianças do 1º ano do ensino fundamental (Figura 3). Para controlar a extensão com apenas estímulos curtos, restringiu-se o escopo a vocábulos com duas, três ou quatro letras.

Após a classificação de cada um desses 422 vocábulos pelos juízes independentes, foram excluídos 302 vocábulos que não alcançaram o critério de corte de 75% de concordância. Foram excluídos os vocábulos no plural, com dígrafos, que não fossem substantivos, regionalizados, pejorativos e os considerados difíceis de reconhecimento. Dessa forma, foi formulada uma lista com 120 vocábulos considerados como fáceis de serem lidos no português por crianças no início do processo de alfabetização. A acurácia desses vocábulos foi verificada na Etapa 2.

Etapa 2. Estudo de Acurácia dos Vocábulos

A lista de 120 vocábulos, derivada da Etapa 1, foi administrada na amostra de leitores do 2º ao 5º ano para a análise da acurácia de cada item para subsequente restrição do pool de vocábulos. Apesar de todos os 120 vocábulos terem sido julgados teoricamente como fáceis, apenas 38 vocábulos foram de fato lidos com acurácia por todos os participantes (i.e., AR, BALA, BICO, BOCA, BOLA, CAFÉ, CASA, DIA, FADA, FOGO, HOJE, HORA, JÁ, LAGO, LATA, LAVA, LEÃO, LOJA, LUA, LUVA, LUZ, MALA, MAR, NOME, OVO, PÃO, PÉ, PENA, REI, RIO, RUA, TELA, TIME, TIO, UVA, VELA, VIDA, VOZ).

Os demais 82 vocábulos foram lidos com erros de leitura por parte dos participantes, dos quais 61 vocábulos foram lidos com erro por 2 a 9% dos participantes (i.e., ÁGUA, ANEL, AVE, BAÚ, BOI, BOLO, BOTA, BULE, CACO, CAJU, CÃO, CAPA, CARA, CÉU, CHÃO, CUBO, DEDO, DOCE, FILA, FITA, FUBÁ, GALO, GATO, GELO, GEMA, JOGO, JÓIA, LAÇO, LADO, LOBO, MAÇÃ, MÃO, MEL, MESA, MOLA, MURO, OCA, PÁ, PANO, PATA, PATO, PAZ, PIA, PIÃO, PIPA, RALO, REDE, ROÇA, RODA, ROSA, SALA, SAPO, SINO, SOFÁ, SOL, UNHA, URSO, TREM, VALA, VASO, VILA), 12 vocábulos foram lidos com erro por 10 a 19% dos participantes (i.e., ASA, BULA, FACA, FOCA, NAVE, OSSO, POTE, RÃ, ROTA, TÁXI, TATU, TETO) e nove vocábulos lidos com erro por pelo menos 20% dos participantes (ie., AVÔ, BOTE, CALO, GOLA, GOTA, MACA, MARÉ, PÊLO, ROLO).

Etapa 3. Escolha dos Vocábulos e Construção do Instrumento

Na Etapa 3, foi realizada uma segunda rodada de consulta à juízes para deliberar os vocábulos para compor o Teste de Taxa de Leitura. O escopo de alternativas de vocábulos para a elaboração do teste se delimitou nos 38 vocábulos lidos com acurácia por todos os 80 participantes na Etapa 2. Após a elaboração e discussão de diferentes configurações possíveis do teste, todos os juízes concordaram que a versão final do RRT fosse composta pelos seguintes quinze vocábulos: AR, BALA, DIA, FADA, JÁ, LUA, MAR, OVO, PÃO, PÉ, REI, RUA, TIME, UVA, VIDA.

Todos os vocábulos são substantivos comuns (exceto o advérbio de tempo JÁ), no singular, com curto comprimento (2 a 4 letras). Foi equiparada a quantidade de letras, de grafemas e de fonemas (N=46 cada) (Tabela 1). Todos os vocábulos possuem alta frequência no português, de 352 a 2790 ocorrências por milhão (Σ=15302, M=1020, DP=693). A soma da frequência de ocorrência dos quinze vocábulos selecionados representa 1,5% das palavras em que as crianças do 1º ano são expostas. Foi equilibrado o gênero dos vocábulos, com a inclusão de seis substantivos femininos e oito masculinos.

Os juízes questionaram a limitada variedade de palavras de duas letras dentre as quais tiveram de escolher quatro vocábulos. O advérbio de tempo JÁ foi escolhido a despeito de não ser substantivo, pois o outro substantivo de duas letras era PÁ, que não pode ser selecionado devido a sua semelhança ao estímulo PÉ e por 9% dos participantes terem errado a leitura no estudo de acurácia dos vocábulos.

Um juiz recomendou que houvesse um esforço para abarcar uma maior variedade de letras do alfabeto português, com a versão final do RRT composta por 15 das 23 letras do alfabeto português (A/Á/Ã, B, D, E/É, F, I, J, L, M, O, P, R, T, U, V), não incluindo oito letras (C, G, H, N, Q, S, X, Z). Para evitar confusões visuais, pesquisaram-se palavras que se iniciassem com letras diferentes, com exceção dos pares REI/RUA e PÃO/PÉ, que possuem vogais distintas. Foi considerado que a inclusão de acentos gráficos (i.e., JÁ, PÃO, PÉ) auxilia a distinção visual do estímulo.

Etapa 4. Estudo de Fidedignidade

O RRT apresentou evidências de fidedignidade satisfatórias, confirmando a hipótese de ser confiável e estável ao longo do tempo, com altos coeficientes de correlação teste-reteste e equivalência entre as formas paralelas, o que permite sustentar as interpretações do escore da taxa de leitura (número de palavras lidas em um minuto). O teste administrado duas vezes em sequência apresentou forte correlação (r=0,92, p<0,001), sem diferença significativa na média das leituras (p=0,43). Parte dos participantes (N=90) refizeram o teste após 15 dias de intervalo, com forte correlação teste-reteste (r=0,86, p<0,001).

Houve equidade entre as Formas Paralelas do RRT, com as cinco listas obtendo o mesmo grau de dificuldade (F_(5,85)=0,48, p=0,49). Ao se criar as cinco diferentes versões paralelas do RRT, foi evitada a disposição da mesma palavra em sequência, com a eliminação de repetição de vocábulos na mesma linha, em posição de vizinhança, e também sendo diferentes a última palavra da linha com a primeira da próxima linha. Eliminou-se as sequências “AR/MAR”, “AR/DIA”, “AR/PÃO”, “JÁ/PÃO”, pois as suas combinações formam significado (i.e., armar, ardia, arpão, Japão), assim como a sequência “PÃO/JÁ” para evitar a leitura de “JAPÃO”.

Validade de Conteúdo

Na Etapa 1, seis juízes especialistas foram consultados para formular uma lista com vocábulos de fácil leitura no português. O escopo se fundamentou no banco de dados da contagem de frequência de ocorrência de palavras no português brasileiro (^{Pinheiro, 2015}). Para se igualar ao padrão internacional do Rate of Reading Test, apenas foram selecionados vocábulos curtos, de duas a quatro letras, e de alta frequência de ocorrência, o que limitou o corpus a 422 vocábulos em português. Vocábulos com dígrafos (i.e., CH, LH, NH) foram excluídos por reduzirem a acurácia e por aumentarem o tempo de reação na leitura em voz alta, em especial quando estão em posição inicial (^{Capovilla et al., 2001}). Ao final da Etapa 1, houve concordância entre os juízes que os 120 vocábulos selecionados são fáceis de serem lidos por crianças no início do processo de alfabetização.

Em todas as versões do RRT (^{Srinivasan et al., 2018}; ^{Wilkins et al., 1996}) apenas vocábulos de alta frequência de ocorrência foram selecionados para aumentar a probabilidade de o participante ter sido exposto ao estímulo em material impresso e reconhecê-los lexicamente. De acordo com os modelos de Dupla-Rota (^{Coltheart et al., 2001}; ^{Ellis & Young, 1988}), provenientes da neuropsicologia cognitiva, a leitura é realizada por meio do processo fonológico de conversão grafema-fonema (decodificação) em paralelo a um processo lexical de reconhecimento de palavras familiares. As palavras escritas conhecidas possuem unidades de representações no léxico visual de entrada (léxico ortográfico). O armazenamento desses estímulos na memória de longo prazo promove uma leitura com consumo de recursos neurais mais eficiente, quando comparada a leitura de palavras novas ou pseudopalavras via rota fonológica, com menor ativação da rede cortical de produção da fala (^{Cohen et al., 2000}; ^{Shuster, 2009}).

O uso da rota lexical é uma vantagem no processamento cognitivo e está presente em todos os idiomas alfabéticos, independentemente de sua profundidade ortográfica (^{Duncan et al., 2013}; ^{Knobel et al., 2008}; ^{Seidenberg, 1992}), embora a utilização desse processo seja menos encorajada nas ortografias transparentes, como no italiano e português brasileiro, em que o processo de leitura, em contraste ao das ortografias opacas, parece ser predominantemente fonológico (^{Paulesu et al., 2000}; ^{Pinheiro & Scliar-Cabral, 2017}; ^{Scliar-Cabral, 2003}). A nível das conexões cerebrais, por exemplo, ^{Paulesu et al. (2000)} mostraram diferentes padrões de ativações (lexical vs. fonológico) dependendo da ortografia.

Para ^{Borleffs et al. (2019)}, os ajustamentos específicos e vitais nos processos de leitura dependendo da ortografia têm implicações para a aprendizagem da leitura e para a expressão das dificuldades de leitura, como a dislexia. Independentemente dessas ressalvas, de acordo com os modelos de Dupla-Rota, as palavras de alta frequência são reconhecidas com maior velocidade e acurácia, quando comparadas às de baixa frequência, devido a sua forte representação no léxico ortográfico, o que permite que sejam prontamente acessadas.

Na Etapa 2, foi verificada a acurácia efetiva dos vocábulos delimitados na Etapa 1 em uma amostra de escolares, com o objetivo de restringir ainda mais o pool de vocábulos para a elaboração do RRT. Apesar desses 120 vocábulos terem sido classificados pelos juízes como fáceis de serem lidos por crianças no início do processo de alfabetização, apenas 38 vocábulos foram efetivamente lidos com acurácia por todos os participantes.

Ou seja, apesar dos participantes terem sido classificados como bons leitores (o que garante que os vocábulos de alta frequência possuam representação no léxico ortográfico), houve erros no reconhecimento de 82 vocábulos, dos quais nove foram lidos sem acurácia por mais de 20% dos participantes. Os erros de acurácia nesses vocábulos, julgados como fáceis de serem lidos, revelam que a amostra, que ainda está em desenvolvimento da habilidade de leitura, apresentou dificuldades de decodificação grafêmica. Apesar de não ter sido feita a análise dos tipos de erros de leitura, esses resultados reforçam a importância da realização do estudo teórico acrescido do empírico para que se pudesse filtrar apenas os vocábulos fáceis de reconhecimento em voz alta.

Na Etapa 3 de elaboração do RRT, houve um esforço para selecionar os quinze vocábulos mais fáceis de serem lidos em voz alta na língua portuguesa, sendo levada em consideração a diversidade de letras (Tabela 1). Para garantir que os itens apresentem alta acurácia, o pool de vocábulos se restringiu aos 38 itens lidos com fluência por todos os leitores na Etapa 2.

Para compor o teste foram escolhidos os seguintes vocábulos: AR, BALA, DIA, FADA, JÁ, LUA, MAR, OVO, PÃO, PÉ, REI, RUA, TIME, UVA, VIDA. Houve concordância entre os juízes quanto a todos os quinze vocábulos, o que corresponde ao máximo do coeficiente de concordância Kappa. Os vocábulos selecionados são homogêneos quanto aos efeitos de frequência (alta ocorrência no material didático das escolas), de regularidade (ponto de vista da conversão grafema–fonema) e de extensão (curtos de duas a quatro letras).

Os estímulos do RRT foram selecionados para serem lidos em voz alta com facilidade, inclusive por crianças no início do processo de alfabetização (Ciclo I do ensino fundamental, equivalente aos cinco primeiros anos de estudo). Como consequência, é esperado que também haja uma leitura fluente do RRT por adultos com baixa proficiência leitora. Uma evidência adicional da facilidade de leitura dos vocábulos é a de que todos os 15 grafemas que compõem as palavras do RRT são ensinados nas primeiras 18 unidades do Sistema Scliar de Alfabetização (^{Scliar-Cabral, 2012}), com os demais grafemas não incluídos (H, CH, LH, NH, GU, QU, X, Z) ensinados apenas nas últimas seis unidades (19 a 24).

O RRT exige a leitura de cada vocábulo em sequência, reduzindo adivinhações contextuais (processos inferenciais). No entanto, foram reportados erros de leitura não previstos, como a troca de my [meu] por me [mim] e de is [é] por it [isto] (^{Kriss & Evans, 2005}). Apesar de o leitor ter consciência de que o texto não apresenta significado, ^{Kriss e Evans (2005)} relataram que alguns participantes dão sentido a alguns trechos, como ler a sequência “look cat see my and dog” [olhe gato veja meu e cão] por look cat see my dog [olhe gato veja meu cão], omitindo a leitura do and. Ta l situação sugere que o leitor possui dificuldade em se abster do processamento semântico da palavra, tentando dar sentido a um trecho sem significado. Para contornar a possibilidade de adivinhações contextuais e para evitar erros de conjugação, utilizou-se na adaptação do RRT apenas substantivos comuns e no singular.

Fidedignidade

Por fim, a Etapa 4 teve o objetivo de prover fontes de evidências de fidedignidade para o RRT via teste-reteste e equidade das Formas Paralelas. As fortes correlações positivas entre as pontuações dos testes aplicados em sequência (r=0,92) e no reteste após 15 dias (r=0,86) são evidências de que o teste apresenta estabilidade no desempenho ao longo do tempo. As cinco Formas Paralelas do Teste de Taxa de Leitura, que possuem organização distinta dos vocábulos, apresentam o mesmo grau de facilidade/dificuldade de leitura, sem diferença no número de palavras lidas por minuto. A disponibilidade de cinco formas paralelas do RRT, que reduz o efeito de ordem dos itens, aperfeiçoa a sua utilidade para monitorar o progresso da taxa de leitura e avaliar a resposta às intervenções educacionais.

Esses resultados corroboram os encontrados para a versões do RRT em inglês e em kannada (^{Srinivasan et al., 2018}). Os autores demonstraram altos índices de fidedignidade em uma amostra de 799 participantes do 2º ao 9º ano de escolar, 7 a 16 anos, com boa acuidade visual e sem anomalias oculares, dentre os quais 85 participantes foram retestados após 15 dias de intervalo. ^{Srinivasan et al. (2018)} também verificaram alta correlação entre os testes aplicados em sequência para o inglês (r=0,91) e para a versão em kannada (r=0,95), bem como entre o teste-reteste (r=0,83).

Limitações

Entre as limitações do presente estudo, destaca-se que as fontes de evidência de validade de conteúdo e de fidedignidade são apenas parte do processo de investigação psicométrica de um instrumento. São necessárias, para diferentes grupos clínicos e etários, outras fontes de evidências de validade, como as baseadas na estrutura interna, na estrutura externa, no processo de resposta e as nas consequências da testagem.

Pesquisas futuras devem replicar e ampliar os achados de artigos internacionais que utilizaram o RRT, como na análise do efeito da escolaridade, na triagem do estresse visual e para verificar o poder preditivo dos leitores que farão o uso prolongado de lâminas espectrais (índices de sensibilidade e especificidade). Outra possibilidade é um estudo longitudinal para comparar e monitorar a taxa de leitura do início com a do final do ano letivo, assim como estudos que comparem o desempenho pré e pós-intervenções educacionais.

É importante realizar um estudo de normatização representativo para criar parâmetros de comparação na triagem de participantes com diferentes níveis de taxa de leitura, assim como criar um critério de corte do número mínimo de palavras lidas por minuto esperado para cada faixa etária. Exemplos a serem seguidos são os estudos de ^{Srinivasan et al. (2018}, ²⁰¹⁹), que verificaram evidência de validade da estrutura interna para o RRT no idioma kannada, por meio do efeito de idade, com a taxa de leitura aumentando em média oito palavras por minuto a cada ano de idade (p<0,0001). ^{Srinivasan et al. (2019)} criaram critérios de corte que variaram de 60 a 90 palavras por minutos (70 para todas as idades) para triar participantes de 9 a 15 anos com lentidão atípica de leitura.