2.1 Participantes

Delineamento transversal para estudo da fidedignidade, da validade da estrutura interna e validade externa da PRP-BR. A Tabela 1 apresenta a frequência de participantes por ano escolar, por escola e por regional na cidade de Belo Horizonte, capital de Minas Gerais, Brasil. A Tabela 2 apresenta as características demográficas dos participantes (sexo e idade), a versão da PRP-BR (número de itens, tempo e modo de aplicação) e o índice de fidedignidade alpha de Cronbach.

Participaram da Fase 2, planejado como estudo piloto para avaliar a efetiva iconicidade dos desenhos, alunos do segundo ao quinto ano do Ensino Fundamental (n = 114; 61% do sexo feminino; faixa etária = 7 a 11 anos; M = 10,5 ± 0,6 anos de idade), de três escolas (duas Estaduais Públicas e uma Particular), em Belo Horizonte, ao final do ano letivo de 2008. Participaram da Fase 3, com a PRP-BR completa aplicada com tempo limite, alunos do segundo ao quinto ano do Ensino Fundamental (n = 480; 50,8% do sexo feminino; faixa etária = 6 a 13 anos; M = 9,4 ± 1,2 anos), de oito escolas (três Estaduais e cinco Particulares) em Belo Horizonte, ao final do ano letivo de 2009.

Compuseram o estudo de fidedignidade da Fase 4 todos os 114 participantes da Fase 2 e mais os sujeitos da Fase 3 que responderam todos os 52 itens da PRP-BR dentro do tempo (n = 197 participantes), totalizando 231 participantes (57% do sexo feminino; faixa etária = 7 a 12 anos; M = 9,1 ± 1,3 anos). Na Fase 5, participaram do estudo com a PRP-BR reduzida (43 itens) alunos do primeiro ao quinto ano do Ensino Fundamental (n = 245; 45% do sexo feminino; faixa etária = 6 a 12 anos; M = 8,7 ± 1,5 anos) de dez escolas (três Estaduais, quatro Municipais e três Particulares) de Belo Horizonte, ao final do ano letivo de 2011.

2.2 Instrumentos

A Prova de Reconhecimento de Palavras – Versão Brasileira (PRP-BR), assim como a versão original (PRP-PT), são instrumentos de avaliação da leitura silenciosa destinados às crianças do Ensino Fundamental (Pinheiro et al., 2024). Tanto a versão da PRP-BR completa com 52 itens (aplicada na Fase 2 e Fase 3) quanto a reduzida com 43 itens (aplicada na Fase 5) são fidedignas e válidas para avaliar a acurácia (precisão) e a fluência (velocidade) do construto ‘reconhecimento de palavras’. Cada item é composto por um desenho à esquerda seguido de quatro palavras como alternativas (isoladas, reais, letra minúscula) (Figura 1). Apenas uma das alternativas é a resposta correta (palavra-alvo) e as outras três alternativas são distratoras. A PRP-BR foi apresentada no formato caneta e papel, impressa frente e verso em três folhas de tamanho A4. Os desenhos e as palavras foram dispostos dentro de uma tabela, com bordas pretas, com igual distribuição da dimensão vertical (2 cm) e horizontal (3 cm).

Nota.Figura 1a: POMBA; Figura 1b: PORCO; Figura 1c: LIVRO.

Figura 1 Exemplos dos três itens de treino da PRP-BR 

A PRP-BR completa (impressa em seis páginas) e a reduzida (impressa em cinco páginas) possuem características psicolinguísticas equivalentes. As palavras-alvo de ambas as versões apresentam de quatro a oito letras (M = 5,6 ± 1,1 letras). Na PRP-BR completa (52 itens), metade dos desenhos remetem para palavras com duas sílabas e a outra metade para três sílabas. 37 palavras-alvo possuem regularidade grafema-fonema previsíveis (71%) e 15 imprevisíveis (29%). 15 itens possuem todos os três distratores com vizinhança ortográfica; 21 itens possuem dois vizinhos ortográficos e um aproximado; 15 itens com um vizinho ortográfico e dois aproximados; e um item sem vizinho ortográfico e três aproximados.

Com relação à frequência de ocorrências em livros didáticos escolares, as 52 palavras-alvos possuem no mínimo cinco (i.e., sereia) e no máximo 1544 ocorrências por milhão (i.e., bola), sendo 19 palavras-alvo classificadas como de alta frequência, 21 como de média frequência e seis como de baixa frequência (M = 255 ± 289 ocorrências por milhão) (^{Pinheiro, 2015}). Em apenas oito dos 52 itens, ou 12 das 156 alternativas, as palavras-alvo apresentaram uma frequência menor do que pelo menos uma das alternativas (ex., ‘Ponte’ possui menor frequência do que as alternativas ‘Fonte’ e ‘Ponta’).

Na PRP-BR reduzida (43 itens), 19 desenhos remetem para palavras com duas sílabas e 24 para três sílabas. Quanto a regularidade grafema-fonema, 31 palavras-alvo possuem correspondências previsíveis (72%) e 12 imprevisíveis (28%). 13 itens possuem todos os três distratores com vizinhança ortográfica; 17 itens possuem dois vizinhos ortográficos e um aproximado; 12 itens com um vizinho ortográfico e dois aproximados; e um item sem vizinho ortográfico e três aproximados. As palavras-alvos possuem de 24 a 1037 ocorrências por milhão, sendo 13 palavras-alvo classificadas como de alta frequência, 19 como de média frequência e 11 como de baixa frequência (M = 217 ± 227 ocorrências). Em oito dos 43 itens, ou 12 das 129 alternativas, a palavra-alvo apresentou frequência menor do que pelo menos uma das alternativas.

Para a correção do escore bruto da PRP-BR, é atribuído um ponto por cada item respondido corretamente e zero para os com erro ou omitidos. O escore bruto é convertido em: (1) Acurácia: porcentagem de itens respondidos corretamente (ex., 40 itens corretos correspondem à acurácia de 77% na versão com 52 itens e 93% na versão com 43 itens); e (2) Taxa de Acurácia: número total de itens respondidos corretamente, multiplicado por sessenta e dividido pelo tempo total em segundos (ex., 36 itens corretos em 120 segundos correspondem à Taxa de Acurácia de 18 itens por minuto).

2.3 Procedimentos

Os procedimentos da Fase 1 para estudo de iconicidade foram apresentados separadamente (^{Pinheiro et al., in press}). Em suma, o estudo de validação de conteúdo da Fase 1 consistiu em: (1) averiguar a iconicidade dos desenhos para a realidade de alunos do Ensino Fundamental brasileiro e (2) realizar a seleção das alternativas com base na vizinhança ortográfica em relação à palavra-alvo.

A seleção das escolas foi feita com base nos dados fornecidos pela Secretaria de Educação do Estado de Minas Gerais. As amostragens das escolas da Fase 2 e da Fase 3 deram-se por conveniência de deslocamento dos aplicadores da pesquisa. Na Fase 5, a amostragem foi estratificada em seis regionais da cidade. Os participantes que compuseram as amostras foram sorteados, a partir da lista de presença, em diferentes turmas de cada ano escolar. Todas as escolas selecionadas concordaram em participar da pesquisa por meio da assinatura do termo de anuência institucional.

A PRP-BR foi aplicada de forma individual nos participantes do primeiro ano e de forma coletiva nos do segundo ao quinto ano do Ensino Fundamental. Permitiu-se apenas um participante por mesa. Orientou-se que seria realizada uma prova de leitura fácil e em silêncio. Após a distribuição da folha de resposta, os participantes foram orientados para que preenchessem com uma caneta o cabeçalho e para não virar a página. Iniciou-se a PRP-BR com os três exemplos da primeira página (Figura 1). A tarefa é olhar para o desenho e reconhecer a palavra correspondente dentre as quatro alternativas ao lado. À esquerda no primeiro exemplo, há um desenho de uma POMBA (Figura 1a). Orientou-se a marcar à direita uma cruz em cima onde está escrito POMBA. No segundo desenho, um PORCO, deve-se cruzar a palavra PORCO (Figura 1b). No terceiro exemplo, um LIVRO, marca-se a palavra LIVRO (Figura 1c). Orientou-se que não é relevante que os traços estivessem perfeitos, pois só é preciso indicar a palavra que correspondesse ao desenho. Exemplificou-se no quadro como se faz uma cruz com rapidez.

No prévio estudo de iconicidade da Fase 2, a PRB-BR foi aplicada sem tempo limite. Já na Fase 3 (mesma aplicação da Fase 4) e Fase 5, para avaliar a fluência, o tempo limite de aplicação para o 1º ao 3º ano do Ensino Fundamental foi de quatro minutos e para o 4º e 5º ano foi de dois minutos. Nas aplicações cronometradas, orientou-se que é preciso trabalhar depressa, uma vez que há um tempo limite para responder a prova. Por isso, não foi permitido conversar e nem fazer perguntas depois que a prova começasse. Após dado início, orientou-se para que todos virassem a página e começassem a responder o mais rápido possível, sem esquecer dos dois lados das três folhas da prova.

Todos os participantes forneceram consentimento informado e o Comitê de Ética em Pesquisa da Universidade Federal de Minas Gerais aprovou todos os procedimentos do estudo (Processo nº ETIC 347/04). O projeto de pesquisa foi realizado em total conformidade com a Resolução nº 466/12 do Conselho Nacional de Saúde e do Código de Ética da ^{World Medical Association (2008)} para pesquisas envolvendo seres humanos.

2.4 Análise de dados

As análises foram realizadas usando o software SPSS (IBM, Chicago, Illinois). Na análise da distribuição populacional, os valores de assimetria e curtose foram divididos pelos respectivos erros padrão, utilizando um critério de significância superior a 1,96 (^{Cramer & Howitt, 2004}). Todas as amostragens, da Fase 2 a Fase 5, não apresentaram uma distribuição populacional normal, com assimetria negativa concentrada próxima ao máximo (i.e., 100% de acerto) e uma curtose com achatamento leptocúrtico (p < 0,001). Portanto, utilizou-se testes não-paramétricos (i.e., Kruskal-Wallis, Spearman).

A análise da qualidade do item considerou os elementos da Teoria Clássica dos Testes (^{Lord & Novick, 1968}). Para estimar a fidedignidade, utilizou-se o alfa de Cronbach para toda a escala e por ano escolar, as correlações item-total corrigidas e o alfa de Cronbach se o item for excluído. Utilizou-se o seguinte critério para o alfa de Cronbach: excelente ≥ 0,90; bom ≥ 0,80; aceitável ≥ 0,70; questionável ≥ 0,60; pobre ≥ 0,50; inaceitável < 0,50 (^{George & Mallery, 2003}). Considerou-se aceitável a correlação item-total corrigida superior a 0,2 (^{Kline, 1993}).

As características dos itens foram avaliadas por meio do modelo de três parâmetros da Teoria de Resposta ao Item. Espera-se que os itens apresentem índice de discriminação (parâmetros a) acima de 0,3. O índice de probabilidade de acerto ao acaso (parâmetro c) é calculado em uma escala percentual e o ideal é que seus valores sejam baixos. A significância estatística foi estabelecida em p < 0,05.

3.1 Fase 2 – Estudo piloto de iconicidade

Na Fase 2, verificou-se um significante efeito de escolaridade na variável acurácia da PRP-BR (H_{(3, 111)} = 13,7, p = 0,003), mesmo sendo uma aplicação com tempo livre para os participantes responderem todos os 52 itens. A análise post hoc revelou que os participantes do segundo ano obtiveram uma menor acurácia quando comparados aos do quarto e quinto ano do Ensino Fundamental (i.e., 2º < 4º–5º ano) (U_{(1, 113)} = 1413,5, p < 0,001), sem diferença dos participantes do terceiro ano com os demais anos escolares. Como validade externa de critério, não houve diferença significante entre o desempenho dos participantes das escolas públicas com os da escola particular e nem entre meninos e meninas.

3.2 Fase 3 – Validade da PRP-BR completa (52 itens)

Na Fase 3 (n = 480 participantes), com aplicação da PRP-BR com 52 itens e tempo limite, a variável acurácia apresentou uma média geral de 64,2 ± 23,9%, com mínimo de 11,3% e máximo 100% (Tabela 4). Verificou-se, por meio da estatística não paramétrica Kruskal-Wallis, um significante efeito de escolaridade na variável acurácia (H_{(3, 477)} = 70,6; p < 0,001) e na taxa de acurácia (H_{(3, 477)} = 144,9; p < 0,001).

Ao comparar os anos escolares com o mesmo tempo limite de aplicação, os participantes do 2º ano apresentaram uma menor acurácia do que os do 3º ano (U_(1,198) = 6,4; p < 0,001); e os participantes do 4º ano uma menor acurácia do que os do 5º ano (U_(1,280) = 13,1; p < 0,001). O dobro de tempo de aplicação para os participantes do 2º e do 3º ano (quatro minutos), quando comparado ao 4º e 5º ano (dois minutos), resultou em uma maior acurácia (U_{(1, 479)} = 3,2, p = 0,0006). A correlação de Spearman calculada entre o ano escolar e o percentual de acerto foi igual a 0,243 (p < 0,001). A análise de regressão linear exploratória observou que para cada ano de escolaridade completo é esperado um aumento de 6,5% na habilidade do aluno. A taxa de acurácia apresentou um significante e progressivo aumento do número de itens lidos por minuto a cada ano escolar (2º < 3º < 4º < 5º ano; H_{(3, 404)} = 91,2; p < 0,001). A taxa de acurácia dos alunos do 2º ano foi menor do que a dos 3º ano [2º vs. 3º ano: U_{(1, 218)} = 3,81, p = 0,0002], que por sua vez obtiveram desempenho inferior aos do 4º ano [3º vs. 4º ano: U_{(1, 222)} = 8,44, p < 0,0001], que foram inferiores aos alunos do 5º ano [4º vs. 5º ano: U_{(1, 185)} = 3,72, p = 0,0003].

Para o rastreio das crianças com dificuldade de leitura, selecionou-se um critério de corte no percentil 50 para indicar uma acurácia igual ou pior do que a média inferior da amostra. Com limite de tempo para a aplicação maior para os alunos mais novos, selecionou-se como critério de corte para o 2º e 3º ano uma acurácia de 56% de acertos; e para o 4º e 5º ano uma acurácia de 51% de acertos.

Como evidência de validade externa convergente, a variável Acurácia da PRP-BR completa apresentou correlação moderada com as notas dos alunos na disciplina de Português (r = 0,44) e de Matemática (r = 0,46) (p < 0,0001). Como validade externa de critério, não houve diferença na acurácia entre os meninos e as meninas. Não foi verificada diferença significativa da porcentagem de acertos ao item entre as palavras-alvo com duas sílabas quando comparada as de três sílabas; entre as palavras com três a nenhuma vizinhança ortográfica; ou entre as palavras com regularidade previsível e imprevisível.

3.3 Fase 4 – Validade interna e fidedignidade da PRP-BR completa e da reduzida

A qualidade estatística de cada item da PRP-BR foi analisada a partir da amostra da Fase 4 (n = 231 participantes), composta por apenas os participantes da Fase 2 e da Fase 3 que responderam todos os 52 itens (Tabela 1 e Tabela 2). A Tabela 3 apresenta os índices relativos à Teoria Clássica dos Testes (média da porcentagem de acertos dos itens individuais, os coeficientes de correlação bisserial item-total corrigidos e o alpha de Cronbach na ausência do item) e os da Teoria de Resposta ao Item (índices de discriminação, dificuldade e probabilidade de acerto ao acaso e nível de dificuldade).

A amostra da Fase 4 apresentou uma porcentagem média de acertos próxima ao máximo (97,9 ± 2,7%), com mínimo de 87% (Tabela 4). Como evidência de fidedignidade, o alpha de Cronbach entre os 52 itens foi igual a 0,70, o que demonstra que a PRP-BR apresenta uma consistência interna aceitável. O alpha de Cronbach, ao considerar os quatro anos escolares, situou-se em 0,60, 0,64, 0,77 e 0,86, respectivamente.

Ao analisar os dados de acordo com a Teoria Clássica dos Testes, os coeficientes de correlação corrigida item-total variaram de -0,05 a 0,41 (M = 0,12 ± 0,13). Seis itens (i.e., quatro, prato, laço, cinto, garrafa, banana) obtiveram correlações item-total acima do critério (r > 0,30). Nove itens apresentaram valores item-total negativos (i.e., bola, braço, estrela, galo, leão, milho, peixe, rato, sereia), o que indica que os itens possuem problemas, uma vez que quanto maior a habilidade do aluno, menor sua chance de responder corretamente ao item em questão.

O alpha de Cronbach aumentou de 0,70 para 0,71 na ausência de qualquer um dos nove itens com bisseriais menores do que zero. Outras cinco palavras apresentaram bisserial igual 0 (i.e., bota, bandeira, pente, prego, regador), porém suas exclusões não alteraram o alpha de Cronbach. De acordo com o índice de discriminação (parâmetro a), da Teoria de Resposta ao Item, foram retirados nove dos 52 itens da prova original (i.e., braço, bola, estrela, galo, leão, milho, peixe, rato, sereia). Uma análise simples do comportamento aponta um alto percentual de acerto (> 99,5%) em todas essas palavras excluídas.

Após essas exclusões, foi possível elaborar uma versão reduzida da PRP-BR composta por 43 itens. O alpha de Cronbach foi classificado como aceitável (a = 0,71). A PRP-BR reduzida apresentou alto poder de discriminação a (M = 0,88 ± 0,23; Med = 0,84; Mín = 0,42; Máx = 1,47), com todos os itens atingido o critério (a > 0,30). O valor médio do índice de dificuldade, parâmetro b, foi de -3,01 ± 0,72, com uma variação entre −4,27 e −1,21. O parâmetro c apresentou valores baixos e dentro do ideal para todos os itens (M = 0,22 ± 0,04; Mín = 0,14; Max = 0,28).

3.4 Fase 5 – Fidedignidade e validade da PRP-BR reduzida

No estudo empírico da Fase 5 (n = 245 participantes) foi realizado com aplicação da PRP-BR reduzida (43 itens) e tempo limite para verificar a validade interna e externa do instrumento. A variável acurácia apresentou uma média de 54,5 ± 28,2%, com mínimo de 2,3% (Tabela 4). Na análise dos dados da consistência interna (n = 50 participantes que finalizaram os 43 itens dentro do tempo), a versão reduzida da PRP-BR apresentou um coeficiente alpha de Cronbach muito alto (a = 0,97), o que demonstra alta fidedignidade. Ao considerar os cinco anos escolares separadamente, o alpha situou-se em 0,99, 0,98, 0,86, 0,83 e 0,94.

Verificou-se um significante efeito de escolaridade na variável acurácia (H_{(4, 241)} = 29,7; p < 0,001) e na taxa de acurácia (H_{(4, 241)} = 105,1; p < 0,001). Análise post hoc identificou que a diferença concentrava-se entre os alunos do primeiro ano em comparação aos demais anos escolares (1º < 2º–5º ano), tanto nas médias da variável acurácia (U_{(1, 244)} = 6411,5, p < 0,001) quanto da taxa de acurácia (U_{(1, 244)} = 7002,0, p < 0,001). Para a versão da PRP-BR reduzida, selecionou-se como critério de corte para os alunos do 1º ano uma acurácia de 23% de acertos; e para os do 2º ao 5º ano uma acurácia de 56% de acertos.

Como evidência de validade externa convergente da PRP-BR reduzida, a partir da amostra da Fase 5, as notas dos alunos na disciplina de Português apresentaram correlação moderada com a acurácia (r = 0,33) e a taxa de acurácia (r = 0,42) (p < 0,0001). Não houve diferença na acurácia entre os meninos e as meninas. Não foi verificada diferença significativa entre a porcentagem de participantes que acertaram as palavras com duas sílabas quando comparada as de três sílabas, ou entre as palavras com três a nenhuma vizinhança ortográfica, ou entre as palavras com diferentes regularidades.

4.1 Estudo piloto de iconicidade

A realização do estudo piloto é um dos pré-requisitos da validade de conteúdo transcultural. Na Fase 2, planejou-se um estudo piloto com 114 participantes do segundo ao quinto ano do Ensino Fundamental para avaliar empiricamente a iconicidade dos 52 desenhos selecionados na Fase 1. Para avaliar a correspondência correta entre o desenho e a palavra-alvo, a aplicação não teve tempo limite.

Todos os participantes avaliados, inclusive os do 2º ano, apresentaram familiaridade com todos os 52 desenhos, com acurácia próxima ao máximo (M = 98,2 ± 2,7%). Uma vez que a porcentagem mínima de acertos ao item foi de 87% na Fase 2, todos os itens ultrapassaram o critério mínimo de 80% de acertos. Estes resultados sugeriram a manutenção de todos os 52 itens (PRP-BR completa), pois os participantes compreenderam com facilidade a correta correspondência entre a ilustração e a palavra-alvo (^{Pinheiro et al., in press}).

Como comparação, no estudo piloto de iconicidade da versão original em Portugal, baseado na resposta de 272 crianças de quatro classes do 1º ciclo do ensino básico, eliminou-se 37 dos 77 itens iniciais que obtiveram acurácia menor do que o critério de 80% de acertos, totalizando 40 itens a versão final da PRP-PT (^{Viana & Ribeiro, 2010}).

4.2 Evidências de fidedignidade

Utilizou-se a Teoria Clássica dos Testes e a Teoria de Resposta ao Item para analisar a qualidade de cada item da PRP-BR. A Teoria Clássica dos Testes é a forma mais conhecida de correção de uma avaliação, onde a habilidade do aluno é medida por meio da nota (percentual de questões corretas) (^{Lord & Novick, 1968}).

Como evidência de fidedignidade, utilizou-se o alfa de Cronbach, que avalia o grau em que os itens de uma matriz de dados estão correlacionados entre si. O alfa de Cronbach, calculado desconsiderando os dados faltantes, aumentou progressivamente entre as fases deste estudo: Fase 2 (0,55), Fase 3 (0,61), Fase 4 (0,70) e Fase 5 (0,97). Esses resultados indicam que a PRP-BR apresenta uma consistência interna adequada. Em Portugal, como evidência de fidedignidade, ^{Viana et al. (2013)} identificaram coeficientes de consistência interna elevados tanto no estudo com 328 participantes sem tempo limite (a = 0,98) quanto no com 3.131 participantes com tempo limite (a = 0,96 a 0,98).

Na Fase 4, ao considerar os quatro anos escolares separadamente, o alpha de Cronbach situou-se em 0,60, 0,64, 0,77 e 0,86. Na Fase 5, para os cinco anos avaliados, o alpha situou-se em 0,99, 0,98, 0,86, 0,83 e 0,94. Em Portugal, houve similares coeficientes nos quatro anos de escolaridade (0,96; 0,98; 0,97 e 0,98), o que indica que a PRP-PT permite a medida do reconhecimento de palavras de modo igualmente fidedigno nos anos a que se destina (^{Viana et al., 2013}). Esses resultados replicam um estudo prévio em Portugal que encontrou elevados alpha de Cronbach nos quatro anos de escolaridade (0,95, 0,95, 0,93 e 0,84) (^{Viana & Ribeiro, 2010}).

A análise dos itens por meio da Teoria Clássica dos Testes deve ser considerada apenas uma etapa preliminar, uma vez que o alfa de Cronbach tem como premissa que os itens retidos apresentam a mesma importância para o fator. Assim, utilizou-se a Teoria de Resposta ao Item de três parâmetros para analisar a PRP-BR, pois fornece melhores informações a respeito das características dos itens e do nível de informação que agregam ao cálculo da escala de habilidades. O modelo de três parâmetros é o mais completo e considera não só a dificuldade do item e sua discriminação, como também um terceiro parâmetro relativo à probabilidade de acerto dos indivíduos com baixa habilidade. Este modelo é fundamentado na ideia de que quanto maior a habilidade em leitura do aluno, maior será a chance dele responder corretamente a um item (selecionar a palavra-alvo).

Para a análise da capacidade de discriminação do item, parâmetro a, utilizou-se a correlação bisserial, que mede a associação entre a habilidade (traço latente) e o resultado do teste (escore bruto total). De acordo com parâmetro a, foram retirados nove dos 52 itens da PRP-BR (i.e., braço, bola, estrela, galo, leão, milho, peixe, rato, sereia), pois apresentaram o bisserial menor do que zero, indicando que quanto maior a habilidade do aluno menor sua chance de responder corretamente ao item em questão. Ou seja, estas nove palavras apresentam baixa capacidade de discriminação em relação ao resultado da PRP-BR.

Dessa forma, foi possível elaborar uma versão reduzida da PRP-BR, composta por 43 itens. A PRP-BR reduzida apresentou alto poder de discriminação a (M = 0,88 ± 0,23), com todos os itens acima do critério de corte de 0,30, o que demonstra que medem adequadamente o traço latente desejado e possui capacidade de discriminação. O índice de dificuldade, parâmetro b, permitiu o agrupamento dos itens em três níveis de dificuldade. O parâmetro c, que mede a chance dos sujeitos com baixa habilidade acertarem um item com dificuldade maior que sua habilidade, apresentou valores dentro do ideal. Os resultados das análises da Teoria de Resposta ao Item, ao considerar que a PRP-BR dá mais informação para as faixas de habilidades mais baixas, reforça a validade de que a prova é um bom instrumento para avaliar o reconhecimento de palavras em sujeitos com dificuldade de leitura ou que se encontram nos estágios iniciais de alfabetização.

4.3 Efeito de escolaridade

Como evidências de validade interna para a PRP-BR, verificou-se um significante efeito de escolaridade tanto com a versão completa quanto a reduzida em todas as amostras. Quanto maior o grau de escolarização do aluno, maior será a sua habilidade de reconhecimento de palavras. Na Fase 2, apesar da PRP-BR ter sido aplicada sem tempo limite, os participantes do segundo ano obtiveram uma menor acurácia quando comparados aos do quarto e quinto ano do Ensino Fundamental (i.e., 2º < 4º–5º ano).

Na Fase 3, ao comparar os anos escolares com o mesmo tempo limite de aplicação, os participantes do 2º ano apresentaram uma menor acurácia do que os do 3º ano; e os do 4º ano uma menor acurácia do que os do 5º ano. O maior tempo de aplicação para os participantes do 2º e do 3º ano (quatro minutos), quando comparado ao 4º e 5º ano (dois minutos), resultou em uma maior acurácia para as crianças dos primeiros anos escolares [(2º < 3º) > (4º < 5º ano)]. Ao considerar que houve diferença no limite de tempo de aplicação da PRP-BR, a variável Taxa de Acurácia permitiu verificar um gradual aumento da acurácia (2º < 3º < 4º < 5º ano). Na Fase 5, verificou-se uma diferença entre os alunos do primeiro ano, quando comparado aos demais anos escolares, nas médias da variável acurácia e da taxa de acurácia (1º < 2º–5º ano).

Resultados similares aos da PRP-BR já haviam sido encontrados em Portugal. ^{Viana et al. (2013)} também verificaram um significante efeito de escolaridade para a PRP-PT, com os participantes do primeiro ano apresentando um desempenho menor, com tamanho de efeito elevado, em comparação ao segundo ano (1º < 2º ano, t = 31,98, p = 0,001). Já os participantes do terceiro ano apresentaram diferença significante e com tamanho de efeito moderado em comparação aos do quarto ano (3º < 4º ano, t = 12,1, p = 0,001).

Criou-se critério de cortes a partir dos resultados da Fase 2 a Fase 5. Ao considerar a PRP-BR sem tempo limite de aplicação (Fase 2), é esperado que as crianças do 2º ao 5º ano, ao final do ano letivo, obtenham uma acurácia no reconhecimento de palavras acima de 96%. Ao sumarizar os critérios de corte da PRP-BR com limite de tempo (Fase 3 e Fase 5), pode-se considerar que é esperado que as crianças do 2º ao 5º ano, ao final do ano letivo, apresentem uma acurácia no reconhecimento de palavras acima de 60% dentro do tempo, o que equivale a 31 itens na versão completa e 26 itens na versão reduzida da prova.

4.4 Validade externa

Como validade externa de critério, os resultados encontrados nos estudos psicométricos da Fase 2 a Fase 5 da PRP-BR devem estar coerentes com a literatura. Os resultados revelaram a importância de se avaliar a fluência de leitura e não somente a acurácia. Na Fase 2, ao não limitar o tempo de aplicação, a acurácia ficou próxima ao máximo (M = 98,2 ± 2,7%). ^{Pinheiro e Vilhena (2022)} revisaram diferentes instrumentos que avaliam a acurácia do reconhecimento de palavras e confirmaram que as provas de leitura de palavras isoladas são fáceis de serem lidas no português, alcançando 85% de acertos já a partir do segundo ano do Ensino Fundamental.

Esse resultado de alta acurácia já no início da alfabetização está de acordo com a literatura, pois o português brasileiro possui uma ortografia transparente no sentido da leitura (relação grafema-fonema) e uma estrutura silábica simples (^{Scliar-Cabral, 2023}; ^{Scliar-Cabral & Heinig, 2023}). ^{Scliar-Cabral (2019)} explica que o leitor hábil evoca, rapidamente, por meio da decodificação de um pequeno número de grafemas, a representação fonológica da palavra no léxico fonológico que ele ‘escuta’ em sua fala interior (rota fonológica), a qual é utilizada no acesso de seu significado na memória semântica. Assim, uma vez desconsiderada a fluência de leitura, as crianças, inclusive as com dificuldades de leitura, podem atingir altas porcentagens de acurácia após poucos meses de instrução formal (^{Pinheiro & Vilhena, 2022}; ^{Vilhena & Pinheiro, 2022}).

Como outra evidência de validade externa de critério para a PRP-BR, ao considerar os resultados da Fase 2 a Fase 5, tanto a variável Acurácia quanto a Taxa de Acurácia não apresentaram diferença significante entre meninos e meninas, o que corrobora a literatura (^{Lúcio et al., 2018}; ^{Pinheiro & Vilhena, 2022}; ^{Vilhena & Pinheiro, 2020}). Em Portugal, ^{Viana et al. (2013)} também não verificaram diferença de desempenho na PRP-PT em função do sexo nos quatro anos analisados.

Como evidência de validade externa convergente, as acurácias de leitura na PRP-BR versão completa (r = 0,44) e versão reduzida (r = 0,33) apresentaram correlação significativa e moderada com as notas dos alunos dada pelos professores na disciplina de Português. Em dois estudos em Portugal, a PRP-PT apresentou correlações de moderadas a fortes com uma avaliação da leitura realizada pelos professores que variaram entre 0,62 e 0,84 (^{Viana e Ribeiro, 2010}) e de 0,63 a 0,77 (1º ano: r = 0,69; 2º ano: r = 0,77; 3º ano: r = 0,63; 4º ano: r = 0,67; p < 0,001) (^{Viana et al., 2013}). Em Portugal, como fonte de validade externa convergente, a PRP-PT apresentou correlação positiva e significante, em cada ano escolar, com o Teste de Idade de Leitura (TIL) (^{Sucena & Castro, 2010}) [Equivalente ao Teste de Leitura: Compreensão de Sentenças (TELCS) no Brasil (^{Vilhena et al., 2016})] (2º ano: r = 0,63; 3º ano: 0,34; 4º ano: 0,38; p < 0,001) (^{Viana et al., 2013}). Embora ambos os instrumentos avaliem a leitura silenciosa, o PRP avalia acurácia e fluência de leitura, enquanto o TIL (ou TELCS) combina as variáveis acurácia, fluência e compreensão. Segundo Viana et al., esses valores de correlação estão dentro da amplitude de 0,42 a 0,68 encontrada em estudos sobre fluência e compreensão de leitura. Viana et al. argumentam que as correlações entre medidas de leitura são mais elevadas nos anos iniciais de escolaridade, perdendo o poder explicativo à medida que os processos de decodificação são automatizados.

Como limitação do estudo, é importante que sejam feitos estudos normativos para criar critérios de corte da capacidade de reconhecimento de palavras para diferentes regiões do Brasil, para pessoas com surdez e para grupos clínicos. Outra limitação é não ser possível desconsiderar o erro da própria medida na Teoria de Resposta ao Item, que pode ter levado a exclusão errada de nove dos 52 itens da PRP-BR. O participante pode marcar erroneamente a palavra correspondente ao desenho, mesmo sabendo a alternativa correta. Alguns alunos apresentaram um comportamento definido como ‘perfeccionista’, com uma demasiada preocupação na estética da marcação do X na resposta correta, em detrimento de responder com velocidade. Houve um possível efeito de ordem, com os itens posicionados ao final da aplicação dos 52 itens sendo justamente os que apresentaram os piores índices psicométricos, o que pode sugerir que alguns participantes podem ter acelerado a resposta para terminar todos os itens dentro do tempo, em detrimento da acurácia. Também não se pode descartar o erro do pesquisador na transposição das respostas dos participantes para a planilha de Excel, apesar das exaustivas revisões da integridade do banco de dados.

Futuros estudos poderão investigar as fontes de validade externa convergente entre a PRP com o TRP, TRPp e o TELCS. Apesar das aplicações da PRP-PT e da PRP-BR terem sido planejadas no formato papel e caneta, é plenamente possível digitalizar a prova para ser aplicada em dispositivos digitais. Ao invés de marcar o papel com a caneta, a seleção da alternativa correta poderá ser feita tanto com o clique do mouse nos computadores quanto com o toque do dedo na tela nos tablets. A randomização digital da ordem de apresentação dos estímulos poderá controlar o efeito de ordem do item. Essa digitalização da aplicação demandará novos estudos psicométricos para verificar se a alteração da dimensão dos desenhos e a disposição das alternativas alteram a fidedignidade da prova.

A aplicação digital da PRP-BR poderá ter como vantagem a redução do custo impressão das folhas de resposta (três folhas tanto para a impressão das seis páginas da versão completa quanto das cinco páginas da versão reduzida), apresentação randomizada dos itens, não precisar virar as páginas das folhas de resposta, a interrupção automática da aplicação no exato limite de tempo, a agilidade do participante em marcar a alternativa, a mensuração do tempo de reação da resposta ao item e do tempo total de leitura, a conversão do escore bruto nas variáveis acurácia e taxa de acurácia e a geração automática do relatório individualizado. Assim, espera-se que tanto a versão impressa quanto a digital sejam fáceis e rápidas de serem aplicadas, com resposta intuitiva para as crianças.