AVALIAÇÃO PSICOLÓGICA

Evidências de validade do subteste de leitura do teste de desempenho escolar

 

Evidence of validity of the reading subtest of school achievement test

 

Evidencias de validad del subtest de lectura del test de desempeño escolar

 

 

Marcia de Lima Athayde^I; Claudia Hofheinz Giacomoni^II; Cristian Zanon^III; Lilian Milnitsky Stein^IV
I Universidade Federal do Rio Grande do Sul e Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre – RS – Brasil
^II Universidade Federal do Rio Grande do Sul, Porto Alegre – RS – Brasil
^III Universidade São Francisco, Itatiba – SP – Brasil
^IV Pontifícia Universidade Católica do Rio Grande do Sul, Porto Alegre – RS – Brasil

Endereço para correspondência

 

 

---

Resumo

O teste de desempenho escolar é um instrumento psicopedagógico desenvolvido para crianças da 1ª à 6ª série, cujo objetivo é avaliar de maneira ampla a aprendizagem por meio de três subtestes: leitura, escrita e aritmética. A proposta deste estudo foi avaliar as propriedades psicométricas do subteste de leitura, utilizando a análise de eixos principais e a teoria de resposta ao item para avaliar a estrutura interna, a dificuldade e a discriminação dos itens. A amostra foi composta de dados oriundos de pesquisas realizadas em quatro Estados brasileiros (N = 1.831). Os resultados indicaram que o subteste de leitura apresenta evidências de unidimensionalidade, avalia com mais precisão estudantes com níveis baixos e médios de habilidade e discrimina estudantes apenas até a 3ª série. Esses resultados indicam que o subteste mostra evidências de validade, mas requer refinamento.

Palavras–chave: leitura; teste de desempenho escolar; validade; teoria de resposta ao item; avaliação psicológica

---

Abstract

The school achievement test is a psychopedagogical instrument for children from 1st to 6th grade, assessing broadly learning through three subtests: reading, writing and arithmetic. The goal of this study was to evaluate the psychometric properties of the reading subtest, using principal axes analysis and item response theory to evaluate the internal structure, items difficulty and discrimination. The sample consisted of data from surveys conducted in four Brazilian states (N = 1831). Results indicated that the reading subtest presents evidence of unidimensionality, more accurately assess students with low and medium skill, and discriminates students only through third grade. These results indicate that subtest presents evidence of validity, but requires refinement.

Keywords: reading; school achievement test; validity; item response theory; psychological assessment

---

Resumen

Test de desempeño escolar es un instrumento psicológico y pedagógico desarrollado para los niños de 1º a 6º grado, evaluando de manera general el aprendizaje por tres subtests: lectura, escrita y aritmética. El objetivo de este estudio fue evaluar las propiedades psicométricas del subtest de lectura mediante el análisis de los ejes principales y la teoría de respuesta al ítem al evaluar la estructura interna, la dificultad y la discriminación de materiales. La muestra consistió en datos de encuestas realizadas en cuatro estados de Brasil (N = 1.831). Los resultados indicaron que el subtest de lectura presenta evidencia de unidimensionalidad, evalua con mayor precisión a los estudiantes con baja y media capacidad y discrimina a los estudiantes sólo hasta el tercer grado. Estos resultados indican que el subtest tiene evidencias de validez, pero requiere de refinación.

Palabras clave: lectura; prueba de rendimiento académico; validez; teoría de respuesta al ítem; evaluación psicológica

---

 

 

A leitura é uma atividade mental extremamente complexa que pode ser avaliada e teoricamente explicada por meio de diferentes teorias (Corso & Salles, 2009). Entender como ocorre a apropriação do código escrito é tema de crescente interesse por parte de psicólogos, fonoaudiólogos, pedagogos e psicopedagogos.

A avaliação das habilidades de escrita e leitura é fundamental para que seja possível repensar as práticas de ensino, avaliação e intervenção terapêutica. Entre os poucos instrumentos existentes para a avaliação dessas habilidades, tem–se o teste de desempenho escolar – TDE (Stein, 1994), que inclui a avaliação da leitura de palavras isoladas, habilidade básica envolvida na aprendizagem da linguagem escrita. Segundo Knijnik, Giacomoni e Stein (2013), desde que o TDE foi criado, há 20 anos, não sofreu atualizações nem renormatização.

No que se refere à linguagem, existem dois códigos: oral e escrito. O conhecimento da linguagem oral é implícito, depende das situações vividas pelo falante, enquanto a linguagem escrita precisa de um conhecimento que vai além do implícito. Nesse caso, é necessário refletir sobre a língua e seu uso, o que é chamado de conhecimento explícito. A escola é a grande responsável por guiar o aluno nesse processo de aprendizagem da escrita e da leitura (Maluf, 2010).

A leitura refere–se à interpretação de sinais gráficos que uma comunidade convencionou utilizar para substituir as unidades linguísticas da fala. É uma forma complexa de aprendizagem simbólica, tendo em vista que pequenas mudanças em uma palavra são suficientes para alterar completamente sua pronúncia e significado. Além disso, na complexidade do ato de ler, estão envolvidos vários processos: linguagem escrita, atenção, habilidade motora, diversos tipos de memória, organização de texto e imagem mental (Rotta & Pedroso, 2006).

Portanto, aprender a ler não é um ato isolado. Inclui diferentes associações entre símbolos auditivos, visuais e significados (Ciasca & Moura–Ribeiro, 2006). Na leitura, ocorre o processamento de informações gráficas em linguísticas, cujo objetivo é extrair o significado do material escrito (Barrera & Nobile, 2010). Durante o desenvolvimento dessa habilidade, a criança aprende simultaneamente a soletrar e a escrever, processando informações em vários níveis: visual, auditivo, atencional, sequencial, conceptual e de fala. Desse modo, pode–se considerar a leitura uma das atividades mais difíceis de serem realizadas pelos seres humanos (Ciasca & Moura–Ribeiro, 2006).

A leitura, sob o enfoque da neuropsicologia cognitiva e da psicologia cognitiva, é composta por múltiplos processos interdependentes, sendo dois deles fundamentais: o reconhecimento de palavras (acesso ao léxico mental) e a compreensão do material lido (Salles, 2005). O primeiro refere–se à identificação das palavras escritas, associando–as a uma pronúncia e a um significado. O segundo é definido como a capacidade de captar as principais ideias de um texto, para o que também são necessários os conhecimentos prévios do leitor (Barrera & Nobile, 2010). A leitura competente necessita de automatismo no acesso ao léxico, visto que certa capacidade de leitura de palavras é necessária para ler um texto com compreensão. O reconhecimento das palavras é uma habilidade necessária para compreender um texto, mesmo que não suficiente, já que a leitura eficiente de palavras não garante a compreensão de leitura textual (Corso & Salles, 2009).

Para compreender textos, é necessário dominar os traços que diferenciam as letras entre si, já que substituir um grafema por outro altera o significado. Se o aprendiz não tiver automatizado os grafemas e seus valores, não conseguirá compreender o que lê. É preciso que o reconhecimento da palavra escrita seja muito rápido. Sem esse domínio, não é possível a leitura fluente, em virtude dos limites temporais da memória de trabalho (Scliar–Cabral, 2013). Com a automatização do processo de reconhecimento de palavras, exige–se menor capacidade de processamento, pois são liberados recursos cognitivos para processos mais complexos envolvidos na compreensão (Corso & Salles, 2009). A criança que não é uma leitora proficiente, que lê com uma velocidade lenta ou silabada, poderá apresentar dificuldade em compreender o material lido (Jardini, 2003).

Tendo em vista a importância dessa habilidade de leitura, deve–se priorizar a apropriação do código escrito nos primeiros anos escolares, bem como saber avaliar os alunos em relação a essa dimensão. Tal avaliação precisa ser feita não apenas como um diagnóstico, mas também como ponto de partida para o planejamento do professor, orientando o trabalho pedagógico.

No Brasil, há um instrumento psicopedagógico que avalia as capacidades básicas para o desempenho escolar: o TDE (Stein, 1994). O TDE é composto por três subtestes: leitura, escrita e aritmética. Avalia crianças da 1ª à 6ª série do ensino fundamental, podendo ser utilizado com algumas reservas para 7ª e 8ª séries. Segundo Knijnik et al. (2013), desde sua publicação, o TDE vem sendo largamente utilizado em pesquisas realizadas em todo o País e em diferentes áreas da ciência.

A proposta do TDE é que os subtestes apresentem um conjunto de itens em ordem crescente de dificuldade, os quais devem ser apresentados para as crianças, independentemente de sua série. O teste poderá ser interrompido assim que os itens em determinado nível do sequenciamento do subteste forem impossíveis de ser resolvidos pelo examinando.

A avaliação realizada por meio do TDE permite averiguar as habilidades nas quais a criança possa estar apresentando dificuldades. Segundo Stein (1994), a autora do teste, a partir dessa constatação, o examinador poderá aplicar uma avaliação mais específica na área defasada, buscando elucidar em que aspectos residem as dificuldades da criança.

O subteste de leitura do TDE foi concebido para investigar a capacidade básica envolvida na aprendizagem da decodificação grafema–fonema. Ele é composto por uma lista de 70 palavras que são apresentadas sem um contexto (Stein, 1994). O instrumento não avalia os demais aspectos envolvidos na leitura, tal como a compreensão leitora.

Apesar desse fato, Lúcio, Pinheiro e Nascimento (2009) referem que o subteste de leitura do TDE é o único teste de leitura em voz alta de palavras isoladas que apresenta normas para a população brasileira e evidências psicométricas de validade e precisão. Além disso, de acordo com a literatura (Scliar–Cabral, 2013; Corso & Salles, 2009; Jardini, 2003), é por meio da leitura de palavras que a criança alcança a compreensão textual. Essa habilidade básica de decodificação de palavras é uma etapa necessária para a aquisição de um vocabulário. É por meio desse reconhecimento automático das palavras que o aprendiz chega à leitura fluente (Lúcio et al., 2009).

Sendo assim, o objetivo do presente estudo é avaliar as propriedades psicométricas do subteste de leitura e fornecer evidências de sua validade e fidedignidade. Buscou–se investigar: 1. a estrutura interna do subteste; 2. o grau de dificuldade e discriminação dos itens por meio da teoria de resposta ao item (TRI); e 3. as diferenças de habilidade de leitura nas diferentes séries escolares e entre meninos e meninas.

Optou–se por utilizar a TRI, pois esse tipo de análise fornece informações quanto aos níveis de habilidade que o subteste mede. O subteste de leitura foi criado para avaliar uma única habilidade, por isso evidências de unidimensionalidade dos escores corroborariam essa suposição. Os itens do subteste foram construídos para obedecer a uma ordem crescente de dificuldade. Assim, espera–se que os índices de dificuldade estimados pela TRI indiquem que a ordem dos itens esteja adequada. Por fim, espera–se que existam diferenças de habilidade de leitura entre todas as séries escolares estudadas.

 

Método

Participantes

Participaram deste estudo 1.831 estudantes (54,4% meninos e 35,6% meninas) provindos de escolas municipais (66,8%), estaduais (17,7%), escola pública não especificada (9,3%) e escola particular (6,2%). Os estudantes eram oriundos dos Estados de Santa Catarina (42,1%), São Paulo (28,1%), Rio Grande do Sul (17,4%) e Paraíba (12,4%). Aproximadamente 9,7% dos estudantes frequentavam a 1ª série do ensino fundamental; 36,3%, a 2ª; 22%, a 3ª; 19,5%, a 4ª; 8,5%, a 5ª; e 4%, a 6ª.

Procedimentos

Realizou–se contato com os pesquisadores que conduziram estudos com o TDE para solicitar envio dos bancos e autorização para utilização de seus dados. De acordo com as diretrizes do comitê de ética para procedimentos no compartilhamento de dados, aqueles pesquisadores que concordaram em ceder seus dados assinaram um Termo de Compromisso de Dados, também assinado pelas pesquisadoras responsáveis pelo presente estudo.

Procedimento de análise dos dados

Para investigar a estrutura interna do subteste leitura, realizou–se uma análise de eixos principais. Encontradas evidências de unidimensionalidade para o subteste, condição para análises da TRI, procedeu–se às estimações dos parâmetros dos itens e do nível de habilidade dos participantes usando a TRI. As análises da TRI foram conduzidas no programa BILOG–MG (Zimowski, Muraki, Mislevy, & Bock, 1996), e o modelo escolhido foi o de dois parâmetros, por apresentar melhor ajuste que o modelo de um parâmetro. O ajuste dos modelos foi avaliado pelos resíduos padronizados. Não se considerou o modelo de três parâmetros por ser improvável que os participantes tenham acertado itens por acaso, uma vez que o formato do subteste não fornece alternativas. Utilizou–se o método de estimação maximum likelihood. Por fim, realizaram–se análises de variância (Anova one–way) para avaliar diferenças nos escores de leitura da 1ª à 6ª série e teste t para investigar possíveis diferenças de sexo.

 

Resultados

Inicialmente, avaliou–se a dimensionalidade do subteste de leitura (composto por 70 itens) por meio de análises de eixos principais (AEP), usando como critérios de extração eigenvalues maiores que um. O teste KMO foi de 0,99 e o teste de esfericidade de Bartlett foi significativo, indicando adequação dos dados para a análise. Observaram–se três fatores com eigenvalues maiores que um. O primeiro fator apresentou um eigenvalue de 39,33 (mais de nove vezes maior que o do segundo fator, que foi de 4,17). Essa relação indica a predominância do primeiro fator no grupo de itens e, portanto, satisfaz uma das condições para o uso de análises da TRI. Ademais, o coeficiente alfa para esse conjunto de itens foi de 0,99, indicando alta fidedignidade, mas também excesso de itens para medir o construto.

A análise da TRI para o subteste leitura revelou que há discriminação apropriada para níveis baixos e médios de habilidade. Todos os itens apresentaram valores adequados de discriminação, que variaram de 1,37 a 3,75. Considerando que a dificuldade dos itens variou de –1,73 a 0,29, pode–se afirmar que o teste avalia apropriadamente estudantes com níveis baixos e médios de habilidade. Contudo, a falta de itens muito fáceis (com dificuldade abaixo de –2, por exemplo) indica que o teste não avalia apropriadamente estudantes com níveis muito baixos de habilidade. Como apresentado na Tabela 1, é possível perceber que há itens que mensuram o mesmo nível de habilidade, ou seja, itens com níveis de dificuldade idênticos ou muito próximos.

Ademais, a ordem de dificuldade estimada pela TRI não corresponde à ordem dos itens do teste apresentados aos participantes. Por exemplo, o item 13 é mais fácil que o item 4.

 

 

A Anova revelou diferenças estatisticamente significativas de habilidade de leitura entre os grupos F (5,1825) = 142,03; p < 0,001. Testes post hoc (Scheffe) revelaram diferenças significativas entre 1ª, 2ª e 3ª séries, o que evidencia a capacidade do teste de distinguir estudantes desses grupos. Não se observaram diferenças significativas entre 4ª, 5ª e 6ª séries, o que indica médias muito próximas nesses grupos e que o teste não os discrimina adequadamente.

 

Discussão

Este estudo teve por objetivo buscar evidências de validade e fidedignidade para o subteste de leitura. Também se buscou avaliar se há diferenças entre séries e sexo, e se a ordem de dificuldade dos itens coincide com a indicada pela análise da TRI. Evidências de unidimensionalidade indicam que os itens estão de fato avaliando o construto que eles se propõem a avaliar: habilidade de leitura, no que tange a palavras isoladas. O alto valor do coeficiente alfa indica que o teste avalia precisamente o construto, mas também sugere a remoção de itens. Apesar do alfa de valor elevado, os parâmetros de dificuldade e discriminação fornecidos pela TRI mostram que há alta fidedignidade para níveis médios de habilidade, mas que, para níveis baixos e altos, a mensuração é menos precisa.

Verificou–se que o teste discrimina a série dos estudantes até a 3ª série apenas, o que sugere que os itens são facilmente respondidos pela maioria de estudantes da 4ª, 5ª e 6ª séries. Com isso, constata–se que o subteste precisa ser refinado, sendo necessário acrescentar mais itens difíceis, de forma a diferenciar os sujeitos dessas últimas três séries avaliadas, cumprindo, então, com o objetivo do teste. Versões futuras do subteste deverão incluir itens mais apropriados para esses grupos. Lúcio e Pinheiro (2014) investigaram mudanças evolutivas relacionadas à escolaridade, com o uso desse mesmo subteste. Constataram que o efeito de escolaridade não ocorreu entre os anos escolares iniciais (entre o 2º e o 3º ano) e finais (entre o 4º e o 5º ano).

Em relação ao sexo, o fato de não terem sido encontradas diferenças estatisticamente significativas entre os meninos e as meninas vai ao encontro da pesquisa de Marturano, Toller e Elias (2005) que aplicaram o TDE em crianças com queixa de desempenho escolar pobre. As autoras também não encontraram diferenças de sexo nos resultados do TDE. Porém, tal dado vai de encontro ao estudo de Flores–Mendoza, Mansur–Alves, Lelé e Bandeira (2007), no qual as meninas obtiveram melhores resultados do que os meninos no escore total do TDE e nos subtestes de escrita e leitura. Já os meninos, saíram–se melhor apenas no subteste de aritmética. Ainda, Lúcio e Pinheiro (2014) também verificaram a existência de efeito de sexo na leitura, com esse mesmo subteste, visto que as meninas leram significativamente melhor do que os meninos.

Portanto, não há consenso na literatura de que as meninas apresentam melhor performance em tarefas de linguagem. De acordo com Athayde, Baesso, Dias, Giacchini e Mezzomo (2009), não há resultados conclusivos a respeito da variável sexo, pois a natureza das diferenças das habilidades entre homens e mulheres ainda não está clara.

Outro ponto que merece nota é a distribuição dos itens por nível de dificuldade. A ordem de apresentação dos itens difere da indicada pela TRI. Ou seja, há itens mais fáceis que aparecem depois dos mais difíceis e vice–versa, além de itens com mesmo nível de dificuldade, e o instrumento se propõe a apresentá–los em ordem crescente de dificuldade.

Logo, observa–se a necessidade de revisar o subteste de leitura, tendo em vista as limitações encontradas. Estudos que investigaram características psicométricas do TDE (Ferreira et al., 2012; Lúcio & Pinheiro, 2014; Lúcio et al., 2009) apontaram que a distribuição dos itens em graus de dificuldade está desproporcional, havendo muitos itens de nível médio (Knijnik et al., 2013). Lúcio et al. (2009) verificaram um excesso de palavras fáceis e escassez de palavras difíceis, o que prejudicou a variabilidade dos escores, tornando o instrumento incapaz de discriminar as habilidades dos leitores mais competentes. Portanto, esses estudos observaram que houve pouca distinção entre alunos com alto e baixo desempenho escolar (Knijnik et al., 2013).

Em outro estudo, Ferreira et al. (2012) verificaram que as normas estão desatualizadas, já que os dados para normatização do instrumento foram coletados em 1993. Segundo Knijnik et al. (2013), isso se deve também à mudança ocorrida no ensino fundamental brasileiro, que foi ampliado para nove anos. Essa modificação tornou o TDE desatualizado no que se refere aos dados normativos para cada série, já que os conteúdos foram reformulados e redistribuídos entre os nove anos.

Devido ao grande número de itens de dificuldade média para avaliar leitura, sugere–se uma revisão do subteste que inclua novos itens mais difíceis (mas também itens muito fáceis, para avaliação de estudantes com baixa habilidade), remoção de itens com níveis de dificuldade média e reordenamento dos itens de acordo com as evidências de dificuldade estimadas pela TRI.

 

Referências

Athayde, M. L., Baesso, J. S., Dias, R. F., Giacchini, V., & Mezzomo, C. L. (2009). O papel das variáveis extralinguísticas idade e sexo no desenvolvimento da coda silábica. Revista da Sociedade Brasileira de Fonoaudiologia, 14(3), 293–299.

Barrera, S. D., & Nobile, G. G. (2010). Conhecimento ortográfico compreensão em leitura e competências de produção textual em alunos com dificuldades no processo de escolarização. In S. R. K. Guimarães & M. R. Maluf (Orgs.). Aprendizagem da linguagem escrita – contribuições da pesquisa (pp. 203–238). São Paulo: Vetor.

Ciasca, S. M., & Moura –Ribeiro, M. V. (2006). Avaliação e manejo neuropsicológico da dislexia. In N. T. Rotta, L. Ohlweiler & R. S. Riesgo (Orgs.). Transtornos da aprendizagem – abordagem neurobiológica e multidisciplinar (pp. 181–193). Porto Alegre: Artmed.

Corso, H. V., & Salles, J. F. (2009). Relação entre leitura de palavras isoladas e compreensão de leitura textual em crianças. Letras de Hoje, 44(3), 28–35.

Ferreira, F. L., Costa, D. S., Micheli, L. R., Oliveira, L. F., Pinheiro–Chagas, P., & Haase, V. G. (2012). School achievement test: normative data for a representative sample of elementary school children. Psychology & Neuroscience, 5(2), 157–164.

Flores–Mendoza, C. E., Mansur–Alves, M., Lelé, A. J., & Bandeira, D. R. (2007). Inexistência de diferenças de sexo no fator g (inteligência geral) e nas habilidades específicas em crianças de duas capitais brasileiras. Psicologia: Reflexão e Crítica, 20(3), 499–506.

Jardini, R. S. R. (2003). Método das boquinhas: alfabetização e reabilitação dos distúrbios da leitura e escrita: cadernos de exercícios. São Paulo: Casa do Psicólogo.         [ Links ]

Knijnik, L. F., Giacomoni, C., & Stein, L. M. (2013). Teste de desempenho escolar: um estudo de levantamento. Psico–USF, 18(3), 407–416.

Lúcio, P. S., & Pinheiro, A. M. V. (2014). Novos estudos psicométricos para o subteste de leitura do teste de desempenho escolar. Temas em Psicologia, 22(1), 109–119.

Lúcio, P. S., Pinheiro, A. M. V., & Nascimento, E. (2009). O impacto da mudança no critério de acerto na distribuição dos escores do subteste de leitura do teste de desempenho escolar. Psicologia em Estudo, 14(3), 593–601.

Maluf, M. R. (2010). Do conhecimento implícito à consciência metalinguística indispensável na alfabetização. In S. R. K. Guimarães & M. R. Maluf (Orgs.). Aprendizagem da linguagem escrita – contribuições da pesquisa (pp. 17–32). São Paulo: Vetor.

Marturano, E. M., Toller, G. P., & Elias, L. C. S. (2005). Gênero, adversidade e problemas socioemocionais associados à queixa escolar. Estudos de Psicologia, 22(4), 371–380.

Rotta, N. T., & Pedroso, F. S. (2006). Transtornos da linguagem escrita–dislexia. In N. T. Rotta, L. Ohlweiler & R. S. Riesgo (Orgs.). Transtornos da aprendizagem – abordagem neurobiológica e multidisciplinar (pp. 151–164). Porto Alegre: Artmed.

Salles, J. F. (2005). Habilidades e dificuldades de leitura e escrita em crianças de 2ª série: abordagem neuropsicológica cognitiva. Tese de doutorado, Universidade Federal do Rio Grande do Sul, Porto Alegre, RS, Brasil.         [ Links ]

Scliar–Cabral, L. (2013). A desmistificação do método global. Letras de Hoje, 48(1), 6–11.

Stein, L. M. (1994). TDE – teste de desempenho escolar: manual para aplicação e interpretação. São Paulo: Casa do Psicólogo.

Zimowski, M. F., Muraki, E., Mislevy, R. J., & Bock, R. D. (1996). BILOG –MG: multiple–group IRT analysis and test maintenance for binary items. Chicago: Scientific Software.

 

 

Endereço para correspondência:
Marcia de Lima Athayde
Rua João Guimarães, 327, apto. 402, Santa Cecília
Porto Alegre – RS – Brasil. CEP: 97015–090
E–mail: fga.marcia@yahoo.com.br

Submissão: 16.10.2013
Aceitação: 14.4.2014