Desenvolvimento do subteste de escrita do Teste de Desempenho Escolar II

Development of the writing subtest of the School Performance Test II

Desarrollo de la sub-prueba de escritura de la Prueba del Desempeño Escolar II

Marcia de Lima Athayde^I; Claudia Hofheinz Giacomoni^I; Euclides José de Mendonça Filho^I; Rochele Paz Fonseca^II; Lilian Milnitsky Stein^II

RESUMO

Este estudo teve como objetivo o desenvolvimento do subteste de escrita da segunda edição do Teste de Desempenho Escolar (TDE II). Ele envolveu a construção de itens, a análise de juízes e uma testagem empírica. Contou com a participação de 684 estudantes de 1º a 9º ano do ensino fundamental de escolas públicas e privadas da região metropolitana de Porto Alegre (RS). O subteste foi dividido em duas versões: para estudantes de 1º a 4º ano e para de 5º a 9º ano. A análise fatorial apontou um fator explicando a variância comum dos itens, sendo um fator explicando 71% na versão A e um fator explicando 56% na versão B. A Teoria de Resposta ao Item (TRI) mostrou níveis de discriminação e de dificuldade dos itens adequados para mensurar o construto. Os resultados revelaram evidências de validade de conteúdo, construto e fidedignidade. O subteste de escrita apresentou-se com boas propriedades psicométricas para avaliação da escrita ao longo do ensino fundamental.

Palavras-chave: rendimento escolar; escrita; psicometria; Teoria de Resposta ao Item.

ABSTRACT

This study aimed to develop the new version of the writing subtest of School Performance Test – second edition (TDE II). It consisted in creating items, judge analysis and empirical testing. It had the participation of 684 students from the first to the ninth grade of elementary school of public and private institutions from Porto Alegre (RS), Brazil. The subtest was divided in two versions: one for students from the first to the fourth grade and one for students from the fifth to the ninth grade. Factor analysis indicated a factor explaining the common variance of the items, with one factor explaining 71% in version A and one factor explaining 56% in version B. The Item Response Theory (TRI) showed appropriate levels of discrimination and difficulty, which suggested that the items provided a comprehensive measure of the latent trait. The results provided satisfactory evidence of internal validity and reliability. These findings showed that the writing subtest presents good psychometric properties for the writing performance evaluation through elementary school.

Keywords: academic achievement; writing; psychometrics; Item Response Theory.

RESUMEN

Palabras clave: rendimiento escolar; escritura; psicometría; Teoría de Respuesta al Ítem.

O ensino da habilidade da escrita é fundamental, bem como sua avaliação em cada ano escolar. A escrita envolve diversos processos interdependentes, como a capacidade de conversão fonema–grafema, a ortografia e a escrita de frases e textos. A escrita de palavras precede a escrita de frases e textos, embora não garanta uma escrita de textos adequada. Um aluno pode não ter competência para escrever um texto apropriado, não por conta da dificuldade de produção textual, mas sim porque não domina a conversão fonema–grafema.

O desenvolvimento da escrita começa nos anos ­pré-escolares e continua ao longo dos anos de escolarização, possivelmente estendendo-se até a idade adulta (Costa, Edwards, & Hooper, 2016). Inicialmente, a aprendizagem da escrita começa com o domínio de produzir letras legíveis e a ortografia básica (Abbott, Berninger, & Fayol, 2010). Uma vez que essas competências são obtidas, passa-se para níveis mais avançados da aprendizagem, como o domínio da gramática, a estrutura das sentenças e demais aspectos textuais (Crossley, Weston, & Sullivan, 2011).

Em vista disso, é necessário que existam instrumentos de avaliação variados, que contemplem alunos com diferentes níveis de conhecimento sobre a escrita (Ferreira & Leal, 2007). Em relação à avaliação da escrita no cenário brasileiro, há tarefas envolvendo a avaliação da escrita de palavras (Capovilla & Capovilla, 2003; Moojen, 2009), escrita de palavras e pseudopalavras (Capovilla, Smythe, Capovilla, & Everatt, 2001; Pinheiro, 1995; Salles, 2005; Salles & Parente, 2007) e avaliação da ortografia (Batista & Capellini, 2011).

No que tange à avaliação do desempenho escolar, há uma importante demanda de instrumentos com esse fim no Brasil. O Teste de Desempenho Escolar (TDE) (Stein, 1994) é um instrumento de triagem destinado à avaliação ampla da aprendizagem. É composto por três subtestes que avaliam as capacidades básicas envolvidas no desempenho escolar: leitura, escrita e aritmética (Stein, 1994).

O TDE foi criado há 21 anos, o que justifica sua atualização de normas e conteúdo. A revisão periódica de testes é sugerida pela Resolução n.º 02/2003 do Conselho Federal de Psicologia (2003), pela International Test Commission (2000) e pelos padrões para testes psicológicos e educacionais da Associação Americana de Psicologia (APA). Outros fatores corroboram a necessidade de desenvolvimento do TDE II:

]]> 1.    o TDE avalia sujeitos apenas até a 6ª série (Stein, 1994), não abarcando todo o ensino fundamental;

2.    o currículo do ensino fundamental foi modificado, de forma que seus conteúdos foram redistribuídos em nove anos escolares (modificação prevista na Lei n.º 10.172, de 9 de janeiro de 2001);

3.    já foi comprovada a larga utilização do TDE tanto para a prática clínica como para o uso em pesquisas científicas nacionais (Knijnik, Giacomoni, & Stein, 2013);

4.    o TDE é o único instrumento psicopedagógico validado e normatizado para a população brasileira (Knijnik, Zanon, Giacomoni, & Stein, 2014);

5.    especificamente em relação ao subteste de escrita original do TDE, ele apresenta evidências de validade, mas possui lacunas em suas características psicométricas (Giacomoni, Athayde, Zanon, & Stein, 2015).

O subteste de escrita do TDE avalia as capacidades básicas envolvidas na habilidade de escrita: a conversão fonema–grafema e a ortografia. Segundo Conrad, Harris, & Williams (2013), a ortografia é a compreensão das convenções utilizadas em um sistema de escrita, ou o conhecimento de como as palavras são escritas. Em suma, o subteste analisa a capacidade de o estudante escrever palavras ortograficamente corretas, identificando seu desempenho no nível da palavra. O instrumento não examina os demais aspectos envolvidos na escrita, tal como a escrita de textos. Consiste em um ditado de 34 palavras contextualizadas e na escrita do próprio nome.

Diante do exposto, o objetivo do presente estudo foi apresentar o processo de desenvolvimento e as evidências de validade de conteúdo do subteste de escrita do TDE II (Stein, Giacomoni, & Fonseca, 2015). Esse processo tomou como base a versão original do subteste de escrita e envolveu a construção de novos itens e a testagem da versão preliminar do subteste em escolares de todo o ensino fundamental I e II (do 1º ao 9º ano).

Método

O desenvolvimento do subteste de escrita do TDE II foi fundamentado nos procedimentos descritos por Pasquali (2010) para a construção de testes referentes a construtos. Nessa sessão, serão descritos os procedimentos realizados no âmbito dos polos teórico, experimental e analítico. A normatização, última etapa do polo analítico, apresentar-se-á em um estudo futuro.

O polo teórico foi composto pelas etapas de criação dos itens e da análise teórica deles, sendo esta última subdividida em quatro etapas. O polo experimental consistiu na testagem empírica dos itens da versão preliminar do subteste de escrita, já o polo analítico, na análise dos dados obtidos, o qual é exposto dividindo-se os itens do subteste em versões A e B.

Etapa 1: polo teórico — criação dos itens do subteste de escrita do TDE II

Para a criação dos itens, inicialmente foram definidos critérios empíricos e teóricos para nortear o processo de criação dos itens do subteste de escrita do TDE II. Com base nesses critérios, uma junta de juízes peritos criou o pool de itens que fariam parte do subteste.

No que tange aos critérios empíricos, eles foram elegidos tendo em vista os achados experimentais dos itens da versão original do subteste de escrita. Em suma, analisaram-se os dados dos estudos de Knijnik, Zanon, Giacomoni, e Stein (2014) e Giacomoni et al. (2015), os quais constataram que a grande maioria dos itens do subteste de escrita original apresentava dificuldade média, avaliados por meio da Teoria de Resposta ao Item (TRI). Com isso, o subteste estaria avaliando adequadamente sujeitos com níveis médios de habilidade, mas menos satisfatoriamente estudantes com baixa ou alta habilidade. Fundamentado nesses achados, julgou-se necessário criar itens com níveis de dificuldade variando do fácil ao difícil, visando englobar os nove anos do ensino fundamental.

Após a seleção dos critérios empíricos, uma junta de juízes peritos foi consultada para a definição dos critérios teóricos e a posterior criação dos itens. A junta de juízes foi composta por dois peritos, um com formação em Fonoaudiologia, especialização em Neuropsicologia e em Linguagem e mestrado em Letras (juiz 1), e outro com formação em Pedagogia, Fonoaudiologia e Psicopedagogia, além de mestrado em Educação com ênfase em Psicologia Escolar (juiz 2). Ambos os juízes foram selecionados em função de seu vasto conhecimento teórico e clínico sobre a linguagem escrita.

Como resultado das pesquisas realizadas pelos juízes, foram eleitos os seguintes critérios teóricos: nível de aprendizagem de cada ano escolar, uso de conteúdo não regionalizado, termos não pejorativos, ortografia (dificuldades ortográficas) e grau de familiaridade dos itens (palavras). O nível de aprendizagem escolar serviu de base para a criação dos itens, na medida em que foram selecionados itens condizentes com o nível de conhecimento ortográfico de cada ano escolar. Os itens foram concebidos obedecendo ao avanço da aprendizagem da escrita, sendo eles distribuídos nos nove anos escolares do ensino fundamental. O propósito do critério teórico "nível de aprendizagem escolar" era apresentar os itens em ordem crescente de dificuldade.

No que tange à utilização de itens com conteúdo não regionalizado, buscou-se eleger itens que fossem familiares para todo o Brasil, e não apenas para a Região Sul do país, local onde o teste foi criado. Em relação à seleção de termos não pejorativos, optou-se por itens que não tivessem uma imagem considerada socialmente negativa. Tanto o critério de regionalização quanto o de emprego de termos não pejorativos se mostraram importantes, uma vez que na versão original do TDE havia itens com essas características. No subteste de leitura original havia a palavra durex, a qual é conhecida como "fita adesiva" em determinadas regiões do Brasil, bem como o item isqueiro, o qual carrega uma imagem socialmente negativa.

Com referência ao critério teórico ortográfico, os peritos 1 e 2 levaram em conta as dificuldades ortográficas da língua portuguesa, bem como a complexidade da estrutura silábica das palavras, fundamentados no trabalho de Moojen (2009). A criação dos itens partiu do pressuposto de que palavras com características ortográficas e estrutura silábica mais simples são mais fáceis para as crianças escreverem. Sendo assim, os juízes criaram para os primeiros anos escolares, por exemplo, itens mais simples, com regras ortográficas e estrutura silábica compatíveis com o ano escolar em questão, já que, segundo Loveall, Channell, Phillips, & Conners (2013), o conhecimento ortográfico é influenciado pela experiência prévia do aprendiz com palavras escritas (impressas). Por exemplo, em relação às regras ortográficas, palavras com dígrafos como sc, ss e xc não foram inseridas até o 3º ano escolar, por conterem ortografia considerada mais complexa para os primeiros anos escolares, de acordo com o parecer dos juízes peritos. Ademais, no que concerne às estruturas silábicas, predominaram nos primeiros anos escolares itens contendo a estrutura CV (consoante seguida de vogal), por serem mais facilmente escritas pelas crianças. No decorrer da escolarização, estruturas silábicas mais complexas (consoante–vogal–consoante — CVC, consoante–vogal–vogal — CVV, consoante–consoante–vogal — CCV) foram inseridas em maior quantidade. Dessa maneira, com o avanço dos anos escolares, a complexidade dos itens acentua-se.

Quanto ao critério teórico chamado de grau de familiaridade das palavras, sabe-se que estímulos familiares no cotidiano das crianças produzem respostas mais rápidas e corretas do que os menos familiares (Cycowicz, Friedman, Rothstein, & Snodgrass, 1997), processo que também ocorre na escrita de palavras (Pinheiro & Rothe-Neves, 2001). Com isso, buscou-se criar itens mais familiares para os primeiros anos escolares e menos familiares para anos mais avançados. Por conseguinte, seria possível aumentar a dificuldade dos itens à medida que os anos escolares avançassem. O julgamento do grau de familiaridade dos itens foi realizado pela junta de peritos mencionada anteriormente, com base em sua experiência na área da linguagem escrita.

Em virtude de os critérios utilizados para a criação do subteste de escrita do TDE II serem distintos dos aplicados no TDE original, optou-se por não manter os itens da primeira versão. Portanto, apenas o item "composição" do subteste de escrita do TDE I permaneceu na versão atualizada, em função de suas características teóricas serem adequadas aos critérios elegidos para a seleção dos itens (grau de familiaridade, estrutura silábica e dificuldades ortográficas). Dessa forma, ao final da etapa 1, os itens da versão preliminar do subteste de escrita do TDE II haviam sido criados, com base nos critérios teóricos e empíricos supracitados.

Etapa 2: polo teórico — análise teórica dos itens do subteste de escrita do TDE-II

Com a criação dos itens na etapa 1, obteve-se uma versão preliminar do subteste de escrita, a qual continha 118 itens. Com o intuito de verificar evidências de validade de conteúdo, os itens foram analisados por juízes peritos, conforme explicitado a seguir.

Análise teórica 1

Na primeira análise teórica, uma junta de juízes peritos averiguou os itens da versão preliminar do subteste de escrita. Essa junta de juízes foi composta por dois fonoaudiólogos: um com mestrado em Distúrbios da Comunicação Humana (juiz 3); e outro com graduação também em Psicologia, especialista em Linguagem, mestre e doutor em Psicologia do Desenvolvimento e perito em Neuropsicologia (juiz 4).

Análise teórica 2

Os seis itens criados na etapa teórica anterior foram enviados aos dois experts que trabalharam na criação dos itens da versão preliminar do subteste de escrita (juízes 1 e 2). Ambos deveriam analisar os seis itens, verificando a sua pertinência. Como resultado dessa análise teórica, os juízes optaram por manter um dos seis itens sugeridos, indicando outros cinco, em função de estes serem mais adequados aos critérios teóricos mencionados na etapa 1. Dessa forma, uma nova versão preliminar do subteste de escrita foi originada, a qual continha 124 itens.

Análise teórica 3

Com essa segunda versão preliminar do subteste de escrita, o juiz 3 verificou novamente os itens do ponto de vista teórico. Essa nova análise teve como objetivo identificar todas as dificuldades ortográficas contidas em cada item (por exemplo, o uso de dígrafos, de h em início de palavra e de e ou i no fim de palavra). Essa investigação conceitual a respeito dos itens foi baseada em Moojen (2009). Assim, o juiz 3 elaborou uma ficha de avaliação, a qual continha todas as informações referentes às dificuldades ortográficas dos itens.

Análise teórica 4

A ficha de avaliação elaborada na análise teórica anterior foi enviada para outros três juízes peritos em linguagem escrita: juiz 5, com formação em Letras, mestrado e doutorado em Linguística Aplicada; juiz 6, com formação em Fonoaudiologia, especialização em Educação Infantil, mestrado e doutorado em Letras; e juiz 7, com formação em Fonoaudiologia, especialização em Fonoaudiologia Escolar, mestrado e doutorado em Letras. Esses juízes foram selecionados por apresentarem ampla experiência no construto linguagem escrita. Deveriam analisar tanto as características teóricas identificadas para cada item como a pertinência dos itens para a avaliação da habilidade de escrita de palavras. Poderiam também sugerir modificações em itens ou nas dificuldades ortográficas identificadas, bem como indicar a eliminação ou substituição de itens problemáticos.

Como resultado dessa avaliação, nenhum item foi excluído ou modificado; apenas algumas características teóricas referentes aos itens foram alteradas. A título de exemplo, observa-se o caso do item "gato", cujas dificuldades ortográficas indicadas pelo juiz 3, quando da análise teórica 3, foram a possibilidade de substituição do grafema g por gu e a substituição do grafema o, em posição final, por u. Porém os juízes que atuaram na análise teórica 4 (juízes 5, 6 e 7) solicitaram o acréscimo da possibilidade de substituição do grafema g pelo grafema h.

Assim, a terceira versão preliminar do subteste de escrita permaneceu com 124 itens, os quais foram considerados pertinentes pelos juízes para a avaliação da habilidade de escrita de palavras.

Polo experimental: testagem empírica da versão preliminar do subteste de escrita do TDE II

Participantes

Participaram do estudo 723 estudantes dos nove anos escolares do ensino fundamental de escolas públicas e privadas da região metropolitana de Porto Alegre (RS). Selecionaram-se as escolas por conveniência, sendo quatro públicas e três particulares. Foram incluídos na amostra todos os escolares com percentil igual ou maior que 5 no teste Matrizes Progressivas Coloridas de Raven: Escala Especial (Angelini, Alves, Custódio, Duarte, & Duarte, 1999) ou no teste Matrizes Progressivas de Raven: Escala Geral (Vilhena, Guntert, & Tosi, no prelo). Além disso, foram excluídos sujeitos com suspeita de déficit auditivo e alterações de fala ou de linguagem. Dessa forma, deixaram a pesquisa 24 crianças por déficit intelectual, oito por conta de alterações de fala ou linguagem, quatro por serem alunos especiais da escola, dois por apresentarem diagnóstico (segundo informações da escola) de Transtorno do Espectro do Autismo, um por suspeita de comprometimento intelectual (identificada pelo questionário sociodemográfico e pelas avaliações do TDE), e um por suspeita de deficiência auditiva. Com isso, a amostra foi constituída por 684 crianças, com idades entre 6,34 e 17,75 (M=10,07; DP=2,59). A Tabela 1 mostra a distribuição dos estudantes por ano escolar, sexo e tipo de escola.

Instrumentos

Os escolares foram avaliados por meio da versão preliminar do subteste de escrita e por um teste de inteligência. O teste Matrizes Progressivas Coloridas de Raven: Escala Especial (Angelini et al., 1999) foi aplicado em estudantes de até 11 anos e 9 meses de idade, e o Teste Matrizes Progressivas de Raven – Escala Geral (Vilhena et al., no prelo), em escolares com mais de 11 anos e 10 meses. Além disso, os responsáveis pelos estudantes responderam a um questionário acerca de dados sociodemográficos, versão adaptada do questionário disponível em Fonseca, Jacobsen, & Pureza (2015).

Procedimentos

Coleta de dados

O projeto desta pesquisa foi aceito pelo Comitê de Ética da Pontifícia Universidade Católica do Rio Grande do Sul. Os estudantes foram autorizados pelos responsáveis a participar do estudo, mediante assinatura do Termo de Consentimento Livre e Esclarecido (TCLE).

No primeiro encontro foi realizada a avaliação intelectual: individual com as crianças do 1º ao 3º ano do ensino fundamental; e coletiva, em grupos de oito participantes, nos demais anos escolares.

Análise de dados

Para análise dos dados, os itens do teste foram tratados como variáveis dicotômicas de acerto e erro. Para a operacionalização do estudo, realizaram-se procedimentos analíticos, como a análise da dimensionalidade do instrumento, a análise da fidedignidade e a análise empírica dos itens, com base nos critérios sugeridos por Pasquali (1999).

Os procedimentos de análise dos dados contaram com três etapas. Inicialmente, fez-se a avaliação da dimensionalidade do subteste, por meio de análises fatoriais exploratórias dos eixos principais das correlações tetracóricas dos itens (Revelle, 2015). A segunda etapa constituiu a análise da consistência interna do instrumento, por meio do coeficiente alfa, o qual foi utilizado com o intuito de verificar a precisão do instrumento (Zanon & Hauck Filho, 2015). Por fim, a última fase da análise de dados consistiu na TRI, que foi utilizada para estimar o nível de habilidade dos sujeitos e os parâmetros de discriminação e dificuldade dos itens. Neste trabalho, os pressupostos de monotonicidade (a probabilidade de acertar determinado item cresce proporcionalmente ao aumento da habilidade do participante), independência local (os itens do teste não influenciam um no outro para a obtenção da resposta do sujeito) e unidimensionalidade (o conjunto de itens diz respeito a um único traço latente) foram investigados, a fim de proceder-se às análises de TRI paramétricas (DeMars, 2010; Finch Jr. & French, 2015; van der Linden & Hambleton, 1997).

O subteste de escrita foi dividido em duas versões, de acordo com os pressupostos teóricos referentes à distribuição dos itens por anos escolares do ensino fundamental. Dessa forma, julgou-se oportuno direcionar os itens referentes ao 1º, 2º, 3º e 4º anos escolares para a versão A do subteste (65 itens) e os itens pertencentes ao 5º, 6º, 7º, 8º e 9º anos para a versão B (59 itens). Com essa divisão dos itens, foi possível constatar a unidimensionalidade das versões A e B, o que é condição necessária para o uso da TRI. Portanto, as análises subsequentes tiveram como objetivo identificar as características psicométricas de cada uma das versões, o que será descrito a seguir.

Para a realização das análises, utilizaram-se os softwares Statistical Package for the Social Sciences (SPSS) e o software R (R Core Team, 2015), com as funções dos pacotes psych (Revelle, 2015), ltm (Rizopoulos, 2006) e mokken (van der Andries, 2007).

Resultados

Polo analítico: versão A do subteste de escrita do TDE II — dimensionalidade, fidedignidade, TRI

Inicialmente, a versão A do subteste de escrita contou com 65 itens. O estudo da dimensionalidade do subteste foi feito por meio da análise fatorial exploratória (AFE) da matriz de correlações tetracóricas dos itens, método adequado para itens dicotômicos. Foi utilizado o método de extração de eixos principais (principal axis factoring). Os pressupostos para a realização da AFE foram alcançados, uma vez que o teste de Kaiser Meyer Olkin (KMO) foi de 0,99, e o teste de esfericidade de Bartlett foi significativo, χ²(2,08)=37.620,89, p<0,0001, permitindo confirmar a adequação da análise fatorial para o tratamento dos dados. Para avaliar a pertinência de cada item com a dimensão avaliada, foram considerados itens que: possuíam o valor absoluto de carga fatorial principal acima de 0,30 (para amostras acima de 350 participantes e com significância baseada em p<0,05 e poder estatístico de 80%); apresentaram cargas fatoriais similares em dois ou mais fatores em um mesmo item, sendo a diferença entre valores absolutos das cargas fatoriais dos itens maior do que 0,10; e tinham relação inequívoca com sua dimensão, ou seja, demonstravam convergência teórica com os demais itens do mesmo fator (Hair Jr., Black, Babin, & Anderson, 2010; Laros, 2005).

A seguir, a análise empírica dos itens aconteceu por meio da TRI. A investigação dos seus pressupostos foi testada mediante a análise da escalabilidade do teste, seguindo o procedimento proposto por mokken (Rusch, Mair, & Hatzinger, 2013; van der Andries, 2007; van der Linden & Hambleton, 1997). Nessa abordagem, valores de escalabilidade acima de 0,30 para o conjunto de itens são considerados aceitáveis. A versão A do subteste de escrita obteve o valor de 0,68, sendo, portanto, satisfatório. A monotonicidade dos itens foi avaliada, e todos os itens obtiveram valores acima de 0,46, o que é tido como adequado para a utilização de modelos paramétricos da TRI (Junker & Sijtsma, 2000). Dessa forma, o conjunto de itens da versão A é satisfatório para a realização das análises via TRI.

Quatro modelos de TRI paramétricos foram testados no tratamento dos dados: Rash, modelo de um parâmetro (1PL), modelo de dois parâmetros (2PL) e modelo de três parâmetros (3PL). Esses quatro modelos foram avaliados por intermédio do teste de hipótese estatística na comparação de valores de verossimilhança, do critério de informação de Akaike (AIC) e do critério de informação bayesiano (BIC). A comparação entre o modelo 2PL (verossimilhança igual a -14.622,90, AIC igual a 29.505,81 e BIC igual a 30.091,36) foi significativamente melhor que o modelo Rasch (verossimilhança igual a -15.935,80, AIC igual a 32.001,61 e BIC igual a 32.294,39) e que o modelo 1PL (verossimilhança igual a -15.044,84, AIC igual a 30.221,68 e BIC igual a 30.518,96). Ao comparar-se os modelos 2PL e 3PL, optou-se pelo primeiro, em virtude de o modelo 3PL ter apresentado solução instável, já que a matriz hessiana convergiu em valores infinitos, produzindo missing values.

Posteriormente, procedeu-se à análise de resíduos do subteste, uma vez que a TRI requer uma investigação formal sobre o funcionamento dos itens enquanto medidas de traço latente (Glas, 2016; Reise, 1990; Wells & Hambleton, 2016). A função item.fit (Rizopoulos, 2006) foi usada para comparar os valores previstos de cada item do modelo 2PL com os valores empíricos coletados por meio do teste de χ². Nessa etapa, 15 itens apresentaram desajuste e foram excluídos. Assim, a versão A final do subteste de escrita resultou em 50 itens.

Identificou-se, porém, a necessidade de diminuir a quantidade de itens, considerando que o TDE se destina a ser um instrumento de avaliação breve do desempenho escolar. Para tanto, realizou-se nova revisão dos itens, a fim de eliminar os itens menos relevantes para a avaliação do construto. A eliminação desses itens aconteceu seguindo critérios empíricos e teóricos. Primeiramente, distinguiram-se os itens que mensuravam o mesmo nível de habilidade (itens com níveis de dificuldade muito próximos). Depois, esses itens redundantes passaram por nova análise teórica, a qual foi desenvolvida por experts em linguagem escrita. O juiz deveria analisar os pares de itens com dificuldades semelhantes, optando pela permanência de um em detrimento do outro. Para isso, levaram-se em conta as características teóricas dos itens, bem como os valores de discriminação.

Diante dessa análise, a versão A final do subteste de escrita contou com 40 itens. O modelo 2PL final obteve valor de verossimilhança igual a -9.676,41, valor de AIC igual a 19.512,83 e valor de BIC de 19.873,17, e a dificuldade dos itens variou de -1,4146 a 2,1218, conforme Tabela 2.

Os escores dos alunos de 1º a 4º ano ficaram entre -2,14 e 1,94 na versão A, sendo a média -0,05 (DP=0,98). Nesse intervalo de habilidade, a versão A do subteste de escrita possui 95,5% de informação sob a curva de informação do teste (Figura 1).

Polo analítico: versão B do subteste de escrita do TDE II — dimensionalidade, fidedignidade, TRI

A versão B do subteste de escrita foi composta inicialmente por 59 itens. A análise fatorial exploratória apontou uma dimensão explicando 56% de variância dos dados (KMO=0,94, teste de esfericidade de Bartlett χ²(1,71)=19.327,03, p<0,0001). Nessa etapa um item foi excluído, por possuir carga fatorial abaixo de 0,30. Já a carga fatorial dos demais itens variaram de 0,44 a 0,86. O alfa obtido foi de 0,86, endossando a consistência interna do subteste. O pressuposto da escalabilidade (H=0,52) e da monotonicidade dos itens (todos com Hi>0,39) foi alcançado, permitindo a utilização de modelos de TRI para a análise empírica dos itens da versão B do subteste de escrita (Junker & Sijtsma, 2000; Rusch et al., 2013; van der Linden & Hambleton, 1997).

Seguindo os mesmos procedimentos analíticos descritos para a comparação de modelos de TRI da versão A, o modelo 2PL (verossimilhança igual a -8.431,62, AIC igual a 17.095,24 e BIC igual a 17.617,74) mostrou-se estatisticamente mais satisfatório para o tratamento dos dados, em comparação aos modelos Rasch (verossimilhança igual a -8.932,41, AIC igual a 17.980,81 e BIC igual a 18.242,06) e 1PL (verossimilhança igual a -8.454,35, AIC igual a 17.126,69 e BIC igual a 17.292,44). Ao comparar os modelos 2PL e 3PL, optou-se pelo primeiro, em virtude de o modelo 3PL ter apresentado novamente solução instável, já que a matriz hessiana convergiu em valores infinitos, produzindo missing values.

A investigação formal da adequação dos itens ao modelo foi realizada mediante novamente a função item.fit. Como resultado dessa última análise, nove itens foram excluídos, e a versão B do subteste de escrita contabilizou 50 itens.

Porém, diante do número elevado de itens, o mesmo procedimento aplicado na exclusão de itens da versão A foi usado na versão B. Assim, por meio de critérios empíricos e teóricos, 10 itens foram excluídos. Com isso, o modelo 2PL final contou com 40 itens (Tabela 3, cujas dificuldades variaram de 0,41 a 2,98, com valor de verossimilhança igual a -5.779,61, AIC igual a 11.719,22 e BIC igual a 12.079,57.

Na versão B do subteste, os escores dos alunos de 5º a 9º ano variaram de -0,76 a 2,47 (M=0,66, DP=0,76). Nesse intervalo de habilidade, a versão B do subteste de escrita possui 79,67% de informação sob a curva do teste (Figura 2). Vale ressaltar que a versão B do subteste de escrita alcança escores nos valores de -0,76 a 3,51, portanto os alunos de 5º a 9º ano não conseguiram alcançar o escore máximo do subteste.

Discussão

O presente artigo apresentou o processo de desenvolvimento do subteste de escrita do TDE II. Sua elaboração ocorreu mediante etapas, as quais são sugeridas por Pasquali et al. (2010) para testes referentes a construto. As etapas mencionadas fundamentam-se em três grandes polos — teórico, experimental e analítico —, que foram conduzidos com base em critérios rigorosos, conferindo confiança no processo de desenvolvimento do subteste.

O subteste de escrita do TDE II demonstra avaliar adequadamente crianças dos nove anos escolares do ensino fundamental, apresentando boa discriminação entre os alunos das amostras A e B. No subteste original, pesquisas anteriores (Brito et al., 2012; Knijnik et al., 2014; Giacomoni et al., 2015) observaram que o instrumento não estava discriminando suficientemente alunos com níveis de habilidade baixo e alto. Diferentemente pôde ser constatado no subteste de escrita do TDE II, uma vez que a curva de informação das versões A e B indica estar avaliando apropriadamente sujeitos de todo o continuum da habilidade escrita de palavras. Além disso, estudantes dos últimos anos escolares não atingiram a pontuação máxima da versão B. Segundo Urbina (2007), esse dado supõe que a dificuldade do subteste está satisfatória.

Provavelmente esse refinamento verificado no novo subteste se deve ao fato de suas etapas de desenvolvimento terem sido conduzidas com rigor metodológico. No que tange ao polo teórico, destaca-se a importância da análise de juízes experts, a qual foi fundamental para criar e selecionar os itens, bem como para levar em conta a pertinência deles para a avaliação do construto escrita de palavras. Essa análise de juízes, segundo Pasquali et al. (2010), confere validade de conteúdo ao instrumento.

Porém essa pertinência dos itens foi constatada apenas em nível teórico na etapa supracitada, uma vez que os juízes não eram representativos da população a que o instrumento se destinava (Pasquali et al., 2010). Portanto, as evidências de validade empírica deram-se no polo analítico, no qual os dados coletados no polo empírico foram analisados. Nesse ponto, constatou-se que, pelo valor do alfa encontrado, ambas as versões do subteste de escrita do TDE II apresentaram evidências de fidedignidade, indicando consistência e precisão dos resultados (Kaplan & Saccuzzo, 2013; Urbina, 2007).

No que tange ao polo experimental, a testagem dos itens em uma amostra representativa da população a que o teste se destina contribuiu para a obtenção das evidências de validade de critério. Graças a essa testagem, foi possível realizar mudanças finais na ordem de apresentação dos itens, para que estes seguissem uma ordem crescente de dificuldade. Giacomoni et al. (2015) perceberam que os itens do subteste de escrita original não estavam dispostos em uma ordem adequada, reforçando a importância desse cuidado quando do desenvolvimento de sua versão atualizada.

Por fim, após as análises conduzidas, os resultados sugerem que o instrumento é relevante para a prática clínica, educacional e científica, uma vez que, segundo Knijnik et al. (2013), há a carência de instrumentos científicos que avaliam o desempenho escolar. Ressalta-se que o TDE II passou a ser considerado um instrumento de avaliação breve e não mais um screening, como a versão original. Por meio do subteste de escrita do TDE II, é possível identificar as crianças que apresentam dificuldade na habilidade de escrita de palavras, bem como quais dificuldades de conversão fonema–grafema e/ou ortográficas possuem. Assim, o referido subteste pode funcionar como uma triagem escolar, mas também como o primeiro procedimento da avaliação clínica do desempenho em escrita.

Para estudos futuros, recomendam-se pesquisas que busquem outras evidências de validade no subteste de escrita do TDE II, como as validades convergente e teste–reteste, além de estudos sobre dados normativos por idade e tipo de escola.

Referências

Abbott, R., Berninger, V. W., & Fayol, M. (2010). Longitudinal relationships of levels of language in writing and between writing and reading in grades 1 to 7. Journal of Educational Psychology, 102(2), 281-298. doi: 10.1037/a0019318        [ Links ]

Angelini, A. L., Alves, I. C. B., Custódio, E. M., Duarte, W. F., & Duarte, J. L. M. (1999). Manual matrizes progressivas coloridas de Raven: escala especial. São Paulo: Centro Editor de Testes e Pesquisas em Psicologia.         [ Links ]

Ayala, R. J. (2009). The theory and practice of Item Response Theory. Nova York: The Guilford Press.         [ Links ]

Batista, A. O., & Capellini, S. A. (2011). Desempenho ortográfico de escolares do 2º ao 5º ano do ensino privado do município de Londrina. Psicologia e Argumento, 29(67), 411-425.         [ Links ]

Brito, L. O., Ambiel, R. A. M., Pacanaro, S. V., Grisard, E., Alves, G. A. S., Rabelo, I. S., Leme, I. F. A. S. (2012). Relação das variáveis idade e escolaridade com desempenho escolar de estudantes de ensino fundamental. Avaliação Psicológica, 11(1), 83-93.         [ Links ]

Capellini, S. A., Oliveira, A. M., & Cuetos, F. (2010). Prolec – Provas de Avaliação dos Processos de Leitura. Itatiba: Casa do Psicólogo.         [ Links ]

Capovilla, A., Smythe, I., Capovilla, F., & Everatt, J. (2001). Adaptação brasileira do International Dyslexia Test: perfil cognitivo de crianças com escrita pobre. Temas sobre Desenvolvimento, 10(57), 30-37.         [ Links ]

Capovilla, A. G. S., & Capovilla, F. C. (2003). Problemas de leitura e escrita: como identificar, prevenir e remediar numa abordagem fônica. 3.ª edição. São Paulo: Memnon.         [ Links ]

Conrad, N. J., Harris, N., & Williams, J. (2013). Individual differences in children’s literacy development: The contribution of orthographic knowledge. Reading and Writing, 26, 1223-1239. doi: 10.1007/s11145-012-9415-2

Conselho Federal de Psicologia (2003). Resolução CFP n.º 002/2003. Recuperado em 2 de dezembro de 2015, de http://site.cfp.org.br/wp-content/uploads/2003/03/resolucao2003_02_Anexo.pdf.         [ Links ]

Costa, L. J. C., Edwards, C. N., & Hooper, S. R. (2016). Writing disabilities and reading disabilities in elementary school students. Learning Disability Quarterly, 39(1), 17-30. doi: 10.1177/0731948714565461        [ Links ]

Crossley, S. A., Weston, J. L., Sullivan, S. T. M., & McNamara, D. S. (2011). The development of writing proficiency as a function of grade level: A linguistic analysis. Written Communication, 28(3) 282-311. doi: 10.1177/0741088311410188        [ Links ]

Cunha, V. L. O., & Capellini, S. A. (2009). Prohmele – Provas de Habilidades Metalinguísticas e de Leitura. Rio de Janeiro: Revinter.         [ Links ]

Cycowicz, Y. M., Friedman, D., Rothstein, M., & Snodgrass, J. G. (1997). Picture naming by young children: Norms for name, agreement, familiarity and visual complexity. Journal of Experimental Child Psychology, 65(2), 171-237. doi: 10.1006/jecp.1996.2356        [ Links ]

DeMars, C. (2010). Item Response Theory: Understanding statistics measurement. Nova York: Oxford University Press.         [ Links ]

Ferreira, A. T. B., & Leal, T. F. (2007). Avaliação na escola e ensino da língua portuguesa: introdução ao tema. Em B. Marcurschi & L. Suassuna (Eds.). Avaliação em língua portuguesa: contribuições para a prática pedagógica. (pp. 11-26). Belo Horizonte: Autêntica.         [ Links ]

Field, A., Miles, J., & Field, Z. (2012). Discovering statistics using R. Londres: Sage Publications.         [ Links ]

Finch Jr., W. H., & French, B. F. (2015). Latent variable modeling with R. Nova York: Routledge.         [ Links ]

Fonseca, R. P., Jacobsen, G. M., & Pureza, J. R. (2016). O que um bom teste neuropsicológico deve ter? Em J. F. Salles, V. G. Haase & L. F. Malloy-Diniz. Neuropsicologia do desenvolvimento: infância e adolescência. Porto Alegre: Artmed.         [ Links ]

Fonseca, R. P., Salles, J. F., & Parente, M. A. M. P. (2009). Instrumento de Avaliação Neuropsicológica Breve – NEUPSILIN. São Paulo: Vetor.         [ Links ]

Giacomoni, C. H., Athayde, M. L., Zanon, C., & Stein, L. M. (2015). Teste de Desempenho Escolar: evidências de validade do subteste de escrita. Psico-USF, 20(1), 133-140. doi: 10.1590/1413-82712015200112        [ Links ]

Glas, C. A. W. (2016). Frequentist Model-Fit Tests. Em W. J. van der Linden (Ed.). Handbook of Item Response Theory: Statistical tools. v. 2. (pp. 313-361). Boca Raton: CRC Press.         [ Links ]

Hair Jr., J. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate data analysis. New York, NY: Pearson Prentice Hall.

Hutz, C. S., Bandeira, D. R., & Trentini, C. M. (2015). Psicometria. Porto Alegre: Artmed.         [ Links ]

International Test Commission. (2000). Diretrizes para o uso de testes (Instituto Brasileiro de Avaliação Psicológica, Trad., 2003). Recuperado em 15 de setembro de 2014, de https://www.intestcom.org/files/guideline_test_use_portuguese_brazil.pdf        [ Links ]

Izquierdo, I., Olea, J., & Abad, F. J. (2014). Exploratory factor analysis in validation studies: Uses and recommendations. Psicothema, 26(3), 395-400. doi: 10.7334/psicothema2013.349        [ Links ]

Junker, B. W., & Sijtsma, K. (2000). Latent and manifest monotonicity in Item Response Models. Applied Psychological Measurement, 24(1), 65-81. doi: 10.1177/01466216000241004        [ Links ]

Kaplan, R. M., & Saccuzzo, D. P. (2013). Psychological testing: Principles, applications, and issues. 8.ª edição. Belmont: Cengage Learning.         [ Links ]

Knijnik, L. F., Giacomoni, C., & Stein, L. M. (2013). Teste de Desempenho Escolar: um estudo de levantamento. Psico-USF, 18(3), 407-416. doi: 10.1590/S1413-82712013000300007        [ Links ]

Knijnik, L. F., Zanon, C., Giacomoni, C. H., & Stein, L. M. (2014). Avaliação dos subtestes de leitura e escrita do Teste de Desempenho Escolar através da Teoria de Resposta ao Item. Psicologia: Reflexão e Crítica, 27(3), 481-490. doi: 10.1590/1678-7153.201427308        [ Links ]

Laros, J. A. (2005). O uso da análise fatorial: algumas diretrizes para pesquisadores. Em L. Pasquali (Ed.). Análise fatorial para pesquisadores. (pp. 163-184). Brasília: LabPAM.         [ Links ]

Loveall, S. J., Channell, M. M., Phillips, B. A., & Conners, F. A. (2013). Phonological recoding, rapid automatized naming, and orthographic knowledge. Journal of Experimental Child Psychology, 116(3), 738-746. doi: 10.1016/j.jecp.2013.05.009        [ Links ]

Moojen, S. M. P. (2009). Linguagem escrita. Em S. M. P. Moojen. A escrita ortográfica na escola e na clínica: teoria, avaliação e tratamento. São Paulo: Casa do Psicólogo.         [ Links ]

Pasquali, L. (1999). Testes referentes a construto: teoria e modelo de construção. Em L. Pasquali (Ed.). Instrumentos psicológicos: manual prático de elaboração. (pp. 37-73). Brasília: LabPAM.         [ Links ]

Pasquali, L. (2010). Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed.         [ Links ]

Pinheiro, A. M. V. (1995). Reading and spelling development in Brazilian Portuguese. Reading & Writing, special issue on Literacy Acquisition, 7, 111-138.         [ Links ]

Pinheiro, A. M. V., Rothe-Neves, R. (2001). Avaliação cognitiva de leitura e escrita: as tarefas de leitura em voz alta e ditado. Psicologia: Reflexão e Crítica, 14(2), 399-408.         [ Links ]

R Core Team. (2015). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Viena, Áustria. Recuperado de http://www.R-project.org/        [ Links ]

Reise, S. P. (1990). A comparison of item- and person-fit methods of assessing model-data fit in IRT. Applied Psychological Measurement, 14(2), 127-137. doi: 10.1177/014662169001400202        [ Links ]

Revelle, W. (2015). Psych: Procedures for Personality and Psychological Research. Evanston, Illinois. Recuperado de http://cran.r-project.org/package=psych

Rizopoulos, D. (2006). ltm: An R package for latent variable modeling and Item Response Theory analyses. Journal of Statistical Software, 17(5), 1-25. Recuperado de http://www.jstatsoft.org/v17/i05/        [ Links ]

Rueda, F. J. M., Noronha, A. P. P., Sisto, F. F., Santos, A. A. A., & Castro, N. R. (2012). Escala de inteligência Wechsler para crianças – WISC IV. São Paulo: Casa do Psicólogo.         [ Links ]

Rusch, T., Mair, P., & Hatzinger, R. (2013). Psychometrics with R: A review Of CRAN packages for Item Response Theory. Discussion Paper Series of the Center for Empirical Research Methods, 2.         [ Links ]

Salles, J. F. (2005). Habilidades e dificuldades de leitura e escrita em crianças de 2.ª série: abordagem neuropsicológica cognitiva (Tese de doutorado não publicada, Pós-Graduação em Psicologia do Desenvolvimento, Universidade Federal do Rio Grande do Sul, Porto Alegre, R.S.) Recuperado em 15 de setembro de 2014, de http://www.lume.ufrgs.br/bitstream/handle/10183/4197/000453537.pdf?sequence=1

Salles, J. F., & Parente, M. A. M. P. (2007). Avaliação da leitura e escrita de palavras em crianças de 2.ª série: abordagem neuropsicológica cognitiva. Psicologia. Reflexão e Crítica, 20, 218-226. doi: 10.1590/S0102-79722007000200007        [ Links ]

Stein, L. M., Giacomoni, C. H., & Fonseca, R. P.(2015). TDE II – Teste de Desempenho Escolar II. Relatório técnico não publicado.         [ Links ] 

Stein, L. M. (1994). TDE – Teste de Desempenho Escolar: manual para aplicação e interpretação. São Paulo: Casa do Psicólogo.         [ Links ]

Urbina, S. (2007). Fundamentos da testagem psicológica. Porto Alegre: Artmed.         [ Links ]

van der Andries, A. L. (2007). Mokken Scale Analysis in R. Journal of Statistical Computing, 20(11).         [ Links ]

van der Linden, W. J., & Hambleton, R. K. (1997). Handbook of modern Item Response Theory. Nova York: Springer.         [ Links ]

Vilhena, C., Guntert, I. B., & Tosi, A. D. (no prelo). Teste Matrizes Progressivas de Raven. São Paulo: Casa do Psicólogo.         [ Links ]

Wells, C. S., & Hambleton, R. K. (2016). Model Fit with Residual Analyses. Em W. J. van der Linden (Ed.). Handbook of Item Response Theory: statistical tools. v. 2. (pp. 395-413). Boca Raton: CRC Press.         [ Links ]

Zanon, C., & Hauck Filho, N. (2015). Fidedignidade. Em C. S. Hutz, D. R. Bandeira & C. M. Trentini (Eds.). Psicometria. (pp. 85-97). Porto Alegre: Artmed.         [ Links ]

recebido em dezembro de 2015
reformulado em maio de 2016  
aprovado em junho de 2016

Endereço para correspondência:
Rua Ramiro Barcelos, 2.492, Santa Cecília, 90035-003, Porto Alegre-RS, Brasil. E-mail: marcialadoc@gmail.com

Sobre os autores

Claudia Hofheinz Giacomoni é Graduada em Psicologia pela Pontifícia Universidade Católica do Rio Grande do Sul e Professora Adjunta Departamento de Psicologia do Desenvolvimento e da Personalidade e do Programa de Pós-graduação em Psicologia da Universidade Federal do Rio Grande do Sul.

Rochele Paz Fonseca é graduada em Fonoaudiologia pela Universidade Luterana do Brasil e Professora Adjunta da Faculdade de Psicologia e do Programa de Pós-Graduação em Psicologia da Pontifícia Universidade Católica do Rio Grande do Sul.

Euclides José de Mendonça Filho é graduado em Psicologia pela Universidade Federal da Bahia e bolsista CNPQ de mestrado em psicologia pela Universidade Federal do Rio Grande do Sul.

Lilian Milnitsky Stein é graduada em Psicologia pela Universidade Federal do Rio Grande do Sul e Professora Adjunta da Faculdade de Psicologia e do Programa de Pós-Graduação em Psicologia da Pontifícia Universidade Católica do Rio Grande do Sul.