ARTIGOS

 

TIDE: Evidências de validade baseadas em critérios externos

 

TIDE: evidence of validity based on external criteria

 

TIDE: evidencia de validez basada en criterios externos

 

 

Léia Gonçalves Gurgel^I; Lívia Padilha de Teixeira^II; Vanessa Kaiser^III; Monica Maria Celestina de Oliveira^IV; Gabriela Bertoletti Diaz^V; Caroline Tozzi Reppold^VI

^IUniversidade Federal do Rio Grande do Sul, Porto Alegre - RS, Brasil. https://orcid.org/0000-0003-2679-1798
^IIUniversidade Federal do Rio Grande do Sul, Porto Alegre - RS, Brasil. https://orcid.org/0000-0003-3891-8688
^IIIUniversidade Federal do Rio Grande do Sul, Porto Alegre - RS, Brasil. https://orcid.org/0000-0002-1411-7344
^IVUniversidade Federal do Rio Grande do Sul, Porto Alegre - RS, Brasil. https://orcid.org/0000-0002-5197-9103
^VUniversidade Federal do Rio Grande do Sul, Porto Alegre - RS, Brasil. https://orcid.org/0000-0002-0182-8307
^VIUniversidade Federal do Rio Grande do Sul, Porto Alegre - RS, Brasil. https://orcid.org/0000-0002-0236-2553

Endereço para correspondência

 

 

---

RESUMO

Objetivou-se buscar evidências de validade baseadas em critérios externos do Teste Informatizado e Dinâmico de Escrita - TIDE, em relação à ortografia e cognição. Participaram 304 alunos, entre 10 e 17 anos. Foram utilizados o TIDE, o instrumento Ditado Balanceado de Moojen e os subtestes: "Dígitos, Informação, Compreensão e Vocabulário" do WISC III. Em relação ao critério ortográfico, o módulo pré-teste esteve negativamente associado aos erros do Ditado, com exceção dos erros relacionados a irregularidades da língua. O módulo instrucional correlacionou-se de forma significativa negativa com os três tipos de erro do ditado. Em relação aos aspectos cognitivos, o módulo pré-teste não esteve associado. O módulo instrucional correlacionou-se com os quatro subtestes do WISC-III, demonstrando relação com aspectos cognitivos, memória, atenção, julgamento e o conhecimento lexical dos sujeitos.

Palavras-chave: validade do teste; psicometria; aprendizagem; escrita; adolescentes

---

ABSTRACT

The aim of this study was to investigate evidence of validity based on external criteria for the Computerized and Dynamic Writing Test - TIDE, in relation to spelling and cognition. Participants were 304 students, aged between 10 and 17 years. The TIDE, the Moojen Balanced Dictation instrument and the "Digits, Information, Understanding and Vocabulary" subtests of the WISC III were used. Regarding the orthographic criterion, the TIDE pre-test module was negatively associated with Dictation errors, with the exception of errors related to language irregularities. The instructional module presented significant negative correlations with the three types of dictation error. The pre-test module was not associated with the cognitive aspects. The instructional module correlated with the four WISC-III subtests, demonstrating a relation with cognitive aspects, memory, attention, judgment and the lexical knowledge of the subjects.

Keywords: validity test; psychometry; learning; writing; teenagers.

---

RESUMEN

Se objetivó buscar evidencias de validez basadas en criterios externos del Test de Escritura Computarizada y Dinámica - TIDE, con relación a la ortografía y la cognición. Participaron 304 estudiantes, entre 10 y 17 años. Se utilizaron TIDE, el instrumento de Dictado Equilibrado de Moojen y las subpruebas "Dígitos, Información, Comprensión y Vocabulario" de WISC III. En cuanto a los criterios ortográficos, el módulo de prueba previa se asoció negativamente con los errores del Dictado, a excepción de los errores relacionados con las irregularidades del idioma. El módulo de instrucción se correlacionó significativamente de manera negativa con los tres tipos de errores del dictado. Con respecto a los aspectos cognitivos, el módulo de prueba previa no se ha asociado. El módulo de instrucción se correlacionó con las cuatro subpruebas de WISC-III, demostrando una relación con los aspectos cognitivos, la memoria, la atención, el juicio y el conocimiento léxico de los sujetos.

Palabras clave: validacion de test; psicometria; aprendizaje; escrita; adolescentes.

---

 

 

A escrita é essencial para o processo de aprendizagem e para o desenvolvimento do pensamento e da comunicação. Por isso, a avaliação deste construto é tão importante para a estrutura do ensino formal. Dentre os domínios da escrita a serem ensinados e avaliados nos currículos escolares, têm-se o desenvolvimento de ideias narrativas, ortografia, gramática, vocabulário e motricidade fina (Dunsmuir et al, 2015). O modelo de Hayes e Flower (1980), por exemplo, aborda o planejamento, a tradução e a revisão como etapas para a produção escrita, sendo tais conceitos utilizados como base para o desenvolvimento do instrumento em questão neste artigo, voltado para a avaliação do potencial de aprendizagem em escrita narrativa. O desenvolvimento da escrita tem influência de processos cognitivos variados, como o planejamento e o automonitoramento (Santos & Befi-Lopes, 2016; Drijbooms et al, 2015). Neste contexto, ao longo dos anos, as pesquisas na área apontam que as dificuldades de escrita estão geralmente relacionadas à qualidade e fluência da escrita de forma geral, sendo reflexo de habilidades de atenção e planejamento, demandando variados recursos cognitivos. Os modelos de escrita e de aprendizagem apresentam semelhanças, especialmente no que tange à cognição, metacognição e reflexão, sendo, portanto, tais aspectos essenciais na investigação de sujeitos com dificuldades de escrita (Miller et al, 2016).

Diante da importância da avaliação do construto, tanto sob o ponto de vista clínico quanto em pesquisa, observa-se a relevância e a necessidade da construção e da busca de evidências de validade de instrumentos que possam avaliar aspectos da escrita, especialmente narrativa. A escrita narrativa inclui introdução e desfechos bem estruturados, demandando continuidade e articulação entre as palavras e frases, sendo orientada por um ponto temático central, com sequência lógica e coerência (Santos & Befi-Lopes, 2016). Tais instrumentos devem levar em conta as variações individuais do processo de aprendizagem de escolares. É importante também se considerar o conhecimento ortográfico e a produção textual, especialmente narrativa, de crianças e adolescentes (Nobile & Barrera, 2016; Gurgel et al, 2017).

Alternativas avaliativas devem ser consideradas para aqueles sujeitos que não apresentam desempenho tão bom em testagens tradicionais ou estáticos (Dunsmuir et al, 2015). Para tanto, a avaliação dinâmica, ou assistida, apresenta-se como um meio adequado para a avaliação do processo de desenvolvimento da escrita, de forma processual e interativa, com foco na modificabilidade cognitiva. Este tipo de avaliação difere das testagens convencionais, pois garante mediação simultaneamente à avaliação. Assim, demonstra o desempenho do sujeito, de forma que se possa traçar um prognóstico para o mesmo, com base principalmente na teoria da Zona de Desenvolvimento Proximal, sugerindo que exista uma medida de desempenho real e uma medida de desempenho proximal, estando entre estas a capacidade de resposta do aluno. O nível potencial é atingido por meio de orientação e colaboração de sujeitos mais capacitados na tarefa (Tzuriel, 2000; Vygotsky, 1978, 1998).

Da mesma forma, é importante que instrumentos tenham como base um processo de busca de evidências de validade adequado. Para isso, a American Educational Research Association, American Psychological Association e o Nacional Concil on Measurement in Education, no manual intitulado Standards for educational and psychological testing (1999), consideram alguns tipos de evidências de validade. Evidências de validade são estratégias importantes para a compreensão das propriedades psicométricas de um instrumento, evidenciando sua robustez científica (Urbina, 2007). Dentre elas, as evidências baseadas em variáveis externas tratam de informações sobre os padrões de correlação entre os escores do teste e variáveis externas. Essas variáveis podem se referir a medidas que avaliam o mesmo construto, construtos relacionados ou construtos diferentes.

No presente estudo, pretende-se teoricamente compreender a relação entre o potencial de aprendizagem de adolescentes em escrita de textos narrativos e aspectos relacionados à ortografia e cognição, buscando evidências de validade com base em critérios externos - ortográficos e cognitivos - para o Teste Informatizado e Dinâmico de Escrita - TIDE. As hipóteses iniciais concentram-se no fato de que adolescentes demonstram bons potenciais de aprendizagem em escrita narrativa por meio de estratégias dinâmicas ou assistidas, ou seja, com mediação e interação, evoluindo em seu desempenho em associação com as habilidades ortográficas. Neste contexto, o presente artigo tem como objetivo principal o estabelecimento de evidências de validade com base em critérios externos, como aspectos ortográficos e cognitivos, do Teste Informatizado e Dinâmico de Escrita (TIDE; Gurgel et al, 2017). Este é um instrumento inovador, que tem por objetivo a avaliação do potencial de aprendizagem em escrita narrativa de adolescentes com base na metodologia dinâmica ou assistida. O instrumento já possui evidências de validade descritas na literatura (Gurgel et al, 2017; Joly et al, 2015), sendo um instrumento válido e uma relevante ferramenta para a avaliação, com natureza computacional, com Alphas de Cronbach > 0,7.

 

Método

Participantes

O número de participantes foi calculado com base no critério item/sujeito (Hair et al, 2009). A amostra do presente trabalho foi composta por 304 participantes de escolas públicas e privadas participantes da pesquisa. Os participantes foram escolhidos conforme sua disponibilidade de participar da pesquisa, considerando-se ainda os critérios de inclusão e de exclusão adotados. As escolas foram convidadas a participar por conveniência e estavam localizadas na região Central, Leste e Norte da cidade de Porto Alegre-RS, no Brasil. Escolas da cidade receberam o convite para participação na pesquisa. Aquelas que demonstraram interesse e dispunham de espaço físico para a coleta dos dados participaram do estudo. Os participantes do estudo cursavam da quinta a oitava séries, sendo a maior parte da sétima série (37,1%).

A idade dos participantes variou entre 10 e 17 anos, estando a maioria entre 12 e 13 anos de idade (43,2%). Quanto ao sexo, 64,5% da amostra era do sexo feminino. Quanto ao tipo da escola, apenas 8,2% eram provenientes da rede privada de ensino. A rede brasileira de educação consiste em educação infantil, educação primária e ensino médio. Quanto aos dados escolares, a maior parte da amostra iniciou a escola aos seis anos (48,8%), frequentou a educação infantil (82,1%) e 9,1% teve ou tem problemas para ler ou escrever de acordo com os pais e/ou cuidadores (que preencheram um questionário com informações sobre os participantes). Os dados sobre a amostra estão descritos na Tabela 1.

Os critérios de seleção dos participantes foram: estar regularmente matriculado na quinta a oitava série e fornecer consentimento informado assinado pelos responsáveis legais e fornecer termo de assentimento assinado pelo participante. Os critérios de exclusão incluíram: problemas neurológicos relatados, defasagem escolar superior a dois anos, ausência de cooperação, não conclusão do teste por qualquer motivo ou outras condições físicas que impedissem a avaliação.

Instrumentos

Foram utilizados dois instrumentos, para além do TIDE (Gurgel et al, 2017), com o objetivo de buscar evidências de validade convergente deste instrumento. São eles: Ditado Balanceado de Moojen (Moojen et al, 2011) e subtestes Dígitos, Informação, Compreensão e Vocabulário do WISC III (Wechsler, 1991). A seguir serão destacadas as características principais dos instrumentos em questão.

Teste Informatizado e Dinâmico de Escrita - TIDE. O objetivo do TIDE (Gurgel et al, 2017) é avaliar o potencial de aprendizagem em escrita narrativa de adolescentes. Foi construído com base nos princípios da avaliação dinâmica do potencial de aprendizagem, de acordo com as premissas teóricas de Sternberg e Grigorenko (2002) e a estrutura teórica da produção escrita de Hayes e Flower (1980). O teste é constituído de três partes: um pré-teste, um módulo instrucional e um pós-teste. No pré-teste, inicialmente, o participante deve preencher informações como nome, escolaridade e idade. Em seguida, o teste apresenta instruções sobre a tarefa proposta: escrever um texto narrativo sobre o tema "Herói por um dia". Na sequência, o participante é solicitado a ler o texto e corrigir o que achar necessário. Não há sugestões sobre o desempenho do respondente nesta etapa.

O módulo instrucional, por sua vez, supõe que as estratégias oferecidas facilitam a aprendizagem da escrita de um texto narrativo, e se baseia nos processos de Hayes e Flower (1980). Este modelo de composição escrita não descreve fases sucessivas, mas os processos envolvidos. Um destes processos é o planejamento, que serve para extrair informações sobre a natureza da tarefa e sobre a memória de longo prazo, e usá-lo para estabelecer um plano que orienta a produção de um texto, incluindo três subgrupos: produção de ideias, organização e definição de metas. O segundo processo é a tradução, que se destina a transformar o planejamento da mensagem em frases escritas, que devem cumprir as normas da linguagem escrita. A avaliação do texto produzido e a melhoria da sua qualidade correspondem à revisão, o terceiro processo de composição da escrita. Este último contém dois subprocessos: leitura e edição.

O indivíduo recebe instruções sobre como escrever uma narrativa e os elementos necessários para a mesma, relacionados aos personagens, cenário, situação e problema. Algumas perguntas são feitas a fim de que o respondente reflita sobre sua própria construção escrita. Espera-se que ele responda às perguntas e complete o texto, se houver algum elemento faltando, de acordo com seu próprio julgamento. As primeiras perguntas se concentram nos personagens da história, como "quem são os personagens principais?", "Como eles são?". Em seguida, são feitas perguntas sobre o cenário, situação ou problema enfrentado, resposta ao problema, ação, solução e reação dos personagens da história. Finalmente, pede-se ao participante que revise seu texto com base nas perguntas finais. Então, ele deve rever seu texto, observando, por exemplo, se as frases estão completas, se os nomes próprios começam com letras maiúsculas, se as palavras estão escritas de forma adequada e se os sinais de pontuação foram usados ​​corretamente. O resultado é analisado pelos avaliadores por meio de uma escala tipo Likert de três âncoras (não adicionou a resposta à pergunta, adicionou parcialmente a resposta à pergunta, adicionou a resposta à pergunta). Cada elemento da narrativa tem uma cor diferente, de modo que fica claro para o aluno e para o avaliador o quanto ele adicionou ou alterou em cada um desses elementos da narrativa.

No módulo pós-teste, o participante analisa sua produção textual como um todo. Ele tem a oportunidade de reler e editar o texto, se necessário, sem a interferência ou dica do avaliador. Como é um teste computadorizado, o participante pode alterar e acessar qualquer item no módulo que achar necessário, quantas vezes for necessário. As alterações feitas ao editar o texto aparecem na tela em uma cor diferente.

O avaliador analisa comparativamente o texto inicial e o texto reformulado, de forma a verificar o desempenho do participante após as instruções fornecidas. Nessa fase, dois avaliadores, um fonoaudiólogo e um psicólogo, pós-graduados e rigorosamente treinados, avaliaram os textos. Quatro aspectos específicos foram observados no texto de cada participante (inicial - pré-intervenção e final - após intervenção): mudanças em todo o texto em relação ao contexto do tema, em relação ao desenvolvimento do texto (situação do problema / solução / ação proposta para resolver/ a reação do problema), tema e conteúdo geral. Os textos foram avaliados com base em uma escala tipo Likert de três âncoras (não cumprem o critério, cumprem parcialmente o critério, cumprem plenamente o critério). A diferença entre a pontuação do texto final e a pontuação do texto inicial foi avaliada para cada participante. Nesta última fase, é possível medir a zona de desenvolvimento proximal do participante, ou seja, a diferença entre o desempenho potencial e real de cada participante (Vygotsky, 1988).

Escala de Inteligência Wechsler para Crianças - WISC III (Wechsler, 1991). Tem por finalidade avaliar a capacidade intelectual de crianças e adolescentes, sendo composta por 13 subtestes, organizados em dois grupos: Verbais e de Execução. O WISC-III oferece estimativas de quatro escores opcionais de índices fatoriais, sendo que o desempenho da criança nos subtestes resulta em três medidas: escore em QI Verbal, escore em QI de Execução e QI Total. Os dados psicométricos deste teste apontam que os valores de Alpha (0,94) evidenciam precisão do WISC-l1l (Wechsler, 1991). No presente estudo foram utilizados os subtestes Dígitos, Informação, Compreensão e Vocabulário em versão validada para o Brasil. O subteste Dígitos avalia a recordação e repetição imediata, concentração e tolerância ao estresse. O subteste Informação mensura os conhecimentos gerais do sujeito, exige memória imediata e compreensão. O subteste Compreensão verifica a capacidade que o sujeito tem para verbalizar as respostas necessárias, julgamento relacionado com vida diária e estabilidade emocional. O subteste Vocabulário mensura o nível intelectual e educacional da criança, avaliando aprendizagem, informações, linguagem de forma geral e pensamento abstrato (Wechsler, 1991).

Ditado Balanceado de Moojen (2011). Criado a partir da necessidade de um instrumento objetivo que propiciasse ambiente para a ocorrência da maioria das dificuldades ortográficas e que refletisse a frequência de uso da letra no vocabulário da língua portuguesa. Contém palavras que são de uso corrente dos alunos e é de fácil e rápida aplicação. É indicado para crianças e adolescentes e, dentre suas diversas funções, descreve os alunos conforme seus desempenhos específicos em ortografia. Sua aplicação é individual ou coletiva. A pontuação é dada em diversas categorias, dentre elas: escore total, erros relacionados com conversor fonema/grafema, com regras contextuais simples, com regras contextuais complexas e com irregularidades da língua (Moojen, 2011).

Procedimentos de Coleta de Dados

Os pais ou responsáveis pelos alunos das escolas participantes foram contatados a fim de conhecerem a pesquisa e assinarem o Termo de Consentimento Livre e Esclarecido (TCLE), assim como todos os participantes também assinaram o termo de assentimento. Apenas os alunos cujos pais ou responsáveis entregaram o TCLE assinado participaram da pesquisa. A aplicação dos instrumentos foi dividida em três momentos. Na primeira etapa foi realizada a aplicação do TIDE, num laboratório de informática, para grupos de três respondentes no máximo, acompanhados por três pesquisadores, durando, em média, 60 minutos. A organização dos grupos deu-se por idade e nível de escolaridade. Foram utilizados notebooks com capacidade de hardware básica para suportar o programa utilizado. Após o término das aplicações, os testes eram armazenados automaticamente pelo software em um banco de dados. Os cuidados com armazenamento e qualidade dos dados foram tomados no processo de coleta.

A segunda parte foi realizada na própria sala de aula em que os alunos estudam, coletivamente, para a aplicação do ditado balanceado. A terceira etapa ocorreu em outra sala, silente, de forma individual, com a aplicação do WISC-III, durando aproximadamente 30 minutos. Todas as etapas ocorreram sem interferência externa e em horário regular de aula. Havia uma semana de intervalo entre cada etapa de aplicação, para cada participante. Ressalte-se que esta pesquisa não trouxe riscos aos participantes e a privacidade dos indivíduos foi preservada, ocorrendo conforme os aspectos éticos envolvidos nas pesquisas com seres humanos, conforme aprovação no Comitê de Ética Pesquisa da Universidade Federal de Ciências da Saúde de Porto Alegre, sob protocolo 502.515.

Análise de Dados

As respostas ao teste foram corrigidas e pontuadas por três avaliadores independentes, rigorosamente treinados para a aplicação e interpretação dos dados. As discordâncias na correção do TIDE foram resolvidas por consenso e análise conjunta entre os pesquisadores. Para as comparações do módulo pré-teste do TIDE com WISC e Ditado Balanceado de Moojen, utilizou-se o teste Qui-Quadrado. Para verificar a correlação do módulo instrucional do TIDE com WISC-III e Ditado Balanceado de Moojen, utilizou-se Correlação de Spearman. Foi adotado nível de significância 5% para todas as comparações. Como parâmetro para avaliar a força da associação foi adotado o critério de coeficiente de correlação maior/igual a 0,70 (Richardson 2005). Para a análise estatística dos dados coletados, foi utilizado o programa Statistical Package for Social Science (SPSS), versão 23.0.

 

Resultados

Em relação ao critério ortográfico, o ditado de Moojen apresenta três tipos de erros: baseados na conversão entre o fonema e o grafema, em regras contextuais (simples e complexas) e em irregularidades da língua. Os escores do módulo pré-teste do TIDE foram divididos em 4 chaves (zero alterações, 1 a 15 alterações, 16 a 30 alterações, 31 a 55 alterações). O módulo pré-teste do TIDE esteve negativamente associado com os erros do Ditado, com exceção dos erros relacionados com irregularidades da língua (x²=12,74; p=0,04). O módulo instrucional correlacionou-se de forma significativa negativa com os três tipos de erro do ditado (irregularidades da língua, regras contextuais simples e complexas, e conversor fonema-grafema). Os resultados até aqui apresentados apontam para melhores desempenhos do sujeito e a ocorrência de menos erros ortográficos. Na Tabela 2 podem ser observados os resultados detalhados em relação às correlações entre os módulos do TIDE e o Ditado.

Em relação aos aspectos cognitivos, o módulo pré-teste do TIDE não foi associado de forma significativa aos subtestes do WISC-III, demonstrando não estar associado aos aspectos cognitivos e de inteligência avaliado pelos subtestes. O módulo instrucional, por sua vez, correlacionou-se de forma significativa positiva com os quatro subtestes do WISC-III (considerando seus escores brutos e pontos ponderados), demonstrando que, quanto melhor o desempenho do participante em escrita narrativa, especialmente na etapa instrucional da avaliação, melhor também o seu desempenho nos subtestes. Os resultados destas análises podem ser observados na Tabela 3.

 

Discussão

Foi objetivo do presente estudo buscar evidências de validade com base em critérios externos do Teste Informatizado e Dinâmico de Escrita, considerando aspectos ortográficos e cognitivos, avaliados por meio de testes reconhecidos na área. Para a avaliação dos critérios ortográficos, utilizou-se o Ditado Balanceado de Moojen, no qual a pontuação é dada conforme os tipos de erros cometidos pelos sujeitos, classificando-os em: erros relacionados com conversor fonema/grafema, com regras contextuais simples, com regras contextuais complexas e com irregularidades da língua. O módulo pré-teste do TIDE esteve negativamente associado com os erros do Ditado, com exceção dos erros relacionados com irregularidades da língua, assim como no módulo instrucional, em que a correlação foi significativa negativa considerando os três tipos de erro do ditado. Tal resultado sugere que quanto melhor o desempenho do sujeito em escrita narrativa, maior a possibilidade de que se apresente menos erros ortográficos em tarefas como o ditado. Tal resultado também foi encontrado no estudo de Bigarelli e Ávila (2011), em que o número de erros ortográficos na escrita de palavras e pseudopalavras e a produção textual apresentaram correlação negativa, demonstrando que as dificuldades ortográficas interferem na produção textual eficiente.

Ressalte-se que a produção narrativa adequada é uma etapa mais elaborada do processo de aprendizagem e varia conforme os fatores cognitivos e ambientais, pragmática (intenção de uso), semântica, conhecimento gramatical e ortográfico (Salles & Correa, 2014; Graham et al, 2013). Sendo assim, estes dois componentes da escrita (habilidade narrativa e ortográfica) tendem a ser considerados como dependentes para o desempenho satisfatório em tarefas que envolvam a produção escrita. A qualidade da produção textual está intimamente relacionada com aspectos como a coesão, coerência, organização semântico-lexical e sintática. Ainda, a dificuldade na internalização de regras ortográficas tende a prejudicar a produção textual (Bigarelli & Ávila, 2011).

Durante a aquisição do sistema ortográfico, uma série de incorreções ocorrem, uma vez que a consciência fonológica também está em desenvolvimento. Os erros vão reduzindo em frequência ao passo que a criança progride também no aprendizado da leitura, tendo contato com a ortografia e a palavra impressa de forma mais recorrente. A ortografia ainda está relacionada ao conhecimento lexical, tanto na leitura de palavras como de pseudopalavras. A relação morfológica, por sua vez, favorece a compreensão mais ampla da formação das palavras. Geralmente há redução de erros ortográficos com o aumento da escolaridade na língua portuguesa, demonstrando, portanto, o caráter evolutivo e progressivo do aprendizado (Santos & Befi-Lopes, 2013).

Ressalta-se que, quando um texto escrito apresenta número elevado de incorreções ortográficas, pode-se prever dificuldade do sujeito no desenvolvimento e aprendizado da escrita como um todo. Ainda, o conhecimento ortográfico na escrita depende do desenvolvimento da leitura, de forma que as representações ortográficas possam garantir também precisão na escrita (Salles & Parente, 2014). Ressalte-se que o contexto escolar e o tipo de currículo, não considerados nas análises do presente estudo, exercem influência na competência ortográfica e textual dos escolares, além das experiências sociais do sujeito com seu meio (Bigarelli & Ávila, 2011).

Em relação aos critérios cognitivos, avaliados por meio do WISC-III, os resultados do presente estudo apontaram que o módulo pré-teste do TIDE não foi associado de forma significativa aos itens do WISC-III. No entanto, o módulo instrucional correlacionou-se de forma significativa positiva com os quatro subtestes do WISC-III (considerando seus escores brutos e pontos ponderados), demonstrando que, quanto melhor o desempenho do participante em escrita narrativa, melhor também o seu desempenho nos subtestes informação, dígitos, compreensão e vocabulário do WISC. Há, portanto, estreita correlação entre aspectos de inteligência avaliados e o módulo instrucional, em que ocorre a mediação por parte do avaliador, neste caso, o computador. A mediação ocorre por meio de instruções sobre como escrever uma narrativa e os elementos necessários.

Sabe-se que o subteste Informação avalia o nível de informação adquirida pelos sujeitos em virtude do contexto em que vivem. Há correlação positiva significativa entre o módulo instrucional do TIDE e este subteste. Tal resultado é esperado, uma vez que a escrita é primeiramente vista como uma atividade social, influenciada pela cultura, a sociedade e a história de cada sujeito (Graham et al., 2013). Seu desenvolvimento é, portanto, também influenciado pelo suporte social e familiar e os estímulos recebidos pelo meio, considerados como elementos motivadores do desenvolvimento das habilidades escolares da criança (Graham et al., 2013; Costa et al, 2016). Ainda, necessita de aprendizado formal, fazendo com que seja dependente também do contexto escolar, especialmente da estrutura curricular e de outras competências, tais como: maturidade perceptiva, esquema corporal, orientação espaço temporal, desenvolvimento motor e linguagem compreensiva e expressiva (Prudenciatti et al, 2016).

O subteste Dígitos avalia a recordação e repetição imediata, concentração e tolerância ao estresse, memorização, atenção e capacidade de reversibilidade. Baixos escores nesse subteste podem indicar problemas de atenção e memória imediata, com eventual interferência da ansiedade (Wechsler, 1991). Segundo os resultados do presente estudo, há correlação entre o módulo instrucional e este subteste, corroborando a literatura, quando aponta a importância da memória, atenção e concentração para um bom desempenho em escrita. Sabe-se que a memória operacional está ligada à capacidade de manter as informações a longo prazo e na transcrição destas ideias para o papel (Santos & Befi-Lopes, 2016; McCutchen, 2011). Em relação à memória operacional, Santos e Befi-Lopes (2016) salientam que está relacionada ao resgate de informações da memória de longo prazo, intimamente relacionada aos processos de escrita, uma vez que coordena os aspectos automáticos, como a escrita por meio de letra cursiva, e não automáticos, como os metalinguísticos e os metacognitivos.

O subteste Compreensão avalia a utilização de julgamento de ordem prática e a seleção de soluções socialmente adequadas, e o subteste Vocabulário tem por objetivo avaliar o desenvolvimento da linguagem e sua qualidade em relação ao conhecimento lexical do sujeito. Olinghouse e Wilson (2013), em seu texto, tratam especificamente sobre a relação entre o vocabulário e a qualidade das produções escritas dos sujeitos, chamando a atenção para a importância da memória de longo prazo neste processo, estando relacionado ainda ao conhecimento de mundo e às experiências dos sujeitos. Destacam a importância do vocabulário, considerando-o como fator base para que as ideias possam ser expressas. Os autores avaliaram três tipos de texto escrito: narrativo, persuasivo e informativo. Os resultados indicaram que os participantes (alunos do quinto ano) diferiram no uso do vocabulário em virtude do tipo do texto, sendo que os narrativos apresentaram maior diversidade e maturidade do vocabulário, se comparado com os outros gêneros, demonstrando a validade de uso de textos narrativos para avaliação da produção escrita, por exemplo. Neste sentido, os resultados do presente estudo vão ao encontro do destacado anteriormente, sendo o módulo instrucional relacionado de forma positiva significativa com os subtestes Compreensão e Vocabulário, relacionados com o conteúdo lexical e conhecimentos gerais de mundo. Allen et al (2014) acrescentam que a compreensão de leitura, o conhecimento prévio e o vocabulário compartilham habilidades cognitivas complexas e estão intimamente relacionadas com o processo de escrita.

Por fim, ressalta-se, neste estudo, assim como descrito por Drijbooms et al (2015), o uso do computador na tarefa de produção escrita narrativa, uma vez que na atualidade tem-se cada vez mais preconizado o uso dos recursos computadorizados nas escolas e nos demais espaços de ensino e aprendizagem. Os autores apontam que a digitação exige menos esforços cognitivos, se comparadas com a escrita manual, destinando-se, assim, mais recursos cognitivos para as funções executivas (incluindo orientação, monitoramento e geração de ideias dos textos produzidos).

Por meio do presente estudo, demonstrou-se a validade do Teste Informatizado e Dinâmico de Escrita - TIDE com base em critérios externos, considerando aspectos voltados para o desempenho ortográfico e cognição. Demonstrou-se a relação, de forma geral, negativa entre os itens do TIDE e os erros do Ditado, e relação positiva entre os módulos do TIDE e os subtestes do WISC-III. Tais medidas são importantes, uma vez que a busca de evidências de validade com base em critérios externos, considerando a relação com construtos correlatos, como realizado no presente estudo, fornece qualidade ao instrumento em questão.

Destaque-se que, com relação às hipóteses iniciais, observa-se que, de fato, o TIDE proporciona aos adolescentes, por meio de estratégias dinâmicas ou assistidas, possibilidade adequada de avaliação do potencial de escrita narrativa, além de indicações de possível evolução em habilidades relacionadas, como as ortográficas.

Observa-se, portanto, que a compreensão dos processos de desenvolvimento da escrita é essencial, uma vez que relaciona uma série de fatores neuropsicológicos, biológicos e sociais. Os estudos sobre esta temática são escassos e artigos como o presente enriquecem a literatura, trazendo subsídios para a compreensão do desenvolvimento da escrita (Salles & Parente, 2007). Ainda, estudos como o presente dão subsídios para a organização de estratégias terapêuticas em áreas especializadas, como a fonoaudiologia e a psicologia, além de auxiliar na organização de estratégias escolares. Neste sentido, a avaliação assistida mostra-se adequada para avaliação e intervenção na área de escrita narrativa de adolescentes, sendo mais uma estratégia útil para o desenvolvimento e aprimoramento das habilidades escolares (Gurgel et al, 2017).

Limitações podem ser encontradas no presente estudo, como o não acompanhamento longitudinal do desempenho dos sujeitos, e a não consideração dos aspectos qualitativos da produção dos mesmos. Ainda, a característica heterogênea da amostra também pode ser considerada como um limitador do presente estudo. Estes aspectos não foram incluídos no presente estudo, mas sugere-se que sejam considerados em estudos futuros. Sugere-se ainda, para pesquisas futuras, a busca de evidências de validade do instrumento em questão considerando outros critérios externos, como o desempenho escolar.

 

Agradecimentos

Agradecemos a Prof. Maria Cristina Rodrigues Azevedo Joly (in memorian).

Financiamento

Todas as fontes de financiamento para elaboração e produção do estudo (coleta, análise e interpretação dos dados, bem como, escrita dos resultados no presente no manuscrito) foram fornecidas pelo projeto de pesquisa 'bolsa de doutorado da autora principal - CAPES/CNPq.

Contribuição das autoras

Declaramos que todos os autores participaram da elaboração do manuscrito. Especificamente, as autoras Léia Gurgel, Livia Padilha e Caroline Reppold participaram da redação inicial do estudo - conceitualização, investigação, visualização, as autoras Léia Gurgel, Livia Padilha, Caroline Reppold, Vanessa Kaiser e Monica de Oliveira participaram da análise dos dados, e as autoras Léia Gurgel, Livia Padilha, Caroline Reppold, Vanessa Kaiser e Monica de Oliveira participaram da redação final do trabalho - revisão e edição.

Disponibilidade dos dados e materiais

Todos os dados e sintaxes gerados e analisados durante esta pesquisa serão tratados com total sigilo devido às exigências do Comitê de Ética em Pesquisa em Seres Humanos. Porém, o conjunto de dados e sintaxes que apoiam as conclusões deste artigo estão disponíveis mediante razoável solicitação ao autor principal do estudo.

Conflito de interesses

Os autores declaram que não há conflitos de interesses.

 

Referências

AERA; APA; NCME (American Educational Research Association; American Psychological Association; National Council On Measurement In Education). Standards for Educational and Psychological Testing. Washington, DC: AERA, 1999.         [ Links ]

Allen, L. K., Snow, E. L., Crossley, S. A., Tanner Jackson, G., & McNamara, D. S. (2014). Reading comprehension components and their relation to writing. L'Année psychologique, 114(04), 663-691. https://doi.org/10.3917/anpsy.144.0663        [ Links ]

Bigarelli, J. F. P., & Ávila, C. R. B. D. (2011). Habilidades ortográficas e de narrativa escrita no ensino fundamental: características e correlações. Jornal da Sociedade Brasileira de Fonoaudiologia, 23(3), 237-247. https://doi.org/10.1590/S2179-64912011000300009        [ Links ]

Costa, K. D., Montiel, J. M., Bartholomeu, D., Murgo, C. S., & Campos, N. R. (2016). Percepção do suporte familiar e desempenho em leitura e escrita de crianças do ensino fundamental. Revista Psicopedagogia, 33(101), 154-163. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S0103-84862016000200005&lng=pt&tlng=pt.         [ Links ]

Drijbooms, E., Groen, M. A., & Verhoeven, L. (2015). The contribution of executive functions to narrative writing in fourth grade children. Reading and writing, 28(7), 989-1011. https://doi.org/10.1007/s11145-015-9558-z        [ Links ]

Dunsmuir, S., Kyriacou, M., Batuwitage, S., Hinson, E., Ingram, V., & O'Sullivan, S. (2015). An evaluation of the Writing Assessment Measure (WAM) for children's narrative writing. Assessing Writing, 23(2015), 1-18. https://doi.org/10.1016/j.asw.2014.08.001        [ Links ]

Graham, S., Gillespie, A., & McKeown, D. (2013). Writing: Importance, development, and instruction. Reading and writing, 26(1), 1-15. https://doi.org/10.1007/s11145-012-9395-2        [ Links ]

Gurgel, L. G., de Oliveira, M., Joly, M. C., & Reppold, C. T. (2017). Learning Potential in Narrative Writing: Measuring the Psychometric Properties of an Assessment Tool. Frontiers in psychology, 8(2017), 7-19. https://doi.org/10.3389/fpsyg.2017.00719        [ Links ]

Hair, J. F., Black, W. C., Babin, B. J., Anderson, R. E., & Tatham, R. L. (2009). Análise multivariada de dados. Porto Alegre: Bookman.         [ Links ]

Hayes, J.R., Flower, L.S. (1980). Identifying the organization of writing processes. I LW Gregg & ER Steinberg (Eds.), Cognitive Processes in Writing (pp. 3-30).         [ Links ]

Joly, M.C.R.A., & Schiavoni, A. (2013). Teste Informatizado e Dinâmico de Escrita. Projeto de pesquisa. Universidade de Brasília, Programa de Pós-graduação em Processos de Desenvolvimento e Aprendizagem, DF, Brasil.         [ Links ]

Joly, M. C. R. A., Schiavoni, A., Agostinho, A., & Dias, A. S. (2015). Avaliação dinâmica e produção textual: evidências de validade para o TIDE no fundamental II. Cadernos de Pós-Graduação em Distúrbios do Desenvolvimento, 15(1), 1-17. https://biblat.unam.mx/es/revista/cadernos-de-pos-graduacao-em-disturbios-do-desenvolvimento/articulo/avaliacao-dinamica-e-producao-textual-evidencias-de-validade-para-o-tide-no-fundamental-ii        [ Links ]

McCutchen, D. (2011). From novice to expert: Implications of language skills and writing-relevant knowledge for memory during the development of writing skill. Journal of Writing Research, 3(1), 51-68. https://doi.org/10.17239/jowr-2011.03.01.3        [ Links ]

Miilher, L.P., Ávila, C.R.B. (2006). Variáveis lingüísticas e de narrativas no distúrbio de linguagem oral e escrita. Pró-Fono Revista de Atualização Científica, 18(2), 177-187. https://doi.org/10.1590/S0104-56872006000200007        [ Links ]

Miller, D. M., Scott, C. E., & McTigue, E. M. (2016). Writing in the Secondary-Level Disciplines: A Systematic Review of Context, Cognition, and Content. Educational Psychology Review, 30(2016), 83-120. https://doi.org/10.1007/s10648-016-9393-z        [ Links ]

Moojen, S.M.P. (2011). A escrita ortográfica na escola e na clínica- Teoria, Avaliação e Tratamento. São Paulo: Casa do Psicólogo.         [ Links ]

Nobile, G. G., & Barrera, S. D. (2016). Desempenho Ortográfico e Habilidades de Produção Textual em Diferentes Condições de Solicitação. Psicologia: Teoria e Pesquisa, 32(2), 1-10. https://doi.org/10.1590/0102-3772e32226        [ Links ]

Olinghouse, N. G., & Wilson, J. (2013). The relationship between vocabulary and writing quality in three genres. Reading and Writing, 26(1), 45-65. https://doi.org/10.1007/s11145-012-9392-5        [ Links ]

Pessoa, A.P.P., Correa, J., Spinillo, A. (2010). Contexto de Produção e o Estabelecimento da Coerência na Escrita de Histórias por Crianças. Psicologia: Reflexão e Crítica, 23(2), 253-260. https://doi.org/10.1590/S0102-79722010000200007        [ Links ]

Prudenciatti, S., Pereira, R. S., & Tabaquim, M. D. L. M. (2016). Identificação das competências necessárias para a aprendizagem de leitura e escrita de crianças com fissura labiopalatinas: estudo comparativo. Revista Psicopedagogia, 33(102), 262-271. http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S0103-84862016000300005&lng=pt&nrm=iso&tlng=pt        [ Links ]

Richardson, P. K. (2005). Use of standardized tests in pediatric practice. Em J. Case-Smith & J. C. O'Brien (Eds.) Occupational Therapy for Children E-Book (5th ed., pp. 246-275), St Louis: Elsevier Mosby.         [ Links ]

Salles, J. F., & Correa, J. (2014). A produção escrita de histórias por crianças e sua relação com as habilidades de leitura e escrita de palavras/pseudopalavras. Psicologia USP, 25(2), 189-200. https://doi.org/10.1590/0103-6564A20133813        [ Links ]

Salles, J. F., & Parente, M. A. M. P. (2007). Relação entre desempenho infantil em linguagem escrita e percepção do professor. Cadernos de Pesquisa, 37(132), 687-709. https://doi.org/10.1590/S0100-15742007000300009        [ Links ]

Santos, M. T. M., & Befi-Lopes, D. M. (2016). Análise da produção de narrativa escrita de escolares do ensino fundamental. Distúrbios da Comunicação, 28(2), 231-243. https://revistas.pucsp.br/index.php/dic/article/view/26658/20135        [ Links ]

Silva, A.P.C. & Capellini, S.A. (2011). Programa de remediação fonológica em escolares com dificuldades de aprendizagem. Jornal da Sociedade Brasileira de Fonoaudiologia, 23(1), 13-20. https://doi.org/10.1590/S2179-64912011000100006        [ Links ]

Sternberg, R.J., & Grigorenko, E.L. (2002). Dynamic testing: The nature and measurement of learning potential. New York: Cambridge University Press.         [ Links ]

Tzuriel, D. (2000). Dynamic assessment of young children: Educational and intervention perspectives. Educational Psychology Review, 12(4), 385-435. https://doi.org/10.1023/A:1009032414088        [ Links ]

Urbina, S. (2007). Fundamentos da testagem psicológica. Porto Alegre, RS: Artmed.         [ Links ]

Vygotsky, L. S. (1978). Mind in Society. Cambridge, MA, Harvard University Press.         [ Links ]

Vygotsky, L. S. (1998). The problem of age. In R. W. Rieber & A. S. Carton (Eds.), The collected works of L. S. Vygotsky, vol. 5: Child psychology (pp. 187-206). New York: Plenum.         [ Links ]

Wechsler, D. (1991). Wechsler Intelligence Scale for Children- Third Edition Manual. San Antonio: Psychological Corporation.         [ Links ]

 

 

Endereço para correspondência:
Léia Gonçalves Gurgel
R. Sarmento Leite, 245 - Centro Histórico
Porto Alegre - RS, 90050-170
Universidade Federal de Ciências da Saúde de Porto Alegre
Laboratório de avaliação Psicológica (Prédio II

Recebido em abril de 2020
Aprovado em março de 2021

 

 

Nota sobre as autoras
Léia Gonçalves Gurgel, é Fonoaudióloga (UFCSPA), doutora em Ciências da Saúde (UFCSPA).
Lívia Padilha de Teixeira, é Psicóloga, Mestre em Ciências da Saúde (UFCSPA). Atualmente é doutoranda em Psicologia na UFRGS
Vanessa Kaiser, é Psicóloga, mestre em Ciências da Saúde (UFCSPA). Atualmente é doutoranda do PPG em Ciências da Saúde da Universidade Federal de Ciências da Saúde de Porto Alegre, RS.
Monica Maria Celestina de Oliveira, é Estatística (Universidade Federal da Bahia), doutora em Epidemiologia (UFRGS). Atualmente é professora associada do Departamento de Saúde Coletiva da UFCSPA, RS.
Gabriela Bertoletti Diaz é Psicóloga (UFRGS), Mestre em Psicologia e Saúde (UFRGS) e Doutoranda em Ciências da Reabilitação (UFCSPA).
Caroline Tozzi Reppold, é Psicóloga (UFRGS), Doutora em Psicologia (UFRGS). Atualmente é Professora adjunta do Departamento de Psicologia da UFCSPA.
Artigo derivado da 'Tese de doutorado' de 'Léia Gonçalves Gurgel' com orientação de 'Caroline Tozzi Reppold', defendida em '2017' no programa de pós-graduação 'em Ciências da Saúde' da 'UFCSPA'.