ARTIGOS

 

Informatização e validação do instrumento tarefas preditoras de otimismo em crianças - TAPOC

 

Computerization and validation of optimism predictor tasks in children (TAPOC) instrument

 

Informatización y validación del instrumento tareas predictoras de optimismo en niños (TAPOC)

 

 

Cyntia Mendes de Oliveira^I; Claudia de Moraes Bandeira^II; Claudia Hofheinz Giacomoni^I

^IUniversidade Federal do Rio Grande do Sul, Porto Alegre-RS, Brasil
^IIUniversidade LaSalle, Canoas-RS, Brasil

Endereço para correspondência

 

 

---

RESUMO

Este estudo objetivou adaptar as Tarefas Preditoras de Otimismo em Crianças (TAPOC) para uso em tablet e investigar evidências de validade da versão informatizada. Além disso, investigaram-se o nível de otimismo das crianças avaliadas e possíveis diferenças entre os sexos, tipos de escolas e cidades. O estudo foi realizado em duas etapas, informatização do instrumento e estudo de evidências de validade. Na primeira, participaram dois profissionais das Ciências da Computação, dois especialistas em Avaliação Psicológica e 10 crianças com características da amostra. Na segunda, a amostra foi composta por 238 crianças de quatro a 10 anos de idade (M = 7,24; DP = 1,6), sendo 133 crianças de Porto Alegre-RS e 105 de Teresina-PI de escolas públicas e privadas. A TAPOC-i apresentou consistência interna satisfatória e correlações significativas com os demais instrumentos. Identificou-se uma diferença significativa entre sexos. A análise fatorial confirmatória indicou que o modelo permaneceu unidimensional.

Palavras-chave: otimismo; instrumento informatizado; crianças; TAPOC.

---

ABSTRACT

This study aimed to adapt the Optimism Predictor Task in Children (TAPOC) into a to use in tablet and to investigate validity evidence of the computer-based version. Besides, sought to assess the optimism level of accessed children and possible differences between sex, type of school and cities. The study was carried out in two steps, computerization of the instrument and study of validity evidence. In the first, two professionals of Computer Science participated, two experts in Psychological Assessment and ten children with sample characteristics. In the second, the sample was composed by 238 children aged four to 10 years (M = 7.24, SD = 1.6), 133 from Porto Alegre-RS and 105 from Teresina-PI of public and private schools. The TAPOC-i showed satisfactory internal consistency (0.72) and significant correlations with other measures. It was identified a significant difference between sexs. Confirmatory factor analyze indicated that the model remained one dimensional.

Keywords: optimism; computerized instrument; children; TAPOC.

---

RESUMEN

Este estúdio objetivó adaptar las Tareas Predictoras de Optimismo en niños (TAPOC) para uso en tablets e investigar evidencias de validez de la versión informatizada. Además, se investigó el nivel de optimismo de los niños evaluados y posibles diferencias entre el sexo, tipos de escuelas y ciudades. El estudio fue realizado en dos etapas, informatización del instrumento y estudio de evidencias de validez. En la primera, participaron dos profesionales de Ciencias Informáticas, dos especialistas en Evaluación Psicológica y 10 niños con características de la muestra. En la segunda, la muestra fue compuesta por 238 niños de cuatro a 10 años de edad (X = 7,24, DS = 1,6), siendo 133 niños de Porto Alegre-RS y 105 de Teresina-PI de escuelas públicas y privadas. En conclusión, TAPOC-i presentó consistencia interna satisfactoria y correlaciones significativas con los demás instrumentos. Se identificó una diferencia significativa entre los sexos. Un análisis factorial confirmatorio indicó que el modelo permaneció unidimensional.

Palabras-clave: optimismo; instrumento informatizado; niños; TAPOC.

---

 

 

Desde a década de 1980, com o surgimento dos computadores pessoais, tem-se observado um crescimento no desenvolvimento de instrumentos informatizados e adaptações da versão papel e lápis. Além disso, observa-se uma maior demanda pelo uso informatizado, tanto em publicações profissionais e acadêmicas quanto no uso aplicado (Joly, Martins, Abreu, Souza, & Cozza, 2004; Prieto, 2010).

O termo "teste informatizado" é caracterizado como sendo um tipo de teste que tem todas as fases de execução realizadas no computador ou tablet, e essa aplicação pode ser realizada on-line, por meio de plataformas, ou off-line por meio da instalação de programas. As fases da execução vão desde a apresentação das instruções à emissão de relatórios sobre os resultados. Testes no formato papel e lápis, que tenham apenas as respostas corrigidas por meio de um computador, não devem ser qualificados como informatizados (Prieto, 2010).

As contribuições dos testes informatizados se dão nos seguintes aspectos: economia, padronização, interação com o examinado, segurança, confiabilidade, riqueza do material para estimulação, capacidade e rapidez de armazenamento, facilidade de pontuação e obtenção imediata de relatórios. Tais instrumentos possuem uma capacidade e rapidez de armazenamento de dados maior do que os testes convencionais de papel e lápis e passam a ter baixo custo em médio prazo (Prieto, 2010). Essas contribuições podem explicar a expansão do uso dessa tecnologia no âmbito da avaliação psicológica e o surgimento de estudos psicométricos nessa perspectiva.

Em relação às propriedades psicométricas dos testes, um estudo (Joubert & Krick, 2009) de comparação das versões papel e lápis e computador produziram similaridades em relação à confiabilidade. Nesse estudo, a amostra foi composta com variáveis biográficas controladas, e os autores encontraram um coeficiente alfa de 0,76 no formato em papel e 0,75 no computador. Quando se trata da comparação entre smartphones e computadores, o desempenho nos dois equipamentos é similar e não há diferenças nos escores dos testes conforme apontado por Huff (2015).

A maioria dos estudos apresenta instrumentos informatizados para uso em computadores, mas pouca pesquisa empírica tem sido conduzida para uso em tablets. Em um estudo recente (De Leo, Gonzales, Battagiri, & Leroy, 2011), os resultados apontaram a preferência das crianças por aplicativos comparados com um questionário no formato de papel. A informatização facilita a padronização dos procedimentos de testagem e o envolvimento de crianças com o processo de avaliação. Entretanto, antes disso, é importante atentar para os cuidados técnicos e psicométricos ao informatizar ou adaptar um instrumento no formato papel e lápis.

Em 1986, a APA (American Psychological Association) normatizou a aplicação e interpretação dos testes informatizados. No Brasil, o Conselho Federal de Psicologia (CFP, 2000), por meio da Resolução 011/2000, especificou a oferta de produtos informatizados na versão software, hardware e linguagem de programação. As diretrizes da APA (1986) a respeito dos testes computadorizados determinam três aspectos que devem ser considerados em um estudo de evidência de validade entre testes em papel e computadorizados. O primeiro aspecto diz respeito às estatísticas descritivas dos dados obtidos. O segundo, à validade de construto e o terceiro. à confiabilidade do instrumento.

Com o objetivo de prevenir o uso inadequado de instrumentos nessa modalidade, a última versão dos Standards for Educational and Psychological Testing (AERA, APA, NCME, 2014) e a International Test Commission (ITC, 2005) estabeleceram algumas normativas e diretrizes para a construção, aplicação e interpretação de testes informatizados. Em relação às diretrizes da ITC, o modo de administração do teste deve ser considerado e descrito, o qual pode ser aberto, controlado, supervisionado ou administrado.

A partir de um levantamento das produções de testagem psicológica informatizada (Bartram & Coyne, 2005), a ITC considerou quatro aspectos (tecnologia, qualidade, controle e segurança) na elaboração dos requisitos para o desenvolvimento de testes computadorizados. Os aspectos técnicos em relação ao sistema tecnológico que irá oferecer suporte ao teste, seja software ou hardware, devem ser especificados, bem como a qualidade do material do teste, controle de segurança, privacidade e proteção dos dados provenientes da avaliação. Já existem estudos realizados com instrumentos informatizados no contexto clínico (De Leo et al., 2011) e hospitalar (Moraes & Enumo, 2008). Entretanto, a literatura ainda carece de instrumentos informatizados com foco em aspectos saudáveis para auxiliar os profissionais da saúde e educação a trabalhar com a identificação das forças e virtudes em crianças.

No Brasil, já existem escalas no formato papel e lápis para avaliar construtos positivos em adultos, crianças e adolescentes (Hutz, 2014). O instrumento que será apresentado neste estudo avalia o otimismo em crianças por meio de pranchas pictóricas com desenhos de situações do dia a dia. Ele foi desenvolvido por Bandeira, Giacomoni e Hutz (2015) e nomeado Tarefas Preditoras de Otimismo em Crianças (TAPOC). A descrição do instrumento será apresentada a seguir.

Tarefas Preditoras de Otimismo em Crianças (TAPOC)

A TAPOC é um instrumento para avaliar o otimismo em crianças entre quatro e oito anos de idade. É composta por 12 historietas, cada uma delas acompanhada com três pranchas pictóricas, sendo uma prancha-estímulo com a situação enredo e duas pranchas desfecho, uma otimista e outra pessimista. As pranchas foram elaboradas na versão feminina e masculina, sendo 36 para cada, totalizando 72 (Bandeira, Giacomoni, & Hutz, 2015).

A TAPOC é aplicada individualmente e o tempo de aplicação no formato papel e lápis é de, aproximadamente, 20 minutos. Considerando esse último aspecto e que a reprodução nesse formato seria de alto custo, devido à quantidade de pranchas do instrumento, viu-se a necessidade de informatização, objetivando diminuir o tempo de aplicação, favorecer a praticidade e economia.

O objetivo de desenvolvimento e construção da TAPOC era acessar o otimismo infantil. Para isso, seguiu-se todo o processo de construção de um instrumento de avaliação psicológica. O processo em sua totalidade e a forma de aplicação da TAPOC estão apresentados em Bandeira et al. (2015). Os autores encontraram correlações positivas com a Youth Life Orientation Test (YLOT; Ey et al., 2005) e as análises indicaram boas evidências de validade. Entretanto, os autores sugerem que estudos em amostras distintas, com diferentes idades e em outras regiões do país sejam realizados.

A teoria que embasa a TAPOC é a do otimismo disposicional, conceito definido por Scheier e Carver (1992) (Carver & Scheier, 2014) como uma expectativa generalizada de que no futuro as situações boas irão sobrepor as ruins. Tais expectativas são permeadas por um senso de confiança, que possibilita esforçar-se mais para atingir objetivos (Scheier & Carver, 1985). É relevante o estudo desse construto na infância, visto que está relacionado positivamente com o bem-estar subjetivo (Carver, Scheier, & Segerstrom, 2010; Scheier & Carver, 1985) e é considerado preditor de autoestima em crianças (Williams, Davis, Hancock, & Phipps, 2010).

O objetivo deste estudo foi informatizar a TAPOC e investigar evidências de validade e fidedignidade dessa versão. Buscaram-se evidências de validade do tipo convergente com um instrumento considerado padrão-ouro na avaliação do otimismo de crianças, a YLOT, e com a Escala de Afetos Positivos e Negativos para crianças. Além disso, analisou-se o nível de otimismo das crianças avaliadas, bem como possíveis diferenças entre os sexos, tipos de escolas e duas cidades de diferentes regiões do país. Esta pesquisa foi realizada em duas etapas, primeiramente será descrito o processo de adaptação da TAPOC para informatização e depois o estudo de busca de evidências de validade.

 

Método

Etapa 1 - Informatização do instrumento TAPOC e desenvolvimento da versão TAPOC-i

Para a adaptação do instrumento no formato papel e lápis para uso em tablet, foram realizadas revisões teóricas que pautaram as diretrizes para o desenvolvimento do aplicativo. Seguiu-se as recomendações da AERA et al. (2014) e da ITC (2005) que visam assegurar que os testes mantenham os parâmetros de qualidade na versão computadorizada.

Para a informatização da TAPOC, obteve-se o auxílio de dois profissionais da área das Ciências da Computação, com conhecimento na construção de softwares, para o desenvolvimento da mesma para uso em tablet. As pranchas foram digitalizadas no mesmo tamanho da escala no formato papel, 20x15 cm, resolução de 300 ppi, com o objetivo de manter o padrão e cores originais (ITC, 2005). Foram utilizados na coleta dois tablets com capacidade básica (8GB de memória, Processador Quad Core 1.3 GHz, Samsung). O tamanho da tela dos tablets foi de 9.6'', tamanho aproximado ao formato das pranchas em papel.

Para diferenciar a versão em papel e lápis da versão informatizada, a versão digital do instrumento passou a denominar-se Tarefas Preditoras de Otimismo em Crianças informatizada (TAPOC-i). A TAPOC-i foi desenvolvida pela plataforma Android Studio, que gerou um aplicativo de download executável a ser instalado em cada equipamento, e pelo banco mobile Realm, que possibilita o armazenamento dos dados em tabelas, para executar em sistema JAVA. A comunicação entre os tablets acontece via bluetooth, com suporte do programa Android-Bluethooth-Library. Um dos tablets deve ser usado pelo avaliador, que irá controlar a aplicação, e o outro pela criança, que o utilizará para visualizar as pranchas e selecionar suas respostas. O modo de aplicação da TAPOC-i é o administrado, onde um alto nível de supervisão e controle humano é requerido (ITC, 2005). Para a informatização completa da administração, o tempo de passagem das lâminas foi padronizado para que o tempo de exposição fosse similar a todos os testandos (ITC, 2005) e foi automatizado com um tempo de seis segundos. Foi adicionado um cronômetro à TAPOC-i, que contabilizou o tempo total da aplicação, de modo que a contagem do tempo também ficasse informatizada e não fosse necessário que o avaliador cronometrasse fora do aplicativo. Além disso, visando a realização de estudos futuros, a influência do tempo de resposta no desfecho otimismo/pessimismo pode vir a ser uma variável de estudo.

Uma versão preliminar do aplicativo foi avaliada pelos profissionais que desenvolveram o software, os quais analisaram os aspectos técnicos de funcionamento. Foram investigadas evidências de validade de conteúdo e adequação do formato da versão informatizada por meio da avaliação opinativa de dois juízes-avaliadores Psicólogos, doutores em Psicologia, com experiência na área de avaliação psicológica infantil e psicometria. A avaliação contou com a apresentação do instrumento no formato papel e lápis e informatizado para cada avaliador em momentos distintos. O processo de desenvolvimento do aplicativo foi explicado, seguido de uma demonstração da aplicação de cada versão.

Em seguida, cada juiz-avaliador respondeu a um Questionário de avaliação do instrumento informatizado (NEPP, 2016) com dez questões relacionadas à comparação das versões papel e lápis e informatizada, elaboradas com base nas diretrizes da ITC (2005) e AERA et al. (2014). Os juízes-avaliadores concordaram com o formato do instrumento informatizado e sugeriram que o tempo de exposição das lâminas fosse investigado no estudo piloto. Outra sugestão foi em relação a se certificar se as crianças compreendiam o conceito de quantidade de certeza ao marcar a reta de resposta. Após isso, o instrumento foi aplicado em 10 crianças, sendo duas de cada faixa etária com características da amostra do estudo.

Procedimentos de aplicação da TAPOC-i

A TAPOC-i pode ser acessada a partir do download do aplicativo desenvolvido especificamente para este estudo. Após abrir e iniciá-lo, o aplicador depara-se com a tela inicial. Nessa tela, deve-se selecionar a opção "Psicólogo" para iniciar a aplicação e para cadastrar a nova criança.

Antes de iniciar a avaliação, o aplicador realiza com a criança um treino de marcação da resposta para se assegurar de que ela entendeu como deverá marcá-la. Para aplicação do instrumento informatizado, o aplicador tem acesso às instruções específicas para cada item na tela do seu equipamento. Cada tela tem apenas um item, tanto no tablet do aplicador quanto no do respondente. No tablet do aplicador, consta a historieta a ser lida para a criança. Os tablets mantêm-se sincronizados durante toda a aplicação. Quando a criança seleciona o desfecho, o aplicador é notificado em sua tela. No tablet da criança, os dois desfechos, otimista e pessimista, são apresentados uma única vez e um em cada tela, subsequentemente.

Após a escolha do desfecho, a criança é solicitada a marcar, com o auxílio de uma caneta para tablet, na reta de resposta para finalizar a resposta do item e passar para o próximo. Caso a criança opte por trocar o desfecho escolhido, o aplicador tem a opção de realizar a troca direto de seu tablet. Outra opção possível com este aplicativo é a de "pular" a historieta, caso a criança não queira dar uma resposta.

Em um banco de dados digital é registrado a identificação do respondente, desfecho escolhido, o número correspondente à marcação na reta de resposta e o tempo total da aplicação. Não é necessária conexão à internet para utilizar o aplicativo, os dados ficam salvos automaticamente após a aplicação. O acesso à internet será requerido para exportar a tabela de obtenção dos dados via uma conta de e-mail cadastrada ou serviço de armazenamento baseado no conceito de computação em nuvem. Após o estudo piloto realizou-se estudo empírico buscando evidências de validade e fidedignidade apresentado a seguir.

 

Etapa 2 - Estudo de evidências de validade

Participantes

Inicialmente, 250 crianças, selecionadas por conveniência, foram autorizadas a participar do estudo. Destas, cinco crianças com diagnóstico psiquiátrico, baseado em um questionário respondido pelos pais, foram excluídas da amostra. Cinco crianças não participaram da pesquisa, pois mudaram de escola durante a coleta e duas não aceitaram participar. Um total final de 238 crianças participaram do estudo, 105 de Teresina, situada no Nordeste do Brasil (55,2% meninos e 44,8% meninas) e 133 de Porto Alegre, no Sul (57,9% meninas), entre quatro e 10 anos de idade (M = 7,21 anos; DP = 1,61). A amostra consistiu em 106 estudantes de escolas públicas e 132 de escolas privadas (55,5%). Todas estavam regularmente matriculadas, cursando a educação infantil até o quinto ano do ensino fundamental. Os critérios de exclusão da amostra adotados foram: (1) crianças menores e maiores do que a faixa etária especificada no estudo ou que não quiseram participar da pesquisa e (2) dificuldades de aprendizagem, transtornos mentais diagnosticados ou informados pelos pais a partir de um questionário respondido pelos pais.

Instrumentos

Inicialmente, uma carta de apresentação da pesquisa e um questionário de fatores de saúde, sociodemográficos e culturais foram enviados aos pais ou responsáveis junto com o Termo de Consentimento Livre e Esclarecido (TCLE). O questionário contém dados de identificação da criança, aspectos de saúde, escolares, socioeconômicos e culturais, com o objetivo de caracterizar a amostrar e auxiliar nos critérios de inclusão do estudo. Além da TAPOC-i, os outros instrumentos utilizados na coleta de dados estão descritos a seguir.

Youth Life Orientation Test (YLOT). Foi aplicada no formato papel e lápis. A YLOT (Ey et al., 2005) foi adaptada para o Brasil por Oliveira, Bandeira, Giacomoni e Hutz (2019) para uso em crianças a partir dos oito anos de idade. A escala é composta por 12 itens, seis para o otimismo e seis para o pessimismo, e utiliza uma escala de resposta tipo Likert de quatro pontos. O instrumento apresentou evidências de validade equivalentes ao estudo original. A consistência interna geral da escala foi adequada (α = 0,81). A aplicação da escala é individual, os itens devem ser lidos para as crianças e estas respondem apontando o quadrado correspondente à resposta escolhida: discordo totalmente (quadrado totalmente vazio), discordo (quadrado parcialmente vazio), concordo (quadrado parcialmente cheio) e concordo totalmente (quadrado completamente cheio).

Escala de afeto positivo e negativo para Crianças. É uma escala de autorrelato, foi aplicada no formato papel e lápis (Giacomoni & Hutz, 2006). O instrumento é composto por 34 itens e utiliza uma escala de resposta tipo Likert de cinco pontos, que varia de um (nem um pouco) a cinco (muitíssimo). A consistência interna geral da escala foi satisfatória (α = 0,90). A aplicação da escala é individual, os itens devem ser lidos para as crianças e estas respondem apontando o quadrado correspondente à resposta escolhida: nem um pouco (quadrado vazio), um pouco (quadrado um pouco cheio), mais ou menos (quadrado pela metade), bastante (quadrado quase cheio) e muitíssimo (quadrado completamente cheio). Optou-se pelo uso deste instrumento tendo em vista estudos já realizados que apontam correlações entre afeto positivo e otimismo (Bamford & Lagattuta, 2012; Carver et al., 2010; Scheier & Carver, 1985; Zanon, Bastianello, Pacico, & Hutz, 2013).

Procedimentos

O projeto de pesquisa foi analisado e aprovado pelo Comitê de Ética do Instituto de Psicologia da Universidade Federal do Rio Grande do Sul, sob o protocolo n.º 1.387.484. Para dar início à coleta, estabeleceu-se contato com os diretores das escolas a fim de verificar a possibilidade de realização da pesquisa e assinatura do Termo de Concordância. O TCLE foi enviado aos pais ou responsáveis através das agendas das crianças juntamente com um questionário anteriormente apresentado.

Em outro momento, com o retorno dos TCLEs assinados, cada participante respondeu aos instrumentos em uma sala da própria escola, destinada apenas para este fim. Os instrumentos foram aplicados individualmente pela pesquisadora e duas alunas de graduação em psicologia devidamente treinadas. Os alunos eram conduzidos à sala de aplicação pelas pesquisadoras. Antes da aplicação, era realizado o rapport de apresentação da pesquisa e procedimentos, explicitando o caráter voluntário da participação. O tempo de aplicação variou entre 15 e 20 minutos.

Análise de Dados

Para testar o ajuste do modelo unidimensional da TAPOC-i, previamente confirmado em seu estudo original por meio de uma análise fatorial exploratória (Bandeira et al., 2015), foi conduzida uma análise fatorial confirmatória neste estudo, utilizando-se o software R (R Core Team, 2014). Foi utilizado o estimador WLS (mínimos quadrados ponderados), método alternativo para dados não normais (Finch & French, 2015). Os índices de ajuste (valores de referência) considerados foram: o Comparative Fit Index (CFI 0,95)e Tucker-Lewis Index (TLI 0,95);e RMSEA (Root Mean Square Error of Aproximation) e Standardized Root Mean Residual (SRMR) ambos com valores ideais próximos ou inferiores a 0,05 (Brown, 2015).

A fidedignidade da escala foi estimada por meio do coeficiente alfa de Cronbach, a partir da matriz de correlações de Spearman, sendo considerado adequado valor maior que 0,70 (Hair, Black, Babin, & Anderson, 2010). Além disso, utilizou-se o SPSS, para obter as estatísticas descritivas da amostra, como média e desvio padrão, e testes t de Student para amostras independentes foram utilizados a fim de comparar médias no escore total da TAPOC-i entre os sexos, tipos de escola e cidades. Análises estatísticas de correlação de Pearson foram realizadas para investigar evidências de validade convergente com a YLOT e a Escala de Afetos Positivos e Negativos para crianças.

 

Resultados

Os resultados serão apresentados em duas etapas, conforme as fases de realização da pesquisa. Na Etapa 1, serão apresentados os dados obtidos a partir da adaptação do instrumento. Na Etapa 2, achados referentes às evidências de validade e fidedignidade do instrumento, bem como diferenças entre grupos.

Etapa 1 - Informatização do Instrumento TAPOC

O aplicativo foi desenvolvido através da plataforma Android, tendo em vista o baixo custo e qualidade no desempenho operacional, ao ser comparado com os valores de outros tablets no mercado. Apesar disso, o aplicativo apresentou algumas falhas de linguagem de programação durante a sua aplicação. O estudo piloto possibilitou a identificação desses problemas, que foram corrigidos pelo programador do software.

Durante o estudo piloto, observou-se que as crianças maiores de seis anos entenderam com mais facilidade o funcionamento do aplicativo, necessitando de pouca ou nenhuma ajuda após as instruções e durante o procedimento de aplicação. As crianças menores de seis anos foram as que mais precisaram de apoio para a compreensão inicial do funcionamento do instrumento, principalmente em relação à marcação na reta de resposta. Elas eram solicitadas a indicar na reta o quanto de certeza elas tinham acerca dos desfechos das situações. Algumas crianças associavam a extremidade esquerda da reta a "não", relacionando a "menos certeza", e a extremidade direita a "sim", indicando "mais certeza".

A ordem de aplicação dos instrumentos foi definida no estudo piloto. Optou-se por não apresentar o aplicativo no início da coleta para não comprometer a aplicação dos outros dois instrumentos no formato papel e lápis, visto que as crianças menores pediam para continuar utilizando o tablet. Foi possível perceber que as crianças gostaram de poder utilizá-lo e demonstraram curiosidade ao tocar na tela e manusear a caneta para tablet ao selecionar suas respostas. As historietas dispostas no aplicativo chamaram a atenção delas, transformando-se em um elemento atrativo, lúdico e interativo.

Em relação ao tempo de aplicação do instrumento, as crianças levaram em média seis minutos para responder todas as historietas. O tempo do rapport foi em média quatro minutos, pois era necessário certificar-se que as crianças haviam entendido como marcar a reta de resposta. Dessa forma, o tempo total de aplicação foi em média 10 minutos.

Etapa 2 - Estudo de Evidências de Validade

A dimensão da TAPOC-i foi investigada considerando a estrutura unidimensional encontrada pelos autores do instrumento na versão papel e lápis (Bandeira et al., 2015). Análises sugerem melhor ajuste ao modelo unidimensional. Os resultados encontrados revelaram índices adequados (χ2(54) = 53,32; CFI = 0,97; TLI = 0,97; RMSEA = 0,015; SRMR = 0,173). As cargas fatoriais dos itens variaram de 0,21 a 0,66. O item três da escala apresentou correlações de baixa magnitude com os demais, variando de 0,13 a 0,29, e sua carga fatorial não foi significativa. O coeficiente alfa obtido da TAPOC-i foi de 0,86.

Em seguida, correlacionou-se a média da TAPOC-i com as outras escalas. A média geral da TAPOC-i foi de 3,68 (DP = 1,14). Os resultados estão apresentados na Tabela 1 e mostram correlações significativas e de direção esperada, embora de baixa magnitude entre a TAPOC-i, a YLOT e a Escala de Afeto.

Devido às baixas correlações encontradas entre a TAPOC-i e a YLOT, realizou-se uma análise para estimar a validade de grupos conhecidos. Para isso, criou-se dois grupos a partir dos resultados da YLOT, um grupo com os participantes com escore superior ao percentil 75 (grupo otimista) e outro com os que pontuaram abaixo de 25% (grupo pessimista). Após isso, realizou-se um teste t de Student para comparar os dois grupos com a TAPOC-i. Os dados apontaram diferenças significativas entre os grupos t(238) = 2,39; p < 0,05.

A fim de verificar as diferenças entre grupos, foram realizados testes t, considerando o valor dos escores na TAPOC-i e da YLOT para as escolas, sexos e cidades. As informações estão apresentadas na Tabela 2. No que se refere à TAPOC-i, não foi verificada diferença significativa nas médias entre Teresina (M = 3,66; DP = 1,03) e Porto Alegre (M = 3,70; DP = 1,20), t(238) = -0,302; p = 0,76. Entretanto, nos resultados obtidos através da YLOT entre as cidades apontaram diferença significativa. As crianças de Teresina (M = 3,47; DP = 0,39) apresentaram média significativamente mais alta do que as crianças de Porto Alegre (M = 3,26; DP = 0,46), t(235) = 3,68; p < 0,05.

Em relação aos tipos de escolas, não se encontrou diferença significativa entre públicas (M = 3,69; DP = 1,07) e privadas (M = 3,68; DP = 1,19) t(238)= -0,13; p = 0,99. Considerando os sexos, os resultados apontaram diferença significativa entre meninos e meninas. Conforme apresentado na Tabela 2, as meninas apresentaram média significativamente mais alta do que os meninos na TAPOC-i, t(238) = 2,31; p < 0,05.

 

Discussão

O presente estudo teve como objetivo informatizar um instrumento de avaliação do otimismo na infância e fornecer evidências de validade e fidedignidade desta versão. Além disso, buscou-se avaliar o nível de otimismo das crianças avaliadas, bem como possíveis diferenças entre os sexos, tipos de escolas e duas cidades do país.

O uso de um aplicativo nesta pesquisa possibilitou uma diminuição no tempo de aplicação comparado ao formato papel e lápis no estudo de Bandeira et al. (2015). Neste estudo, o tempo de aplicação do instrumento foi em média 10 minutos, enquanto no formato original, o tempo de aplicação foi de 20 minutos. Esse resultado corrobora achados de outros estudos que apontam uma capacidade e rapidez de armazenamento de dados maior nos instrumentos informatizados do que nos testes convencionais (Moraes & Enumo, 2008; Weigold, Weigold, & Russel, 2013).

Foi identificada no estudo piloto com as crianças entre quatro e seis anos uma certa dificuldade em relação à marcação na reta de resposta da certeza sobre a probabilidade da permanência do desfecho. As crianças entre quatro e seis anos demoraram um pouco mais para a apresentar a sua resposta, e em alguns casos o avaliador precisou repetir a instrução. Uma possível explicação está relacionada ao uso de uma escala do tipo Likert com crianças nessa faixa etária. A respeito disso, um estudo recente (Mellor & Moore, 2014) investigou a habilidade de crianças entre seis e 13 anos ao responderem itens concretos e abstratos a partir do uso de uma escala do tipo Likert. Nesse estudo, comparado com as crianças de 10 anos ou mais, as crianças a partir de seis anos conseguiram responder os itens concretos da mesma forma, mas tiveram alguma dificuldade com os itens abstratos, em relação ao seu próprio comportamento e estados emocionais, por exemplo. Diante disso, sugere-se que o treino em relação à reta de resposta da TAPOC-i seja revisado.

Os resultados indicam que a TAPOC-i apresenta propriedades psicométricas adequadas. A estrutura fatorial da escala manteve-se unidimensional no formato informatizado, assim como o modelo encontrado no formato papel e lápis (Bandeira et al., 2015). Esse achado corrobora outros estudos que adaptaram instrumentos convencionais no papel e lápis para um meio eletrônico e que tiveram sua estrutura fatorial mantida (Vendramini, Bueno, & Barrelin, 2011; Weigold et al., 2013).

Apesar de ter mantido sua estrutura fatorial, alguns itens da TAPOC precisam ser revistos, tendo em vista baixas cargas fatoriais presentes em historietas específicas. O item 3 não apresentou carga fatorial significativa e diz respeito à seguinte historieta: "Se a sua professora chamar seus pais para conversar, você acha que a sua professora vai falar coisas boas de você? Ou ela vai falar coisas ruins de você?". Durante a aplicação, foi possível perceber que algumas crianças ficavam retraídas ao ouvir a história. Acredita-se que esse item possa estar mais influenciado pelas relações parentais e com o professor do que ao otimismo em si.

A TAPOC-i apresentou correlações significativas e de ordem correta com a YLOT total (r = 0,29), e com a subescala otimismo (r = 0,22), além disso correlacionou positivamente com os Afetos positivos (r = 0,27), embora de baixa magnitude. A validade de grupos conhecidos apontou uma diferença significativa entre os grupos extremos, otimista e pessimista, o que indica que a TAPOC-i avalia o construto mensurado. As correlações encontradas no estudo do formato original (Bandeira et al., 2015) foram moderadas e diferentes das encontradas neste estudo. A correlação entre TAPOC e YLOT total foi de 0,47 e 0,43 com a subescala de otimismo. Em suma, esses resultados indicam que a TAPOC-i é consistente com outras medidas, tanto de avaliação do otimismo quanto de variável relacionada, corroborando sua validade para medir o construto na amostra avaliada.

Os valores da média geral de otimismo na TAPOC-i (M = 3,68; DP = 1,14) são aproximados aos valores encontrados no formato papel e lápis (M = 4,01; DP = 1,23), indicando medidas positivas de otimismo em crianças conforme outros estudos (Ey et al., 2005; Lemola et al., 2010; Lemola et al., 2011). Entretanto, os valores do coeficiente alfa (0,79 papel e lápis e 0,86 no informatizado, na versão de 12 itens) não são aproximados nos dois formatos, provavelmente devido a não equivalência da amostra nos dois estudos, no que diz respeito ao tamanho e características sociodemográficas.

Em relação às diferenças entre grupos, os resultados deste estudo apontaram diferenças significativas para os sexos, as meninas apresentaram níveis de otimismo mais alto do que os meninos. Esse achado corrobora outros estudos (Ey et al., 2005; Lemola et al., 2010; Lemola et al., 2011) que também apontaram as meninas como mais otimistas. Entretanto, os resultados do estudo da TAPOC no formato papel e lápis (Bandeira et al., 2015) não apontaram diferenças significativas nos níveis de otimismo entre meninos e meninas. Tal diferença pode ser explicada pelo fato de que este estudo utilizou crianças de diferentes idades e regiões em sua amostra. Outro estudo (Gaspar, Ribeiro, Matos, Leal, & Ferreira, 2009) encontrou diferenças significativas entre os sexos, porém, os meninos apresentaram níveis mais altos do que as meninas.

Ainda sobre as diferenças entre grupos, os resultados da TAPOC-i não apontaram diferença significativa nas médias entre os tipos de escolas, pública e privada, e nas diferentes cidades. Entretanto, uma diferença significativa entre as cidades foi encontrada na YLOT. Esse dado reforça a importância de replicar os estudos com a TAPOC-i, tendo em vista que a YLOT é considerada um instrumento padrão-ouro na avaliação do otimismo. Apesar disso, é importante destacar a dificuldade de entendimento de alguns itens da YLOT pelas crianças menores de oito anos tanto nas escolas públicas como nas privadas das duas regiões.

É importante considerar que um dos desafios das pesquisas com crianças é encontrar maneiras de acessá-las de forma que elas se envolvam genuinamente no processo. Estudos recentes têm apontado a preferência das crianças por aplicativos (De Leo et al., 2011) bem como seu envolvimento no processo a partir do uso de uma interface interativa (Stalberg, Sandberg, Sodeback, & Larsson, 2016). Diante dos achados deste estudo e das contribuições de um instrumento informatizado, é relevante continuar investindo na área de avaliação psicológica informatizada com crianças.

Este estudo apresenta limitações em termos metodológicos no que diz respeito ao uso de amostras de estudos distintos para a comparação dos dois formatos do instrumento. Ressalta-se aqui que o objetivo deste estudo não foi verificar equivalência dos dois formatos, mas de informatizar o instrumento em questão. Sugere-se a continuidade dos estudos com a TAPOC-i e que um estudo de equivalência seja realizado a partir da comparação dos dois formatos com amostra de características sociodemográficas similares. Outros estudos são necessários para aprimoramento do instrumento, como melhorias no design e desempenho operacional do sistema, além disso, outros tipos de evidências de validade e normatização.

Ressalta-se a importância de os pesquisadores realizarem pesquisas em diferentes estados para que a construção e adaptação de instrumentos de avaliação infantil abranjam a realidade socioeconômica e cultural do Brasil. Além disso, indica-se a necessidade de futuras pesquisas em outras regiões do país para averiguar mais profundamente a influência de aspectos transculturais na avaliação do otimismo infantil, tendo em vista as recentes pesquisas sobre o construto.

 

Referências

American Educational Research Association [AERA], American Psychological Association [APA], National Council on Measurement in Education [NCME] (2014). Standards foreducational and Psychological Testing. Washington, DC: American Educational Research Association.         [ Links ]

American Psychological Association [APA]. (1986). Guidelines for Computer-based Tests and Interpretations. Washington, DC: American Psychological Association.         [ Links ]

Bamford, C., & Lagattuta, K. H. (2012). Looking on the Bright Side: Children's knowledge about the benefits of positive versus negative thinking. Child Development, 83(2), 667-682. doi: 10.1111/j.1467-8624.2011.01706.x        [ Links ]

Bandeira, C. M., Giacomoni, C. H., & Hutz, C. S. (2015). Tarefas Preditoras de Otimismo em Crianças (TAPOC): Construção e evidências de validade. Avaliação Psicológica, 14(2), 199-206. doi: 10.15689/ap.2015.1402.04        [ Links ]

Bartram, D., & Coyne, I. (2005). ITC computer-based and Internet delivered testing guidelines. Granada: International Test Commission.         [ Links ]

Brown, T. A. (2015). Introduction. In Confirmatory factor analysis for applied research (2nd ed., pp. 1-9). New York: The Guilford Press. doi: 10.1017/CBO9781107415324.004        [ Links ]

Carver, C. S., & Scheier, M. F. (2014). Dispositional optimism. Trends in Cognitive Sciences, 18(6), 293-299. doi: 10.1016/j.tics.2014.02.003        [ Links ]

Carver, C. S., Scheier, M. F., & Segerstrom, S. C. (2010). Optimism. Clinical Psychology Review, 30(7), 879-889. doi: 10.1016/j.cpr.2010.01.006        [ Links ]

De Leo, G., Gonzales, C. H., Battagiri, P., & Leroy, G. (2011). A smart-phone application and a companion website for the improvement of the communication skills of children with autism: Clinical rationale, technical development and preliminary results. Journal of Medical Systems, 35(4), 703-711. doi: 10.1007/s10916-009-9407-1        [ Links ]

Ey, S., Hadley, W., Allen, D. N., Palmer, S., Klosky, J., Deptula, D., Thomas, J., & Cohen, R. (2005). A new measure of children's optimism and pessimism: The youth life orientation test. Journal of Child Psychology and Psychiatry, 46(5), 548-558. doi: 10.1111/j.1469-7610.2004.00372.x        [ Links ]

Finch, W. H., & French, B. F. (2015). Latent variable modeling with R. New York, NY: Routledge        [ Links ]

Gaspar, T., Ribeiro, J. L. P., Matos, M. G., Leal, I., & Ferreira, A. (2009). Optimismo em crianças e adolescentes: Adaptação e validação do LOT-R. Psicologia: Reflexão e Crítica, 22(3), 439-446. doi: 10.1590/S0102-79722009000300015        [ Links ]

Giacomoni, C. H., & Hutz, C. S. (2006). Escala de afeto positivo e negativo para crianças: Estudos de construção e validação. Psicologia Escolar e Educacional, 10(2), 235-245. doi: 10.1590/S1413-85572006000200007        [ Links ]

Hair, J., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate data analysis. Upper saddle River, New Jersey: Pearson Education International.         [ Links ]

Hutz, C. S. (2014). Avaliação em psicologia positiva. Porto Alegre: Artmed.         [ Links ]

Huff, K. C. (2015). The comparison of mobile devices to computers for web-based assessments. Computers in Human Behavior, 49(2015), 208-212. doi: 10.1016/j.chb.2015.03.008        [ Links ]

International Test Comission. (2005). International Guidelines on Computer-Based and Internet Delivered Testing. The British Psychological Society. Recuperado de https://www.intestcom.org/files/guideline_computer_based_testing.pdf        [ Links ]

Joly, M. C. R. A., Martins, R. X., Abreu, M. C., Souza, P. R. R., & Cozza, H. F. P. (2004). Análise da Produção Científica em Avaliação Psicológica Informatizada. Avaliação Psicológica, 3(2), 121-129. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712004000200007        [ Links ]

Joubert, T., Kriek, H. J. (2009). Psychometric comparison of paper-and-pencil and online personality assessments in a selection setting. SA Journal of Industrial Psychology, 35(1), 78-88. doi: 10.4102/sajip.v35i1.727        [ Links ]

Lemola, S., Räikkönen, K., Matthews, K. A., Scheier, M. F., Heinonen, K., Pesonen, A. K., ... & Lahti, J. (2010). A new measure for dispositional optimism and pessimism in young children. European Journal of Personality: Published for the European Association of Personality Psychology, 24(1), 71-84. doi: 10.1002/per.742        [ Links ]

Lemola, S., Räikkönen, K., Scheier, M. F., Matthews, K. A., Pesonen, A. K., Heinonen, K., ... & Kajantie, E. (2011). Sleep quantity, quality and optimism in children. Journal of sleep research, 20(1pt1), 12-20. doi: 10.1111/j.1365-2869.2010.00856.x        [ Links ]

Mellor, D., & Moore, K. A. (2014). The use of Likert scales with children. Journal of Pediatric Psychology, 39(3), 369-379. doi: 10.1093/jpepsy/jst079        [ Links ]

Moraes, E. O., & Enumo, S. R. F. (2008). Estratégia de enfrentamento da hospitalização em crianças avaliadas por instrumento informatizado. PsicoUSF, 13(2), 221-231. doi: 10.1590/S1413-82712008000200009        [ Links ]

Núcleo de Estudos em Psicologia Positiva (NEPP) (2016). Questionário de avaliação de um instrumento informatizado. Universidade Federal do Rio Grande do Sul, Porto Alegre.         [ Links ]

Oliveira, C. M., Bandeira, C. M., Hutz, C. S., & Giacomoni, C. H. (2019). Estudos de adaptação e validação brasileira do Youth Life Orientation Test (YLOT). Manuscrito em preparação.         [ Links ]

Prieto, G. (2010). Testes informatizados. Em Pasquali, L. (Ed.). Instrumentação Psicológica: fundamentos e práticas. Porto Alegre: Artmed.         [ Links ]

R Core Team (2014). R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria.         [ Links ]

Stalberg, A., Sandberg, A., Sodeback, M., & Larsson, T. (2016). The child's perspective as a guiding principle: Young children as co-designers in the design of an interactive application meant to facilitate participation in healthcare situations. Journal of Biomedical Informatics, 61(2016), 149-158. doi: 10.1016/j.jbi.2016.03.024        [ Links ]

Scheier, M. F., & Carver, C. S. (1985). Optimism, coping and health: Assessment and implications of generalized outcome expectancies. Health Psychology, 4(3), 219 - 247. Recuperado de https://www.ncbi.nlm.nih.gov/pubmed/4029106        [ Links ]

Scheier, M. F., & Carver, C. S. (1992). Effects of optimism on psychological and physical well-being: Theoretical overview and empirical update. Cognitive Therapy and Research, 16(2), 201-228. doi: 10.1007/BF01173489        [ Links ]

Vendramini, C. M. M., Bueno, J. M. P., & Barrelin, E. C. P. (2011). Evidências de validade da Escala Informatizada de Atitudes frente à Estatística - eSASPortuguês: Um estudo correlacional. Psico-USF, 16(3), 357-365. doi: 10.1590/S1413-82712011000300012        [ Links ]

Weigold, A., Weigold, I. K., & Russel, E. J. (2013). Examination of the equivalence of self-report survey-based paper-and-pencil and internet data collection methods. Psychological Methods, vol. 18(1), Mar 2013, 53-70. doi: 10.1037/a0031607        [ Links ]

Williams, N. A., Davis, G., Hancock, M., & Phipps, S. Optimism and pessimism in children with cancer and healthy children: Confirmatory factor analysis of the youth life orientation test and relations with health-related quality of life. Journal of Pediatric Psychology, 35(6), p.672-682. doi: 10.1093/jpepsy/jsp084        [ Links ]

Zanon, C., Bastianello, M. R., Pacico, J. C., & Hutz, S. C. (2013). Development and validation of a positive and negative affect scale. Psico-USF, 18(2), 193-202. doi: 10.1590/s1413-82712013000200003        [ Links ]

 

 

Endereço para correspondência:
Cyntia Mendes de Oliveira
Universidade Federal do Rio Grande do Sul
Rua Ramiro Barcelos, 2600, sala 124,
90035-003, Porto Alegre-RS.
E-mail: cynmendes@gmail.com

Recebido em agosto de 2017
Aceito em abril de 2019

 

 

Nota sobre as autoras:
Cyntia Mendes de Oliveira é Psicóloga (FACID), mestra em Psicologia (UFRGS), bolsista CAPES do doutorado em Psicologia pela Universidade Federal do Rio Grande do Sul e membro do Núcleo de Estudos em Psicologia Positiva.
Cláudia de Moraes Bandeira é psicóloga, doutora em Psicologia pela Universidade Federal do Rio Grande do Sul e, atualmente, professora do Curso de Graduação em Psicologia na Universidade La Salle.
Claudia Hofheinz Giacomoni é doutora em Psicologia pela Universidade Federal do Rio Grande do Sul. Atualmente, é professora do Departamento de Psicologia do Desenvolvimento e da Personalidade e do Programa de Pós-graduação em Psicologia da UFRGS e coordenadora do Núcleo de Estudos em Psicologia Positiva