EDITORIAL

A utilização da informática nas pesquisas em avaliação psicológica

Fabiano Koich Miguel

Universidade Estadual de Londrina

Um tema em franco desenvolvimento na avaliação psicológica é a utilização da informática. Tem sido cada vez mais comum encontrar pesquisas que utilizam plataformas como Survey Monkey ou Google Forms para elaborar questionários e divulgar a pesquisa, alcançando uma quantidade maior de participantes. Este editorial tem como objetivo apresentar, embora de maneira breve e superficial, algumas vantagens e algumas limitações em relação à informatização dos métodos de avaliação psicológica.

Iniciando pelas vantagens, a informatização apresenta uma nova modalidade de utilização de material: em vez de papel e lápis/caneta, tem-se o monitor do computador, a tela do tablet ou do smartphone, e a utilização de periféricos como mouse, teclado ou o simples tocar na tela. Esse formato implica na redução dos custos com papel e impressão. Mas não é apenas do ponto de vista ecológico que as vantagens se apresentam. A informatização de um instrumento pode ir além do que a simples transposição da versão papel para a versão digital. A limitação da utilização de cores é facilmente superada e os recursos multimídia ficam mais acessíveis: é possível utilizar imagens em movimento e sons, recursos não possíveis na versão impressa. Instrumentos que utilizam dessas soluções podem se mostrar mais atrativos aos avaliandos, especialmente o público infantil, uma vez que a interação com multimídia é bastante frequente no cotidiano (Jewitt, 2012; Joly & Noronha, 2006).

Outros aspectos da apresentação do instrumento também podem ser beneficiados com a informatização, como a ordem dos estímulos (Bennett, 2001). Essa pode ser uma boa solução para escalas que apresentam perguntas com as respostas em alternativas, como os testes de inteligência. Algumas pessoas, passando pela natural expectativa de serem avaliadas em um teste, podem procurar pela internet informações sobre o que vão responder - e, infelizmente, há muitos testes digitalizados com seu gabarito pela internet. A solução simples que a informática apresenta é a possibilidade de tornar aleatória a ordem das alternativas. Por exemplo, para um avaliando, a sequência das alternativas de um item poderia ser A, B, C, D, enquanto para outro avaliando a sequência do mesmo item poderia ser C, A, D, B. Dessa maneira, a memorização do gabarito de um teste seria mais difícil, permitindo que o teste avalie mesmo aquilo que se propõe a medir, e não a capacidade do avaliando memorizar o gabarito.

Além da ordem das alternativas, a informatização também possibilita deixar aleatória a ordem dos itens. Contudo, essa solução apenas seria interessante em instrumentos que não dependem da sequência de itens. Testes de inteligência tradicionalmente seguem uma sequência do item mais fácil ao mais difícil, fazendo com que o avaliando cada vez mais foque seu raciocínio na exigência crescente da tarefa. Então apresentar aleatoriamente itens não seria indicado para testes de inteligência, pois corre-se o risco de um item difícil anteceder um item fácil. Porém, checklists ou inventários de personalidade normalmente não são dependentes da ordem dos itens. Embora se possa pensar em "dificuldade de itens", i.e., itens mais ou menos frequentemente endossados, normalmente a sequência de itens nos inventários já foi criada aleatoriamente pelos seus pesquisadores. Dito de outra maneira, normalmente nos inventários não é necessário responder os primeiros itens para continuar aos próximos. Por outro lado, não seria recomendado deixar as alternativas aleatórias nos inventários de personalidade, pois há necessidade de se compreender a escala Likert como um contínuo.

Além dessas possibilidades de apresentação dos estímulos, a informatização também permite que o programa registre informações difíceis ou não disponíveis ao psicólogo. Exemplos disso seriam o tempo que a pessoa leva para responder ou quantas vezes troca de alternativa antes de passar ao próximo item. Alguns testes atualmente publicados em versão impressa pressupõem que o psicólogo registre o tempo transcorrido por meio de um cronômetro. Essa é uma tarefa que pode confundir aplicadores iniciantes e até mesmo mais experientes. Com o software fazendo essa verificação, o psicólogo fica mais livre para observar comportamentos e expressões do avaliando, registrar comentários que a pessoa faz durante aplicação, etc.

Nesse mesmo sentido, outros benefícios podem ser atingidos. Por exemplo, o software pode verificar se algum item foi deixado em branco, e também evita que, por engano, o avaliando assinale duas alternativas em um mesmo item - situações comuns de acontecer em aplicações em papel. Ao final da aplicação, o próprio aplicativo pode fazer a pontuação e gerar um escore final, evitando que o psicólogo gaste tempo calculando e consultando tabelas normativas, uma tarefa que pode estar sujeita a erros.

Há ainda modalidades de informatização que permitem a criação de instrumentos de avaliação completamente novos. Por exemplo, uma capacidade de raciocínio pode ser avaliada por meio de um jogo de computador, em que o personagem vai avançando conforme realiza certas tarefas. Essa modalidade permitiria uma interação mais lúdica e atrativa para o avaliando.

Outra modalidade que vem se desenvolvendo é a testagem adaptativa informatizada (CAT, sigla para computerized adaptive testing). Essa modalidade pressupõe que os itens são apresentados ao avaliando não de maneira aleatória, mas de acordo com suas respostas anteriores. Por exemplo, em um teste de inteligência, ao responder corretamente um item de dificuldade mediana, o programa já escolhe itens gradativamente mais difíceis para serem respondidos, eliminando o tempo gasto com itens fáceis demais para o avaliando. Da mesma maneira, o programa evita apresentação de itens difíceis demais para o sujeito, o que poderia gerar constrangimento ou desmotivação. Na CAT, o programa vai simultaneamente calculando a capacidade do sujeito e apresentando itens que se aproximem dessa capacidade, permitindo uma avaliação personalizada e mais precisa (Thompson & Weiss, 2011).

Como já antecipado, não há apenas vantagens na informatização. Há algumas desvantagens ou limitações. A primeira delas diz respeito à capacidade do pesquisador produzir instrumentos informatizados. Trata-se de uma habilidade que não é desenvolvida na formação de psicólogo, por motivos óbvios, sendo desenvolvida em cursos de ciências da computação. Dessa maneira, o pesquisador precisaria investir em formação nessa área ou contratar os serviços de profissionais da informática, e nem sempre há verba (ou tempo) suficiente para isso. Uma solução para isso seria a utilização de plataformas como Survey Monkey ou Google Forms, mencionadas anteriormente. Elas permitem o desenvolvimento de instrumentos mais simples, como inventários, e o nível de conhecimento de informática exigido é baixo, favorecendo o pesquisador. Porém, a quantidade de recursos disponíveis também é baixa. Normalmente tem-se apenas o registro das respostas, não sendo permitida aleatorização de itens ou alternativas, registro do tempo de resposta, etc. Já para pesquisadores que conhecem R e os princípios da CAT, há plataformas como Concerto, que permitem a criação de testes adaptativos e não requerem conhecimentos avançados de programação (Scalise & Allen, 2015).

Há ainda limitações relacionadas ao público que responde aos instrumentos informatizados. Embora a inclusão digital esteja aumentando cada vez mais, ainda há pessoas com pouca familiaridade com computador, tablet e outros equipamentos (Bolzan & Löbler, 2016). Para essas pessoas, responder testes informatizados pode gerar ansiedade ou constrangimento, interferindo no desempenho. Seria necessário um preparo cuidadoso do avaliando, podendo tomar muito tempo nesse rapport do que a aplicação de uma versão impressa tomaria.

O formato informatizado, embora facilite cálculos e use multimídia, também implica na necessidade de equipamento adequado. Enquanto testes em papel são mais fáceis de transportar, computadores são mais difíceis. Equipamentos como tablets e smartphones são de fácil transporte, mas têm custo elevado. Além disso, algo comum de acontecer é a atualização de um programa ou sistema operacional interferir com o funcionamento de um aplicativo. Nas minhas pesquisas com testes online tenho presenciado isso com alguma constância. Navegadores de internet (como Firefox ou Chrome) são atualizados com elevada frequência e não é raro que, de uma versão para outra, um aspecto do teste deixe de funcionar ou não funcione como deveria. Nada se alterou na programação do teste, apenas a nova versão do navegador não é compatível. Normalmente em alguns dias é lançada uma nova versão do navegador que corrige o erro, mas essa situação pode prejudicar ou atrasar a coleta de dados em pesquisa.

Há também limitações quanto ao tipo de construto a ser avaliado. Testes de inteligência e inventários de personalidade têm um formato mais fácil de ser digitalizado. Já testes projetivos, não. Testes de mancha de tinta poderiam ser apresentados na tela do computador, porém corre-se o risco de haver perda na qualidade da imagem. Testes de desenho ou outro tipo de produção gráfica requereriam utilização de canetas digitais, um equipamento ainda de alto custo. Portanto, a transposição para versão informatizada seria mais difícil para os testes projetivos, uma limitação que poderia ser corrigida com o desenvolvimento de testes novos para essa modalidade.

Apesar dessas limitações, há indícios de que a informatização tenderá a aumentar cada vez mais (Gosling, Vazire, Srivastava, & John, 2004). Já há testes desenvolvidos exclusivamente para plataforma informatizada, inclusive testes projetivos, e mesmo testes em versão impressa já possuem correção informatizada no website de suas editoras. A informatização permite coleta de dados mais ampliada para pesquisadores, e correções menos sujeitas a erros para psicólogos, além do benefício de novas possibilidades, como visto anteriormente. Os próximos anos ainda trarão novidades e muitas pesquisas nessa área.

Referências

Bennett, R. E. (2001). How the internet will help large-scale assessment reinvent itself. Education Policy Analysis Archives, 9(5), 1-23. doi: 10.14507/epaa.v9n5.2001        [ Links ]

Bolzan, L. M., & Löbler, M. L. (2016). Socialização e afetividade no processo de inclusão digital: Um estudo etnográfico. Organizações & Sociedade, 23(76), 130-149. doi: 10.1590/1984-9230767        [ Links ]

Gosling, S. D., Vazire, S., Srivastava, S., & John, O. P. (2004). Should we trust web-based studies? A comparative analysis of six preconceptions about internet questionnaires. American Psychologist, 59(2), 93-104. doi: 10.1037/0003-066X.59.2.93        [ Links ]

Jewitt, C. (2012). An introduction to using video for research. London: National Centre for Research Methods Working Paper. Retrieved from http://eprints.ncrm.ac.uk/2259/        [ Links ]

Joly, M. C. R. A., & Noronha, A. P. P. (2006). Reflexões sobre a construção de instrumentos psicológicos informatizados. In A. P. P. Noronha, A. A. A. Santos, & F. F. Sisto (Eds.), Facetas do fazer em avaliação psicológica (pp. 95-105). São Paulo: Vetor.         [ Links ]

Scalise, K., & Allen, D. D. (2015). Use of open-source software for adaptive measurement: Concerto as an R-based computer adaptive development and delivery platform. British Journal of Mathematical and Statistical Psychology, 68(3), 478-496. doi: 10.1111/bmsp.12057        [ Links ]

Thompson, N. A., & Weiss, D. J. (2011). A framework for the development of computerized adaptive tests. Practical Assessment Research & Evaluation, 16(1), 1-9.         [ Links ]