SciELO - Scientific Electronic Library Online

 
vol.20 número2Avaliação da qualidade de vida de sobreviventes de leucemia na infânciaReações pós-traumáticas em adultos: como, por que e quais aspectos avaliar? índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Temas em Psicologia

versão impressa ISSN 1413-389X

Temas psicol. vol.20 no.2 Ribeirão Preto dez. 2012

http://dx.doi.org/10.9788/TP2012.2-13 

ARTIGOS

 

Jogo da Escolha: ferramenta informatizada para avaliar preferências por reforçadores

 

Choice Game: internet-based tool to assess reinforcement preferences

 

Juego de la Opción: herramienta computarizada para evaluar las preferencias de los refuerzos

 

 

Giovana Escobal; Nassim Chamel Elias; Celso Goyos

Universidade Federal de São Carlos - São Carlos, SP, Brasil

Endereço para correspondência

 

 


RESUMO

A utilização de reforçamento é o mecanismo central no desenvolvimento de comportamentos operantes. Para implantar, com sucesso, intervenções baseadas em reforçamento em pesquisa básica, aplicada ou translacional, é importante identificar itens de preferência para uso com participantes por meio de métodos de avaliação de preferência. A maioria das pesquisas sobre avaliação de preferência emprega estímulos tangíveis apresentados sobre uma mesa. Embora esse método apresente diversas vantagens, alguns itens e atividades não são facilmente apresentados. Um teste de avaliação de preferência computadorizada poderia resolver parte dessas restrições. Entre as vantagens, está a possibilidade de inserir um banco de dados quase ilimitado de estímulos digitais, como figuras, sons e vídeos. O objetivo da presente pesquisa é, portanto, apresentar um teste de avaliação de preferência computadorizado desenvolvido como uma alternativa para os formatos realizados sobre a mesa. Esta ferramenta informatizada foi desenvolvida para rodar em qualquer navegador comercial e permite aos usuários fazerem atualizações da base de dados com novos estímulos, inserir informações referentes aos testes e criar avaliações de acordo com objetivos específicos. Mais detalhes sobre o funcionamento da ferramenta, chamada "Jogo da Escolha", são apresentados.

Palavras-chave: Avaliação de preferência, Escolha, Ferramenta informatizada, Estímulos digitais.


ABSTRACT

The use of reinforcement is a central mechanism in the development of operant behavior. To reach good results in reinforcement-based interventions in basic, translational or applied research, it is important to identify preferred items to use with patients and participants. One way to accomplish that is through preference assessment methods. Most research on preference assessments employ tangible stimuli presented on a table. Although this method presents several advantages, some items and activities are not easily presented in this more traditional way. A computerized preference assessment test could solve some of these restrictions. Among the advantages is the possibility of keeping a nearly infinite digital stimuli database with pictures, sounds and videos. The objective of this research is therefore to present a computerized preference assessment test developed as an alternative to the table-top formats. This computerized tool was developed to run on any common, well-known browser and allows users to make updates to the database with new stimuli, insert information regarding the tests and create assessments according to specific objectives. More details on the operation of the tool, called "Choice Game", are presented.

Keywords: Preference assessment, Choice, Computer-based tool, Digital stimuli.


RESUMEN

El uso de refuerzo es un mecanismo central en el desarrollo de conductas operantes. Para implementar con éxito, las intervenciones basadas en el refuerzo en investigación básica, traslacional o aplicada, es importante identificar los elementos preferidos para su uso con los pacientes y los participantes a través de métodos de evaluación de preferencia. La mayoría de las investigaciones sobre evaluación de la preferencia emplea estímulos tangibles presentados en una mesa. Aunque este método presenta varias ventajas, algunos elementos y actividades no son fácilmente presentados. Una prueba computarizada de evaluación de preferencia podría resolver algunas de estas restricciones. Entre las ventajas está la posibilidad de insertar una base de datos de estímulos digitales casi infinita, tales como imágenes, sonidos y videos. El objetivo de esta investigación es, por lo tanto, presentar una prueba computarizada de evaluación de la preferencia desarrollada como una alternativa a los formatos realizados sobre la mesa. Esta herramienta informática ha sido desarrollada para funcionar en cualquier navegador comercial y permite a los usuarios hacer actualizaciones de la base de datos con nuevos estímulos, insertar informaciones sobre las pruebas y crear evaluaciones de acuerdo con los objetivos específicos. Se presentan más detalles sobre el funcionamiento de la herramienta, llamada "Juego de la Elección".

Palabras clave: Evaluación de preferencia, Selección, Herramienta computadorizada, Estímulos digitales.


 

 

Avaliação de preferência é um elemento essencial de terapias comportamentais, ensino, intervenções efetivas e de pesquisa básica, translacional ou aplicada com participantes humanos. Conhecer a preferência de uma pessoa ajuda a criar melhores condições para motivar uma pessoa a completar uma tarefa com sucesso (Clausen, 2006; Pace, Ivancic, Edwards, Iwata, & Page, 1985; Piazza, Fisher, Bowman, & Blakeley-Smith, 1999). Uma forma de avaliar preferência envolve a disponibilização de repetidas oportunidades de escolha entre duas ou mais alternativas, simultaneamente disponíveis, para determinar qual é escolhida com mais frequência. O item escolhido com mais frequência poderá exercer a função de um estímulo reforçador. Segundo Catania (1999), um estímulo é considerado reforçador se sua apresentação contingente a uma resposta aumenta o responder que o produz. Exemplos de possíveis estímulos reforçadores são alimentos, bebidas, atenção, dinheiro, entre outros.

Reforçadores potenciais podem ser identificados de diversas maneiras, e uma hierarquia de reforçadores potenciais pode ser construída por meio de métodos indiretos, tais como entrevistas e observações informais ou métodos diretos, tais como Avaliação de Preferência com Estímulo Único (Pace et al., 1985), Avaliação de Preferência de Escolha Pareada (Fisher et al., 1992), Avaliação de Preferência com Múltiplos Estímulos (Carr, Nicolson, & Higbee, 2000; DeLeon & Iwata, 1996) e Avaliação de Preferência de Operante Livre (Roane, Vollmer, Ringdahl, & Marcus, 1998). Os métodos diretos, em geral, são mais precisos que os métodos indiretos (Clausen, 2006).

De maneira geral, as pesquisas sobre a avaliação de preferência (Carr et al., 2000; DeLeon & Iwata, 1996; Fisher et al., 1992; Pace et al., 1985; Roane et al., 1998) têm empregado estímulos tangíveis, tais como itens comestíveis, brinquedos e materiais instrucionais. Ao apresentar itens tangíveis, permite-se que os participantes toquem, saboreiem e cheirem os itens, sintam a textura e rigidez dos itens, brinquem com eles, e assim por diante. A vantagem de se usar itens tangíveis em contraposição a suas representações é que esses itens contam com a junção de todas as suas características, como cheiro, sabor, textura e aparência, para aumentar seu valor reforçador.

Paradoxalmente, existem algumas desvantagens práticas na utilização de itens tangíveis em procedimentos de avaliação da preferência. Uma vez que o participante entra em contato com o item, pode não querer interromper esse contato, o que pode aumentar a duração do tempo total dos testes ou, por vezes, pode levar à interrupção da sessão. O participante pode, ainda, se engajar em comportamentos inadequados quando o pesquisador retira o item apresentado. Além disso, realizar avaliações de preferência com muitos itens pode não ser viável por meio do procedimento que disponibiliza os itens tangíveis sobre a mesa. Nesse caso, o registro dos dados, por exemplo, pode se tornar difícil para o experimentador, demandando a utilização de assistentes de coleta para a tarefa. Alguns itens e atividades, como ir ao shopping ou passear de carro, não seriam facilmente avaliados utilizando os procedimentos que disponibilizam os itens tangíveis sobre a mesa. Um grande número desses itens pode consistir em atividades ou condições difíceis de serem representadas ou que são demoradas para serem montadas e apresentadas como alternativas e, por estas razões, são muitas vezes eliminadas ou, até mesmo, não consideradas para testes de avaliação de preferência e de programas de ensino.

Um teste de avaliação de preferência informatizado com itens digitais (figuras, sons, vídeos, textos), por outro lado, pode substituir procedimentos que disponibilizam os itens tangíveis sobre a mesa com muitas vantagens, apesar dos itens tangíveis não serem apresentados. Entretanto, a ausência dos itens tangíveis não deveria representar uma barreira intransponível, desde que esses testes de avaliação de preferência tenham como pré-requisito a experiência anterior do participante com os itens a serem incluídos no teste, como, por exemplo, arranjar uma situação no ambiente experimental, ou mesmo fora dele, para expor o participante às atividades (por exemplo, levá-lo ao shopping ou para passear de carro) ou a cada item (por exemplo, disponibilizar todos os itens sobre uma mesa e permitir que ele ou ela tenha acesso e experimente ou manuseie cada um dos itens) antes da aplicação da avaliação de preferência.

Outro fator que possibilita a utilização de testes informatizados é que itens digitais e itens tangíveis correspondentes façam parte de uma mesma classe de estímulos equivalentes. Neste caso, supõe-se que o estímulo digital correspondente ao objeto, o próprio objeto e o nome do objeto sejam mutuamente substituíveis. Para se ter uma medida direta de que, por exemplo, figuras e objetos correspondentes pertençam a uma mesma classe de estímulos equivalentes, uma tarefa de escolha de acordo com o modelo pode ser introduzida antes da introdução dos testes de preferência, no início do procedimento. Por exemplo, após o participante aprender a selecionar uma entre três figuras ou um entre três objetos na presença do nome ditado por outra pessoa ou pelo computador, o participante é solicitado a escolher uma entre três figuras, apresentadas como estímulos de comparação, que corresponda a um objeto apresentado como estímulo modelo e vice-versa. Apesar desse teste não garantir que as figuras e os objetos correspondentes possuam as mesmas funções reforçadoras, esta correspondência pode prever a consistência de escolha com alta precisão. Este teste é facilmente programado no software Mestre (Carrer, Pizzolato, & Goyos, 2009; Elias & Goyos, 2010).

O objetivo do presente trabalho é, portanto, apresentar um teste de avaliação de preferência informatizado como uma alternativa para o formato de procedimento de mesa. O formato informatizado é mais flexível, pois permite um maior grau de liberdade para o experimentador. Ele permite economia de tempo, pela construção antecipada e rápida aplicação das avaliações, pela apresentação automatizada dos itens pelo computador e por possibilitar que uma mesma avaliação seja aplicada repetidas vezes. A utilização de itens digitais representa ainda uma economia de dinheiro, à medida que evita a compra de diversos materiais que podem não ser da preferência do participante. A ferramenta tem ainda a vantagem da portabilidade, isto é, pode ser aplicada em qualquer computador com acesso à internet, e usabilidade, isto é, utiliza recursos comuns e bem conhecidos dos navegadores comerciais.

 

Descrição da Ferramenta

A ferramenta foi desenvolvida no ambiente Estúdio Eclipse/Aptana, em linguagem de Hypertext Preprocessor (PHP), usando os conceitos de engenharia de software, tais como padrões de desenvolvimento de software (Model View Controller - MVC1, and Direct Access Object - (DAO2), visando a legibilidade e reutilização do código fonte para futuras mudanças e extensões. A ferramenta permite a utilização de uma ampla biblioteca de estímulos e de gravação automática da resposta de cada escolha. A partir da gravação automática das respostas de escolha em um teste, a ferramenta gera relatórios que listam detalhes de cada oportunidade de escolha. O relatório apresenta informações gerais do teste, como nome, data e duração, e detalhe de cada oportunidade de escolha, como o nome e o tipo do estímulo escolhido, o esquema de reforçamento associado a esse estímulo, o tempo decorrido entre uma resposta de escolha e a resposta seguinte. Na parte final, o relatório apresenta cada estímulo do teste e a quantidade de respostas dadas a cada um deles.

Para ter acesso ao programa, um novo usuário deve contatar os autores deste trabalho para obter um nome de usuário e uma senha. Com essas informações, o novo usuário acessa o endereço www.lahmiei.ufscar.br/jogodaescolha, a partir de qualquer navegador comercial em qualquer computador com ligação à Internet, e pode começar suas atividades. Algumas ações são, então, necessárias antes de iniciar a aplicação de uma avaliação, que estão brevemente descritas abaixo.

Considerando-se um novo teste de avaliação de preferência, o primeiro passo é verificar se os estímulos digitais a serem utilizados já estão na base de dados clicando no link "estímulos". Estímulos novos podem ser inseridos em categorias específicas (animais, brinquedos, comestíveis, etc) ou na categoria global. Novas categorias podem ser adicionadas, digitando seus nomes em uma caixa de diálogo específica e novos estímulos podem ser adicionados, de acordo com as características da avaliação a ser aplicada.

Uma vez que os estímulos estão na base de dados, o experimentador pode começar a programar a avaliação de preferência. O link "Avaliação de Preferência" permite que o experimentador programe um novo teste ou visualize uma lista dos já existentes. Como não há valores padrões definidos a priori, um novo teste de avaliação de preferência é definido pela digitação do nome arbitrário da tarefa e do número de estímulos concorrentes que se deseja que o computador apresente simultaneamente (de dois a oito estímulos). É necessário, ainda, indicar, por seleção com o mouse, os esquemas de reforçamento, concorrentes ou concorrentes com encadeamento, que serão utilizados na tarefa.

Esquemas concorrentes envolvem duas ou mais alternativas simultaneamente disponíveis e sinalizadas (Ferster & Skinner, 1957). Quando o esquema em vigor em uma das alternativas for concluído, a consequência programada é fornecida. Esquemas concorrentes com encadeamento envolvem a apresentação simultânea de duas condições de estímulo associadas cada uma delas a um esquema específico de reforçamento. A primeira condição, chamada elo inicial, apresenta um determinado esquema para as alternativas disponíveis nesse elo; assim que o participante responde sob o esquema desta condição, a segunda condição, chamada elo terminal, é apresentada como consequência; quando o esquema em vigor no elo terminal for concluído, a consequência final programada (por exemplo, o item ou a atividade escolhida) é fornecida. Os esquemas acoplados a cada alternativa podem ser de intervalo, em que um tempo mínimo deve transcorrer antes que uma resposta seja reforçada, ou de razão, em que a última resposta de um número especificado de respostas é reforçada. Em esquemas de intervalo fixo, o tempo é constante de um reforçador a outro; em esquemas de intervalo variável, o tempo varia de um reforçador a outro, desde que a média entre esses intervalos seja o tempo pré-determinado. Da mesma maneira, em esquemas de razão fixa ou variável, o número de respostas é fixo ou variado, respectivamente, entre um reforçador e outro (Catania, 1999).

O próximo passo, então, é selecionar os estímulos a serem apresentados em cada tentativa de escolha de acordo com o esquema de reforçamento a ser utilizado. Nos esquemas concorrentes de reforçamento, o experimentador pode escolher um esquema de reforçamento independente, igual ou diferente, e o valor associado ao esquema para cada estímulo. Nos esquemas concorrentes com encadeamento, o experimentador pode escolher um esquema de reforçamento independente, igual ou diferente, e o valor associado ao esquema para cada estímulo de cada elo. Os esquemas de reforçamento disponíveis são de razão fixa ou variável ou intervalo fixo ou variável e os valores correspondentes para cada esquema específico. O arranjo padrão para cada nova avaliação é de intervalo fixo com um espaço em branco para o valor do intervalo. O esquema de reforçamento pode ser alterado por um dos outros disponíveis e o campo valor pode ser introduzido com a digitação de um número (tempo em segundos, para esquemas de intervalo, ou quantidade de respostas, para esquemas de razão). Deste ponto em diante, o experimentador tem duas alternativas, uma é para criar cada tentativa, uma a uma, e a outra é para escrever o número de tentativas que a ferramenta irá usar para gerar tentativas automáticas randomizados com estímulos pré-selecionados. Na opção manual, após a configuração da programação de reforço, de dois a oito quadrados em branco, de acordo com o número de estímulos concorrentes, representam o hiperlink para uma lista a partir da qual o experimentador irá selecionar o estímulo correspondente com o clicar do mouse. Em seguida, uma nova tentativa pode ser adicionada. Um teste pode compreender quantas tentativas forem necessárias, em uma determinada avaliação.

Depois de inserir todas as tentativas para a avaliação sendo criada, o experimentador deve salvá-la antes de ir para as próximas etapas. Uma vez salva, a avaliação pode ser aplicada repetidas vezes com o mesmo participantes ou com diversos participantes diferentes. O pesquisador também pode excluir uma avaliação que ele criou. O último passo antes de aplicar uma avaliação de preferência é o registrar os participantes e suas informações relevantes ˗ gênero, nome, data de nascimento e dados de diagnóstico. As informações dos participantes são sigilosas e de acesso exclusivo ao experimentador que as cadastrou. A Figura 1 mostra um ensaio hipotético com dois estímulos simultâneos. Depois de um participante responder a todos as tentativas em um teste, a ferramenta resume os resultados em um relatório de dados cujo formato é mostrado na Figura 2, com todas as informações registradas pela ferramenta durante a execução do teste.

A primeira versão da ferramenta permite o uso somente de estímulos digitais em formato de imagens (jpg) e as instruções para o usuário e os links estão em português. Uma nova versão, em andamento, permitirá modalidades de estímulos novos a serem introduzidos, tais como vídeos e áudios digitais, e palavras ou frases escritas, e uma versão em Inglês.

 

Validação da Ferramenta

Um primeiro estudo de validação da ferramenta não publicado já foi realizado por Escobal, Elias, e Goyos. Nesse estudo, Escobal, et al. avaliaram a correspondência entre hierarquias de preferência geradas a partir do método de Avaliação de Preferência de Escolha Pareada (Fisher et al., 1992) com imagens digitais apresentadas através da ferramenta informatizada e com os itens tangíveis correspondentes apresentados sobre uma mesa. Os participantes foram 14 crianças com desenvolvimento típico e nove com deficiência intelectual e/ou autismo. Dois formatos de avaliação de preferência foram apresentados para examinar as hierarquias de preferência geradas com imagens digitais. Esses formatos incluíram a apresentação de imagens digitais em uma tela de computador e itens tangíveis em uma mesa. Os resultados indicaram que os dois métodos (itens tangíveis e imagens digitais) produziram correspondência para a maioria dos itens ranqueados como mais preferidos para a maioria dos participantes. Não foram observadas diferenças entre os participantes com desenvolvimento típico e com deficiência intelectual.

Como uma investigação preliminar, esse estudo contribui para a literatura existente sobre as avaliações de preferência de duas maneiras principais. Este estudo examinou a preferência por estímulos digitais através de uma avaliação de preferência informatizada para identificar reforçadores potenciais, e os resultados sugerem que a avaliação de preferência informatizada pode ser um método viável e preciso para representar estímulos para alguns indivíduos. Em segundo lugar, os resultados desse estudo podem ter importantes implicações para a representação de estímulos complexos. Dado que certas classes de reforçadores potenciais podem ser difíceis de serem representadas e, como resultado, podem ser excluídas da avaliação de preferência com itens tangíveis. Pesquisas futuras poderiam usar avaliações de preferência informatizadas com estímulos digitais para examinar a preferência por atividades, o que constitui a área na qual tais avaliações seriam mais úteis, produzindo economia de tempo e esforço (Groskreutz & Graff, 2009; Hanley, Iwata, & Lindberg, 1999).

A usabilidade e a satisfação com a ferramenta informatizada "Jogo da Escolha" para avaliar a preferência é outra medida que pode indicar aspectos relevantes relacionados com a validade social. Para avaliar esses recursos, cinco professoras de alunos com deficiência intelectual foram ensinadas a criar dois testes de preferência e apresentar aos seus alunos. Em seguida, elas foram convidadas a responder um questionário de satisfação com 14 questões (veja Tabela 1), pontuando as questões de 1 a 13 com valores entre 1 e 5 (1: muito insatisfeito, 2: insatisfeito, 3: indiferença, 4: satisfeito, 5: muito satisfeito). A Questõa 14 deveria ser preenchida com sugestões ou comentários gerais. A Figura 3 mostra os valores dados por cada professora (T1 a T5) para cada questão de 1 a 13.

Em geral, a avaliação das professoras em relação à ferramenta informatizada atingiu uma classificação alta, de satisfeito a muito satisfeito, sendo que 46% das questões recebeu Valor 4 (satisfeito), 42% recebeu Valor 5 (muito satisfeito) e 12% recebeu Valor 3 ou menor. Quanto à Questão 14, as professoras T1, T2 e T4 não fizeram quaisquer sugestões ou comentários. T3 enfatizou que a ferramenta é simples e fácil de manipular, e também relatou que não requer competências técnicas específicas. T5 sugeriu o uso de cores mais suaves na página principal da ferramenta.

De acordo com essas avaliações, a ferramenta informatizada para avaliação de itens de preferência representa uma tecnologia promissora de aplicação em ambientes educacionais e clínicos por ser confiável e fácil de aplicar, possibilitando economia de tempo e uso mais frequente.

 

Referências

Carr, J. E., Nicolson, A. C., & Higbee, T. S. (2000). Evaluation of a brief multiple-stimulus preference assessment in a naturalistic context. Journal of Applied Behavior Analysis, 33,353-357.         [ Links ]

Carrer, H. J., Pizzolato, E. B., & Goyos, C. (2009). Avaliação de software educativo com reconhecimento de fala em indivíduos com desenvolvimento normal e atraso de linguagem. Revista Brasileira de Informática na Educação, 17(3),68-81.         [ Links ]

Catania, A. C. (1999). Aprendizagem: comportamento, linguagem e cognição (D. das Graças de Souza et al. Trads.; 4.ed.). Porto Alegre: Artes Médicas Sul.         [ Links ]

Clausen, K. (2006). Identifying preferences and creating motivation to learn for children with autism spectrum disorders. Center for autism spectrum disorders, Carbondale, IL: Center for autism spectrum disorders.         [ Links ]

DeLeon, I. G., & Iwata, B. A. (1996). Evaluation of a multiple-stimulus presentation format for assessing reinforcer preferences. Journal of Applied Behavior Analysis, 29,519-533.         [ Links ]

Elias, N. C., & Goyos, C. (2010). Mestrelibras no ensino de sinais: Tarefas informatizadas de escolha de acordo com o modelo e equivalência de estímulos. In E. G. Mendes & M. A. Almeida (Orgs.), Das margens ao centro: perspectivas para as políticas e práticas educacionais no context da educação especial inclusiva (1ª. ed.; Vol. 1; pp. 223-234). São Carlos, SP: Junqueira & Marin Editora, 2010.         [ Links ]

Ferster, C. B., & Skinner, B. F. (1957). Schedules of Reinforcement. New York: Appleton-Century-Crofts.         [ Links ]

Fisher, W. W., Piazza, C. C., Bowman, L. G., Hagopian, L. P., Owens, J. C., & Slevin, I. (1992). A comparison of two approaches for identifying reinforcers for persons with severe and profound disabilities. Journal of Applied Behavior Analysis, 25,491-498.         [ Links ]

Groskreutz, M. P., & Graff, R. B. (2009). Evaluating pictorial preference assessment: The effect of differential outcomes on preference assessment results. Research in Autism Spectrum Disorders, 3,113-128.         [ Links ]

Hanley, G. P., Iwata, B. A., & Lindberg, J. S. (1999). Analysis of activity preferences as a function of differential consequences. Journal of Applied Behavior Analysi s, 32,419-435.         [ Links ]

Pace, G. M., Ivancic, M. T., Edwards, G. L., Iwata, B. A., & Page, T. J. (1985). Assessment of stimulus preference and reinforcer value with profoundly retarded individuals. Journal of Applied Behavior Analysis, 18,249-255.         [ Links ]

Piazza, C. C., Fisher, W. W., Bowman, L. G., & Blakeley-Smith, A. (1999). Identifying and assessing reinforcers using choice paradigms. In P. M. Ghezzi, W. L. Williams, & J. E. Carr (Orgs.), Autism: Behavior analytic perspectives (pp. 101-107). Reno, Nevada: Context Press.         [ Links ]

Roane, H. S., Vollmer, T. R., Ringdahl, J. E., & Marcus, B. A. (1998). Evaluation of a brief stimulus preference assessment. Journal of Applied Behavior Analysis, 31,605-620.         [ Links ]

 

 

Endereço para correspondência:
Celso Goyos
Departamento de Psicologia, UFSCar
C. P. 676
São Carlos/SP, Brasil. CEP: 13565-905
Telefone: +55 16 3351 8498. Fax: +55 16 3351 8361
E-mail: celsogoyos@hotmail.com

Recebido em 28 de Março de 2012
Texto reformulado em 17 de Setembro de 2012
Aceite em 22 de Setembro de 2012
Publicado em 31 de Dezembro de 2012

 

 

Os autores agradecem à FAPESP por bolsa de Pós-doutorado concedida à primeira autora (Processo 2010/11201-9). À Capes por bolsa de PNPD institucional concedida ao segundo autor. Ao CNPq por bolsa de Produtividade em Pesquisa concedida ao terceiro autor (Processo 306921/2010-3). Os autores encontram-se vinculados ao Laboratório de Aprendizagem Humana, Multimídia Interativa e Ensino Informatizado (LAHMIEI), UFSCar.