SciELO - Scientific Electronic Library Online

 
vol.22 issue1Evaluation of Student with High Ability/Giftedness Pre and Post Curriculum Enrichment OfferAnger Management Techniques: A Systematic Review author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

article

Indicators

Share


Estudos e Pesquisas em Psicologia

On-line version ISSN 1808-4281

Estud. pesqui. psicol. vol.22 no.1 Rio de Janeiro Jan./Apr. 2022  Epub May 17, 2024

https://doi.org/10.12957/epp.2022.66499 

PSICOLOGIA DO DESENVOLVIMENTO

Validação de Instrumento em uma População Brasileira de Adolescentes em Conflito com a Lei

Validation of Instrument in a Brazilian Population of Adolescents in Conflict with the Law

Validación de Instrumento en una Población Brasileña de Adolescentes en Conflicto con la Ley

Jessica Daniele Silva Moreira2 

Psicóloga, graduada pela Universidade Federal de Campina Grande, mestranda em Psicologia Cognitiva pela Universidade Federal de Pernambuco.


http://orcid.org/0000-0002-0869-1016

Monilly Ramos Araujo Melo1 

Doutora em Psicologia Cognitiva pela Universidade Federal de Pernambuco. Professora do departamento de Psicologia do Centro de Ciências Biológicas e da Saúde da Universidade Federal de Campina Grande - PB.


http://orcid.org/0000-0001-6496-371X

Jucelio Soares dos Santos1 

Doutorando em Ciência da Computação pela Universidade Federal de Campina Grande - PB.


http://orcid.org/0000-0003-4433-7652

1Universidade Federal de Campina Grande - UFCG, Campina Grande, PB, Brasil

2Universidade Federal de Pernambuco - UFPE, Recife, PE, Brasil


RESUMO

Este estudo teve como objetivo a construção de um software, a partir da testagem adaptativa informatizada para computadores e dispositivos móveis, como possível ferramenta para a avaliação neuropsicológica do controle inibitório. Foi realizado estudo empírico com 70 adolescentes entre 14 e 18 anos que cumpriam medida socioeducativa em complexo de reabilitação. Foi empreendida uma análise via TRI através da constatação do modelo logístico de três parâmetros (3PL); os itens foram ajustados apresentando confiabilidade (Alfa de Cronbach = 0,909). Outra análise constatou a relação entre a tarefa construída e o Five Digit Test (teste que avalia construtos similares). Os resultados apontaram que a tarefa construída tem potencial para avaliar o CI, considerando que a correlação dos escores entre os instrumentos obteve níveis consideráveis de significância (no nível de 0,05). Além disso, verificou-se que o uso da tecnologia da informação no processo de avaliação neuropsicológica torna o processo mais dinâmico e atrativo para o avaliado, além de mais prático e econômico para o avaliador.

Palavras-chave: adolescente; testes neuropsicológicos; neuropsicologia; psicologia do adolescente.

ABSTRACT

This study aimed to build a software from computerized adaptive testing for computers and mobile devices as a possible tool for the neuropsychological assessment of inhibitory control. An empirical study was carried out with 70 teenagers between 14 and 18 years old who were completing socio-educational measures in a rehabilitation complex. An analysis was carried out via IRT through the verification of the logistic model of three parameters (ML3), the items were adjusted showing reliability (Cronbach's alpha = 0.909). Another analysis found the relationship between the constructed task and the Five Digit Test (a test that assesses similar constructs). The results showed that the constructed task has the potential to assess the IC, considering that the correlation of scores between the instruments obtained considerable levels of significance (at the level of 0.05). Furthermore, it was found that the use of information technology in the neuropsychological assessment process makes the process more dynamic and attractive for the individual, in addition to being more practical and economical for the assessor.

Keywords: adolescent; neuropsychological tests; neuropsychology; adolescent psychology.

RESUMEN

Este estudio tuvo como objetivo construir un software, a partir de pruebas adaptativas computarizadas para computadoras y dispositivos móviles como una posible herramienta para la evaluación neuropsicológica del control inhibitorio. Se realizó un estudio empírico con 70 adolescentes entre 14 y 18 años que estaban completando medidas socioeducativas en un complejo de rehabilitación. Se realizó un análisis vía TRI mediante la verificación del modelo logístico de tres parámetros (3PL), los ítems fueron ajustados mostrando confiabilidad (alfa de Cronbach = 0.909). Otro análisis encontró la relación entre la tarea construida y la prueba de cinco dígitos (una prueba que evalúa constructos similares). Los resultados señalaron que la tarea construida tiene potencial para evaluar el CI, considerando que la correlación de puntajes entre los instrumentos obtuvo niveles considerables de significancia (al nivel de 0.05). Además, se encontró que el uso de la tecnología de la información en el proceso de evaluación neuropsicológica hace que el proceso sea más dinámico y atractivo para el individuo, además de ser más práctico y económico para el evaluador.

Palabras clave: adolescente; pruebas neuropsicológicas; neuropsicología; psicología del adolescente.

As funções executivas (FE) referem-se a um conjunto integrado de habilidades que possibilitam ao sujeito planejar, direcionar, monitorar e sequenciar seus comportamentos de maneira independente, a fim de alcançar objetivos específicos (Santana, Melo, & Minervino, 2019). O modelo da tríade executiva (Miyake, et al., 2000) postula a existência de três funções executivas principais: updating (adaptação e monitoramento de informações na memória de trabalho), inhibition (inibição de respostas automáticas) e shifting (alternância flexível entre atividades) (Corso, Sperb, Inchausti de Jou, & Salles, 2013).

Observa-se que a inibição de respostas automáticas possibilita o controle da atenção, comportamentos, pensamentos e emoções no intuito de suprimir fortes predisposições internas ou externas (Diamond, 2013). Por sua vez, a adaptação e monitoramento de informações na memória de trabalho permite manter e processar mentalmente informações sonoras ou visuais, tendo em vista a resolução de um problema (Diamond, 2013). Por fim, a alternância flexível entre atividades proporciona a modificação consciente de perspectivas ou abordagens para solucionar um problema, permitindo a adaptação de forma flexível às novas exigências, regras e prioridades (Ramos & Segundo, 2018).

No que se refere especificamente ao desenvolvimento da capacidade de inibição das respostas automáticas, também conhecida como controle inibitório, a literatura aponta que na fase da adolescência, o amadurecimento dos sistemas neurais e físicos se intensificam devido a uma série de demandas externas; além disso, as mudanças de comportamento, comuns nessa fase da vida, aumentam a propensão a riscos relacionados à tomada de decisões, tendo em vista que todos os processos executivos ainda não estão firmados (Mothes et al., 2013).

O prejuízo no processo de tomadas de decisões como, por exemplo, cometer um delito e responder por ele diante das instituições responsáveis, têm levado o período da adolescência a se tornar foco de atenção por parte da justiça e da sociedade, especialmente com relação a estes adolescentes considerados em conflito com a lei, aqueles que de alguma forma cometeram infrações, e que por meio de medidas socioeducativas passam a responder por elas (Maia, Silva, & Oliveira, 2019). Ressalta-se que o cometimento de infrações é apenas um dentre os vários comportamentos inadequados que podem estar presentes na adolescência. Considerando o aprimoramento dos processos cognitivos já mencionados, o cérebro adolescente lida com os eventos desencadeados pela puberdade e pela relativa instabilidade funcional do córtex pré-frontal, podendo ocasionar uma maior busca por recompensas imediatas, reações emocionais fortes e consequentes comportamentos de risco (Oliveira, Fragoso, Ferro, & Rezende, 2019).

Nesse sentido, é possível compreender que a identificação de medidas socioeducativas instruídas, também, a partir de uma avaliação neuropsicológica, pode ser essencial para entender essa fase do desenvolvimento e intervir visando diminuir a possibilidade de reincidência por parte dos adolescentes (Maruschi, Estevão, & Bazon, 2013). Para que seja possível a realização da avaliação mencionada, recomenda-se a utilização de testes neuropsicológicos. No entanto, verifica-se, na literatura, uma escassez de instrumentos válidos, normatizados e padronizados para esse tipo de avaliação na fase da adolescência (Santana, Melo, & Minervino, 2019). Verifica-se ainda que, dentre os instrumentos validados para a faixa etária da adolescência, nenhum é informatizado (Moreira, Melo, Santana, & Minervino, 2019). Ressalta-se que a utilização de recursos tecnológicos para aprimorar técnicas de avaliação possibilita o aumento da precisão e credibilidade dos resultados (Massalai, Pires, & Landeira-Fernandez, 2018; Penha, Fernandes, Oliveira, Oliveira, & Barros, 2018).

A informatização facilita e agiliza o processo de coleta e análise de dados e só é possível através da Testagem Adaptativa Informatizada (TAC), que viabiliza a utilização da Teoria de Resposta ao Item (TRI) - uma perspectiva que trabalha partindo do entendimento da existência de traços latentes (habilidades), a partir dos quais o indivíduo responde a estímulos, como por exemplo, itens de um teste (Araujo et al., 2020). Essa última, associada à TAC, cria uma forma interativa de aplicação na qual os itens do teste utilizado surgem a partir da habilidade do usuário que está respondendo, proporcionando assim resultados mais próximos da realidade (Araujo et al., 2020).

Diante da escassez de instrumentos validados para esta demanda, o presente trabalho teve como objetivo geral construir um software de testagem adaptativa informatizada para computadores e dispositivos móveis como possível ferramenta para a avaliação neuropsicológica do controle inibitório. Especificamente, objetivamos: (1) investigar a validade do instrumento em amostra de adolescentes que cometeram atos infracionais, (2) submeter os dados coletados ao processo de validação convergente para verificação de indícios de validade do software e (3) conhecer o desempenho do controle inibitório na amostra de adolescentes em conflito com a lei.

Espera-se que a ferramenta construída seja capaz de fornecer informações sobre funcionamento do controle inibitório dos adolescentes participantes deste estudo.

Método

Participantes

A seleção dos participantes ocorreu a partir do método não-probabilístico. Fizeram parte da pesquisa adolescentes entre 14 e 18 anos, do sexo masculino, tendo em vista que a instituição na qual os dados foram coletados não recebe adolescentes do sexo feminino. Todos os participantes estavam cumprindo medida socioeducativa de internação em um complexo de reabilitação. A amostra final foi composta por 70 (setenta) adolescentes selecionados a partir dos seguintes critérios de exclusão: (1) presença de distúrbios neurológicos (o que foi verificado no protocolo da instituição), (2) não realização de pelo menos três itens dos testes após o treino e (3) não participação da aplicação de todos os instrumentos. Salienta-se que nenhum dos adolescentes foi excluído após esta análise. Esperava-se um número maior na amostra final, o que não foi possível devido à limitação no funcionamento da instituição onde os dados foram coletados.

Ressalta-se que a decisão acerca da amostra de adolescentes em conflito com a lei foi considerada para este estudo inicial devido à dificuldade de acesso a outras instituições no período da coleta; entretanto, outros estudos com adolescentes escolares e em outros contextos para busca de mais indícios de validade estão em andamento. Além disso, este manuscrito se refere a um estudo de levantamento acerca de uma fase do desenvolvimento que carece de pesquisas nesta perspectiva, sobretudo, considerando o uso de um instrumento informatizado (Moreira et al., 2019).

Instrumentos

Um questionário foi construído para verificação de informações acerca do participante, consistindo em um documento autoaplicável, no qual 30 perguntas são colocadas para o indivíduo. Foi dividido em três seções: a primeira solicita informações pessoais do participante; na segunda informações a respeito da família e meio social; e a terceira solicita informações acerca do/s ato/s infracional(is) cometido(s) pelo indivíduo, por exemplo, “O bairro onde você vive é considerado seguro?”, “Você fez uso de substâncias químicas no dia em que cometeu o ato infracional?”, “É reincidente?”

O Five Digits Test (FDT) (Sedó, Jardim de Paula, & Malloy-Diniz, 2015) foi utilizado enquanto teste neuropsicológico para avaliação das funções executivas (controle inibitório e flexibilidade). O instrumento é adequado para o contexto clínico, organizacional e neuropsicológico e tem por finalidade avaliar a velocidade de processamento cognitivo, a capacidade de focar e reorientar a atenção e a capacidade de lidar com interferências. Pode ser aplicado individualmente em crianças a partir dos 6 anos, adolescentes, adultos e idosos até os 92 anos. Por não exigir domínio da língua escrita, pode ser aplicado também em pessoas não alfabetizadas. Cada administração dura em entre 5 a 10 minutos. Este teste foi incluído para a verificação da validade convergente, tendo em vista abordar o mesmo construto da tarefa em construção.

A tarefa informatizada para avaliação do controle inibitório construída, a partir deste estudo, possui sua apresentação em formato de jogo, no qual uma história é contada ao participante. O narrador conta a história de um mundo onde “tudo que acontece aqui na terra, lá acontece ao contrário”; após a apresentação do jogo, o participante é convidado para jogar “como se estivesse nesse lugar ao contrário”. A ferramenta utiliza o efeito Stroop, sendo baseada no teste Stroop Dia/Noite (Gerstadt, Hong, & Diamond, 1994). Dessa forma, os itens são apresentados através de uma tela com dois lados, onde um deles representa “nosso mundo” e o outro “o mundo contrário”: o jogador ouve o estímulo de áudio e para que responda corretamente precisa inibir uma resposta automática de clicar exatamente na representação do que foi dito. É necessário que se clique no lado oposto. Observa-se assim que a tarefa mensura o controle inibitório, bem como o tempo que o indivíduo leva para responder os itens. O jogo pode ser utilizado com crianças ou adolescentes e não exige a utilização de leitura ou escrita, podendo ser aplicado em indivíduos não alfabetizados. A aplicação dura até 3 minutos, a depender do nível de compreensão do avaliado.

Construção da Ferramenta

Os passos realizados para construção da ferramenta informatizada estão dispostos nos próximos tópicos.

Elaboração dos Itens Iniciais. A literatura aponta que um item é composto por um conjunto de palavras selecionadas com o respectivo desenho gráfico/animação e arquivo de áudio (Araujo et al, 2020). Dessa forma, para a construção dos itens do jogo, foram necessárias quatro etapas: seleção das palavras, elaboração dos desenhos, elaboração dos áudios e a decisão do conteúdo do jogo.

Seleção das Palavras. A partir de uma lista de palavras antônimas, elaborada pelo grupo de pesquisa responsável pela construção do instrumento, foram selecionados 24 pares de palavras para composição final do jogo.

Elaboração dos Desenhos. A partir da biblioteca gratuita freepik (http://br.freepik.com/), foi realizado o download de uma representação gráfica para cada palavra selecionada, as representações foram vetorizadas, sendo algumas modificadas por meio da ferramenta de edição de gráficos CorelDRAW Graphics Suite X8. Para efetivação dos desenhos foi levado em consideração o público-alvo do teste. Ao todo foram feitos/modificados 24 desenhos para compor os itens.

Elaboração dos Áudios. Uma vez construídas as figuras, os áudios para composição dos itens foram gravados por uma estudante de jornalismo. A gravação ocorreu a partir do aplicativo ‘Smart Recorder’, um gravador de som disponível nas plataformas Play Store e Apple Store, de forma gratuita.

Decisão do Conteúdo do Jogo. Foram tomadas algumas decisões em relação ao formato do conteúdo para o jogo: i) Para as imagens foi escolhido o padrão Joint Photographics Experts Group (JPEG) por ser um dos formatos mais usados na Internet em termos de qualidade visual; ii) Para o áudio, optou-se pelo padrão WAV, pois os arquivos têm uma qualidade alta na taxa de bits determinada; iii) Em relação à composição de conteúdo, foi escolhido o modelo baseado na sincronização temporal das figuras e áudios; iv) Em relação à linguagem, foi escolhido C# por ser uma linguagem multi-paradigma, fortemente tipada e bastante utilizada em projetos de desenvolvimento de jogos, especialmente desenvolvidos no Unity3D.

Requisitos Funcionais. Os requisitos funcionais de um software descrevem o que ele deve fazer, as funcionalidades da aplicação, os serviços oferecidos e a maneira como o sistema deve reagir em cada contexto. Os requisitos dependem dos possíveis usuários e da abordagem que será adotada (Araújo et al., 2020). Nesse sentido, o jogo construído possui as seguintes funcionalidades: (1) Disponibiliza as seguintes páginas de acesso público: informações, créditos e submissão do pedido de entrada, (2) disponibiliza as seguintes páginas de acesso pós-autenticação: lista de testes disponíveis a serem aplicados com seu respectivo nome e descrição, página para desempenho individual do adolescente, (3) disponibiliza a interação do adolescente com a habilidade da tarefa do jogo (controle inibitório), (4) estabelece as seguintes regras do teste: diz respeito a uma ferramenta multimídia, com a capacidade de incorporar itens com recurso de texto, imagens e áudios harmonizados. A tarefa avalia a habilidade de controle inibitório e registra o tempo de resposta, acerto/erro durante a interação do adolescente.

Requisitos Não-funcionais. Os requisitos não funcionais referem-se às propriedades, premissas, considerações e restrições do jogo (Garcia et al., 2007). O jogo possui as seguintes qualificações: (1) está disponível para recursos móveis; (2) possui alta disponibilidade; (3) apresenta linguagem clara e objetiva; (4) interface amigável para o usuário primário sem se tornar fatigante para usuários mais experientes; (5) boa sequência dos eventos para o entendimento do mesmo; e (6) as informações receptivas (controle de acesso e privacidade) são anexadas a um banco de dados seguro.

Sequência de Eventos do Jogo. No que concerne à estrutura, a tarefa é dividida em três etapas: (1) Apresentação do jogo; (2) Estabelecimento das atividades relacionadas ao controle inibitório; e (3) Finalização do jogo. As orientações do jogo relacionadas à execução são apresentadas na Etapa 1, quando o narrador conta a história da “terra contrária” onde tudo acontece ao contrário do que ocorre aqui, o participante ouve a história, e em seguida é convidado a jogar. Na Etapa 2 são apresentados em cada parte da tela dois cenários inversos, representando as características da palavra-estímulo, por exemplo, “subindo-descendo”, “longe-perto”, “início-fim”, “comprido, curto” (Figura 1), o participante deve escolher o lado oposto daquele verbalizado enquanto palavra-estímulo, por exemplo, se for dito “início” marcar “fim”. Após a finalização do desafio (Etapa 2), inicia-se a etapa de finalização do jogo, que fornece uma avaliação global do desempenho do participante na atividade executada.

Figura 1 Exemplo da tarefa do Controle Inibitório: “comprido-curto”. O participante deverá marcar o contrário em relação ao estímulo de voz. 

Análise dos Dados do Estudo de Validação. Os dados coletados foram analisados pela Teoria de Resposta ao Item, utilizando o modelo proposto por Birnbaum (1968). A análise foi empreendida através do MS Excel para análise do modelo logístico de três parâmetros (3PL), que expõe a probabilidade de um participante acertar um item. No modelo supracitado temos que: “a” representa o parâmetro de discriminação do item; “b” representa o parâmetro de dificuldade do item; e “c” representa o parâmetro de acerto ao acaso (Miguel, 2014). Acerca desses parâmetros, foram considerados desajustados os itens com: valor do índice de discriminação abaixo do valor crítico de 0,30; valor do índice de dificuldade acima do valor de 2,95 ou abaixo de -2,95; e probabilidade de acerto ao acaso acima do valor crítico de 0,40 (Araujo et al, 2020; Vendramini & Dias, 2005).

O 3PL produz uma escala padronizada de traço/habilidade latente (média = 0 e DP = 1), esta escala poderá variar entre -3 e +3 assim, os escores são estimados pela TRI. Neste estudo foi utilizada a máxima verossimilhança, sendo atribuído para cada participante um escore que melhor identifica seu posicionamento na escala do traço latente (estimativa). O algoritmo utilizado (1) estima a habilidade, a priori, no intervalo (-1, 1); (2) escolhe o primeiro item pela Máxima Informação de Fisher na habilidade; (3) estima novamente a habilidade mediante as respostas fornecidas pelo usuário; (4) escolhe o próximo item (aquele que melhor estime a habilidade); e (5) Repete os passos 3 e 4 até não ser mais necessária nenhuma resposta, segundo algum critério pré-estabelecido; neste caso, quando o erro padrão do cálculo da habilidade for menor que 0,01 ou quando o número mínimo e máximo de itens for aplicado, o que ocorrer primeiro.

Como a amostra foi composta por diferentes idades, verificou-se a precisão separada por faixa etária. Tais informações tendem a esclarecer para quais faixas etárias o instrumento pode ser mais confiável quando aplicado. A quantidade de participantes de acordo com a idade, bem como os dados descritivos dos mesmos está disposta na Tabela 1.

Tabela 1 Caracterização dos adolescentes participantes do estudo 

Características n %
Idade
14 anos 1 1=4
15 azos 5 7,1
l6 anos 17 24,3
17 anos 31 44,3
18 anos 16 22,9
Escolaridade
Somente alfabetizado 2 2,9
Ensino Fundamental incompleto 57 81,4
Ensino Médio incompleto 9 12,9
Ensino Médio completo 1 1=4
Iniciou o Ensino Superior 1 1,4
Renda mensal
Somente Bolsa-Família* 18 25,7
Menos de um salário mínimo 11 15=7
Até um salário mínimo 22 31,4
Até dois salários mínimos 11 15,7
Mais de dois salários mínimos 8 11,5

Nota.

* Cada beneficio possui valor de RS 41.00 reais, podendo uma família acumular até 5 benefícios pormês, chegando a R$ 205,00 reais; n= amostra.

Aspectos Éticos dos Estudos. Este estudo seguiu as Diretrizes e Normas Regulamentadoras de Pesquisas Envolvendo Seres Humanos (Resolução n. 510/16) e foi aprovada através do parecer 2.290.254 pelo Comitê de Ética da Universidade Federal de Campina Grande.

Resultados

Foi realizado cálculo do poder (confiança para estimar um dado efeito), via tamanho da amostra o resultado demonstrou uma potência de 0.66. Considerando este valor, a literatura da área aponta que o poder médio dos estudos na área da psicologia está em 50% (Cohen, 1962). Entretanto, salienta-se que para que fosse possível obter resultados mais adequados uma amostra de 180 pessoas seria o ideal (Soper, 2021).

No que concerne à análise dos parâmetros dos itens da ferramenta foram encontrados valores críticos para os parâmetros estimados em três itens da ferramenta informatizada; os itens 6 e 19 foram excluídos, pois os parâmetros de discriminação e dificuldade estavam acima dos valores pré-estabelecidos. Por sua vez, o item 7 foi excluído, pois o parâmetro de discriminação estava acima do valor crítico. Os demais itens ficaram assim todos ajustados dentro dos parâmetros. Logo, os resultados sugerem que o modelo de Birnbaum (1968) proporciona um quadro de referência útil para o refinamento psicométrico dos instrumentos de avaliação psicológica. Neste estudo, sua aplicação demonstra, no caso específico da tarefa informatizada, que os seus respectivos itens são representativos e relevantes (validade de conteúdo), para os domínios do construto analisado (controle inibitório) e que há correspondência entre as ordens de dificuldade das categorias de itens individuais, e de pares de estímulos previstas e as ordens de dificuldade encontradas empiricamente nos itens ajustados (validade de construto). Na Tabela 2 estão dispostos todos os itens elaborados com seus respectivos valores de ajuste. Os itens em negrito foram os excluídos após a análise inicial.

Tabela 2 Parâmetros Estimados por item 

parâmetros estimados
item referência imagem relacionada a b c
il fora/dentro borboleta vidro 2,200 -1,086 0,130
i2 frio/quente fogueira e gelo 2,060 -1,373 0,151
i3 vazio/cheio copo de leite 2,081 -1,685 0,140
i4 subindo/descendo bode no morro 1,732 -1,252 0,156
i5 dentro/fora tartaruga no casco 1,357 -1,319 0,161
i6 em cima/em baixo melancia na mesa 4,318 -1,123 0,136
i7 em baixo/em cima rato na mesa 4,183 -1,589 0,133
i8 seco/molhado vestido no varal 1,000 -0,927 0,145
i9 início/fim faixa quadriculada 3,051 -1,034 0,129
i10 molhado/seco menino com guarda-chuva 1,300 -0,855 0,140
ill fraco/forte macaco com bananas 2,825 -1,271 0,130
i12 aberto/fechado livro na mesa 0,748 -1,182 0,169
i13 rápido/lento foguete e caracol 1,387 -1,102 0,160
i14 longo/curto menina com cabelo preto 0,989 -0,738 0,147
i15 cheio/vazio cesta de frutas 2,734 -0,989 0,129
i16 quente, frio sorvete e café 1,389 -0,977 0,142
Ü7 fechado/aberto casa com janela 2,977 -1,490 0,139
i18 fim/início placas verde e vermelha 3,555 -1,299 0,131
i19 descendo/subindo crianças na gangorra 0,727 4,899 0,263
i20 aceso/apagado fogueira 0,947 -1,277 0,146
i21 apagado/aceso poste 1,166 -1,604 0,156
i22 curto/longo cachorro 1,482 -0,781 0,166
i23 forte/fraco menino levantando peso 1,668 -0,247 0,123
i24 lento/rápido tartaruga e coelho 1,299 -0,556 0,135

Considerar: a = parâmetro de discriminação do item; b = parâmetro de dificuldade do item; c = parâmetro de acerto ao acaso.

Nota. Os itens marcados em negrito foram considerados inadequados após análise 3PL.

A partir da obtenção dos números totais de acertos e erros dos adolescentes, bem como o tempo de resposta de cada um, verificou-se a correlação entre todos os itens da tarefa, ou seja, a consistência interna do instrumento. Concluiu-se, a partir dos valores do Alfa de Cronbach, conforme Tabela 3, que os resultados obtidos na avaliação do instrumento são confiáveis.

Tabela 3 Consistência interna da tarefa Informatizada 

total de participantes 70
total de itens 21
média de pontuação 16,771
desvio padrão 4,923
alfa de Cronbach 0,90

Por sua vez, para a verificação das estimativas dos parâmetros das respostas dos adolescentes considerou-se a proporção de acertos e a correlação do ponto bisserial entre a resposta correta no item e a pontuação total na tarefa.

As correlações do ponto-bisserial apontaram certa tendência de escolha da opção errada, entre os adolescentes que obtiveram os escores mais altos, no item 23 (0,263). A proporção de acertos para este item da tarefa foi de 0,743. Apesar disso, conforme supracitado, o item se encontra ajustado de maneira adequada. A representação gráfica das curvas referentes aos itens do teste está disposta na Figura 2.

Figura 2 Curva Característica dos itens calibrados 

Observa-se na figura 2 que quanto maior for a habilidade do indivíduo melhor será a probabilidade de acerto, sendo esta relação não linear. As curvas destacam a quantidade de informações fornecidas em uma determinada região do traço latente. Além disso, observa-se os valores extremos dos índices de discriminação, dificuldade e acerto ao acaso. Destaca-se que não há itens muito discriminativos, ou seja, todos possuem pouca probabilidade de resposta ao acaso. Por sua vez, o item 4 é o menos discriminativo. Os itens mais fáceis são o 8 e o 14 e o item com menor probabilidade de chute é o 18.

Para a busca de mais indícios de validade, utilizou-se o procedimento de validação convergente, que consiste na verificação da relação entre os escores do teste a ser validado e outro instrumento já validado que avalie construtos similares, ou seja, convergentes (Rueda & Muniz, 2012). Inicialmente realizou-se análise a partir do teste não-paramétrico MannWhitney para verificação de ranqueamentos médios da amostra (p = < 0,05). Os resultados apontaram que havia diferenciação acima de 0,05 no grupo de 14 a 15 anos, ou seja, houve diferenças consideráveis dentro dessa faixa etária, o que levou à exclusão do único participante com 14 anos que compunha a amostra.

Foram empreendidas análises de correlação a partir das seguintes categorias: Tempo de inibição no teste Five Digits (FDT); Quantidade de erros de Escolha no teste Five Digits (FDT); Tempo total na tarefa informatizada; e Quantidade de erros na tarefa informatizada. Salienta-se que no que se refere ao FDT os erros foram computados a partir do subteste ‘Escolha’, tendo em vista que nessa fase o sujeito inibe a leitura dos números apresentados e diz quantos números estão dispostos em cada estímulo (Campos, Silva, Florêncio, & Jardim de Paula, 2016). Dessa forma, verifica-se que é nessa etapa do teste que o controle inibitório é avaliado. Os resultados apontaram baixo nível de significância entre os tempos de resposta nos testes, porém no que se refere aos erros, as correlações foram significativas no nível de 0,05, conforme apresenta a Tabela 4.

Tabela 4 Correlações entre tempo e erro dos testes 

variáveis (p) (r)
tempo teste fdt/tempo teste inf. - 15 anos 0,789 0,167
tempo teste fdt/tempo teste inf. - 16 a 18 anos 0,952 0,008
erro teste fdt/ erro teste inf. - 15 anos 0,002* 0,986*
erro teste fdt/erro teste inf. - 16 a 18 anos 0,011* 0,315*

Considerar: 0.00 a 0.19 = bem fraca; 0.20 a 0.39 = fraca;0.40 a 0.69 = moderada;0.70 a 0.89 = forte; 0.90 a 1.00 = muito forte (Shimakura, 2006).

* A correlação é significativa no nível 0,05 (bilateral)

Por fim, acerca dos erros relacionados à idade de cada participante, verificou-se que aos 15 anos o maior escore obtido foi 19; aos 16 anos 20; aos 17 anos 21; e aos 18 anos também 21.

Discussão

As análises de correlação realizadas a partir das categorias do teste FDT que avaliam o controle inibitório apresentaram resultados insatisfatórios no que se refere ao tempo de resposta entre os instrumentos analisados. Verificou-se que os participantes demoraram mais tempo para responder aos itens do instrumento informatizado, o que pode ser justificado tendo em vista que a tarefa, por utilizar de recursos gráficos com cores, possui características que levam mais tempo para serem assimilados pelo indivíduo, enquanto o FDT em sua fase de escolha apresenta somente números em preto e branco, o que torna a leitura do teste mais rápida.

Nessa perspectiva, a literatura aponta que, ao se deparar com um novo estímulo visual, o indivíduo irá acessar a memória para localizar informações acerca da nova percepção, o que irá requerer certo espaço de tempo, que pode não ser perceptível na observação, mas em situações de avaliação o período de ocorrência desse processo será identificado (Leote, 2015). Além disso, por ser autoaplicável a tarefa informatizada possui recursos de áudio que precisam ser compreendidos em cada item para que a resposta seja escolhida pelo participante, o que não ocorre nas fases do teste FDT onde as instruções são dadas apenas no início da aplicação.

Nesse sentido, apesar da baixa correlação referente ao tempo, o instrumento revelou potencial para avaliar a habilidade que se propõe, ou seja, o controle inibitório, na medida em que apresentou correlações de moderada a alta entre as medidas de erros nos testes, especialmente na faixa etária de 15 anos (0,98, p=0,005). Acerca dos erros relacionados à idade de cada participante, verificou-se que aos 15 anos o maior escore obtido foi 19; aos 16 anos 20; aos 17 anos 21; e aos 18 anos também 21, o que evidencia que a capacidade de controlar impulsos, conforme já mencionado, torna-se mais desenvolvida com a proximidade da idade adulta (Diamond, Barnett, Thomas, & Munro, 2007).

Outra divergência observada entre as tarefas ocorre, pois no teste FDT o tempo apresenta mais relevância na avaliação do controle inibitório do que na tarefa informatizada. Faz-se importante destacar que o teste FDT foi escolhido para viabilizar o processo de validação, pois apresenta tabelas normativas para o grupo adolescente, sendo assim utilizado em outros estudos semelhantes (Gomes, Farias, Legal, & Sardá Junior, 2021; Massalai et al., 2018; Biajoni & Uehara, 2021), o que não ocorre com instrumentos considerados padrão ouro como é o caso do teste Stroop, que também não é disponibilizado no SATEPSI como teste favorável.

Observou-se que, a partir da interface entre a neuropsicologia cognitiva e a tecnologia da informação na avaliação das funções executivas, houve agilidade no processo de coleta e análise de dados. Além disso, o uso da tecnologia possibilitou maior confiabilidade nos resultados, tendo em vista que o software disponibiliza os resultados em output, não sendo necessária a realização de correção via papel e lápis. Ainda nesse sentido, foi possível observar que os participantes avaliados responderam à tarefa informatizada com maior entusiasmo que no teste tradicional utilizado para validação convergente.

Acerca das evidências de validade encontradas na ferramenta a partir da realização deste estudo, considerando que são estas evidências que justificam a confiança nos dados produzidos, verificou-se que, em relação aos erros empreendidos nos dois testes as correlações, foram significativas no nível de 0,05, o que demonstra que a tarefa construída possui evidências de validade, pois expõe valores aceitáveis entre os itens que avaliam as mesmas funções nos dois testes, apresentando dessa forma semelhanças entre os instrumentos que objetivam avaliar o controle inibitório. Salienta-se que a preservação da expressão de acordo com outros testes que avaliam os mesmos constructos, assegura o uso de um teste associado com outros instrumentos, ampliando a identificação das características e, do nível de possibilidade de seu uso para avaliação (Alchieri, Núñez, Cervo, & Hutz, 2008).

Considerações Finais

A partir da realização deste estudo, observou-se que a ferramenta construída apresenta potencial para avaliação do controle inibitório, o que pode ser considerado um avanço dado a escassez de instrumentos informatizados com este objetivo e para o público adolescente. Todavia, observou-se enquanto limitação a utilização do Teste Five Digits (Sedó, et al., 2015) como parâmetro para validação, pois o mesmo apresentou divergências de correção, tendo em vista que este avalia o controle inibitório de maneira diferente da tarefa informatizada. Sendo assim, em estudos posteriores é viável que se utilize o teste de Stroop, instrumento considerado padrão ouro na avaliação do controle inibitório. Assim, será possível obter dados mais aproximados da realidade da tarefa construída. A construção da ferramenta pode ser vista enquanto um avanço nos estudos que envolvem a avaliação neuropsicológica com o público adolescente. Para estudos futuros espera-se aumentar o número de participantes, bem como realizar a coleta de dados com adolescentes não institucionalizados, possibilitando assim análises mais robustas e maior poder de generalização dos achados.

Financiamento: A pesquisa relatada no manuscrito foi financiada pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico - CNPq através de bolsa de iniciação tecnológica da primeira autora.

Agradecimentos:

Os autores agradecem ao Complexo Lar do Garoto, unidade socioeducativa da Fundação Desenvolvimento da Criança e do Adolescente “Alice de Almeida” em Lagoa Seca - PB, nas pessoas de Luiz Antônio (diretor do período) e Juliana Cavalcante (psicóloga da instituição) pelo apoio institucional e acesso ao local de pesquisa.

Referências

Alchieri, J. C., Núñez, J. C., Cervo, C. S., & Hutz, C. S. (2008). Características de validade convergente e divergente de instrumentos de avaliação da personalidade com o Inventário de Estilos de Personalidade de Millon. Aletheia, (28), 119-134. Recuperado de http://pepsic.bvsalud.org/pdf/aletheia/n28/n28a10.pdfLinks ]

Araujo, A. L. S. O., Santos, J. S., Melo, M. R. A., Andrade, W. L, Guerreiro, D. D. S., & Figueiredo, J. C. A. (2020). Metodologia de Pesquisa Cientifica em Informatica na Educacao: Abordagem Quantitativa. In P. Jaques, M. Pimentel, S. Siqueira, I. Bitencourt (Ed.), Teoria de resposta ao item (pp. 2-29). Porto Alegre: SBC. Recuperado de https://metodologia.ceie-br.org/livro-1/Links ]

Biajoni, M., & Uehara, E. (2021). Impulsividade em Adolescentes em Vulnerabilidade às Substâncias Psicoativas: Proposta de Avaliação Neuropsicológica. Revista de Psicologia da IMED, 13(1), 246-263. doi: 10.18256/2175-5027.2021.v13i1.3696 [ Links ]

Birnbaum, A. (1968). Some latent trait models and their models ant their use in inferring an examinee´s ability. In F. M. Lord & M. R. Nov Ick (Ed.), Statistical theories of mental test scores (pp. 397-479). Reading, MA: Addison-Wesley. Recuperado de https://www.ets.org/research/policy_research_reports/publications/book/1968/awejLinks ]

Campos, M. C., Silva, M. L., Florêncio, N. C., & Jardim de Paula, J. (2016). Confiabilidade do Teste dos Cinco Dígitos em adultos brasileiros. Jornal Brasileiro de Psiquiatria, 65(2), 135-139. doi: 10.1590/0047-2085000000114 [ Links ]

Cohen, J. (1962). The statistical power of abnormal-social psychological research: A review. The Journal of abnormal and Social Psychology, 65(3), 145-153. doi: 10.1037/h0045186 [ Links ]

Corso, H. V., Sperb, T. M., Inchausti de Jou, G., & Salles, J. F. (2013). Metacognição e Funções Executivas: Relações entre os Conceitos e Implicações para a Aprendizagem. Psicologia: Teoria e Pesquisa, 29(1), 21-29. Recuperado de https://www.scielo.br/j/ptp/a/SzJ3qv7qDLqdncBNfnz4Xnb/abstract/?lang=ptLinks ]

Diamond, A, Barnett, W. S., Thomas, J., & Munro, S. (2007). Preschool program improves cognitive control. Science, 318(5855), 1387-1388. doi: 10.1126/science.1151148 [ Links ]

Diamond, A. (2013). Executive Functions. Annual Review of Psychology, 64, 135-68. doi: 10.1146/annurev-psych-113011-143750 [ Links ]

Garcia, V. F., Ferreira, A. H. G., Júnior, D. S., Rocha, F. L. L., Mendes, G. R. C., Pontes, G. W. D., Rocha, R. F, Dantas, V. K. H., & Lima, F. P. (2007). Easyprocess: Um processo de desenvolvimento de software. Campina Grande: Universidade Federal de Campina Grande. Recuperado de https://www.researchgate.net/publication/229047434_easYProcess_Um_Processo_de_desenvolvimento_para_Uso_no_Ambiente_AcademicoLinks ]

Gerstadt, C. L, Hong, Y. J, & Diamond, A. (1994). The relationship between cognition and action: Performance of children 3½ - 7 years old on a a Stroop like day-night test. Vancouver: Elsevier. doi: 10.1016/0010-0277(94)90068-x [ Links ]

Gomes, A. S., Farias, C. F. L., Legal, E. J., & Sardá Junior, J. J. (2021). Uma análise comparativa das funções executivas entre sujeitos bilíngues precoces e monolíngues. Neuropsicologia Latinoamericana, 12(4), 53-63. doi: 10.5579/rnl.2016.0550 [ Links ]

Leote, R. (2015). Abordagens da neurociência sobre a percepção da obra de arte. In R. Leote, Arte Ciência Arte (pp. 71-96). São Paulo: Editora UNESP. Recuperado de http://books.scielo.org/id/mqfvk/pdf/leote-9788568334652-07.pdfLinks ]

Maia, C. M. F., Silva, A. K., & Oliveira, L. (2019, Outubro). O papel do psicólogo na ressocialização do adolescente em conflito com a lei. Trabalho apresentado no Terceiro Congresso Internacional de Pesquisa, Ensino e Extensão (CIPEEX), Unievangelica, Anápolis, Goiás. Recuperado de http://anais.unievangelica.edu.br/index.php/CIPEEX/article/view/2649Links ]

Maruschi, M. C., Estevão, R., & Bazon, M. R. (2013) Aplicação de medidas socioeducativas em adolescentes: Avaliação auxiliar às tomadas de decisão. Psico PUCRS, 44(3), 453-463 Recuperado de https://revistaseletronicas.pucrs.br/ojs/index.php/revistapsico/article/view/15828/10420Links ]

Massalai, R., Pires, E. U., & Landeira-Fernandez, J. (2018). Evidências de validade de um instrumento de atenção seletiva informatizado em crianças escolares. Neuropsicologia Latinoamericana, 10(3), 41-58. doi: 10.5579/rnl.2016.0410 [ Links ]

Miguel, J. M. P. (2014). Teoria de resposta ao item: Representação e utilidade do modelo logístico de traço latente na psicometria actual (Tese de Doutorado). Universidade de Coimbra, Coimbra, Portugal. Recuperado de https://estudogeral.sib.uc.pt/handle/10316/24834Links ]

Miyake, A., Friedman, N. P., Emerson, M. J., Witzki, A. H., Howerter, A., & Wager, T. D. (2000). The unity and diversity of executive functions and their contributions to complex “frontal lobe” tasks: A latent variable analysis. Cognitive Psychology, 41, 49-100. doi: 10.1006/cogp.1999.0734 [ Links ]

Moreira, J. D. S., Melo, M. R. A., Santana. A. N., & Minervino, C. A. S. M. (2019). Desenvolvimento das funções executivas em adolescentes em conflito com a lei: Uma revisão sistemática. Neuropsicologia Latinoamericana, 11(1), 38-47. doi: 10.5579/rnl.2016.0429 [ Links ]

Mothes, L., Kristensen, C. H., Oliveira, R. G., Argimon, I. I. L., Fonseca, R. P., & Irigaray, T. Q. (2013). Stressful Events and Executive Functioning in Adolescents with and without History of Grade Repetition. Universitas Psychologica, 16(4), 1-12. doi: 10.11144/Javeriana.upsy16-4.seef [ Links ]

Oliveira, A. J., Fragoso, M. M. B. B. S., Ferro, L. R. M., & Rezende, M. M. (2019). Redução da maioridade penal e maturidade enquanto construto neuropsicológico: Uma revisão de literatura. Revista Uniandrade, 20(1), 44-51. doi: 10.18024/15195694/revuniandrade.v20n1p44-52 [ Links ]

Penha, J. R. L., Fernandes, F. A., Oliveira, C. C., Oliveira, R. R. D., & Barros, E. F. (2018). Validação e utilização de novas tecnologias na saúde e educação: Uma revisão integrativa. Revista Interdisciplinar de promoção da saúde, 1(3), 199-206. doi: 10.17058/rips.v1i3.12580 [ Links ]

Ramos, D. K., & Segundo, F. R. (2018). Jogos Digitais na Escola: Aprimorando a atenção e a flexibilidade cognitiva. Educação & Realidade, 43(2), 531-550. doi: 10.1590/2175623665738 [ Links ]

Rueda, F. J. M., & Muniz, M. (2012). Evidência de validade convergente da bateria psicológica para avaliação da atenção - BPA. Estudos Interdisciplinares em Psicologia, 3(2), 162-181. Recuperado de http://pepsic.bvsalud.org/pdf/eip/v3n2/a03.pdfLinks ]

Santana, A. N., Melo, M. R. A., & Minervino, C. A. S. M. (2019). Instrumentos de Avaliação das Funções Executivas: Revisão Sistemática dos Últimos Cinco Anos. Avaliação Psicológica, 18(1), 96-107. doi: 10.15689/ap.2019.1801.14668.11 [ Links ]

Sedó, M., Jardim de Paula, J., & Malloy-Diniz, L. F. (2015). Teste Five Digits. São Paulo: Hogrefe. [ Links ]

Soper, D. S. (2021). Post-hoc Statistical Power Calculator for a Student t-Test [Software]. Recuperado de https://www.danielsoper.com/statcalcLinks ]

Vendramini, C. M. M., & Dias, A. S. (2005). Teoria de Resposta ao Item na análise de uma prova de estatística em universitários. Psico-USF, 10(2), 201-210. doi: 10.1590/S141382712005000200012 [ Links ]

Recebido: 08 de Janeiro de 2021; Revisado: 20 de Outubro de 2021; Aceito: 05 de Novembro de 2021

Jessica Daniele Silva Moreira Rua Vereador Benedito Mota, 670, Alto Branco, Campina Grande - PB, Brasil. CEP 58225-000, Endereço eletrônico: jessicadanielesm@gmail.com

Monilly Ramos Araujo Melo Avenida Juvêncio Arruda, 795, Bodocongó, Campina Grande - PB, Brasil. CEP 58429-600, Endereço eletrônico: monillyramos@gmail.com

Jucelio Soares dos Santos Avenida Juvêncio Arruda, 795, Bodocongó, Campina Grande - PB, Brasil. CEP 58429-600 Endereço eletrônico: jucelio@copin.ufcg.edu.br

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.