Tabela 3 - Estudos que exploraram parâmetros de fidedignidade de instrumentos de cancelamento.

Na avaliação da fidedignidade, a técnica mais utilizada foi do teste-reteste. Estes estudos incluíram como participantes principalmente grupos clínicos (Bickerton et al., 2011; Fabrigoule, Lechevallier, Crasborn, Darthigues & Orgogozo, 2003; Lee et al., 2004; Manly et al., 2009; Solfrizzi et al., 2002). Por fim, dos 11 estudos, cinco preocuparam-se apenas com evidências de validade, dois com indícios de fidedignidade e quatro com ambos os parâmetros. Dos 10 instrumentos de avaliação por cancelamento, 3 obtiveram evidências apenas de validade, 1 com evidências de fidedignidade e apenas em 5 instrumentos foram apresentados dados referentes a evidências de validade e fidedignidade dos mesmos.

Discussão

O presente estudo de revisão sistemática buscou por investigações que utilizassem parâmetros psicométricos em estudos com instrumentos de cancelamento visual. De acordo com a primeira questão que norteou esta revisão sistemática, (1) quais são os instrumentos de cancelamento visual que tem sido mais utilizados com fins psicométricos? Observou-se que os instrumentos de cancelamento mais frequentemente utilizados são, em ordem decrescente, o Star Cancellation Test (Bickerton et al., 2011; Lee et al., 2004; Manly et al., 2009; Woods et al., 2007) o Bells Test (Azouvi et al., 2006; Rorden et al., 2010) e o Letter Cancellation Task (Rorden et al., 2010; Uttl et al., 2001). Para realização de estudos psicométricos os mais utilizados foram o Apples Test (Bickerton et al., 2011), o CLBT (Lee et al., 2004), D2 (Bates et al., 2004), Letter cancellation task (Uttl et al., 2001) e SCT (Solfrizzi et al., 2002). Por meio da observação dos achados em sua totalidade, pôde-se perceber que há poucos instrumentos que contam com procedimentos de obtenção de evidências de validade e fidedignidade para as diferentes populações para cuja avaliação são desenvolvidos. Tal fato pode comprometer as capacidades diagnósticas das ferramentas de avaliação assim como a melhor compreensão dos déficits por elas mensurados (Chiang & Gau 2008; Huang et al., 2009).

Mais especificamente, nesta revisão pode-se observar que muitos dos estudos utilizaram outros testes como padrão-ouro para obter a validade do teste alvo. O mais utilizado foi o Star Cancellation Test (Bickerton et al., 2011; Lee et al., 2004; Manly et al., 2009; Woods et al., 2007), seguido pelo Bells Test (Azouvi et al., 2006; Rorden et al., 2010). Estes testes são comumente utilizados na avaliação da atenção, na medida em que tem se mostrado muito sensíveis na detecção de déficits atencionais e da síndrome de heminegligência (Azouvi et al., 2002; Bailey, Riddoch & Crome, 2005; Karnath, Baier & Nägele, 2005; Vanier et al., 1990). Assim, dos 10 instrumentos utilizados nos estudos, pode-se perceber que houve somente seis instrumentos que foram alvos para a procura de características psicométricas dos testes. Os demais quatro instrumentos foram utilizados como parâmetros de comparação com os testes utilizados (Azouvi et al., 2006; Bickerton et al., 2011; Lee et al., 2004; Manly et al., 2009; Rorden et al., 2010), com o intuito de auxiliar na interpretação dos escores no desenvolvimento de um software (Rorden et al., 2010), na comparação com uma tarefa no computador (Reid et al., 2009) e, por último, um deles foi utilizado para verificar a concordância entre avaliadores (Fabrigoule et al., 2003). Ressalta-se, ainda, que de todos os estudos analisados encontrou-se um teste de cancelamento no qual a tarefa foi realizada no computador. Nesta investigação, foram adotados os mesmos parâmetros utilizados em estudos que envolveram os instrumentos de cancelamento, sendo uma alternativa aos tradicionais testes de lápis e papel demostrando as características psicométricas do teste (Reid et al., 2009).

Em relação à questão (2) quais são os tipos de parâmetros e as técnicas de análise mais utilizadas em estudos de validade e de fidedignidade com tais instrumentos? No que diz respeito à validade dos testes, o tipo mais analisado foi a validade de construto, mais especificamente a validade concorrente/convergente. Com referencia às técnicas utilizadas para a obtenção de validade, a mais utilizada foi a correlação com o desempenho de testes considerados padrão-ouro, que avaliam o mesmo construto (Azouvi et al., 2006; Bates et al., 2004; Bickerton et al., 2011; Fabrigoule et al., 2003; Lee et al., 2004; Manly et al., 2009; Reid et al., 2009; Rorden et al., 2010; Woods et al., 2007). No entanto, ainda que alguns destes estudos realizassem comparações com amostras clínicas e grupos controle, poucas explicitaram sobre a validade de critério do teste. A comparação de amostras saudáveis com populações clínicas é essencial para a neuropsicologia, uma vez que tais tarefas são desenvolvidas para diagnósticos da função atencional contribuindo para a detecção de heminegligência em pacientes neurológicos.

Em continuidade, dando resposta à questão acima mencionada em relação à busca de evidências de fidedignidade, a técnica mais utilizada foi a de teste-reteste (Bickerton et al., 2011; Lee et al., 2004) e foram realizadas análises de correlação entre as pontuações dadas pelos avaliadores (Fabrigoule et al., 2003; Manly et al., 2009), os quais apontam a importância no cuidado da interpretação dos resultados dos instrumentos. Em relação à técnica mais utilizada nos estudos de teste-reteste nas tarefas de cancelamento, aponta-se que as características destas tarefas são sua constituição unitária e não sua mensuração por itens, o que dificulta em alguns dos casos em realizar análise mediante a comparação das duas metades ou formas paralelas do teste (Pasquali, 2003). Dos estudos que procuraram evidências de fidedignidade, apenas um fez comparação com duas formas paralelas do teste (Uttl et al., 2001). Assim, por meio dos estudos mostra-se a necessidade de um maior controle no processo de avaliação e do uso das tecnologias com o intuito de aprimorar a acurácia nas avaliações (Manly et al., 2009; Reid et al., 2009; Solfrizzi et al., 2002) e sobre a pontuação dos mesmos mediante o uso de um software para novas formas de pontuação (Rorden et al., 2010).

Por último, quanto à terceira questão, (3) quais as características das amostras participantes destes estudos psicométricos? Foram encontrados mais estudos realizados com populações clínicas, com grupos controles de adultos saudáveis, como em pacientes com LHD e LHE (Azouvi et al., 2006; Reid et al., 2009; Rorden et al., 2010; Woods & Mark, 2007), com síndrome de heminegligencia (Manly et al., 2009), também pacientes com DA (Solfrizzi et al., 2002) e com declínio cognitivo leve (Fabrigoule et al., 2003). Nestes estudos, mesmo com a realização de comparações entre os grupos clínicos e grupos saudáveis, nenhum deles mostrou resultados específicos referentes à validade de critério. A validade de critério refere-se ao tipo de validade que prediz um critério externo (Pasquali, 2007). Portanto, na comparação dos grupos clínicos com controles, os dados poderiam ter sido enriquecidos com os estudos anteriormente apresentados. Em relação às características dos participantes, ainda, também houve estudos apresentando normas do desempenho do teste para populações de adultos saudáveis (Bates & Lemay, 2004; Lee et al., 2004; Uttl et al., 2001).

Há um considerável número de estudos realizados com instrumentos de cancelamento, porém das investigações realizadas poucas avaliam o desempenho em populações saudáveis (Huang & Wang, 2008). Diante disto, existe uma necessidade de verificar quais seriam as diferenças entre os grupos saudáveis e clínicos para um melhor entendimento dos processos envolvidos e, por conseguinte, auxiliar no diagnóstico e plano de tratamento adequado (Fabrigoule et al., 2003; Fonseca, Salles & Parente, 2008). Conforme os artigos analisados, pode-se observar que houve estudos que encontraram diferenças significativas quanto as variáveis sociodemográficas como idade e escolaridade (Azouvi et al., 2006; Bates et al., 2004), fornecendo também evidências de validade de critério não explicitadas. Assim mais estudos de adaptação de instrumentos precisam ser realizados com normas observando variáveis sociodemográficas com o intuito de obter dados que melhor representem as populações a que se destinar avaliar. Assinala-se, neste contexto, a exploração de pontos de corte de acordo com a sensibilidade e especificidade de cada instrumento, procurando suprir uma importante lacuna ainda existente de dados psicométricos associados a modelos teóricos de dissociação e modularidade para interpretação neurocognitiva no contexto da prática em neuropsicologia clínica. Uma das limitações do estudo é referente aos tópicos discutidos sobre a validade, já que tem-se desenvolvido novas diretrizes sobre os tipos de validade referentes a qualidade dos critérios de reconhecimento e avaliação (Conselho Federal de Psicologia, 2011). Estes critérios, por sua recente existência, apenas estão sendo consideradas em novos estudos e não foram encontrados na presente revisão.

Referências Bibliográficas

Andres, A.M.; Marzo, P.F. (2004). Delta: a new measure of agreement between two raters. Br. J. Math. Statistical Psychol., 57 (1), 1-19.         [ Links ]

Argollo, N., Bueno, O. F. A., Shayer, B., Godinho, K., Abreu, K., Durán, P., Assis, A., Lima, F., Silva, T., Guimaraes, J., Carvalho, R., Moura, I. & Seabra, A. G. (2009). Adaptação transcultural da Bateria NEPSY - Avaliação neuropsicológica do desenvolvimento: estudo-piloto. Avaliação Psicológica, 8 (1), 59-75.         [ Links ]

Azouvi, P.; Bartolomeo, P.; Beis, J-M.; Perennou, D.; Pradat-Diehl, P.; Rousseaux, M. (2006). A battery of tests for the quantitative assessment of unilateral neglect. Restorative Neurol. Neurosci., 24, 273-285.         [ Links ]

Azouvi, P.; Oliver, S.; de Montety, G.; Samuel, S.T.; Louis-Dreyfus, A.; Tesio, L. (2003). Behavioral assessment of unilateral neglect: study of the psychometric properties of the Catherine Bergego Scale. Arch. Phys. Med. Rehabil., 84, 51-57.         [ Links ]

Azouvi, P.; Samuel, C.; Louis-Dreyfus, A.; Bernati, T.; Bartolomeo, P.; Beis, J-M.; Chokron, S.; Leclercq, M.; Marchal, F.; Martin, Y.; de Montety, G.; Olivier, S.; Perennou, D.; Pradat-Diehl, P.; Prairial, C.; Rode, G.; Siéroff, E.; Wiart, L.; Rousseaux, M. (2002). Sensitivity of clinical and behavioural tests of spatial neglect after right hemisphere stroke. J. Neurol. Neurosurg. Psychiatry, 73, 160-166.         [ Links ]

Bailey, M.J.; Riddoch, M.J.; Crome, P. (2005). Test-retest stability of three tests for unilateral visual neglect in patients with stroke: Star Cancellation, Line Bisection, and Baking Tray Task. Neuropsychological Rehabil., 14(4), 403-419.         [ Links ]

Bates, M.E.; Lemay, E. P. (2004). The D2 test of attention: construct validity and extension in scoring techniques. J. Int. Neuropsychological Soc., 10, 392-400.         [ Links ]

Brickenkamp, R.; Zillmer, E. (1998). The d2 test of attention. Seattle, Washington: Hogrefe & Huber Publishers.         [ Links ]

Bickerton, W.L.; Samson, D.; Williamson, J.; Humphreys, G.W. (2011). Separating forms of neglect using the apples test: validation and functional prediction in chronic and acute stroke. Neurosychology, 25 (5), 567-580.         [ Links ]

Byrd, D.A.; Touradji, P.; Tang, M.-X.; Manly, J.J. (2004). Cancellation test performance in African American, Hispanic, and White elderly. J. Int. Neuropsychological Soc., 10, 401-411.         [ Links ]

Cecilio-Fernandes, D.; Rueda, F.J.M. (2007). Evidência de validade concorrente para o Teste de Atenção Concentrada (TEACO-FF). Rev. Psicologia Vetor Editora, 8(2), 167-174.         [ Links ]

Chiang, M.; Gau, S.S.F. (2008). Validation of attention-deficit-hyperactivity disorder subtypes hmong Taiwanise children using neuropsychological functioning. Australian New Zealand J. Psychiatry, 24, 526-535.         [ Links ]

Chiba, Y.; Yamaguchi, A.; Eto, F. (2005). A simple method to dissociate sensory-attentional and motor-intentional biases in unilateral visual neglect. Brain Cogn., 58, 269-273.         [ Links ]

Conselho Federal de Psicologia (2011). Ano da Avaliação Psicológica, Textos Geradores. Brasília D.F.         [ Links ]

Gauthier, L.; Dehaut, F.; Joanette, Y. (1989). The Bells test: a quantitative and qualitative test for visual neglect. Int. J. Clin. Neuropsychol., 11(2), 49-54.         [ Links ]

Fabrigoule, C.; Lechevallier, N.; Crasborn, L.; Darthigues, J-F.; Orgogozo, J-M. (2003). Inter-rater reliability of scales and tests used to measure mild cognitive impairment by general practioners and psychologists. Cur. Med. Res. Opinion, 19(7), 603-608.         [ Links ]

Fonseca, R.P.; Salles, J.F.; Parente, M.A.M.P. (2008). Development and content validity of the Brazilian brief neuropsychological assessment battery NEUPSILIN. Psychol. Neurosci., 1(1), 55-62.         [ Links ]

Hale, J.B.; Reddy, L.A.; Decker, S.L.; Thompson, R.; Henzel, J.; Teodori, A.; Forrest, E.; Eusebio, E.; Denckla, B. (2009). Development and validation of an attention-deficit/hyperactivity disorder (ADHD) executive function and behavior rating screening battery. J. Clin. Exp. Neuropsychol., 31 (8), 897-912.         [ Links ]

Huang, H-C.; Wang, T-Y. (2009). Stimulus eddects on cancellation task performance in children with and without dyslexia. Behav. Res. Meth., 41(2), 539-545.         [ Links ]

Huang, H-C.; Wang, T-Y. (2008). Visualized representation of visual search patterns for a visuospatial attention test. Behav. Res. Meth., 40(2), 383-390.         [ Links ]

Karnath, H-O., Baier, B.; Nägele, T. (2005). Awareness of the functioning of one's own limbs mediated by the insular cortex? J. Neurosci., 25(31), 7134-7138.         [ Links ]

Krinsky-McHale, S.J.; Devenny, D.A.; Kitter, P. (2008). Selective attention deficits associated with mild cognitive impairment and early stage Alzheimer's disease in adults with Down syndrome. Am. J. Mental Retardation, 115(5), 369-386.         [ Links ]

Lee, B.H.; Kang, S.J.; Park, J.M.; Lee, K.H.; Adair, J.C.; Heilman, K.M.; Na, D.L. (2004). The Character-line bisection task: a new test for hemispatial neglect. Neuropsychologia, 42, 1715-1724.         [ Links ]

Liu, Y-C. ; Chen, K-C.; Yang, Y.K. ; Chen, Y-L. ; Lin, K-C. (2011). Relationship between hemispatial inattention and performance of activities of daily living in patients with schizophrenia. Perceptual Motor Skills, 112 (3), 703-710.         [ Links ]

Manly, T.; Dove, A.; Blows, S.; George, M.; Noonan, M.A.P.; Dodds, C.M.; Fish, J.; Teasdale, T.W.; Warburton, E. (2009). Assessment of unilateral spatial neglect: scoring Star cancellation performance from video recordings-method, reliabiality, benefits, and normative data. Neuropsychology, 23(4), 519-528.         [ Links ]

Na, D.L. ; Adair, J.C.; Choi, S.H.; Seo, D.W.; Kang, Y.; Heilman, K.M. (2000). Ipsilesional versus contralesional neglect depends on attentional demands. Córtex, 36, 455-467.         [ Links ]

Ostrosky-Solís, F.; Ardila, A.; Rosselli, M. (2006). Test Review. Arch. Clin. Neuropsychol., 21, 195-197.         [ Links ]

Pasquali, L. (2009). Psicometria. Rev Esc Enferm, 43(Esp), 992-999.         [ Links ]

Pasquali, L. (2007). Validade dos testes psicológicos: será possível reencontrar o caminho? Psicologia Teoria Pesq., 23(Esp), 99-107.         [ Links ]

Pasquali, L. (2003). Teoria dos testes na psicologia e na educação. Vozes: Petrópolis.         [ Links ]

Pawlowski, J.; Trentini, C.M.; Bandeira, D.R. (2007). Discutindo procedimentos psicométricos a partir da análise de um instrumento de avaliação neuropsicológica breve. Psico-USF, 12(2), 211-219.         [ Links ]

Peña- Casanova, J.; Monllau, A.; Gramunt, N.F. (2007). La psicometría de las demencias a debate. Neurología, 22(5), 301-311.         [ Links ]

Reid, D.; Babani, H.; Jon, E. (2009). Development of a computerized visual search test. Int. J. Rehabil. Res., 32(3), 205-212.         [ Links ]

Rorden, C.; Karnath, H-O. (2010). A simple measure of neglect severity. Neuropsychologia, 48, 2758-2763.         [ Links ]

Saj, A.; Honore, J.; Braem, B.; Bernati, T.; Rousseaux, M. (2012). Time since stroke influences the impact of hemianopia and spatial neglect on visual-spatial tasks. Neuropsychology, 26 (1), 37-44.         [ Links ]

Solfrizzi, V.; Panza, F.; Torres, F.; Capurso, C.; Díntrono, A.; Colacicco, A.M.; Carpurso, A. (2002). Selective attention skills in differentiating between Alzheimer's disease and normal aging. J. Geriatric Psychiatry Neurol., 15, 99-109.         [ Links ]

Urbina, S. (2007). Fundamentos em Testagem Psicologica. Porto Alegre: Artmed.         [ Links ]

Uttl, B.; Pilkenton-Taylor, C. (2001). Letter cancellation performance across the adult life span. Clin. Neuropsychologist, 15(4), 521-530.         [ Links ]

Van den Eynde, F.; Samarawickrema, N.; Kenyon, M.; DeJong, H.; Lavender, A.; Startup, H.; Schmidt, U. (2012). A study of neurocognition in bulimia nervosa and eating disorder not otherwise specified-bulimia type. J. Clin. Exp. Neuropsychol., 34 (1), 67-77.         [ Links ]

Vanier, M.; Gauthier, L.; Lambert, J.; Pepin, E. P.; Robillard, A.; Dubouloz, C.J.; Gagnon, R.; Yoannette, Y. (1990). Evaluation of letf visuospatial neglect: norms and discrimination Power of two tests. Neuropsychology, 4, 87-96.         [ Links ]

Weintraub, S.; Mesulam, M.M. (1985). Mental state assessment of young and elderly adults in behavioral neurology. Em: Mesulam, M.M. (Ed.). Principles of behavioral neurology, (71-123). Philadelphia: Davis Company.         [ Links ]

Wilson, B.A.; Cockburn, J.; Halligan, P. (1988). Behavioral Inattention Test. Bury St. Edmunds, England: Thames Valley Test Company.         [ Links ]

Woods, A.J.; Mark, V.W. (2007). Convergent validity of executive organization measures on cancellation. J. Clin. Exp. Neuropsychol., 29 (7), 719-723.         [ Links ]

Zazzo, R. (1974). Test des deux barrages. Actualtés Pédagogiques et Psychologiques, Vol. 7. Neufchatel: Delachaux et Nestlé         [ Links ].

Notas

C.E.I. Wong
Endereço para Correspondência: Av. Ipiranga, 6681, n. 11, Sala 932, Partenon, Porto Alegre, RS 90.619-900, Brasil.
E-mail para correspondência: cristina_izabal@yahoo.mx;

C. Cotrena
E-mail para correspondência: charlescotrena@brturbo.com.br;

R.P. Fonseca
E-mail para correspondência: rochele.fonseca@gmail.com.