SciELO - Scientific Electronic Library Online

 
vol.14 número4O Sentido da Vida após o Diagnóstico de Câncer HematológicoInfluência de Fatores Psicológicos e Sociais nos Comportamentos Preventivos de Saúde dos Homens índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

artigo

Indicadores

Compartilhar


Revista Psicologia e Saúde

versão On-line ISSN 2177-093X

Rev. Psicol. Saúde vol.14 no.4 Campo Grande out./dez. 2022  Epub 08-Jul-2024

https://doi.org/10.20435/pssa.v14i4.1971 

Artigos

Qualidades Psicométricas do Alcohol, Smoking and Substance Involvement Screening Test (ASSIST) para Uso em Centros de Atenção Psicossocial Álcool e Drogas

Psychometric Qualities of the Alcohol, Smoking and Substance Involvement Screening Test (ASSIST) for Use in Alcohol and Drugs Psychosocial Care Centers

Cualidades Psicométricas del Alcohol, Smoking and Substance Involvement Screening Test (ASSIST) para el Uso en Centros de Atención Psicosocial Alcohol y Drogas

Lucas Guimaraes Cardoso de Sá1  1 

Doutor em Psicologia pela Universidade Federal de São Carlos (UFSCar). Professor adjunto do Departamento de Psicologia da Universidade Federal do Maranhão (UFMA).


http://orcid.org/0000-0003-1656-0136

Mayra Caroline Ferreira e Ferreira1 

Graduanda em Psicologia pela Universidade Federal do Maranhão (UFMA).


http://orcid.org/0000-0002-4203-0238

Raquel Santos Almeida1 

Graduada em Psicologia pela Universidade Federal do Maranhão (UFMA). Psicóloga.


http://orcid.org/0000-0001-9561-4969

Ana Raquel Araujo Monteles1 

Graduanda em Psicologia pela Universidade Federal do Maranhão (UFMA).


http://orcid.org/0000-0001-5467-0753

Julia Milhomens de Sousa2 

Mestra em Teoria e Pesquisa do Comportamento pela Universidade Federal do Pará (UFPA). Graduada em Psicologia pela Universidade Federal do Maranhão (UFMA).


http://orcid.org/0000-0001-7425-3551

1Universidade Federal do Maranhão

2Universidade Federal do Pará


Resumo

Este estudo teve como objetivo investigar a qualidade das propriedades psicométricas do Alcohol, Smoking and Substance Involvement Screening Test (ASSIST) quando aplicado em serviços de atenção psicossocial. Participaram 445 usuários dos serviços de Centros de Atenção Psicossociais – Álcool e Outras Drogas (CAPS-AD), e os resultados das análises teóricas por juízes especialistas indicaram que o conteúdo dos itens é adequado para avaliar o grau de envolvimento de um indivíduo com álcool e crack. Análise fatorial confirmatória mostrou que a estrutura unidimensional com seis itens tem qualidade de ajuste aos dados, é fidedigna e invariante para idade, escolaridade e tipo de droga. Os itens têm um valor decrescente de discriminação e são facilmente endossados pelos participantes. As evidências apresentadas sugerem que o ASSIST possui qualidades psicométricas promissoras para uso na atenção psicossocial. Pode contribuir para a compreensão do quadro inicial dos usuários do serviço, diminuindo erros na tomada de decisão e favorecendo o planejamento de intervenções.

Palavras-chave: serviços de saúde mental; detecção do abuso de substâncias; psicometria

Abstract

This study aimed to investigate the quality of the psychometric properties of the Alcohol, Smoking and Substance Involvement Screening Test (ASSIST) applied in psychosocial care. The sample was composed of 445 users of Psychosocial Care Centers – Alcohol and Other Drugs (CAPS-AD) services, and the results of theoretical analyzes by expert judges indicated that the content of the items is adequate to assess the degree of involvement of an individual with alcohol and crack cocaine. Confirmatory factor analysis showed that the one-dimensional structure with six items has a good fit to the data, is reliable and invariant for age, education, and type of drug. Items have a decreasing discrimination value and are easily endorsed by participants. The evidence presented suggests that the ASSIST has promising psychometric qualities for use at psychosocial care. It can contribute to understanding the initial picture of service users, reducing errors in decision-making and favoring intervention planning.

Keywords: mental health services; substance abuse detection; psychometrics

Resumen

Este estudio tuvo como objetivo investigar las propiedades psicométricas del Alcohol, Smoking, and Substance Involvement Screening Test (ASSIST) cuando es aplicado en servicios de atención psicosocial. Participaron 445 usuarios de servicios de Centros de Atención Psicosocial – Alcohol y Otras Drogas (CAPS-AD), y los resultados indicaron que el contenido de los ítems es adecuado para evaluar el grado de involucramiento de un individuo con el alcohol y crack. El análisis factorial confirmatorio mostró que la estructura unidimensional de seis ítems posee un buen ajuste a los datos, es confiable e invariante según la edad, escolaridad y tipo de droga. Los ítems poseen un valor decreciente de discriminación y son fácilmente endosados por los participantes. Las evidencias presentadas sugieren que el ASSIST posee cualidades psicométricas promisorias para el uso en la atención psicosocial. Puede contribuir para la comprensión del cuadro inicial de los usuarios del servicio, disminuyendo errores en la toma de decisiones y favoreciendo la planificación de intervenciones.

Palabras clave: servicios de salud mental; detección de abuso de sustancias; psicometría

Introdução

O Transtorno por Uso de Substâncias (TUS) é considerado um problema mundial, está associado a um número significativo de morbidade e mortalidade (Organização Mundial de Saúde, 2004) e se enquadra como um dos vinte principais fatores para a incapacitação e morte no mundo (World Health Organization, 2009). Logo, pode ser entendido como fonte de prejuízos nas mais diversas esferas da vida de um indivíduo, desde a familiar até a laboral, podendo gerar sofrimento para ele e os demais.

No III Levantamento Nacional sobre o Uso de Drogas pela população brasileira (Bastos, 2017), são apresentados dados referentes à prevalência de consumidores de substâncias nas capitais do Brasil. Para drogas lícitas, é de 47.4% para o álcool. Para as ilícitas, 3.1% para a maconha, 1.1% para o crack e 1.9% para outras substâncias. Em relação ao Nordeste, o crack apresentou prevalência pontual de 1.3%, a maior entre as regiões brasileiras. Com relação à cidade de São Luís, o VI Levantamento Nacional sobre o Consumo de Drogas Psicotrópicas entre Estudantes do Ensino Fundamental e Médio das Redes Pública e Privada de Ensino nas 27 Capitais Brasileiras (Secretaria Nacional de Políticas sobre Drogas, 2010) apresentou dados sobre o uso na vida, no ano e no mês, para álcool (58.3%, 37.8% e 16.9%), cocaína (1.4%, 1.0% e 0.7%) e crack (1.0%, 0.6%, 0.2%). Outro dado sobre a capital maranhense é de que crack (57.5%), bebidas alcoólicas (56.9%), maconha (36.6%), cocaína (20.3%) e merla (12.4%) são as drogas mais consumidas por usuários atendidos nos Centros de Atenção Psicossociais – Álcool e Outras Drogas (CAPS-AD) da cidade (Morais, 2018).

Considerando-se os números apresentados, torna-se importante identificar corretamente indivíduos que fazem uso problemático de substâncias e o grau de risco e de envolvimento com elas, de forma que seja possível planejar e fornecer uma intervenção direcionada às necessidades de cada pessoa. Usualmente, os consumidores problemáticos de substâncias procuram tratamento especializado apenas em fase avançada. Todavia, ainda nesse momento, pode ser bastante útil recorrer a instrumentos que forneçam dados confiáveis, válidos e que sejam de fácil aplicação. Nesse sentido, utilizar testes que possam fazer o rastreio e a detecção do uso de substâncias psicoativas também pode ser uma necessidade para atuação dos profissionais dos CAPS-AD, de forma a auxiliá-los no planejamento de intervenções (Henrique et al., 2004).

Exemplos de instrumentos desenvolvidos com o objetivo de identificar o grau de envolvimento ou de risco de uso de substâncias são o Problem-Oriented Screening for Teenagers (POSIT), Addiction Severity Index (ASI), Cut-Down, Annoyed, Guilt, Eye-Opener (CAGE) e o Drug Abuse Screening Test (DAST). Entretanto, conforme mencionam Humeniuk et al. (2020), problemas como demora para administração, foco apenas na dependência, custos altos e dificuldades em adaptações culturais podem ser fatores limitantes para a utilização de determinadas ferramentas. Pensando nisso, em 1982, a Organização Mundial da Saúde iniciou um programa para desenvolver um teste de triagem internacional para o uso problematic de álcool, o Alcohol Use Disorders Identification Test (AUDIT). O sucesso do AUDIT levou ao desenvolvimento de um outro instrumento que fosse capaz de abranger diferentes substâncias. Ele foi nomeado como Alcohol, Smoking and Substance Involvement Screening Test (ASSIST), é de fácil e rápida administração, identifica não apenas a dependência, mas também uso e abuso de uma ampla variedade de substâncias (tabaco, álcool, maconha, cocaína, estimulantes tipo anfetamina, sedativos, alucinógenos, inalantes, opioides e drogas injetáveis) (Humeniuk et al., 2008). Por esses motivos, comparado a outras ferramentas, torna-se vantajoso para o rastreio de problemas relacionados ao uso de substâncias, mas é necessário acumular evidências de que ele tem qualidade pra utilização em diferentes contextos e para diferentes objetivos.

Uma boa avaliação de problemas relacionados ao uso de substâncias depende da qualidade das propriedades psicométricas dos instrumentos utilizados. Conforme a Teoria Clássica dos Testes, em uma abordagem nomotética dentro da Psicometria, eles deverão descrever claramente sua: (a) padronização, fornecendo orientações sobre como o instrumento deve ser aplicado e corrigido; (b) validade, indicando o grau com que ele é capaz de medir o construto que se propõe a medir, conforme o contexto e o objetivo com que é utilizado; (c) fidedignidade, mostrando o quanto os resultados são consistentes em diferentes tempos, formas ou conteúdo; e (d) normatização, indicando como os resultados devem ser interpretados (Baptista et al., 2019).

Os primeiros estudos sobre as propriedades psicométricas do ASSIST mostraram que o instrumento tem evidências de validade e de confiabilidade em diversos países. Foram realizados estudos de validade de construto, concorrente e discriminante, comparando o ASSIST a uma bateria de outros testes usados internacionalmente (WHO ASSIST Working Group, 2002). No Brasil, um dos primeiros estudos de validade e fidedignidade para o instrumento utilizou uma amostra da população adulta, entre 19 e 45 anos (Henrique et al., 2004). Foi analisada a evidência de validade do tipo concorrente, em que houve a correlação entre os escores do ASSIST com os escores de mais três instrumentos (AUDIT; MINI-plus, que faz um diagnóstico de problemas psiquiátricos; e Revised Fargerstron Tolerance Questionnaire [RTQ], que avalia a dependência de nicotina). Houve uma correlação forte e significativa entre o ASSIST e o AUDIT (r = .73, p < .001) e, a partir do diagnóstico de dependência ou abuso indicado pelo MINI-plus, houve definição de pontos de corte por sensibilidade e especificidade, para a maconha (87% e 95%, respectivamente), cocaína (84% e 98%, respectivamente) e álcool (91% e 79%, respectivamente). Além disso, verificou-se uma correlação forte e significativa (r = .91, p < .001) entre o ASSIST e o RTQ. A análise de fidedignidade do tipo teste-reteste gerou resultados que variaram de satisfatórios a muito bons (.58 a .90), e a consistência interna pelo coeficiente alfa de Cronbach foi de .81 para cocaína, .80 para álcool, .80 para tabaco e .79 para maconha.

Posteriormente, foram realizados outros estudos utilizando o ASSIST no Brasil. Uma revisão sistemática (Silva et al., 2016) que contemplou o período entre 2002 e 2014 mostrou que, com exceção de dois estudos (WHO ASSIST Working Group, 2002; Henrique et al., 2004), nenhum outro artigo analisou as propriedades psicométricas do instrumento, mas sim focaram na sua aplicação para detecção do uso, abuso e dependência de substâncias. Um outro trabalho (Carminatti, 2010), que não entrou na revisão sistemática citada, analisou as propriedades psicométricas em uma amostra de adolescentes de 11 até 19 anos. Nele, foi analisada a validade concorrente com dois instrumentos “padrão-ouro”, o Composite International Diagnostic Interview (CIDI) e o Addiction Severity Index for Teenagers (TEEN-ASI). Foi realizada também a análise da sensibilidade e especificidade para álcool, tabaco, maconha e cocaína. Os resultados da especificidade variaram de 76% para tabaco até 99% para outras drogas, e os níveis de sensibilidade variaram de 61% para álcool até 100% para tabaco. Por fim, a fidedignidade foi avaliada por consistência interna, por meio dos coeficientes alfa de Cronbach e Kappa. Os resultados foram considerados bons, com coeficiente alfa de Cronbach de .83 para cocaína, .82 para maconha, .81 para tabaco e .78 para álcool. Já os índices Kappa variaram de satisfatórios (64% para álcool) até muito bons (93% para maconha).

Após o ano de 2014, foram encontrados somente mais dois artigos oriundos de pesquisas sobre diferentes formas de padronização de aplicação do ASSIST e investigação sobre sua fidedignidade, mas não mais dados sobre suas evidências de validade. O primeiro (Barreto et al., 2014) comparou a aplicação do ASSIST por autoaplicação/autopreenchimento com o formato de aplicação por entrevista com estudantes de graduação. Os resultados mostraram bons índices de correlação entre os dois formatos, por meio do coeficiente de correlação intraclasse (ICC > .60). Também foi feita a análise dos índices Kappa entre as questões dos dois formatos, e os resultados mostraram concordância discreta para álcool (.47) e moderada para maconha (.69) e tabaco (.76). Já a consistência interna do formato de autoaplicação foi avaliada como boa para álcool (ɑ = .71), maconha (ɑ = .86), cocaína (ɑ = .89) e tabaco (ɑ = .90). Ademais, essa versão mostrou especificidade e sensibilidade aceitáveis para tabaco, álcool, maconha e cocaína. O segundo (Christoff et al., 2016) comparou o formato de aplicação informatizado, via computador (ASSISTc), com a aplicação por entrevista (ASSISTi), em estudantes universitários. Os resultados demonstraram excelente correlação entre os dois formatos (ICC > .77). Além disso, investigaram-se os índices Kappa, obtendo valores substanciais para tabaco (k = .69) e maconha (k = .70) e moderado para álcool (k = .58). Já a fidedignidade do ASSISTc apresentou boa consistência interna pelo coeficiente alfa de Cronbach para álcool (.73), tabaco (.85) e maconha (.87).

Atualmente, entende-se que as propriedades psicométricas de um teste devem ser acumulativas, e não dicotômicas, ou seja, a pergunta deve ser “Quantas evidências têm?”, e não “Tem ou não tem?”. Elas não são boas ou ruins, mas sim melhores ou piores conforme a quantidade de evidências que são apresentadas (Ambiel & Carvalho, 2017). Dessa forma, para que o ASSIST continue sendo considerado um instrumento de qualidade, novos estudos devem ser continuamente realizados, abarcando novos objetivos e contextos de utilização.

Analisando-se os estudos que já investigaram as propriedades psicométricas do ASSIST, observa-se que há uma ênfase nas evidências de validade em relação às variáveis externas, e não em conteúdo ou estrutura interna. Nas definições contemporâneas, as evidências de validade de um teste são classificadas com base no conteúdo, na estrutura interna, na relação com variáveis externas, no processo de resposta e nas consequências da testagem (Baptista et al., 2019). Por conseguinte, é importante analisar outras fontes, especialmente aquelas relacionadas ao conteúdo e estrutura interna, uma vez que, embora sejam basilares para se estudar as demais (Ambiel & Carvalho, 2017), não foram encontrados estudos que as tenham investigado. Além disso, há outras lacunas nos estudos com o ASSIST no Brasil, como amostras que incluam indivíduos maiores de 45 anos. Morais (2018) mostra que as idades dos pacientes atendidos nos CAPS-AD em São Luís, Maranhão, podem variar entre 18 e 66 anos. Logo, há uma faixa etária importante que não está coberta nos estudos brasileiros disponíveis.

Dessa forma, e também considerando que a) no Brasil, o ASSIST é um instrumento com estudos psicométricos recentes e com poucos artigos que descrevem a sua aplicação, efetividade e intervenção (Silva et al., 2016); b) não foram encontrados estudos com amostras obtidas em CAPS-AD; e c) não foi encontrado nenhum artigo sobre suas propriedades psicométricas com amostras da região Nordeste, o objetivo geral deste estudo foi avaliar a qualidade das propriedades psicométricas do ASSIST para uso em contexto de atenção psicossocial. Os objetivos específicos foram: a) analisar suas evidências de validade de conteúdo, de estrutura interna e a fidedignidade por consistência interna; b) verificar a relação entre o autorrelato de tempo de abstinência e o nível de envolvimento com a substância; e c) apresentar normas de interpretação para contexto de atenção psicossocial.

Método

O estudo cumpriu as normas éticas previstas na Resolução 466/12 do Conselho Nacional de Saúde. O projeto foi submetido na Plataforma Brasil (CAAE: 47551315.0.0000.5087) e aprovado pelo Comitê de Ética em Pesquisa da Universidade Federal do Maranhão (UFMA), sob parecer número 1.189.452.

Participantes

Participaram do estudo 445 usuários do serviço dos CAPS-AD estadual e municipal da cidade de São Luís, Maranhão. A amostra foi constituída 91.91% por homens e 8.09% por mulheres. As idades variaram entre 18 e 62 anos (M = 36.99, DP = 10.76). Em relação ao grau de escolaridade, 46.03% dos participantes tinham cursado até o ensino fundamental; 44.90%, até o ensino médio; e 9.07%, o ensino superior. Quanto à droga de preferência, o crack foi a mais citada (62.47%), seguida por álcool (37.53%). O autorrelato sobre o tempo médio de abstinência, no momento da participação, foi de 75.33 dias (DP = 157.21), com mediana de 30 dias. Por fim, 22.25% dos participantes foram entrevistados no momento da triagem para a admissão no CAPS-AD e 77.75% já haviam sido admitidos para o tratamento.

Instrumentos

Foram utilizados dois instrumentos. O primeiro, um questionário de caracterização, contendo perguntas sobre sexo, idade, escolaridade, droga de preferência e autorrelato do tempo de abstinência. O segundo, o ASSIST, objeto de análise deste estudo, apenas em suas versões para uso de álcool e crack, as substâncias citadas como preferenciais pelos participantes. Conforme proposto pelos desenvolvedores do instrumento (Humeniuk et al., 2020), o ASSIST é composto por uma estrutura unidimensional, com oito questões. A primeira avalia quais substâncias já foram usadas na vida do paciente. As quatro seguintes avaliam, respectivamente, a frequência de uso de cada substância nos últimos três meses, o desejo de consumi-la, a frequência de problemas de saúde, sociais ou financeiros, e a frequência com que as substâncias interferiram nos papéis de responsabilidade, nos últimos três meses. O sexto item avalia a preocupação de amigos e familiares acerca do uso, e o sétimo investiga as tentativas e falhas para interromper o consumo das substâncias. Uma questão adicional avalia se o paciente já usou drogas injetáveis. O primeiro e o último item não são pontuados. As questões 2 a 5 possuem cinco opções de resposta (nunca; 1 ou 2 vezes; mensalmente; semanalmente; diariamente ou quase todos os dias), e as questões 6 e 7 possuem três opções de resposta (não, nunca; sim, mas não nos últimos 3 meses; sim, nos últimos 3 meses). Cada item tem um sistema de pontuação distinto, com pesos diferentes, mas sempre crescentes, para cada ponto da escala de resposta. Para corrigir o ASSIST, as pontuações dos itens 2 a 7 são somadas, gerando um escore que pode variar entre 0 e 39. Informações mais detalhadas sobre estrutura, aplicação, correção e interpretação do ASSIST podem ser conferidas no manual do instrumento (Humeniuk et al., 2020).

Procedimentos

O delineamento adotado foi do tipo instrumental (Montero & León, 2002), primário, empírico, analítico, correlacional, transversal, com seleção não aleatorizada dos participantes (Hochman et al., 2005; Marin et al., 2021). Para a coleta de dados, uma vez por semana, os pesquisadores solicitavam à equipe de profissionais do CAPS-AD a lista dos usuários admitidos nos dias anteriores e em processo de admissão naquele dia. Com a lista em mãos, um membro da equipe apresentava o possível participante a um dos pesquisadores, e ambos se encaminhavam a uma sala onde era apresentada a pesquisa. Em caso de concordância com a participação, o pesquisador lia o Termo de Consentimento Livre e Esclarecido e pedia a assinatura do participante, que recebia uma cópia do documento. Após esse momento, o pesquisador aplicava, em forma de entrevista, o questionário de caracterização e o ASSIST, nesta ordem.

Análise de dados

A validade de conteúdo do ASSIST foi investigada a partir de análise de cinco juízes especialistas em TUS, que responderam a duas questões: (a) Qual a força de cada item do ASSIST para indicar ao profissional de CAPS-AD o nível de envolvimento de uma pessoa com álcool e crack? e (b) Se você avaliar que a redação do item pode melhorar, ser mais clara, dê sugestões ou reescreva o item. Para responder à primeira pergunta, o juiz deveria usar a escala: 0-Nenhuma/Nula; 1-Muito fraca; 2- Fraca; 3-Moderada; 4-Forte; 5-Muito forte. Para analisar os dados sobre a validade de conteúdo do ASSIST, foi utilizado o coeficiente V de Aiken calculado pelo programa estatístico ICAiken (Soto & Segóvia, 2009). Foi estabelecido o critério de .80 como indicativo mínimo de adequação. As sugestões de alteração da redação foram discutidas pelos autores deste estudo e acatadas quando avaliadas como pertinentes.

A estrutura interna do ASSIST foi analisada por meio de Análise Fatorial Confirmatória. O método de estimação foi o dos quadrados mínimos ponderados diagonalmente (DWLS), adequado para dados ordinais. A qualidade do ajuste da estrutura aos dados observados foi aferida por índices com diferentes funções. Para verificar o ajuste absoluto, foram utilizadas a proporção qui-quadrado por grau de liberdade, a raiz quadrada média do erro de aproximação (RMSEA) e a raiz quadrada média residual padronizada (SRMR). Para investigar o ajuste incremental, foram verificados o índice de ajuste comparativo (CFI), o índice de Tucker Lewis (TLI) e o índice de ajuste normatizado de Bentler-Bonett (NFI), que não é afetado pelo número de parâmetros do modelo. A estrutura foi submetida a análises de invariância de medida para verificar a equivalência para grupos distintos de escolaridade, tipo de substância e idade. A diminuição de menos de .01 no CFI ao restringir cargas fatoriais e limiares foi usada como critério para atestar a invariância (Putnik & Bornstein, 2016). A fidedignidade por consistência interna foi calculada pelos coeficientes alfa de Cronbach e ômega de McDonald. As análises foram executadas no programa JASP, versão 0.16.4. Dados sobre dificuldade e discriminação dos itens foram obtidos pelo modelo de créditos parciais generalizados, via pacote IRTShiny do programa R. Para buscar evidências de validade de critério concorrente, a pontuação gerada pelo ASSIST foi associada, por meio de correlações de Pearson, ao autorrelato do tempo de abstinência dos participantes. Por fim, foram estabelecidas normas de interpretação por percentis.

Resultados

Os resultados em relação à validade de conteúdo do ASSIST podem ser observados na Tabela 1 e mostram que os valores atribuídos pelos juízes à validade das versões aplicadas a usuários de álcool e de crack são idênticos. Os mesmos juízes ofereceram sugestões para melhorar a compreensão dos itens do instrumento por pessoas de baixa escolaridade. Nos itens 2, 3, 4 e 5, a redação foi simplificada, retirando-se o termo “com que frequência” e substituindo-o por “quantas vezes”. No item 4, a palavra “resultou” foi trocada por “causou”. No 5, a expressão “coisas normalmente esperadas de você” foi alterada para “coisas que você deveria ter feito”. E, no item 6, a palavra “há” foi modificada para “você tem”.

Tabela 1 Validade de Conteúdo, Pesos Fatoriais, Dificuldade e Discriminação dos Itens do ASSIST 

Itens M (DP) Va [95%CI] Vc [95%CI] λ a b1 b2 b3 b4
Item 2. Durante os três últimos meses, quantas vezes você bebeu/usou crack? 3.72 (2.36) .92 [.75, .98] .92 [.75, .98] .90 4.23 -0.55 0.08 -0.38 0.29
Item 3. Durante os três últimos meses, quantas vezes você teve um forte desejo ou necessidade de beber/usar crack? 4.05 (2.46) .92 [.75, .98] .92 [.75, .98] .92 4.61 -0.37 0.07 -0.36 0.21
Item 4. Durante os três últimos meses, quantas vezes o seu consumo de álcool/crack causou problemas (de saúde, sociais, com a Justiça ou de dinheiro)? 3.79 (3.01) .92 [.75, .98] .92 [.75, .98] .80 1.05 0.86 0.02 -0.08 0.19
Item 5. Durante os três últimos meses, quantas vezes você deixou de fazer coisas que você deveria ter feito porque tinha bebido/ usado crack? 4.30 (3.47) .88 [.70, .96] .88 [.70, .96] .77 0.96 0.76 0.75 -0.51 0.23
Item 6. Você tem um amigo, parente ou outra pessoa que já demonstrou preocupação com seu uso de álcool/crack? 5.00 (1.86) .80 [.61, .91] .80 [.61, .91] .32 0.96 -1.92 -2.84
Item 7. Alguma vez você já tentou controlar, diminuir ou parar o uso de crack e não conseguiu? 4.53 (1.99) .86 [.80, .99] .86 [.80, .99] .50 0.87 -1.91 -0.72

Nota. CI = intervalo de confiança; Va = Valor da validade de conteúdo para a versão do ASSIST aplicada a usuários de álcool; Vc = Valor da validade de conteúdo para a versão do ASSIST aplicada a usuários de crack; λ = peso fatorial; b1 = limiar de dificuldade 1; b2 = limiar de dificuldade 2; b3 = limiar de dificuldade 3; b4 = limiar de dificuldade 4; a = discriminação.

Na Tabela 1, também são apresentadas informações sobre a validade da estrutura interna, com dados sobre os valores das cargas fatoriais, de discriminação e dificuldade dos itens. Os dois primeiros itens obtiveram os maiores valores de carga fatorial e discriminação, enquanto os dois últimos tiveram os valores mais baixos. Em relação ao parâmetro dificuldade, foi possível observar que limiares são facilmente endossados e cobrem uma faixa pequena de dificuldade. A qualidade do ajuste desse modelo do ASSIST apresentou proporção qui-quadrado por graus de liberdade de 1.13 (χ² = 10.17; gl = 9, p = .34), CFI = .999, TLI = .999, NFI = .995, SRMR = .034; RMSEA = .017 90%CI [.000, .058]. Todas as cargas fatoriais foram significativas ( p < .001)

A estrutura do ASSIST, comparada de acordo com a idade, mostrou que o instrumento funciona de maneira semelhante para pessoas tanto entre 18 e 35 anos quanto entre 36 e 62 anos, com invariância configural (CFI= .999), métrica (CFI= .998 , Δ= - .001) e escalar (CFI= .999 , Δ= + .001). Para escolaridade, os resultados também mostraram que o ASSIST possui uma estrutura equivalente para pessoas com nível fundamental e médio, com invariância configural (CFI= .999), métrica (CFI= .999, Δ= 0) e escalar (CFI= 1, Δ= + .001). Por fim, em relação ao tipo de droga, houve indicação de que o instrumento é invariante entre os que possuem álcool e crack como droga preferencialmente consumida, com invariância configural (CFI= .999), métrica (CFI= .999., Δ= 0) e escalar (CFI= .998, Δ= -.001).

Para a fidedignidade, o valor de ômega de McDonald foi de .88 CI 95% [.86, .90] e o coeficiente alfa de Cronbach foi de .85 CI 95% [.83, .87]. A correlação entre nível de envolvimento com a substância, medido pelo ASSIST, e tempo de abstinência foi de -.57 (p< .001 95% CI [-.50, -.63]). As normas de interpretação por percentis podem ser observadas na Tabela 2.

Tabela 2 Normas por Percentis do ASSIST 

Percentis Pontuação bruta
ASSIST álcool ASSIST crack
1 2 3
15 6 9
50 27 31
85 36 37
99 39 39
M (SD) 23.0 (12.2) 26.7 (11.3)
Mdn 27 31

Discussão

Os resultados mostraram que o ASSIST tem evidências psicométricas de validade de conteúdo, indicando que todos os itens são mesmo relevantes para avaliações em contexto de atenção psicossocial. Como esperado, os juízes avaliaram que o conteúdo do instrumento é igualmente capaz de medir o nível de envolvimento tanto de álcool como de crack. Um dado relevante, obtido ainda na validade de conteúdo, foi que frequência de consumo, fissura pela substância e problemas resultantes do consumo foram os itens considerados mais pertinentes. Por outro lado, a demonstração de preocupação por outras pessoas foi o item apontado como tendo a menor relevância do instrumento. Abandono de atividades e tentativas fracassadas de interrupção do consumo foram itens com valores medianos, se comparados aos demais. Embora tradicionalmente não seja estabelecida uma hierarquia sobre quais critérios são mais relevantes, esses resultados permitem supor que essa hierarquia pode existir.

Os resultados da validade de conteúdo foram corroborados pelos resultados da validade de estrutura interna. Chamou atenção o fato de que os seis itens pontuáveis do ASSIST parecem seguir uma ordem decrescente de peso das cargas fatoriais e valores de discriminação, formando três blocos de dois itens. De forma bastante semelhante à validade de conteúdo, frequência de uso e fissura pela substância foram os itens que melhor representaram o envolvimento com a substância. Problemas resultantes do consumo e abandono de atividades mostraram valores elevados, mas abaixo dos dois primeiros. Por último, tentativas frustradas de interromper o consumo e preocupação por outros foram itens com menor representação do construto. Especialmente preocupação por outros, que foi o item menos representativo, tendo apresentado valor limítrofe de adequação.

Sabendo que as pessoas que procuram os serviços do CAPS-AD já fazem uso problemático de substâncias psicoativas, é relevante considerar que a fissura seja mesmo o item mais representativo do construto. A fissura ou craving é um conceito importante de ser entendido no Transtorno por Uso de Substância (TUS). É caracterizada como o desejo intenso de utilizar uma substância específica, um pensamento obsessivo, um desejo de repetir a experiência dos efeitos de uma dada substância, podendo ocorrer no início da abstinência ou após um longo período sem usar, podendo estar acompanhada por alterações de humor, comportamento e pensamento (Araújo et al., 2008). O critério relacionado à fissura parece tão importante, que, para especificar remissão parcial ou sustentada, ele não é incluído. Ou seja, uma pessoa pode continuar tendo fissuras mesmo após um diagnóstico de remissão.

Em relação à frequência de uso, faz sentido teórico que este item seja importante, uma vez que é esperado que pessoas com critérios para TUS consumam a substância mais vezes que aquelas que fazem uso apenas recreativo ou esporádico. Assim, em contexto da atenção psicossocial, espera-se que as pessoas que buscam o serviço já apresentem frequência elevada, incluindo sinais de tolerância, que exigem mais vezes e maiores quantidades da substância para obtenção de efeitos que anteriormente eram adquiridos com consumo menor e mais esporádico. Apesar de importante, esse é um item que, se analisado isoladamente, pode não ser útil para tomar decisões sobre o tipo de intervenção mais adequada para pessoas em um processo de triagem, uma vez que a maioria dos usuários deve apresentar pontuações elevadas ao procurar o serviço do CAPS-AD. No entanto, ele pode ter utilidade para medir a evolução de uma intervenção que tem como objetivo a abstinência ou redução do consumo. Chamou atenção também o fato de que ele possui uma carga fatorial muito próxima do item que avalia a fissura. Pela teoria da prevenção de recaída (Marlatt & Donovan, 2009), a fissura é um antecedente imediato a um lapso. Portanto, faz sentido que sejam os itens mais representativos do instrumento.

Ainda com carga fatorial e discriminação elevadas, mas já abaixo dos dois primeiros itens, está a avaliação de problemas gerados pelo uso, em esferas amplas da vida de um indivíduo. A frequência de problemas pode ser resultado do consumo elevado, característico no TUS, mostrando as consequências físicas e psicológicas do uso abusivo ou dependente, que pode levar a danos na saúde, nas relações familiares, sociais e laborais do indivíduo (Cruz & Felicíssimo, 2014). Na sequência, a explicação para a importância de se avaliar a frequência com que um indivíduo deixa de fazer uma atividade porque bebeu ou usou crack passa pela suposição de que esse critério também é um tipo de problema, como medido pelo item anterior, o que aproximaria esses dois itens.

Abandonar uma atividade devido ao consumo de uma substância é um critério relevante, porque mostra o poder reforçador que o álcool ou o crack podem ter na vida de uma pessoa. Um ambiente empobrecido de atividades e com baixa interação social pode aumentar o envolvimento com substâncias (Bernardes, 2008; Cortes-Patiño, 2017) e o envolvimento com substâncias pode fazer com que o indivíduo deixe de procurar ambientes mais ricos em atividades e com maiores interações sociais, tornando o valor do consumo superior ao valor oferecido por outras atividades (Rangé & Marlatt, 2008). Assim, mesmo provocando prejuízos, o alívio causado pelo consumo faz com que o indivíduo priorize atividades relacionadas ao álcool ou crack, em vez de atividades sociais, recreacionais e laborais. Por isso, é essencial que uma intervenção inclua aumento de atividades prazerosas e de interação social, de forma que elas passem a ter valor reforçador maior que o consumo de álcool e outras drogas (Carroll, 1998; Monti et al., 2005).

Da lista de itens do ASSIST, os dois últimos apresentaram as menores representações do construto, mostrando relações mais fracas com os demais itens do instrumento e menor poder de discriminação. Um destaque importante é que a preocupação de outros sobre o consumo de substâncias de uma pessoa possui menor peso teórico que os demais itens. O conteúdo deste item não faz parte diretamente dos critérios diagnósticos definidos pela CID-10 e pelo DSM-V. Assim, o item pode ser mais importante para um rastreio geral da população do que para um rastreio específico em contexto CAPS-AD.

Por fim, a menor qualidade do item sobre tentativas malsucedidas de interromper o uso foi uma surpresa. Este é um item que apresenta um conteúdo teoricamente relevante, uma vez que tentar parar de usar ou reduzir o consumo de uma substância sem sucesso é um critério para o diagnóstico de TUS (American Psychiatric Association, 2013). Assim, a hipótese para explicar este resultado é que ele pode estar mais ligado a um aspecto metodológico, relacionado às características da amostra, que pode não ter tido a experiência de tentar interromper o uso sem sucesso nos últimos três meses, como é solicitado pelo instrumento. Logo, em um contexto CAPS-AD, o item possuiria menor força para discriminar os diferentes níveis de envolvimento com a substância.

O ASSIST aplicado em contexto de atenção psicossocial possui itens com a maioria dos limiares sendo facilmente endossados, o que também era esperado, considerando-se as características dos participantes. Embora seja útil para a confirmação do envolvimento de risco com a substância, há uma lacuna aberta para o desenvolvimento de um instrumento que inclua itens mais difíceis, que possam ser usados especificamente nas avaliações em CAPS-AD. Apesar disso, um outro resultado que mostra a qualidade da estrutura interna do ASSIST foi aquele que mostrou que o instrumento funciona de maneira semelhante tanto para pessoas mais novas quanto para pessoas mais velhas, tanto para pessoas que estudaram até o ensino fundamental quanto para aquelas que estudaram até o ensino médio e tanto para usuários de álcool quanto para usuários de crack. Isso significa que é possível comparar o nível de envolvimento com a substância entre grupos de pessoas com essas características, sem que o resultado da comparação seja influenciado pela estrutura do instrumento. Possíveis diferenças encontradas serão de fato resultado de diferenças no nível de envolvimento com a substância, e não devido a erros do instrumento. Tal resultado mostra-se importante, pois permite uma diminuição de erros ao instrumento ser aplicado em diferentes grupos, possibilitando uma melhor generalização dos dados.

Quando as pontuações geradas por metades distintas de itens foram comparadas, as correlações foram elevadas, superiores a .85. Ainda que inferiores a .90, estes resultados são semelhantes aos de outros estudos brasileiros (Barreto et al., 2014; Carminatti, 2010; Christoff et al., 2016; Henrique et al., 2004), que encontraram valores de fidedignidade entre .71 e .89 para álcool e entre .81 e .89 para cocaína. Considerando-se que o número de itens pode afetar o valor da fidedignidade e que o ASSIST é um instrumento curto, isso significa que a consistência interna do teste para o contexto CAPS-AD pode ser classificada como muito boa, mostrando estabilidade das pontuações e fortalecendo a indicação de que um mesmo conteúdo está sendo avaliado pelo instrumento. É provável que, se o ASSIST tivesse um número maior de itens, os valores de fidedignidade alcançariam valores ótimos, superiores a .90.

Os resultados indicaram ainda que quanto maior o envolvimento com a substância, menor o tempo de abstinência e vice-versa. Tal informação possui sentido teórico, pois espera-se que a intervenção proposta em um CAPS-AD seja capaz de promover a abstinência de substâncias. Ainda que a política de redução de danos possa ser adotada nesse contexto, sem haver exigência de se manter a abstinência para seguir no tratamento, é comum que ela seja alcançada. Assim, é possível afirmar que há evidências de validade de critério concorrente para o ASSIST.

A proposta de estabelecer normas de interpretação para as pontuações geradas pelo ASSIST gerou uma tabela normativa que indicou uma pontuação bruta elevada para o percentil 50. Isso sugere uma concentração alta de pessoas em um intervalo curto para a pontuação bruta. Para usuários de álcool, enquanto a primeira metade da amostra se distribuiu entre as pontuações 2 e 27, a segunda metade ficou concentrada apenas entre o intervalo 27 e 39. Para usuários de crack, esses valores foram ainda mais destacados, pois metade da amostra se distribuiu entre a pontuação 3 e 30, enquanto a outra metade se concentrou apenas entre 31 e 39. No entanto, tal resultado era esperado, uma vez que a amostra era composta, em sua maioria, por pessoas em tratamento intensivo para uso abusivo ou dependente de álcool ou crack. As informações sobre a dificuldade dos itens também já indicavam isso. Assim, sugere-se que a interpretação dos resultados do ASSIST em contexto CAPS-AD seja feita de forma diferente de outros contextos em que o instrumento pode ser utilizado.

Considerações Finais

No contexto da atenção psicossocial, é imprescindível o uso de instrumentos que possam auxiliar a prática profissional, visando à detecção do nível de envolvimento do usuário com a substância consumida, no momento de sua chegada ao local, a fim de que seja possível um melhor encaminhamento para a intervenção mais apropriada. Os resultados deste estudo mostraram que o ASSIST apresentou promissoras evidências de qualidade psicométrica neste contexto, sendo capaz de gerar informações para detectar o nível de envolvimento de uso de álcool e crack. Isso pode ajudar na compreensão do quadro inicial do usuário pelos profissionais da equipe multiprofissional de saúde, para a classificação mais congruente ao nível de risco, diminuindo erros na tomada de decisão e possibilitando a elaboração de um projeto terapêutico singular mais apropriado.

Apesar disso, este estudo apresenta algumas limitações. A primeira delas refere-se à amostra, obtida por conveniência, em dois CAPS-AD de uma mesma cidade, capital de estado. Assim, não incluiu participantes de outras regiões e cidades do interior. Uma segunda limitação é que não foram coletadas informações sobre variáveis que podem ser importantes para compreender com mais detalhes o TUS, como, por exemplo, nível socioeconômico. A amostra também não incluiu crianças, adolescentes, idosos e o número de mulheres foi pequeno, refletindo uma característica do público atendido na atenção psicossocial no Brasil.

Estudos futuros devem replicar as análises com amostras de outras regiões do Brasil, oferecendo maior suporte aos resultados. Sugere-se ainda, buscar evidências de validade por construtos relacionados, como entre o nível de envolvimento com álcool e crack e o repertório de enfrentamento, pois espera-se que indivíduos com mais habilidades de enfrentamento apresentem menor envolvimento com as substâncias. Outra ideia é investigar a relação do escore fornecido pelo ASSIST e instrumentos como o Beck Depression Inventory (BDI), Beck Anxiety Inventory (BAI), Hospital Anxiety Depression Scale (HADS), Depression Anxiety and Stress Scale (DASS), que medem psicopatologias como depressão e ansiedade. Também é importante realizar outros estudos sobre a fidedignidade do instrumento, como de estabilidade temporal por teste-reteste. Por fim, é importante que novos estudos busquem maior diversificação da amostra, com inclusão de características como nível socioeconômico e maior diversidade de idade e de gênero, permitindo a investigação de mais evidências de invariância e mais informações normativas.

Referências

Ambiel, R. A. M., & Carvalho, L. F. (2017). Validade e precisão de instrumentos de avaliação psicológica. In M. R. C. Lins, & J. C. Borsa (Eds.), Avaliação Psicológica: Aspectos teóricos e práticos (pp. 244–266). Vozes. [ Links ]

American Psychiatric Association (2013). Diagnostic and statistical manual of mental disorders (5ª ed.). Artmed. [ Links ]

Araujo, R. B., Oliveira, M. S., Pedroso, R. S., Miguel, A. C., & Castro, M. G. T. (2008). Craving e dependência química: Conceito, avaliação e tratamento. Jornal Brasileiro de Psiquiatria, 57(1), 57–63. https://doi.org/10.1590/S0047-20852008000100011Links ]

Baptista, M. N, Muniz, M., Reppold, C. T, Nunes, C. H. S. S, Carvalho, L. F, Primi, R., Noronha, A. P. P, Seabra, A. G., Wechsler, S. M, Hutz., C. S., & Pasquali, L. (2019). Compêndio de Avaliação Psicológica. Vozes. [ Links ]

Barreto, H. A. G., Christoff, A. O., & Boerngen-Lacerda, R. (2014). Development of a self-report format of ASSIST with university students. Addictive behaviors, 39, 1152–1158. http://dx.doi.org/10.1016/j.addbeh.2014.03.014Links ]

Bastos, F. I. P. M. (Ed.). (2017). III Levantamento Nacional sobre o uso de drogas pela população brasileira. FIOCRUZ/ICICT. https://www.arca.fiocruz.br/handle/icict/34614Links ]

Bernardes, A. M. T. (2008). Efeito de enriquecimento ambiental na auto-administração oral de álcool em rato (Dissertação de Mestrado, Universidade de São Paulo). Biblioteca Digital USP. http://dx.doi.org/10.11606/D.47.2008.tde-05062008-172705Links ]

Carminatti, V. J. P. (2010). Validação concorrente e confiabilidade da versão brasileira do ASSIST-WHO (Alcohol Smoking And Substance Involvement Screening Test) para adolescentes (Dissertação de Mestrado, Universidade Federal de São Paulos São Paulo, Brasil). http://repositorio.unifesp.br/handle/11600/10163Links ]

Carroll, K. M. (1998). A cognitive-behavioral approach: Treating cocaine addiction. National Institute on Drug Abuse. [ Links ]

Christoff, A.O, Barreto, H. G . A, & Boerngen-Lacerda, R. (2016) Development of a Computer- Based Format for the Alcohol, Smoking, and Substance Involvement Screening Test (ASSIST) With University Students. Substance Use & Misuse, 51(9), 1207–1217. https://doi.org/10.3109/10826084.2016.1161053Links ]

Cortes-Patiño, D. M. (2017). Efeitos do isolamento social: Sobre a persistência na procura em contextos associados ao álcool [Tese de doutorado, Universidade de São Paulo]. Biblioteca Digital USP. https://doi.org/10.11606/T.47.2017.tde-24072017-184025Links ]

Cruz, M. S., & Felicíssimo, M. (2014). Problemas médicos, psicológicos e sociais associados ao uso abusivo de álcool e outras drogas. In Secretaria Nacional de Políticas Sobre Drogas, Efeitos de substâncias psicoativas: Módulo 2 (5ª ed, pp. 125–142). Secretaria Nacional de Políticas sobre Drogas. [ Links ]

Henrique, I. F. S., De Micheli, D., Lacerda, R. B. de, Lacerda, L. A., & Formigoni, M. L. O. S. (2004). Validação da versão brasileira do teste de triagem do envolvimento com álcool, cigarro e outras substâncias (ASSIST). Revista da Associação Médica Brasileira, 50(2), 199–206. https://doi.org/10.1590/S0104-42302004000200039Links ]

Hochman, B., Nahas, F. X., Oliveira Filho, R. S., & Ferreira, L. M. (2005). Desenhos de pesquisa. Acta Cirúrgica Brasileira, 20(2), 2–9. https://doi.org/10.1590/S0102-86502005000800002Links ]

Humeniuk, R., Ali, R., Babor, T. F., Farrell, M., Formigoni, M. L., Jittiwutikarn, J., Lacerda, R. B., Ling, W., Marsden, J., Monteiro, M., Nhiwatiwa, S., Pal, H., Poznyak, V., & Simon, S. (2008). Validation of the alcohol, smoking and substance involvement screening test (ASSIST). Addiction, 103(6), 1039–1047. https://doi.org/10.1111/j.1360-0443.2007.02114.xLinks ]

Humeniuk, R., Edwards, H., Ali, R., Poznyak, V., & Monteiro, M. G. (2020). Alcohol, smoking and substance involvement screening test (ASSIST): Manual de uso na atenção primária. FIOCRUZ. https://www.arca.fiocruz.br/handle/icict/43471Links ]

Marin, A. H.; Schaefer, M. P., Lima, M., Rolim, K. I., Fava, D. C., & Feijó, L. P. (2021). Delineamentos de Pesquisa em Psicologia Clínica: Classificação e Aplicabilidade. Psicologia: Ciência e Profissão, 41, e221647. https://doi.org/10.1590/1982-3703003221647Links ]

Marlatt, G. A., & Donovan, D. M. (2009). Prevenção da recaída: Estratégias de manutenção no tratamento de comportamentos adictivos. Artmed. [ Links ]

Monti, P. M., Kadden, R. M., Rohsenow, D. J., Cooney, N. L., & Abrams, D. B. (2005). Tratando a dependência de álcool: Um guia de treinamento das habilidades de enfrentamento. Roca. [ Links ]

Morais, A. E. B. (2018). Perfil dos usuários de um Centro de Atenção Psicossocial Álcool e Drogas de São Luís /MA (Monografia de Conclusão de Curso [não publicada], Universidade Federal do Maranhão, São Luís, MA, Brasil). [ Links ]

Montero, I., & León, O. G. (2002). Clasificación y descripción de las metodologías de investigación en Psicología. International Journal of Clinical and Health Psychology, 2(3), 503–508. https://www.redalyc.org/articulo.oa?id=33720308Links ]

Organização Mundial da Saúde. (2004). Neurociência de consumo e dependência a substâncias psicoativas: Resumo. World Health Organization. http://bvsms.saude.gov.br/bvs/publicacoes/Neuroscience_P.pdfLinks ]

Putnick, D. L., & Bornstein, M. H. (2016). Measurement invariance conventions and reporting: The state of the art and future directions for psychological research. Developmental Review, 41, 71–90. http://dx.doi.org/10.1016/j.dr.2016.06.004Links ]

Rangé, B., & Marlatt, G. A. (2008). Terapia cognitivo-comportamental de transtornos de abuso de álcool e drogas. Revista Brasileira de Psiquiatria, 30, 88-95. https://doi.org/10.1590/S1516-44462008000600006Links ]

Secretaria Nacional de Políticas sobre Drogas. (2010). VI Levantamento Nacional sobre o Consumo de Drogas Psicotrópicas entre Estudantes do Ensino Fundamental e Médio das Redes Pública e Privada de Ensino nas 27 Capitais Brasileiras. Centro Brasileiro de Informações sobre Drogas Psicotrópicas. https://www.cebrid.com.br/vi-levantamento-estudantes-2010/Links ]

Silva, A. C., Lucchese, R., Vargas, L. S., Benício, P. R., & Vera, I. (2016). Aplicação do instrumento Alcohol, Smoking and Substance Involvement Screening Test (ASSIST): uma revisão integrativa. Revista Gaúcha de Enfermagem, 37(1), e52918. https://dx.doi.org/10.1590/1983-1447.2016.01.52918Links ]

Soto, C. M., & Segovia, J. L. (2009). Intervalos de confianza asimétricos para el índice la validez de contenido: Un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169–171. https://dialnet.unirioja.es/servlet/articulo?codigo=2973711Links ]

World Health Organization. ( 2009) . Global health risks: Mortality and burden of disease attributable to selected major risks. https://apps.who.int/iris/handle/10665/44203Links ]

WHO ASSIST Working Group (2002). The Alcohol, Smoking and Substance Involvement Screening Test (ASSIST): Development, reliability and feasibility. Addiction, 97(9), 1183– 1194. https://doi.org/10.1046/j.1360-0443.2002.00185.xLinks ]

Recebido: 30 de Março de 2022; Revisado: 22 de Novembro de 2022; Aceito: 19 de Janeiro de 2023

1 Endereço de contato: Avenida dos Portugueses, 1966, Vila Bacanga, São Luís, MA. CEP: 65.080-805. Telefone: (98) 3272-8335. E-mail: lucas.gcs@ufma.br

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que o trabalho original seja corretamente citado.