SciELO - Scientific Electronic Library Online

 
vol.27 número61Colaborando na trajetória de superação em saúde mental: grupo de ouvidores de vozes índice de autoresíndice de assuntospesquisa de artigos
Home Pagelista alfabética de periódicos  

Serviços Personalizados

Journal

artigo

Indicadores

Compartilhar


Nova Perspectiva Sistêmica

versão impressa ISSN 0104-7841versão On-line ISSN 2594-4363

Nova perspect. sist. vol.27 no.61 São Paulo maio/ago. 2018

 

ARTIGOS

 

“Caminhando lado a lado”: práticas colaborativas nos tratamentos de saúde mental e uso de substâncias

 

“Walking alongside:” collaborative practices in mental health and substance use care*

 

 

Ottar NessI, Marit BorgII, Randi SembIII e Bengt Karlsson PalmerIV

Buskerud e Vestfold University College, Noruega.

 

 


RESUMO

Apesar da importância das práticas colaborativas na pesquisa e na teoria estar bem consolidada entre os profissionais da saúde mental, pouca atenção tem sido dada ao que significa realmente entrar e se engajar numa relação colaborativa. O objetivo deste estudo foi identificar os principais elementos e maneiras pelas quais os profissionais da saúde mental podem colaborar, na prática, com os usuários do serviço e suas famílias. Foi feito um estudo qualitativo, na modalidade pesquisa- -ação, utilizando a abordagem da investigação cooperativa incluindo discussões em grupo focal multietapas com terapeutas, médicos, assistentes sociais e demais profissionais da área, especializados em atenção e cuidado em saúde mental e uso problemático de substâncias. Utilizamos análise de conteúdo temática com o propósito de identificar características comuns.A partir da análise de conteúdo identificamos três grandes temas relacionados às experiências dos profissionais de práticas colaborativas: (a) caminhar lado a lado através de diálogos negociados, (b) manter relacionamentos humanos e (c) manejar relações e serviços. Concluímos que mesmo com a sólida e rica base de conhecimento que se desenvolveu a partir das relações e práticas colaborativas, é ainda um desafio para os profissionais reorientar a sua prática adequadamente. Nossas descobertas parecem indicar que os profissionais se concentram em dois tipos de processos que caracterizam a prática colaborativa: um que foca nas conversas entre os profissionais e usuários dos serviços e suas famílias e outro com foco na gestão e controle entre os prestadores de serviços de saúde, setores de serviços e usuários de serviços (ou seja, uma colaboração inter/intra).

Palavras-chave: saúde mental comunitária; práticas colaborativas; comorbidades de problemas de saúde mental e uso de substâncias; superação; tomada de decisão compartilhada; pesquisa-ação; investigação cooperativa.


ABSTRACT

Although the importance of collaboration is well established as a principle in research and in theory, what it actually means for practitioners to collaborate in practice, to be partners in a collaborative relationship, has thus far been given less attention. The aim of this study was to identify key characteristics of the ways in which mental health practitioners collaborate with service users and their families in practice. This was a qualitative action research study, with a cooperative inquiry approach that used multi-staged focus group discussions with ten mental health care and social work practitioners in community mental health and substance use care. Thematic analysis was applied to identify common characteristics. We identified three major themes related to practitioners’ experiences of collaborative practices: (1) walking alongside through negotiated dialogues, (2) maintaining human relationships, and (3) maneuvering relationships and services. It appears that even with the rich knowledgebase that has developed on the merits of collaborative relationships, it continues to be challenging for practitioners to reorient their practice accordingly. The findings of this study indicate that the practitioners focus on two types of processes as characterizing collaborative practice: one focusing on conversations among practitioners and service users and their families and the other focusing on management and control among health care providers, service sectors, and service users (i.e., inter/intra- -system collaboration).

Key Words: community mental health care; collaborative practices; co-occurring mental health and substance use problems; recovery; shared decision-making; action research; cooperative inquiry.


 

 

FUNDAMENTOS

A forma de engajamento – a maneira como desenvolvemos um relacionamento com outra pessoa – influencia o tipo e a qualidade das conversas que podemos ter uns com os outros e, da mesma forma, as conversas que começamos a ter um com o outro irá influenciar o tipo e a qualidade dos nossos relacionamentos”. (Harlene Anderson)

No contexto atual dos tratamentos em saúde mental os profissionais buscam  relações colaborativas e práticas que incluam no processo a participação ativa dos usuários dos serviços e suas famílias (Beresford & Carr, 2012; Karlsson & Borg, 2013). No centro dessas relações colaborativas estão a competência e a capacidade das pessoas em ouvir, levar a sério um ao outro e respeitar as diversas perspectivas, tanto no que diz respeito às relações quanto à própria parceria em que essas pessoas se engajam (Anderson, 2012; London, St. George, & Wulff, 2009; Strong, Sutherland, & Ness, 2011). Para que a colaboração seja bem sucedida no tratamento em saúde mental é preciso ainda haver um fluxo livre de informação e compartilhamento dos feedbacks recebidos entre todos para que tais informações se alinhem com as mudanças de rumo que muitas vezes acontecem (Sundet, 2011).

Na literatura voltada para pesquisas sobre serviços e práticas que colocam a pessoa no centro da tomada de decisão, existem várias premissas ou princípios fundamentais. Tais princípios incluem poder trabalhar com crenças, valores e prioridades às vezes antagônicos; administrar as relações de poder e o equilíbrio de poder; estabelecer estratégias para engajar as pessoas; oferecer consistência na prestação do tratamento; ter competências relacionais; sair do lugar de “especialista” (role blurring); e tomar decisões de forma negociada (Laitila, Nikkonen, & Pietilä, 2011; Strong, 2000, Strong, Sutherland, & Ness, 2011). Todos esses conceitos complexos estão presentes nas “ideologias” dos profissionais e em suas aspirações individuais, e enfrentar essas complexidades pode ser fundamental para determinar boas práticas colaborativas e conversas dialógicas (Anderson, 2012; Strong, Sutherland, & Ness, 2011).

Existe uma vasta literatura indicando que a base fundamental para as práticas colaborativas e conversas dialógicas nos tratamentos em saúde mental é o relacionamento entre os usuários do serviços e os profissionais (Bordin, 1979; Sweeney, Fahmy, Nolan, Morant, Fox et al. 2014). Esta noção de colaboração tem sido descrita como o “cliente e o terapeuta formando uma parceria contra o inimigo comum, a dor do cliente” (Horvath & Greenberg, 1994). Assim, o conceito de colaboração carrega também um sentido de confiança, flexibilidade, trabalho em equipe, parceria, cooperação e trabalho conjunto visando objetivos compartilhados (Borg, Karlsson, & Stenhammer, 2013; Davidson, Andres-Hyman, Bedregal, Tondora, Frey, & Kirk, 2008). A combinação deste tipo de relação colaborativa com a ideia de superação passa por um reposicionamento do profissional, que se torna um expert em ajudar pessoas a encontrar suas próprias formas de administrar seus problemas e batalhas pessoais (Borg, Karlsson, & Stenhammer, 2013; Borg & Kristiansen, 2004).

A superação tem a ver com o empenho e o trabalho da própria pessoa no sentido de tocar sua vida e viver em comunidade, apesar dos desafios que tem que enfrentar (como transtornos de saúde mental e uso problemático de substâncias), com e sem ajuda de profissionais (Borg, Karlsson, & Stenhammer, 2013). No que concerne aos profissionais da área, as práticas orientadas para a superação têm a ver com o que  eles podem oferecer e fazer para ajudar as pessoas em seu processo de superação. Este suporte pode se dar tanto em nível pessoal (ou seja, através de relacionamentos estáveis) como em nível do sistema (defesa de direitos humanos, luta contra o estigma) (Borg, Karlsson, & Stenhammer, 2013; Borg & Kristiansen, 2004; Davidson, Andres-Hyman, Bedregal, Tondora, Frey, & Kirk, 2008).

A partir de relatos em primeira pessoa sobre as lições aprendidas para superar os problemas, fica evidente que os processos de superação acontecem cotidianamente na vida dessas pessoas (Borg & Davidson, 2008; Topor, Borg, Di Girolamo, & Davidson, 2011). As pesquisas mostram que os processos de superação são facilitados quando a pessoa tem uma vida significativa, desempenhando atividades que façam sentido para elas (Behrman, 2005; Edward & Robins, 2012; Davidson, Andres-Hyman, Bedregal, Tondora, Frey, & Kirk, 2008), enfatizando os pontos fortes, a orientação para o futuro, e o restabelecimento da vida social e das relações de apoio (Borg & Davidson, 2008; Brooks, Malfait, Brooke, Gallagher, & Penn, 2007; Ness, Karlsson, Borg, Biong, Sundet, McCormack, & Kim, 2014). A literatura sobre superação aponta ainda que as barreiras à superação incluem a falta de uma ajuda “customizada” e ter de transitar em sistemas complexos e passar por serviços descoordenados (Ness, Karlsson, Borg, Biong, Sundet, McCormack, & Kim (2014). Pessoas em processo de superação valorizam profissionais que transmitem esperança, compartilham poder, que estão disponíveis quando necessário, que estão abertos para a diversidade quando isso é útil, e que estão dispostos a ampliar os limites do que é considerado o papel do “profissional” nesses serviços (Borg & Kristiansen, 2004). Profissionais orientados para a superação são aqueles que têm a coragem de abordar as complexidades e a individualidade das pessoas em seu processo de mudança, bem como de usar suas habilidades e experiência profissional em prol de uma parceria colaborativa.

Embora o significado de colaboração esteja bastante consolidado teoricamente no campo da saúde mental (Horvath & Symonds, 1991; Norcross, 2011), o significado de colaborar, de ser parceiro ou se engajar numa relação mútua de parceria tem recebido menos atenção na literatura. Além disso, é notável que, mesmo contando com uma sólida base de conhecimento sobre colaboração e superação, ainda seja um desafio para os profissionais poder efetivamente colocar em prática essas ideias. Embora, em geral, os profissionais queiram ser colaborativos, muitas vezes suas práticas revelam o contrário (Karlsson & Borg, 2013; Ness, Karlsson, Borg, Biong, Sundet, McCormack, & Kim, 2014; Strong, Sutherland, & Ness, 2011).

O objetivo deste artigo é apresentar as perspectivas dos próprios profissionais sobre a prática colaborativa no trabalho conjunto com jovens adultos com comorbidades em saúde mental e uso problemático de substâncias, e suas famílias. A pergunta que orientou o estudo foi: como os profissionais de saúde entendem e descrevem a prática colaborativa com esses jovens adultos usuários do serviço e seus familiares?

 

MÉTODO

Desenho

O desenho geral do trabalho é de uma pesquisa-ação na perspectiva da investigação cooperativa (Heron, 1996). A Investigação Cooperativa refere-se a uma variedade de abordagens e é considerada particularmente apropriada na pesquisa-ação com base na tradição da filosofia participativa (Heron & Reason, 2001). As perguntas que orientaram nossa pesquisa foram identificadas a partir do envolvimento dos profissionais de um serviço de saúde mental e uso de substâncias que atende crianças, adolescentes e suas famílias em um município da Noruega. Foi, portanto, um desenho longitudinal, qualitativo e cooperativo de pesquisa. Os pesquisadores e participantes que desempenharam o papel de co-pesquisadores trabalharam colaborativamente na identificação de problemas, decidindo sobre os temas a serem investigados, selecionando o escopo da pesquisa e desenhando os projetos a serem implementados (Reason, 1999). Uma pessoa que tinha experiência como usuário neste serviço participou como moderador, em conjunto com o pesquisador, nas discussões do grupo focal e foi inserido como co-pesquisador neste projeto de pesquisa participativa.

Como parte da metodologia de pesquisa-ação, criamos um “grupo de competência” para trabalhar com a equipe da pesquisa em todas as etapas. O grupo de competência consistiu em dois membros da família, dois usuários do serviço e três profissionais do município, embora eles não tenham participado das discussões do grupo focal. Inspirado pelo conceito de pesquisa participativa (Borg, Karlsson, Kim, & McCormack, 2012; Moltu, Stefansen, Svisdahl, & Veseth, 2013), esse grupo desenvolveu detalhadamente o projeto de pesquisa elaborando, por exemplo, os roteiros das entrevistas, os critérios de inclusão, analisando os dados e participando no planejamento e discussões ao longo de todo o processo. O grupo de competência participou de todo o projeto, reunindo-se quatro vezes por ano durante a implementação. O relatório que apresentamos neste artigo foi extraído de uma parte deste projeto.

 

COLETA DE DADOS

Neste estudo adotamos discussões em grupos focais multiestágio com o objetivo de envolver ativamente os profissionais na pesquisa. A discussão em grupo focal multiestágios é caracterizada pela exploração de um determinado tema ou fenômeno através de várias discussões em grupo, e é descrita por Hummelvoll (2008) como uma investigação nos diálogos que surgem do material experiencial. Gravamos três discussões mensais em grupos focais, e a partir deste material transcrevemos as sessões. As discussões do grupo focal foram realizadas com os participantes no papel de co-pesquisadores, tendo o primeiro e o terceiro autores participado de todas as discussões. As discussões do grupo focal duravam geralmente de uma hora e meia a duas horas, e eram moderadas pelos pesquisadores que apresentavam os temas a partir de ideias e práticas colaborativas vividas pelos participantes do trabalho. Os resumos das transcrições de cada reunião eram compartilhados com os participantes no início da reunião subsequente para fornecer um contexto para uma conversa mais profunda sobre a prática colaborativa. Dessa forma foi possível tanto articular o conhecimento profissional dos participantes quanto elevar esse conhecimento a um nível superior de abstração. A abordagem aberta do mundo da vida (open life world approach) foi incorporada nas discussões do grupo focal, atestando que o desenvolvimento e a compreensão dos processos das práticas colaborativas surgiram das experiências profissionais.

 

PARTICIPANTES

Os participantes foram recrutados no departamento de Serviços em Saúde Mental, Uso Problemático de Substâncias para Crianças e Famílias em um município do leste da Noruega. O critério foi o de terem pelo menos dois anos de experiência no trabalho com jovens adultos com problemas concomitantes em saúde mental e uso de substâncias. Havia oito enfermeiros de saúde mental e dois assistentes sociais, todos com especialização no tratamento de saúde mental, uso problemático de substâncias e de terapia de família. Nas três discussões do grupo focal, seis integrantes participaram três vezes, quatro participaram duas vezes e dois participaram apenas uma vez. Aconteceram algumas ausências devido a responsabilidades clínicas e enfermidades pessoais.

 

ANÁLISE DE CONTEÚDO TEMÁTICA

Para atender os objetivos do estudo, o texto proveniente das transcrições transcrito das discussões do grupo focal foi analisado através de análise de conteúdo temática (Braun & Clarke, 2006; Clarke & Braun, 2013). O primeiro autor fez a análise inicial lendo as transcrições para se familiarizar com os dados, anotando os primeiros pensamentos, ideias e temas que emergiam. O material foi em seguida codificado, usando a pergunta da pesquisa como guia. As ideias iniciais e os temas emergentes foram então condensados, interpretados, rotulados e categorizados e, posteriormente, condensados em um texto coerente que se fundiu com os temas emergentes da primeira leitura. Os elementos significativos, tais como citações e descrições dos temas emergentes, foram identificados, listados e agrupados e, em seguida, classificados em sete categorias temáticas tentativas: (1) construindo uma relação de confiança e apoio; (2) criando contextos para a colaboração; (3) processos relacionais; (4) bases estruturais e organizacionais para a colaboração; (5) objetivos dos próprios participantes; (6) negociando um caminho futuro; (7) foco nos contextos da vida cotidiana e no envolvimento colaborativo com a comunidade. Os dados foram examinados várias vezes para completar as categorias, formando um arco temático abrangente. O grupo de competência também se envolveu na discussão do processo de análise junto com os pesquisadores. O primeiro autor apresentou os achados preliminares aos membros do grupo de competência em uma reunião. Os membros do grupo de competência em seguida leram os resumos, o que deu a oportunidade de comentar ou compartilhar ideias sobre como esses achados preliminares poderiam ser compreendidos e relacionados às práticas colaborativas na perspectiva dos profissionais dentro do município. A validade interna dos achados foi reforçada pelas discussões do segundo, terceiro e quarto autores durante o processo de análise e pelo cruzamento dos resultados encontrados pelo primeiro autor. Também contribuíram na escrita do texto de descrição das categorias temáticas e nas discussões subsequentes. Pudemos identificar, além disso, três grandes temas relacionados às experiências dos profissionais de práticas colaborativas no tratamento da saúde mental e da dependência. São eles: (a) caminhar lado a lado, através de diálogos negociados; (b) manejar relações e serviços; e (c) manter relacionamentos humanos.

 

APROVAÇÃO ÉTICA

O estudo foi conduzido em conformidade com os Comitês Nacionais de Ética em Pesquisa da Noruega. A aprovação ética para a realização do estudo foi concedida pelo Serviço de Dados das Ciências Sociais da Noruega (NSD). Após a descrição completa dos procedimentos aos participantes, obtivemos seu consentimento por escrito. Além disso, asseguramos confidencialidade aos participantes.

 

RESULTADOS

Caminhando lado a lado através de diálogos negociados

Os profissionais que participaram do estudo descreveram como a prática colaborativa com jovens adultos com problemas concomitantes em saúde mental e uso de substâncias incluia o “caminhar lado a lado”. Descreveram este tipo de parceria como diálogos negociados em direção a uma meta mutuamente acordada. Disseram ainda que, ao estabelecer uma parceria colaborativa com um usuário do serviço, tinha sido crucial usar como ponto de partida sua situação de vida, suas esperanças e sonhos para, em seguida, discutir a melhor forma de trabalharem juntos. Nas palavras de um dos participantes: Em uma colaboração frutífera, não se trata apenas de dar informações uns aos outros, mas de acordar uma maneira de trabalhar juntos para que possamos ter uma compreensão conjunta de como proceder com o trabalho.

Discutimos também que o caminhar lado a lado a jovens adultos e seus familiares envolve construir (ou negociar) um bom relacionamento. Eles relataram que, quando trabalham com usuários do serviço, é “muito importante não assumir a vida deles, mas estar com eles e ajudá-los no que eles querem”. Nesta forma de caminhar lado a lado, os participantes enfatizaram que precisam ter flexibilidade na forma de trabalhar; precisam estar disponíveis para os usuários do serviço e suas famílias. Foi também destacado na discussão a importância de informar os usuários sobre seus direitos civis e humanos e sobre a natureza da assistência que podem receber dos prestadores do serviço, para que possam fazer suas próprias escolhas. Como disse um participante: “É importante para os usuários saberem que estamos disponíveis e que somos flexíveis; você não pode simplesmente sentar em seu escritório; você precisa encontrar e conhecer esses usuários onde eles estão, e isso pode mudar muito rapidamente”.

Os profissionais participantes também falaram sobre como este caminhar lado a lado envolve apoiar os usuários em seus desafios cotidianos. Nas palavras de um deles: “Sinto que meu trabalho é principalmente ajudar os usuários do serviço em suas questões cotidianas, desafios escolares, no trabalho, em suas atividades, ter um lugar para morar etc. Então, tenho que acompanhá-los e não lhes impor a minha forma de vida”. Encontrar formas de trabalhar junto dessa maneira, negociando com as pessoas o caminho a seguir, exige “respeito pela integridade e vida das pessoas”, como disse um participante. No entanto, “isso nem sempre é fácil de fazer”, como observou um outro, particularmente devido a condições de trabalho muito rígidas e a grande quantidade de casos que os profissionais têm que acompanhar. Disseram não ser fácil ter paciência para atender as necessidades dos usuários do serviço a todo instante. Isso porque muitas vezes eles tinham uma ideia prévia do que achavam que seria importante os usuários fazerem para melhorar sua vida. Colocar o cliente em primeiro lugar e apenas segui-lo ou segui-la requer deixar de lado a própria percepção do que pode ser mais útil e eficaz. Outro tópico sobre o qual falaram foi o acordo de confidencialidade. Eles enfatizaram a importância de sempre negociar o acordo de confidencialidade com usuários de serviços e familiares. Esta sempre foi uma tarefa desafiadora para eles. Como relataram, um dia, o usuário poderia autorizar os profissionais para falar sobre questões sensíveis com outros profissionais ou com membros da família e no dia seguinte retirar esse consentimento. Isso pode ser considerado frustrante pelos praticantes e por membros da família que desejam mais colaboração e envolvimento dos profissionais com filhos ou filhas. Os participantes também concordaram que precisavam melhorar no engajamento dos membros da família no serviço, embora isso sempre passe por negociar a forma como este engajamento se dará. Como observou um deles: “Você também precisa dar tempo, estar disponível e flexível para os membros da família para poder criar um contexto seguro em que eles possam se engajar numa relação colaborativa.” Ao que outro participante respondeu: “Estamos tentando colaborar bastante com os membros da família, mas sempre existem dilemas, porque alguns usuários regulam seu contrato de confidencialidade, mas você precisa ser flexível, disponível e criativo para negociar uma boa colaboração entre todos”.

Na discussão em grupo, os participantes enfatizaram que caminhar lado a lado dos usuários sem apressar o processo ajudou a estabelecer uma relação de confiança, desde que mantivessem os objetivos dos usuários em primeiro plano e negociassem maneiras de continuar juntos.

 

MANTENDO RELAÇÕES HUMANAS

Outro tema explorado nos grupos focais foi o de não desistir e de manter relações humanas. Isto requer dos profissionais continuidade e disponibilidade para poder “estar lá ao longo do tempo, junto com as pessoas”, como um deles disse. É importante não desistir das pessoas; “você precisa dar mais do que as pessoas esperam”, observou outro participante. O profissional, sendo a pessoa de referência desses usuários, deve abordá-los de maneira amigável, a partir de sua própria iniciativa ao invés de esperar que os usuários do serviço tenham a iniciativa de procurá-los. Um dos participantes trouxe esta reflexão: “Tenho notado que é muito importante visitá-los, ligar para eles, mesmo que eles não tenham aparecido nos últimos encontros”. Este parece ser outro aspecto muito importante; os profissionais aprenderam com os usuários do serviço que as pessoas de referência mudam tanto que muitas vezes eles desistem porque terão que contar sua história novamente para outra pessoa. “Não é apenas a qualidade do tempo que importa, mas que você seja persistente ao longo do tempo para que os usuários saibam que você está disponível para eles”. Mantendo relações humanas foi como os profissionais conseguiram um envolvimento sério e concreto dos clientes em sua prática cotidiana. Isso pressupõe enxergar cada cliente como pessoa singular, e não desistir. Como disse um dos participantes: “Trabalhamos com pessoas que são diferentes; temos que estar lá para insistir nos pontos fortes e nas possibilidades dessas pessoas. São seres humanos que estamos ajudando; não podemos desistir deles”. Eles também  disseram que precisam ajudar os usuários do serviço a enxergar suas próprias forças e possibilidades; “importante que as ideias que os profissionais fazem de como viver uma vida boa não sejam a medida; são os pensamentos, esperanças e sonhos próprios de cada pessoa que precisam estar no foco”. Em suma, nas discussões do grupo, os participantes reafirmaram que as práticas colaborativas têm a ver com não desistir, ser persistente, insistir nas relações humanas, mesmo se os sistemas nos quais trabalham são fragmentados e difíceis de entender para pessoas que solicitam ajuda.

 

MANEJANDO RELAÇÕES E SERVIÇOS

Nos encontros nos grupos focais os profissionais discutiram sobre as práticas colaborativas enquanto manjeo de relações e serviços. Como os serviços no município (e em qualquer lugar no sistema de saúde norueguês) são organizados de forma bastante fragmentada, eles estão de acordo de que “há tantos atores nesta rede de colaboração – o usuário do serviço, os membros da família, escolas, médicos, assistentes sociais, colegas, outros serviços etc. – que acho muito difícil manejar as relações com esta miríade de elementos”. Nas discussões dos grupos focais foi também trazida a preocupação com as inúmeras burocracias com as quais as pessoas com problemas de saúde mental e uso de substâncias se deparam quando pedem ajuda. Esses múltiplos sistemas acabam criando situações em que os profissionais acabam tendo que gastar um tempo assessorando os usuários em meio a esses sistemas complexos, da mesma forma que precisam ajudá-los com suas questões cotidianas. Nas palavras de um participante:

“Fico frustrado por essas pessoas quando sei que elas têm tantos objetivos para sua vida, mas quando vão usar os nossos serviços encontram tamanha burocracia e esse emaranhado de sistemas. O que temos que fazer então é ajudar essas pessoas em paralelo para que não fiquem perdidas; precisamos fazer quase o mesmo trabalho de motivação que fazemos quando oferecemos ajuda prática e convidamos para as conversas, para que a pessoa não se canse ao se deparar com este sistema tão complexo e emaranhado”

Os participantes relataram como todos os diferentes aspectos da burocracia, documentação e serviços fragmentados resultam em menos tempo para colaborar diretamente com as pessoas pedindo ajuda. Nas palavras de um deles: “Por causa de todas as coisas que devemos fazer, fica tudo muito demorado… O tempo que eu disponho para os usuários do serviço agora é cerca de um terço menor do que antes... o tempo é consumido em lidar com a burocracia, ter de escrever diferentes relatórios etc.” Neste sentido, os participantes enfatizaram a importância de os usuários terem um coordenador para acompanhá-los. Também mencionaram ser importante que os profissionais possuam uma visão geral de todas as atividades e redes de prestadores de serviço que os usuários podem acessar dentro do município.

Discutiu-se também sobre como percebiam que os profissionais e gerentes do serviço, de vários níveis hierárquicos, às vezes se mostravam mais leais ao sistema do que ao usuário enquanto ser humano. Um deles trouxe a reflexão: “Precisamos nos lembrar de que o sistema precisa cuidar dos desejos e necessidades dos usuários, e não o contrário”. Um dos participantes interrogou: “Existem muitos profissionais e serviços competentes no município, mas será que estamos usando essas competências eficientemente?” Outro aspecto importante no manejo de todas as relações e serviços seria poder contar com abordagens e estruturas de trabalho flexíveis. Os participantes disseram que é muito importante ter bons gerentes, que realmente entendam o que é colaborar com pessoas que lutam, e que não há um modo padrão de ajudá-las: “Você precisa de bons gerentes que apoiem o que você faz e que realmente saibam na prática como é fazer esse tipo de trabalho”. No entanto, os participantes disseram estar preocupados de que seus gerentes ficassem tão envolvidos com as tarefas de administração que não tivessem tempo para acompanhar ou apoiar seu trabalho. Discutiram também a importância de conhecer pessoalmente outros profissionais de diferentes áreas dentro do serviço. Alegaram que isso melhoraria seu modo de colaborar e manejar o sistema. A este respeito, um deles disse:

“É muito importante nos encontrarmos regularmente com outros profissionais prestadores de outros serviços para que possamos saber o que podemos fazer juntos, ficando mais fácil requisitar as diversas competências necessárias para ajudar um usuário”

Por fim, foi discutido os desafios que um sistema fragmentado apresenta, especialmente no estabelecimento de relações colaborativas com tantas pessoas e serviços diferentes no município. Assim, o manejo das relações e dos sistemas é de grande importância nas práticas colaborativas.

 

DISCUSSÃO

Apresentamos a seguir nossa discussão em torno de dois processos de colaboração um pouco diferentes, a partir de nossas descobertas. São eles: (1) práticas colaborativas com usuários do serviço e suas famílias e (2) práticas colaborativas no nível do sistema.

Práticas colaborativas com usuários do serviço e suas famílias

Nossas descobertas sugerem que construir práticas colaborativas com usuários e seus familiares no serviço de saúde mental significa “caminhar lado a lado” dessas pessoas. Para isso é preciso que os profissionais utilizem como ponto de partida os objetivos, esperanças e sonhos dos próprios usuários e negociem maneiras de trabalhar juntos a partir daí. Como os profissionais não podem fazer com que as pessoas “superem” seus problemas diretamente, os serviços precisam oferecer as pré-condições para que se estabeleçam relações que promovam a superação, fortalecendo as pessoas para que possam acessar as oportunidades e redes de apoio (Roberts & Boardman, 2014). Um profissional orientado para a superação que trabalha em parceria com os usuários será capaz de acompanhá-los e apoiá-los em seus processos na vida, auxiliando na construção de relações e conversas. Em saúde mental e nos tratamentos para uso problemático de substâncias, relações e conversas são inseparáveis e se alimentam reciprocamente (Strong, Sutherland, & Ness, 2011). A abordagem centrada na pessoa que os profissionais muitas vezes usam para construir uma relação colaborativa com os usuários influencia o tipo e a qualidade das conversas que eles poderão ter. Da mesma forma, as conversas que os profissionais começam a ter com cada usuário influenciarão o tipo e a qualidade da relação que se estabelecerá (Anderson, 2012; Topor & Denhov, 2012).

Por exemplo, o usuário do serviço e o profissional trazem seu conhecimento e “expertise” para a relação: pessoas com problemas concomitantes possuem suas próprias percepções e experiências significativas para si e para suas vidas, e os profissionais têm experiência nos processos de tratamento, na prestação de serviços e atividades especiais. Além disso, também trazem em sua bagagem conhecimentos pessoais e experiências de vida, podendo criar espaço para relações colaborativas e conversas dialógicas. Juntos desenvolvem expertise e conhecimento, que é uma forma intersubjetiva e compartilhada de conhecer com base nas respectivas perspectivas. Dessa forma, podem avançar na construção de diálogos e relações. O foco, no entanto, está em identificar e nutrir a expertise do usuário e fortalecer sua capacidade de lidar com a vida cotidiana. O usuário também ajuda a orquestrar sua própria ajuda, compartilhando a tomada de decisão em todos os aspectos do tratamento. Se os profissionais tiverem uma opinião, por exemplo, sobre os participantes de uma equipe de tratamento, devem expressá-la, justificar e incentivar a discussão. Mas devem, ao mesmo tempo, respeitar as preferências da pessoa e negociar o caminho a seguir (Anderson, 2012; Strong, Sutherland, & Ness, 2011). Este tipo de tomada de decisão compartilhada entre todas as partes interessadas é essencial nas práticas colaborativas (Deegan, Rapp, Holter, & Riefer, 2008). É o imperativo ético no qual se baseia o compartilhamento de decisões e a colaboração (Drake & Deegan, 2009). Manter relações humanas foi outro tema central na revelação dos processos nas práticas colaborativas. Isso significa que os profissionais sustentaram a ideia de que os usuários do serviço são, em primeiro lugar, seres humanos lutando com diferentes problemas de saúde mental e de uso de substâncias (Davidson, 2005, Estroff, 1995). Pessoas com estes desafios de vida podem se sentir envergonhadas, tentar por longo tempo esconder suas dificuldades e, muitas vezes, se sentirem estigmatizadas (Davidson, 2005). O estigma e a discriminação têm um efeito incômodo sobre a vida de muitas pessoas, diminuindo sua esperança e rebaixando sua autoestima (Corrigan, Rafacz, & Rüsch, 2011). Podem fazer com que se sintam menosprezadas,  suspeitas ou percebidas como difíceis de ajudar, não cooperativas e desmotivadas (Ness, Karlsson, Borg, Biong, Sundet, McCormack, & Kim, 2014). Os resultados de nosso estudo sugerem a necessidade de reconhecer a importância do contexto e das relações. Isso representa uma mudança no foco, da identificação da doença para a ênfase nas vidas das pessoas, prestando atenção nos cotidianos dos usuários, suas atividades, trabalhos, parcerias em desenvolvimento, no sentimento de pertencer e o de 'se sentir em casa' (Borg, Sells, Topor, Mezzina, Marin, & Davidson, 2005; Jensen, Borg, & Topor, 2010). Os seres humanos precisam de continuidade e segurança, e em relacionamentos úteis, autonomia e flexibilidade são ingredientes essenciais. Nossas descobertas sugerem que os processos das práticas colaborativas envolvem assegurar relações humanas igualitárias, que podem evoluir para relações colaborativas e dialógicas ao longo do tempo (Anderson, 2012; Karlsson & Borg, 2013).


Práticas colaborativas no nível do sistema

Outro aspecto das práticas colaborativas que emergiu no estudo é a colaboração entre sistemas. A ideia-chave é que os profissionais se tornem “defensores” dos usuários e familiares, trabalhando com as partes no sistema de atendimento e coordenando com outros prestadores de serviços, em diferentes níveis do sistema. A maneira como os profissionais fazem isso na prática é manejar as relações e serviços disponíveis para os usuários e famílias. Contextos organizacionais, sociais e culturais são as fontes que moldam e influenciam as práticas colaborativas (Borg & Kristiansen, 2004; Ekeland, 1999). A complexidade dos problemas de saúde mental e a diversidade dos processos de superação devem ser consideradas nos contextos multifacetados em que são expressas tanto as experiências dos usuários dos serviços quanto a prestação dos serviço (Borg & Kristiansen, 2004). Profissionais e gerentes precisam estar cientes de que a colaboração não ocorre no vazio. Como em qualquer relação, é influenciada por muitos fatores, tais como atitudes significativas de colaboração, condições do ambiente, estruturas econômicas e contextos nos quais os encontros entre os profissionais de saúde mental e usuários do serviço ocorrem. Um sistema de tratamento de saúde fragmentado, sem contar com um processo de coordenação integrado, pode resultar na duplicidade de serviços, na falta de serviços críticos ou mesmo em confusão, que resultam no que Le Boutillier et al. (2014) nomeiam como “prioridades concorrentes”.

Profissionais que trabalham num sistema de saúde mental sofrem para sustentar uma prática colaborativa com os usuários do serviço e familiares, muitas vezes tendo que lidar com as forças internas ao sistema, tais como a incapacidade de manter a continuidade na prestação dos serviços ou a falta de apoio do sistema como um todo. Profissionais relatam que não recebem o apoio contextual e de liderança necessários para caminhar lado a lado das pessoas que estão passando por dificuldade na vida. Isso significa que estão identificando prioridades concorrentes nas diferentes camadas do sistema de saúde. Por exemplo, o aspecto crítico da “ajuda útil” mencionada pelos usuários implica que os profissionais tenham a coragem de abordar as complexidades e a individualidade dos próprios processos de mudança e a capacidade de usar suas habilidades e conhecimentos profissionais em uma parceria colaborativa com os usuários no âmbito do sistema de tratamento. No entanto, os profissionais relatam que experimentam tensão entre o que sabem e percebem como útil para as pessoas e a forma como os serviços são organizados e desenvolvidos, o que não estimula a autonomia e a flexibilidade necessárias.

Os profissionais que participaram deste estudo lidaram com essas questões, flexibilizando algumas das regras do sistema, manejando o sistema em nome dos usuários dos serviços e seus familiares. Puderam se responsabilizar por negociar nos vários níveis do sistema de saúde e encontrar aberturas para os usuários, protegendo-os de uma fragmentação prejudicial e tentando oferecer a eles o melhor tratamento possível.

 

LIMITAÇÕES METODOLÓGICAS

Uma limitação deste estudo reside na dificuldade de distinguir entre o que é praticado e o que se acredita ser ideal em discussões de grupos focais. Uma boa abordagem alternativa seria fazer um estudo de campo participativo para descrever o que os profissionais realmente fazem na prática colaborativa. Outra limitação é o desequilíbrio de conhecimento, perspectivas, estratégias e objetivos entre pesquisadores, profissionais, usuários dos serviços e familiares. Quão democrático é um processo de pesquisa quando pesquisadores bem instruídos convidam usuários e familiares a colaborar em um projeto de pesquisa? Serão equivalentes as relações colaborativas nas diferentes etapas do projeto e na análise dos dados? A última limitação é que apenas profissionais participaram das discussões em grupos focais; seria interessante convidar usuários e membros da família para levantar semelhanças e diferenças em experiências de práticas colaborativas.

 

CONCLUSÕES

Embora o significado da colaboração esteja bem estabelecido na teoria e na prática no campo da saúde mental (Horvath & Symonds, 1991; Norcross, 2011), o  significado de colaborar na prática nem sempre está claro. O real significado de ser parceiro também tem recebido pouca atenção na literatura. Vale a pena notar que, apesar da extensa base de conhecimento sobre colaboração e superação, continua sendo um desafio para os profissionais atuarem adequadamente. Além disso, os profissionais percebem que os sistemas que deveriam apoiar as parcerias colaborativas envolvendo serviços de bem-estar social, administrativos ou jurídicos, acabam muitas vezes embarreirando a colaboração e a superação. Modelos de negócio e avaliações caracterizam a introdução de uma Nova Gestão Pública (NGP) neoliberal nos serviços atuais de saúde na Noruega (Hermansen, 2011). Stamsø (2009) afirma que profissionais de saúde sentem que há maior foco na eficiência e nos resultados do que na qualidade dos serviços.

Ness et al. (2014) propõem dois componentes críticos e interconectados na prática colaborativa: (a) colaboração entre profissionais, usuários e famílias/redes (isto é, processos de ajuda e de suporte); e (b) colaboração entre os prestadores de serviço, setores de serviços e usuários de serviços (ou seja, processos do sistema). Os resultados deste estudo indicam que os profissionais, no processo de ajudar e apoiar as pessoas em superação, podem atuar tanto com foco na comunicação e nas relações quanto com foco na gestão e controle do sistema, em vez de colaboração

Os praticantes enxergaram algumas sutis habilidades de comunicação que poderiam ser mobilizadas para apoiar os usuários em seus caminhos para a superação e relações futuras. Também fizeram uso de seu conhecimento do sistema para apoiar os clientes com quem trabalhavam. Muitas vezes era necessário priorizar as necessidades da pessoa e colocá-las acima das exigências do sistema. As competências profissionais englobam a coordenação dos dois componentes de colaboração acima citados para obter melhores resultados. Será necessário examinar como essa coordenação pode ser realmente desenvolvida e manejada em estudos futuros. Além disso, para que a colaboração ocorra no segundo componente (ou seja, colaboração no nível de sistema), parece fundamental contar com estruturas e processos organizacionais que promovam a colaboração entre provedores, setores e usuários do serviço.

Sem uma estrutura consolidada de colaboração neste contexto, os profissionais ficam mais propensos a recorrer à gestão, manipulação e controle dos elementos do sistema ao invés de se envolver verdadeiramente em processos colaborativos com os usuários do serviço de saúde mental. Além disso, pode-se imaginar que os aspectos de gestão, manipulação e controle poderiam estar atravessando as relações entre profissionais e usuários, dificultando o estabelecimento de práticas e relações colaborativas.

 

INTERESSES CONFLITANTES

Os autores declaram não ter interesses conflitantes.

 

CONTRIBUIÇÃO DOS AUTORES

Os quatro autores participaram ativamente do projeto de pesquisa e contribuíram em todos os aspectos na preparação do manuscrito. Todos os autores leram e aprovaram o manuscrito final.

 

AGRADECIMENTOS

Este trabalho é resultado do projeto de pesquisa: “Equal Footing, Em Pé de Igualdade: Práticas colaborativas em parcerias multifacetadas nos serviços de saúde mental e abuso de substâncias”, que tem o professor Marit Borg como diretor e o Dr. Ottar Ness como principal pesquisador. Este projeto recebeu financiamento do Conselho de Pesquisa da Noruega de 2012 a 2015. Agradecemos o apoio e a prestimosa ajuda de vários funcionários e usuários dos serviços e de organizações de família do município onde a pesquisa foi realizada. Agradecemos ainda aos professores Hesook Suzie Kim e Larry Davidson por seus comentários e feedbacks no esboço do artigo.

 

Referências

Anderson, H. (2012). Collaborative practice: a way of being “with”. Psychother Polit Int, 10(2), 130-145.

Behrman, A. E. (2005). First person recovery. J Dual Diagn, 14, 4-9.

Beresford, P. & Carr, S. (2012). Social Care, Service Users and User Involvement. London: Jessica Kingsley Publishers.

Bordin, E. S. (1979). The generalizability of the psychoanalytic concept of the working alliance. Psychotherapy: Theory, Research & Practice, 16(3), 252-260.

Borg, M. & Davidson, L. (2008). The nature of recovery as lived in everyday experience. J Ment Health 2008, 17(2), 129-140.

Borg, M., Karlsson, B.,  & Stenhammer, A. (2013). Recoveryorienterte Praksiser: En Systematisk Kunnskapssammenstilling [Recovery Oriented Practice: A Systematic Review]. Oslo, Norway: Nasjonalt kompetansesenter for psykisk helsearbeid (NAPHA).

Borg, M. & Kristiansen, K. (2004).  Recovery-oriented professionals: helping relationships in mental health services. J Ment Health, 13(5), 493-505.

Borg, M., Karlsson, B., Kim, H. S., & McCormack, B. (2012). Opening up for many voices in knowledge construction. Forum: Qual Soc Res, 13(1).  In http://www.qualitative-research.net/index.php/fqs/article/view/1793

Borg, M., Sells, D., Topor, A., Mezzina, R., Marin, I., & Davidson, L. (2005). What makes a house a home: the role of material resources in recovery from severe mental illness. Am J Psychiatr Rehabil, 8, 243-256.

Beresford, P. (2005). Developing the theoretical basis for service user/survivor-led research and equal involvement in research. Epidemiol Psichiatr Soc., 14(1), 4-9.

Braun, V. & Clarke, V. (2006). Using thematic analysis in psychology. Qual Res Psychol, 3(2), 77-101.

Brooks, A. J., Malfait, A. J., Brooke, D., Gallagher. S. M., & Penn, P. E. (2007). Consumer perspectives on co-occurring disorders treatment. J Drug Issues, 37(2), 299-320.

Clarke, V. & Braun V. (2013). Teaching thematic analysis: overcoming challenges and developing strategies for effective learning. The Psychologist, 26(2), 120-123.

Cornwall, A. & Jewkes, R. (1995).  What is participatory research? Soc Sci Med, 41(12), 1667-1676.

Corrigan, P. W., Rafacz, J., & Rüsch, N. (2011). Examining a progressive model of self-stigma and its impact on people with serious mental illness. Psychiatry Res, 189(3), 339-343.

Davidson, L. (2005). More fundamentally human than otherwise. Psychiatry, 68(3) 243-249.

Davidson, L., Andres-Hyman, R., Bedregal, L., Tondora, J., Frey, J., & Kirk, T. A. (2008).  From“double trouble” to “dual recovery”: integrating models of recovery in addiction and mental health. J Dual Diagn, 4(3), 273-290.

Deegan, P., Rapp, C. A., Holter, M., & Riefer, M. (2008).  Best practices: a program to support shared decision making in outpatient psychiatric medication clinic. Psychiatr Serv, 59(6), 603-605.

Denhov, A. & Topor, A. (2012). The components of helping relationships with professionals in psychiatry: users. Int J Soc Psychiatry, 58(4), 417-424.

Diamond, R. J. & Scheifler, P. L. (2007). Treatment Collaboration: Improving the Therapist, Client, Prescriber Relationship. New York: WW Norton.

Drake, R. E. & Deegan, P. E. (2009). Shared decision making is an ethical imperative. Psychiatr Serv, 60(8), 1007.

Dreier, O. (2007). Psychotherapy in Everyday Life. New York: Cambridge UniversityPress.

Edward, K. L. & Robins, A. (2012). Dual diagnosis, as described by those who experience the disorder: using the internet as a source of data. Int J Ment Health Nurs, 21(6), 550-559.

Ekeland, T. J. (1999).  Evidensbasert behandling: kvalitetsikring eller instrumentalistisk mistak [evidence based treatment: quality control or an instrumental mistake]. Tidsskr Norsk Psykologforening, 36, 1036-1047.

Estroff, S. E. (1995). Commentary on “The experiences of long-stay inpatients returning to the community”. Psychiatry, 58(2), 133-135.

Hermansen, Å. (2011). Pleie- og omsorgssektoren i de nordiske land [Health Care Sector in the Nordic Countries]. OsloFafo.  

Heron, J. (1996). Co-Operative Inquiry. London: Sage Publishing House.

Heron, J. & Reason, P. (2001). The practice of co-operative inquiry: research “with” rather than “on” people. In P. Reason & H. Bradbury (Eds.), Handbook of Action Research: Participative Inquiry and Practice (pp. 179-188).  London: Sage Publishing House.

Horvath, A. O. & Greenberg, L. S. (1994). The Working Alliance: Theory, Research, and Practice. New York: John Wiley & Sons.

Horvath, A. O. & Symonds, B. D. (1991). Relation between working alliance and outcome in psychotherapy: A meta-analysis. J Couns Psychol, 38, 139-149.

Hummelvoll, J. K. (2008). The multistage focus group interview – a relevant and fruitful method in action research based on a co-operative inquiry perspective. Norsk Tidsskr Sykepleieforskning , 10(1), 3-14.

Jensen, P., Borg, M., & Topor, A. (2010). Återhämtning, bedring, at komme sig: recovery revisited – ti år efter [recovery visited – ten years later]. Socialpsykiatriz, 3, 20-23.

Karlsson, B. & Borg, M. (2013). Psykisk helsearbeid humane og sosiale perspektiver og praksiser [Mental Health Care: Humane and Social Perspectives and Practices]. Oslo: Gyldendal Akademiske.

Laitila, M., Nikkonen, M., & Pietilä, A. M. (2011). Involvement in mental health and substance abuse work: conceptions of service users. Nurs Res Pract, 2011, 672474.

Le Boutillier, C., Slade, M., Lawrence, V., Bird, V. J., Chandler, R., Farkas, M., Harding, C. et al. (2014). Competing priorities: staff perspectives on supporting recovery. Adm Policy Ment Health, [Epub ahead of print].

London, S., St. George, S., & Wulff,  D. (2009). Guides for collaborating. Int J Collab Pract, 1(1), 1-8.

Moltu, C., Stefansen, J., Svisdahl, M., & Veseth, M. (2013). How to enhance the quality of mental health research: service users’ experiences of their potential contributions through collaborative methods. Am J Psychiatr Rehabil, 16, 1-21.

Ness, O., Borg, M., & Davidson, L. (2014). Facilitators and barriers in dual recovery: a literature review of first-person perspectives. Adv Dual Diagn, 7(3), 107-117.

Ness, O., Karlsson, B., Borg, M., Biong S, Sundet, R., McCormack, B., & Kim H. S. (2014). Towards a model for collaborative practice in community mental healthcare. Scand Psychol,  1. In https://www.researchgate.net/publication/280234039_Towards_a_model_for_collaborative_practice_in_community_mental_health_care

Norcross, J. C. (2011). Psychotherapy Relations That Work: Evidence-Based Responsiveness. New York: Oxford University Press.

Norcross, J. C. & Lambert, M. J. (2011). Evidence-based therapy relationships. In J. C. Norcross (Ed.), Psychotherapy Relations That Work: Evidence-Based Responsiveness (pp. 3-21). New York, NY: Oxford University Press.

Norcross, J. C. & Wampold, B. (2011). Evicence-based therapy relationships: research conclusions and clinical practices. In In J. C. Norcross (Ed.), Psychotherapy Relations That Work: Evidence-Based Responsiveness (pp. 423-430). New York, NY: Oxford University Press.

Reason, P. (1999).  Integrating action and reflection through co-operative inquiry. Management Learning, 30(2), 207-225.

Roberts, G. & Boardman, J. (2014).  Becoming a recovery-oriented practitioner. Adv Psychiatr Treat, 20, 37-47.

Stamsø, M. A. (2009). Velferdsstaten i Endring [The Transformation of the Welfare State]. Oslo: Gyldendal Akademisk. doi:10.1186/1752-4458-8-55.

Strong, T. (2000). Six orienting ideas for collaborative counsellors. Eur J Psychother Couns, 3, 25-32.

Strong, T., Sutherland, O., & Ness, O. (2011). Considerations for a discourse of collaboration in counseling. Asia Pac J Couns Psychother, 2, 25-40.

Sundet, R. (2011). Collaboration: family and therapist perspectives of helpful therapy. J Marital Fam Ther, 37(2), 236-249.

Sweeney, A., Fahmy, S., Nolan, F., Morant, N., Fox, Z., Lloyd-Evans, B., Osborn, D. et al. (2014). A mixed-methods study exploring therapeutic relationships and their association with service user satisfaction in acute psychiatric wards and crisis residential alternatives. Health Serv Deliv Res, 2(22), 1-25.

Topor, A., Borg, M., Di Girolamo, S., & Davidson, L. (2011). Not just an individual journey: social aspects of recovery. Int J Soc Psychiatry, 57(1), 90-99.

Topor, A. & Denhov, A. (2012). Helping relationships and time: inside the black box of the working alliance. Am J Psychiatr Rehabil, 15, 239-254.

* Este artigo foi originalmente publicado pelo International Journal of Mental Health Systems (Ness et al., 2014, 8:55) e pode ser acessado em: www.ijmhs.com/content/8/1/55. Tradução do inglês por Cristiane Pessuti. Revisão técnica por Leonora Corsini.

I Ottar Ness é PhD e terapeuta familiar. Ele trabalha como professor adjunto em tratamentos de saúde mental em Buskerud e Vestfold University College, Noruega. E-mail: ottar.ness@hbv.no

II Marit Borg é terapeuta ocupacional e PhD. Ela trabalha como professora em tratamentos de saúde mental em Buskerud e Vestfold University College, Noruega.

III Randi Semb é sociólogo e mestre em Ciências Sociais SC. Ela viveu a experiência dos problemas de saúde mental. Ela trabalha como pesquisadora nos tratamentos de saúde mental em Buskerud e Vestfold University College, Noruega.

IV Bengt Karlsson é enfermeira, terapeuta familiar e PhD. Ela trabalha como professora nos tratamentos de saúde mental em Buskerud e Vestfold University College, Noruega.

Creative Commons License Todo o conteúdo deste periódico, exceto onde está identificado, está licenciado sob uma Licença Creative Commons