PESQUISA, TEORIA E METODOLOGIAS

 

Avaliação de Programa de Saúde: O Programa Nacional de Controle de Tuberculose no Brasil

Health Program Evaluation: The Tuberculosis Control National Program in Brazil

 

 

Maria Jacirema Ferreira Gonçalves^*

Universidade Federal do Amazonas, Manaus (AM) - Brasil

Endereço para correspondência

---

RESUMO

Este trabalho é uma proposta metodológica de pesquisa avaliativa de programa de saúde, especificamente, o Programa Nacional de Controle de Tuberculose (PNCT) no Brasil. Portanto, não consiste de apresentação de resultado de uma pesquisa em avaliação, embora tenha se valido desta para produzir esta reflexão. Avaliação é reconhecida por seu potencial de contribuição para tomada de decisão, formulação e reformulação de políticas de saúde, tendo em conta que o Ministério da Saúde em sua política programática utiliza-se do PNCT. Deste modo, este trabalho objetiva fornecer uma visão geral teórico-metodológica de avaliação de programa, utilizando-se da epidemiologia como ferramenta para esta produção. Como proposta de avaliação do desempenho do Programa Nacional de Controle de Tuberculose, sugere-se a análise de cluster, incluindo indicadores de processo e de resultado. Estes indicadores podem representar a operacionalização do programa por meio dos resultados estabelecidos como meta ou daquilo que se espera que seja alcançado por um programa com bom funcionamento. Do mesmo modo, os indicadores de processo devem revelar o modo de atuação do programa, na execução das ações consideradas básicas para seu funcionamento, e para alcançar sucesso no controle da tuberculose. Com esta proposta identifica-se que a análise de cluster possibilita encontrar diferenças de desempenho em municípios que teoricamente teriam as mesmas possibilidades, e assim responder ao programa como é o seu processo e os resultados que esta alcançando.

Palavras-Chave: Avaliação de Processos e Resultados (Cuidados de Saúde); Avaliação de Programas e Projetos de Saúde; Tuberculose.

---

ABSTRACT

This work proposes an evaluation of a methodological point of view of health program, especially, the National Tuberculosis Control Program (NTCP) in Brazil. This is not a research result of an evaluation properly, although we used a research to produce this reflexive article. Evaluation is recognized by its potential to contribute to take decision and to make health policy, taking into account that the Ministry of Health uses as its program policy the NTCP. The objective of this article is to give a general to discuss in a theoretic-methodological point of view of the program evaluation, using epidemiology as a tool for this assay. As proposal of NTCP performance evaluation we suggest the cluster analysis, including indicator of process and result. These indicators can represent the operation of the program by the way the established results as goals or the indicators that we wait as a good job of the program. The same way, the process indicators should reveal the way of program operation, in the actions execution considered basic to its performance, and to reach the success in tuberculosis control. Using this proposal we identify that the cluster analysis makes possible find differences in the municipalities' performance, which theoretically would have the same possibilities, and this way we can answer to the program such as the process and result that the program reaches.

Keywords: Outcome and Process Assessment (Health Care); Program Evaluation; Tuberculosis.

---

 

 

1. INTRODUÇÃO

Este trabalho tem por objetivo apresentar é uma proposta metodológica de pesquisa avaliativa de programa de saúde, especificamente, o Programa Nacional de Controle de Tuberculose (PNCT) no Brasil. Portanto, não consiste de apresentação de resultado de uma pesquisa em avaliação, embora tenha se valido desta para produzir esta reflexão. Busca-se fornecer uma visão geral teórico-metodológica de avaliação de programa, utilizando-se da epidemiologia como ferramenta para esta produção.

Um programa de saúde constitui-se em uma resposta organizada para reduzir ou eliminar um problema, que ao alcançar seu objetivo, melhora a saúde da população. Hartz¹ amplia esta definição, afirmando:

(...) os programas são compreendidos como o conjunto de ações visando a favorecer comportamentos adaptativos requeridos pelas diferentes áreas ou atividades humanas relacionadas com vida comunitária, escola, trabalho, saúde e bem-estar.

Se as Políticas de Saúde estão relacionadas à melhoria do status de saúde da população, as ações programáticas constituem o suporte operacional no qual elas podem ter sua efetividade analisada². Por conseguinte, o propósito da avaliação é produzir informação sobre o desempenho do programa no alcance de seus objetivos. Sua avaliação demanda procedimentos de investigação para a coleta sistemática de informação voltada para a tomada de decisão e melhoria das intervenções.

São várias as definições de avaliação, porém, utiliza-se a objetividade do conceito de avaliação como um "julgamento de valor a respeito de uma intervenção ou sobre qualquer um de seus componentes, como o objetivo de ajudar na tomada de decisões"³.

A necessidade de avaliação decorre do pressuposto de que um programa gera benefícios, e para identificá-los, utiliza-se da avaliação. Isto leva à mensuração de eventos que traduzam os resultados do programa. Em vista disto, a avaliação tem um importante papel a desempenhar, não somente em determinar sucessos e fracassos do passado, mas em identificar, descrever empiricamente, e monitorar problemas, aumentando o conhecimento atual, bem como desenvolvendo e comparando soluções.

Neste sentido, é necessário esclarecer que a tuberculose (TB) é um dos mais graves problemas de saúde pública no Brasil. é uma doença infecciosa crônica transmitida essencialmente por via aérea, cujo agente etiológico é o Mycobacterium tuberculosis ou Bacilo de Koch, identificado ainda no século XIX, ano 1882. A presença do bacilo é condição necessária, mas não suficiente para causar doença. Esta ocorre com maior freqüência nos grupamentos humanos com piores condições socioeconômicas, e vivendo em espaços urbanos mais precários⁴.

Diante da necessidade de controlar a TB e obedecendo a sua política programática de saúde, o Ministério da Saúde utiliza-se do Programa Nacional de Controle de Tuberculose, o qual tem como meta diagnosticar pelo menos 90% dos casos esperados e curar pelo menos 85% dos casos diagnosticados, com cobertura das ações de controle em 100% dos municípios brasileiros⁵.

Como a avaliação de programas e serviços de saúde constitui-se em uma necessidade, julga-se que esta deva extrapolar o habitat comum da epidemiologia focada principalmente em estudos etiológicos para determinação de doenças. Com efeito, a avaliação é reconhecida por sua potencial contribuição para tomada de decisão, formulação e reformulação de políticas de saúde.

Por conseguinte, torna-se relevante que a avaliação seja direcionada por perguntas a serem respondidas ao se avaliar. No caso do PNCT, questiona-se:

Qual é o desempenho desejável do programa?

O programa está funcionando como preconizado?

Quão bom é o desempenho do PNCT nos municípios brasileiros?

A pesquisa avaliativa deve buscar responder a essas questões para aumentar a acurácia e a objetividade dos julgamentos sobre o sucesso do programa em alcançar seus objetivos, e para tal, deve coletar evidencias do desempenho do programa e comparar com os critérios estabelecidos.

 

2. ABORDAGEM DE ESTRUTURA-PROCESSO-RESULTADO NA AVALIAÇÃO DA QUALIDADE DO PROGRAMA CONTROLE DE TUBERCULOSE

A concepção sobre o que venha ser qualidade depende ainda do lugar que ocupa o sujeito no sistema de saúde. Aqueles responsáveis pela provisão e gestão dos serviços tendem a focalizar a sua atenção em determinados aspectos e interesses, tais como rendimento, custo e eficiência. Já no ambiente da prestação dos serviços, os profissionais de saúde têm outras expectativas. De forma geral, preocupam-se com a satisfação pessoal, o reconhecimento profissional, a excelência técnica, o acesso à tecnologia, o aprimoramento dos processos individuais e coletivos do cuidado à saúde e um bom ambiente de trabalho, incluindo o conforto, a segurança etc. Por outro lado, o cliente ou usuário entende como qualidade a obtenção dos benefícios esperados diante de demandas, expectativas, carências e necessidades de saúde. A qualidade é um objetivo que vem sendo perseguido por gestores, profissionais e usuários em vários países do mundo, inclusive no Brasil⁶.

A abordagem mais apropriada para realizar avaliação depende do objeto avaliado, e da resposta que se pretende obter. Embora seja apontado como limitação, devido ao seu potencial para um singelo reducionismo da realidade⁷, advoga-se que o enfoque "estrutura-processo-resultado"^8-9 que permite especificar atributos a serem avaliados, e julgá-lo individual ou simultaneamente, de maneira sistematizada, numa espécie de alocação de processos da realidade, constitui-se em uma proposta viável para avaliação do Programa de Tuberculose. Este instrumental de análise serve para avaliar a eficiência, a eficácia - e, portanto, a estrutura e o processo da política ou programa - e a efetividade - ou seja, os impactos ou resultados das ações promovidas pela política ou programa.

O Ministério da Saúde do Brasil⁴ determina que o município, responsável pelas doenças de notificação compulsória, desempenha função chave no PNCT, pois da sua competência e capacidade de gerenciamento da Vigilância Epidemiológica dependerá, em grande parte, o cumprimento das metas fixadas. No PNCT compete-lhe:

- coordenar a busca sistemática de sintomáticos respiratórios no município, em conformidade com o estabelecido, bem como supervisionar e, inclusive, participar da investigação e do controle dos contatos de pacientes bacilíferos na comunidade;

- notificar ao Sistema Nacional de Agravos de Notificação (SINAN) a identificação de caso de tuberculose no município, em consonância com as demais doenças de notificação compulsória;

- assegurar a realização dos exames de escarro, conforme preconizado nas normas, especialmente a coleta e o transporte do material;

- participar da operacionalização dos tratamentos diretamente observados no município e acompanhar a anulação das fontes de infecção;

- providenciar, junto ao órgão regional, os medicamentos para o tratamento dos casos descobertos e distribuí-los às respectivas unidades de saúde;

- articular-se com as unidades executoras, com a equipe do Programa de Saúde da Família e/ou o agente comunitário de saúde e com os segmentos organizados da comunidade;

- administrar a utilização racional do "bônus" concedido pela Alta por Cura de Tuberculose pelo governo federal; e,

- zelar pela vacinação BCG dos recém-nascidos, integrada ao Programa Nacional de Imunizações (PNI). Diante dessas atribuições, sugere-se que a avaliação do PNCT, para avaliar oferta utilização e cobertura, lance mão, ao menos, dos seguintes indicadores:

• ESTRUTURA

o Profissionais disponíveis e treinados o Presença de laboratório para diagnóstico

o Disponibilidade de medicamentos o Unidades de saúde com PNCT implantado

• PROCESSO

o Número de casos novos de TB pulmonar e de todas as formas

o Casos em tratamento supervisionado (Directly Observed Treatment Short Course - DOTS)

o Casos de abandono de tratamento o Casos notificados pelo município de residência

o Casos novos que fizeram baciloscopia de escarro

• RESULTADO

o Casos curados o Casos com informação de encerramento

o Completitude das informações no Sistema Nacional de Agravos de Notificação (SINAN)

o Casos de tuberculose notificados

Todo processo de mensuração poderia ser visto como uma tentativa de aproximação do valor real de um atributo, cujos valores observados trazem necessariamente embutidos desvios que resultam das imperfeições dos métodos. A valoração, mais do que a metodologia, deveria constituir a essência da avaliação de programas². Por isso é importante a construção de indicadores e normas sobre situações práticas, assim sendo, teríamos a combinação de uma análise quantitativa e qualitativa respondendo pela avaliação do programa.

Esta proposta de avaliação é baseada na versão modificada de avaliação descrita por James Sanders¹⁰, que a define como um método de avaliação de programas que possui projetos em diferentes locais, com objetivo de promover mudanças comuns. Entretanto, no Brasil, o PNCT é único para todo o país e os municípios que o compõem têm desempenho diferente no PNCT fazendo com que alcance resultados diferenciado.

Portanto, esta metodologia propõe que os municípios sejam agrupados conforme as suas semelhanças a partir das dimensões de avaliação de estrutura, processo e resultado, formando agrupamentos, conhecidos como clusters O que se obtém é a identificação, que possibilita posterior descrição, de diferentes desempenhos dos municípios no programa de TB. O agrupamento por municípios, que teoricamente utilizam as mesmas estratégias emanadas do programa nacional, mas que podem atingir resultados diferentes, deve traduzir sua operacionalização, permitindo a avaliação.

A avaliação de cluster não visa estabelecer relações de causalidade, mas sim identificar grupos lógicos de semelhanças e diferenças. Considerando-se que esse tipo de avaliação é voltada para resultados, e que, portanto, necessita de elementos processuais para responder às demandas, não se recomenda utilizar indicadores de estrutura neste momento. Em um segundo período, pode-se buscar identificar porque esses resultados são diferentes, numa idéia de relação causal associando com os indicadores de estrutura, os quais via de regra, requerem abordagens qualitativas que expressem as diversas realidades estruturais nas quais o PNCT se desenvolve.

Avaliação de programas e de qualidade apresenta intima conexão, pois se o programa fornece serviços de saúde, é importante considerar a mensuração da qualidade do sucesso do programa⁹. E a definição de qualidade, que não é tarefa trivial, é importante para que sua avaliação possa revelar os alcances e a deficiências de um programa, e em que nível ocorre, incluindo os muitos elementos envolvidos.

Para definir a qualidade dos clusters dos municípios, lança-se mão da especificação de metas adotada para o PNCT⁴, além de critérios de vigilância epidemiológica. Tendo em conta o conceito de qualidade utilizado por Donabedian⁹ como "uma propriedade e um julgamento algo especificamente definido, e é divisível pelo menos em duas partes: técnica e interpessoal, de maneira a maximizar os benefícios à saúde sem o correspondente aumento de riscos". Busca-se, portanto, com esta proposta, abranger o aspecto técnico epidemiológico da TB.

Como a Síndrome da Imunodeficiência Adquirida (AIDS) causa impacto na incidência de TB¹¹, é importante que a morbidade por AIDS também seja considerada no estudo da TB. Portanto, os municípios devem ser agrupados de acordo com a taxa de incidência de ambas as doenças. O que se espera é que os municípios com as taxas mais elevadas possuam mais capacidade de desempenhar o controle da TB, com maior taxa de detecção e de cura também, além desempenhar melhor vigilância epidemiológica. A situação onde ocorrem as menores taxas pode decorrer da dificuldade de execução do programa, incapacidade de detectar seus casos, ou, de fato, haver menor taxa de incidência.

Para identificar os clusters de município de acordo com o desempenho, considera-se que os indicadores abaixo listados são os mais representativos daquilo que se espera do desempenho do programa com qualidade. São eles:

- Abandono de tratamento, entre os casos novos encerrados;

- Casos notificados pelo município de residência;

- Cura entre os casos novos com informação de encerramento;

- Casos com informação de encerramento, entre os casos novos;

- Casos em tratamento supervisionado (DOTS), entre os casos novos; e,

- Casos pulmonares que fizeram baciloscopia de escarro no início do tratamento, entre os casos novos pulmonares.

A combinação simultânea de indicadores de processo e resultado, que então pode ser denominado desempenho do programa, é listada abaixo, segundo as categorias de classificação de avaliação do programa proposta:

Bom – alta proporção de casos notificados pelo município de residência baixa proporção de abandono, elevada cura, elevado encerramento, elevada baciloscopia e elevado DOTS;

Bom com baixo DOTS – semelhante ao grupo Bom, mas possui baixa proporção de DOTS;

Moderado – média proporção de casos notificados pelo município de residência, baixa proporção de abandono, elevada cura, baixo encerramento, baixa baciloscopia, e moderado DOTS;

Regular – baixa proporção de casos notificados pelo município de residência, elevada proporção de abandono, baixa cura, baixo encerramento, baixa baciloscopia, e moderado DOTS;

Fraco - média proporção de casos notificados pelo município de residência, proporção de abandono muito elevada, cura muito baixa, baixo encerramento, baixa baciloscopia, e razoável DOTS; e

Muito fraco - faltando dados nos indicadores de resultado do tratamento, ou faltando dados em todos os indicadores de desempenho.

Os critérios utilizados para caracterizar a qualidade não são absolutos. Estes decorrem da análise do banco de dados de TB do Sistema Nacional de Agravos de Notificação, no período de 2001 a 2003, disponibilizado em março de 2005. Portanto, há que se considerar o processo dinâmico que subjaz este problema tão plural que é a TB. A análise em empírica desta classificação está disponível em Gonçalves; Penna¹².

 

3. LIMITES E POSSIBILIDADES DOS INSTRUMENTOS DE AVALIAÇÃO PROPOSTO

Para Sanders¹⁰, os pontos positivos da avaliação de cluster são: a possibilidade de responder às necessidades específicas dos interessados pelo programa e a promoção de oportunidades significativas de interação entre os atores do programa. é um processo de aprendizagem e de redefinição de idéias, e pode revelar diferenças de contextos. Como limitação, o autor expõe que este tipo de avaliação está em constante evolução, pois seus critérios dependem da situação identificada, e também é produto das diferenças contextuais e que dificulta a comparação.

Nesta experiência identifica-se que a análise de cluster possibilita encontrar diferenças de desempenho em municípios que teoricamente teriam as mesmas possibilidades, e assim responder ao programa como é o seu processo e os resultados que esta alcançando; como a análise de cluster é relativamente simples, é possível incorporá-la como método de agrupamento de municípios por suas semelhanças de desempenho, o que possibilita sua análise no cotidiano de forma rápida

 

Referências Bibliográficas

1. Hartz ZMA. Avaliação dos programas de saúde: perspectivas teórico metodológicas e políticas institucionais. Ciência & Saúde Coletiva 1999; 4(2):341-53.         [ Links ]

2. Hartz ZMA, Camacho LAB. Formação de recursos humanos em epidemiologia e avaliação dos programas de saúde. Cad Saude Publ 1996; 12(Supl. 2):13-20.         [ Links ]

3. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. Avaliação na área da saúde: conceitos e métodos. In: Hartz ZMA, editor. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Fiocruz; 1997. p. 29-47.         [ Links ]

4. Brasil. Ministério da Saúde. Controle da tuberculose: uma proposta de integração ensino-serviço. 5. ed. Rio de Janeiro: FUNASA/CRPHF/SBPT; 2002.         [ Links ]

5. Brasil. Ministério da Saúde. Secretaria de Políticas de Saúde. Departamento de Atenção Básica. Manual técnico para o controle da tuberculose: Cadernos de atenção básica I. 6. ed. Brasília; 2002.         [ Links ]

6. Campos CEA. Estratégias de avaliação e melhoria contínua da qualidade no contexto da Atenção Primária à Saúde. Rev Bras Saúde Matern Infant 2005; 5(Supl 1):563-9.         [ Links ]

7. Silva LMV. Conceitos, abordagens e estratégias para a avaliação em saúde. In: Hartz ZMA, Silva LMV, editors. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador/Rio de Janeiro: EDUFBA/Fiocruz; 2005. p. 15-40.         [ Links ]

8. Donabedian A. Evaluating the quality of medical care. The Milkbank Quarterly 2005; 83(4):691-729.         [ Links ]

9. Donabedian A. The definition of quality and approaches to its assessment: explorations in quality assessment and monitoring. An Arbor, Michigan: Health Administrations Press; 1988.         [ Links ]

10. Sanders J. Cluster Evaluation. In: Chelimsky E, Shadish W, editors. Evaluation for the 21st Century: a Handbook. London and New Delhi: Sage - Thousand Oaks; 1997. p. 396-404.         [ Links ]

11. Harries AD, Zachariah R, Bergstrom K, Blanc L, Salaniponi FM, Elzinga G. Human resources for control of tuberculosis and HIV- associated tuberculosis. Int J Tuberc Lung Dis. 2005 Feb;9(2):128-37.         [ Links ]

12. Goncalves MJ, Penna ML. Morbidade por tuberculose e desempenho do programa de controle em municípios brasileiros, 2001-2003. Rev Saude Publ. 2007;41 (Suppl. 1):95- 103.1993; 1(2):35-51.         [ Links ]

 

 

Endereço para correspondência
Maria Jacirema Ferreira Gonçalves
Centro de Ciência da Saúde, Universidade Federal do Amazonas
Rua Terezina, 495 - Adrianópolis
CEP: 69057-070 - Manaus, AM - Brasil
e-mail: jaciremagoncalves@ufam.edu.br

Artigo encaminhado: 17/10/2010
Aceito para publicação em: 21/11/2011

 

 

Notas

^*Professora Adjunta, Universidade Federal do Amazonas, Manaus (AM) - Brasil