PESQUISA, TEORIA E METODOLOGIA

 

Seis etapas para avaliação eficaz de programas

 

Six steps for an efficient programme evaluation

 

 

Danielle Ledur Antes^I*; Carla de Oliveira Bernardo^I*; Bianca Muriel Claas^I*

^I Universidade Federal de Santa Catarina (UFSC), Florianópolis, SC - Brasil

Endereço para correspondência

 

 

---

RESUMO

O objetivo deste manuscrito foi abordar as seis etapas consideradas pontos de partida para uma avaliação eficaz de programas, tendo como base o manuscrito do Centers for Disease Control and Prevention (CDC) intitulado ‘Framework for program evaluation in public health’. As seis etapas abordadas dizem respeito a como envolver as partes interessadas, descrever o programa, focalizar o design de avaliação, reunir dados confiáveis, justificar conclusões e como garantir a utilização e divulgação dos resultados. Tais etapas oferecem suporte a uma abordagem prática para avaliação baseada em etapas e normas aplicáveis em configurações de saúde pública, podendo ser usadas como um modelo para criar ou aprimorar orientações específicas de avaliação de programas.

Palavras-chave: Avaliação de Programas e Projetos de Saúde; Planejamento em Saúde; Avaliação em Saúde.

---

ABSTRACT

The aim of this manuscript is to discuss the six steps considered to be the starting point for an efficient programme evaluation, based on the material from the Center for Disease Control and Prevention (CDC) called ‘Framework for program evaluation in public health’. The six steps discussed how to involve the various participants, describe the programme, focus on the evaluation design, combine appropriate data, and justify conclusions and how to ensure the results are used and disseminated. These steps support a practical approach for evaluation based on norms that can be applied in public health and can be used as models to create or improve specific instructions to evaluate programmes.

Keywords: Program Evaluation; Health Planning; Health Evaluation.

---

 

 

1. INTRODUÇÃO

Para o desenvolvimento deste manuscrito optou-se por utilizar como texto base o manuscrito do Centers for Disease Control and Prevention (CDC) intitulado Framework for program evaluation in public health¹. Por meio do texto supracitado, o CDC buscou resumir os elementos essenciais para avaliação de programas, sendo que este trabalho abordará as seis etapas consideradas pelo CDC como pontos de partida para uma avaliação eficaz.

Para que os programas de saúde possam desenvolver planos claros, parcerias inclusivas e feedback, deve ocorrer a melhoria contínua das ações e a aprendizagem. Uma maneira de garantir que programas novos e existentes consigam atingir esses objetivos é conduzindo avaliações de rotina bem planejadas, práticas que fornecem informações para gerenciamento e melhorias na eficácia do programa.

Embora a avaliação de programas seja uma prática organizacional essencial em saúde pública², não é praticada sistematicamente, assim como, não é suficientemente bem integrada com o quotidiano da gestão da maioria dos programas.

Para atribuir valor e fazer julgamentos sobre um programa é necessário responder as seguintes questões: O que será avaliado? Quais aspectos do programa serão considerados para julgar o desempenho desse? Quais os padrões que devem ser alcançados para o programa ser considerado bem sucedido? Que meios serão usados para indicar como executar o programa? Quais as conclusões sobre o desempenho do programa são justificadas, comparando a evidência disponível com os padrões selecionados? Como as lições aprendidas com o inquérito vão ser usadas para melhorar a eficácia da saúde pública?

É importante destacar que essas questões devem ser abordadas no início de um programa e revisitadas ao longo de sua execução. Avaliações eficazes de programas são uma forma sistemática para melhorar as ações de saúde, envolvendo procedimentos úteis, viáveis, éticos e precisos.

Para orientar profissionais de saúde na avaliação de programas, o texto do CDC recomenda seis etapas, as quais serão tratadas neste documento, consideradas pontos de partida para uma avaliação eficaz. Todas as etapas são interdependentes, visto que as primeiras etapas fornecem a base para o progresso subsequente. Portanto, as decisões sobre como executar uma etapa são interativas e não devem ser finalizadas até que as etapas anteriores sejam exaustivamente abordadas. Os passos são os seguintes:

Etapa 1: Envolver as partes interessadas.

Etapa 2: Descrever o programa.

Etapa 3: Focalizar o design de avaliação.

Etapa 4: Reunir dados confiáveis.

Etapa 5: Justificar conclusões.

Etapa 6: Garantir a utilização e divulgação dos resultados.

A adesão desses seis passos facilitará a compreensão do contexto do programa que está sendo avaliado (por exemplo, a história, a definição e a organização do programa) e irá melhorar a forma como as avaliações são concebidas e realizadas.

Etapa 1: Envolver as partes interessadas

O ciclo de avaliação começa pelas partes interessadas (pessoas ou empresas) investindo no que se aprende com a avaliação e decidindo o que será feito com o conhecimento.

O trabalho em Saúde Pública envolve parcerias, portanto, qualquer avaliação de programa de saúde pública necessita considerar os sistemas dos parceiros. As partes interessadas devem estar engajadas no processo de avaliação para garantir que as perspectivas sejam atingidas. Quando os interessados não estão envolvidos, uma avaliação pode não abordar elementos importantes de um programa.

Portanto, resultados das avaliações podem ser ignorados, criticados ou sofrerem resistência porque a avaliação não levou em conta as preocupações ou valores dos participantes³. Depois do envolvimento com a avaliação, as partes interessadas ajudam a executar as outras etapas. Sendo assim, identificar e envolver os três principais grupos de partes interessadas são pontos chaves.

Os três principais grupos normalmente envolvidos nas operações de programa são:

• Patrocinadores, colaboradores, parceiros, funcionários, administradores, gerentes e funcionários;

• Aqueles servidos ou afetados pelo programa (por exemplo, clientes, membros da família, vizinhos, organizações, instituições acadêmicas, eleitos, grupos de advocacia, associações profissionais, céticos, adversários ou organizações concorrentes);

• Principais usuários da avaliação.

Etapa 2: Descrever o programa

A descrição dos programas explica a missão e os objetivos do programa que está sendo avaliado. Descrições devem ser suficientemente pormenorizadas para garantir a compreensão de estratégias e metas do programa, e também porque servirá de referência para todas as decisões subsequentes da avaliação.

A descrição permite comparações com programas semelhantes³, além disso, as partes interessadas podem ter idéias diferentes sobre as metas e objetivos do programa⁴. As avaliações feitas sem acordo sobre a definição do programa são susceptíveis de ter uso limitado. Às vezes, negociar com as partes interessadas para formular uma descrição clara e objetiva traz benefícios antes dos resultados da avaliação estarem disponíveis⁴.

Aspectos para incluir na descrição de um programa são: necessidade, efeitos esperados, atividades, recursos, fase de desenvolvimento do programa, o contexto e o modelo de lógica (capacidade de resumir o mecanismo global do programa).

As atividades que são da responsabilidade direta devem ser distinguidas daquelas que são conduzidas por programas relacionados ou parceiros, assim como esclarecer fatores externos que podem afetar o êxito do programa.

Nesta etapa o objetivo da avaliação é caracterizar o programa real, e não o programa ideal, buscando melhorar as operações, talvez por meio de uma revisão de planos.

A descrição dos programas varia para cada avaliação, e várias atividades refletem o requisito para descrever o programa. A precisão da descrição pode ser confirmada pela consultoria com diversas partes interessadas e relatórios de descrições do programa por meio de observações diretas das atividades no campo. Uma descrição detalhada do programa pode ser melhorada, abordando fatores como pessoal envolvido, volume de negócios, recursos insuficientes, pressões políticas ou participação da comunidade.

Etapa 3: Focalizar o design de avaliação

A avaliação deve ser focada para avaliar as questões de maior preocupação para todos os interessados ao mesmo tempo, usando o tempo e os recursos de forma mais eficiente possível^4,6. Nem todas as opções de design são igualmente bem adequadas para atender às necessidades de informações, portanto, um plano completo antecipa utilizações e cria uma estratégia de avaliação com a maior chance de ser útil, viável, ética e precisa. Depois de começar a coleta de dados, alterar procedimentos torna-se difícil ou impossível, mesmo que melhores métodos tornem-se evidentes, por isso esta etapa deve ser bem embasada antes de colocada em prática.

Entre os itens a serem considerados quanto ao foco de uma avaliação são: finalidade, usuários, uso, perguntas, métodos e acordos.

Finalidade. Articular a finalidade da avaliação (ou seja, intenção) impedirá tomadas de decisões prematuras sobre como a avaliação deve ser realizada. As características do programa, particularmente seu estágio de desenvolvimento e contexto, irão influenciar a avaliação. Avaliações de saúde pública têm quatro finalidades gerais: (1) fornecer a visão necessária para esclarecer como suas atividades devem ser projetadas para trazer mudanças esperadas; (2) melhorar o funcionamento do programa, qualidade, eficácia ou eficiência das atividades desenvolvidas; (3) examinar a relação entre as atividades do programa e as consequências observadas (apropriado para programas mais antigos); e (4) usar do processo de inquérito de avaliação para influenciar as partes interessadas (se aplica em qualquer fase do desenvolvimento do programa), tais influências podem complementar a intervenção do programa, capacitar os participantes do programa, promover o desenvolvimento pessoal, contribuir para crescimento organizacional ou facilitar a transformação social⁴.

Usuários. Os usuários são pessoas específicas que receberão os resultados das avaliações. Os usuários experimentam diretamente as consequências do design do projeto, portanto, devem participar na escolha do foco de avaliação⁴. Envolvimento do usuário é necessário para clarificar utilizações, priorizar questões e métodos e evitar que a avaliação torne-se irrelevante ou equivocada.

Uso. Usos são as maneiras específicas de como a informação gerada a partir da ação avaliada serão aplicadas. Existem vários usos para avaliação de programas. Informar o uso em termos vagos aumenta as chances da avaliação não abordar plenamente às necessidades dos envolvidos. Usos devem ser planejados e priorizados com entrada das partes interessadas, com respeito pela fase de desenvolvimento do programa e com o contexto atual. Todas as utilizações devem ser associadas a um ou mais usuários específicos.

Perguntas. Perguntas estabelecem limites para a avaliação, afirmando quais aspectos do programa serão abordados^4,7. Criar perguntas de avaliação incentiva as partes interessadas a revelar o que eles acreditam que a avaliação deve responder. Negociar e priorizar questões entre as partes interessadas refina ainda mais o foco da avaliação.

Métodos. Os métodos de avaliação são opções de desenhos de investigação científica que incluem: experimental, quase-experimental e projetos observacionais⁸. Métodos de avaliação devem ser selecionados com o intuito de fornecer a informação adequada para abordar as questões das partes interessadas. A escolha de design implica no que contará como dados, como esses serão reunidos e que tipos de reivindicações poderão ser feitas (incluindo a validade interna e externa das conclusões)⁹. Além disso, decisões metodológicas esclarecem como a avaliação irá funcionar. Visto que todos os métodos têm qualidades e limitações, as avaliações que misturam métodos são geralmente mais eficazes^10,11, por isso durante o curso de uma avaliação, os métodos talvez precisem ser revisto ou modificados.

Acordos. Acordos resumem os procedimentos e clarificam os papéis e responsabilidades entre aqueles que irão executar o plano de avaliação³, descrevem como o plano de avaliação será implementado usando recursos disponíveis (dinheiro, pessoal, tempo e informação)^5,6 e indicam quais as garantias para proteger os seres humanos e, o quanto apropriado ética e administrativamente as aprovações foram obtidas¹². Elementos de um acordo incluem instruções relativas ao objetivo pretendido, usuários, usos, perguntas e métodos, bem como um resumo dos resultados práticos, linha do tempo e orçamento. O acordo pode e deve envolver, no mínimo, os principais usuários, provedores de recursos financeiros ou em espécie e as pessoas que irão realizar a avaliação e facilitar a utilização e divulgação. Ao se elaborar um acordo explícito verifica-se a compreensão mútua necessária para uma avaliação bem sucedida, e se fornece base para modificar ou renegociar procedimentos, caso necessário.

Etapa 4: Reunir dados confiáveis

Uma avaliação deve se esforçar para coletar informações que vão transmitir uma boa gama de conhecimento sobre o programa, a fim de garantir credibilidade entre os principais usuários. Informações devem ser percebidas pelas partes interessadas como aceitáveis e relevantes para responder às suas perguntas. No entanto, a qualidade dessas informações depende das perguntas de avaliação, por isso deve ficar claro por quais motivos foram escolhidas e como serão aplicadas. Podem ser necessárias consultorias com especialistas em metodologias de avaliação em situações onde a preocupação com a qualidade dos dados é alta ou onde existem graves consequências associadas. Ter dados confiáveis reforça os resultados da avaliação e as recomendações que seguem deles.

Apesar de todos os tipos de dados terem limitações, a credibilidade global da avaliação pode ser melhorada usando vários procedimentos de coleta, análise e interpretação dos dados. Incentivar a participação das partes interessadas também pode reforçar a percepção de qualidade das informações. Quando os interessados são envolvidos na definição do que será coletado, serão mais propensos a aceitar as conclusões da avaliação e a agir de acordo com as recomendações. Aspectos de coleta de dados que geralmente afetam percepções de credibilidade incluem indicadores, fontes, qualidade, quantidade e logística.

Etapa 5: Justificar Conclusões

As conclusões da avaliação são justificadas quando estão ligadas aos dados coletados. Os interessados devem concordar com as conclusões antes de usarem os resultados da avaliação com confiança. Justificar conclusões com base nos dados inclui normas, análise e síntese, interpretação, decisões e recomendações.

Normas. Normas refletem os valores utilizados pelos interessados, e esses valores fornecem a base para a formação de decisões relativas ao desempenho do programa.

Análise e síntese. Análise e síntese dos resultados da avaliação podem detectar padrões em evidência, seja isolando descobertas importantes (análise) ou através da combinação de fontes de informação para alcançar maior compreensão (síntese)⁴.

Interpretação. A interpretação é o esforço de descobrir o que significam as conclusões e é parte do esforço global para entender a evidência coletada em uma avaliação¹³. Descobrir fatos sobre o desempenho do programa não é uma conclusão suficiente para avaliação. Dados de avaliação devem ser interpretados para determinar o significado prático do que foi aprendido.

Decisões. Decisões são afirmações sobre o mérito ou significado do programa. Eles são formados, comparando os resultados e interpretações sobre o programa contra uma ou mais normas selecionados. Como vários padrões podem ser aplicados a um determinado programa, as partes interessadas podem ter decisões diferentes ou até mesmo conflitantes. No contexto de uma avaliação, tais disparidades podem ser um catalisador para esclarecer os valores relevantes e para negociar as bases do programa.

Recomendações. As recomendações são ações a serem tomadas de acordo com os resultados da avaliação. Formular recomendações é um elemento distinto da avaliação do programa e requer informações além daquelas relativas ao desempenho do mesmo¹⁴. Fazer recomendações requer informações sobre o contexto, particularmente o contexto organizacional. Recomendações não embasadas em dados suficientes ou que não estejam voltadas aos valores das partes interessadas podem minar a credibilidade da avaliação.

Etapa 6: Garantir a utilização e divulgação dos resultados

Lições aprendidas no curso de uma avaliação não se traduzem automaticamente em informações ou ações apropriadas para a tomada de decisão. É necessário esforço deliberado para certificar-se de que os processos de avaliação e as conclusões sejam utilizados e divulgados. Cinco elementos são essenciais para garantir o uso de uma avaliação, incluindo o design, preparação, feedback, acompanhamento e divulgação.

Design. Refere-se à forma como perguntas de avaliação, métodos e processo global são construídos. O design deve ser organizado desde o início para alcançar a finalidade, ou seja, deve estar claro quem vai fazer o que com as conclusões e quem se beneficiará de parte da avaliação. Além disso, o processo de criação de um design claro pode aumentar a relevância, credibilidade e utilidade global da avaliação.

Preparação. Preparação refere-se às medidas tomadas para ensaiar a eventual utilização das conclusões da avaliação. A capacidade de traduzir novos conhecimentos em ação apropriada é uma habilidade que pode ser reforçada por meio da prática. Esta habilidade de construção pode ser uma vantagem de avaliação¹⁵. Preparação para uso dos resultados também dá aos interessados tempo para explorar as implicações positivas e negativas dos possíveis resultados e tempo para identificar as opções para a melhoria do programa.

Feedback. Feedback é a comunicação que ocorre entre todas as partes para a avaliação. Dar e receber feedback favorece a confiança entre as partes interessadas e é parte integrante da avaliação, particularmente para garantir sua utilização. A obtenção de comentários pode ser incentivada mantendo discussões periódicas durante cada etapa do processo de avaliação e compartilhamento rotineiramente das conclusões, interpretações e relatórios.

Acompanhamento. O acompanhamento refere-se ao suporte técnico e emocional que os usuários precisam durante a avaliação e depois de receber os resultados das avaliações. O acompanhamento também é necessário para impedir que lições aprendidas se percam ou sejam ignoradas devido ao processo complexo ou politicamente delicado de tomada de decisões de acordo com os resultados da avaliação. Os resultados da avaliação são sempre vinculados pelo contexto no qual a avaliação foi conduzida. No entanto, certas partes interessadas podem estar interessadas em resultados fora do contexto ou em usá-los para fins que não aqueles concordados. Da mesma forma, as partes interessadas que procuram minar um programa podem fazer uso indevido dos resultados por enfatizar resultados negativos sem mencionar os atributos positivos. Acompanhamento ativo pode ajudar a impedir essas e outras formas de utilização abusiva, garantindo que os dados não sejam mal interpretados ou aplicados em questões distintas das acordadas no foco central da avaliação^3,4.

Divulgação. Divulgação é o processo de comunicação das lições aprendidas com avaliação em audiências relevantes e/ou momentos oportunos de modo imparcial e consistente. Embora a documentação da avaliação seja necessária, um relatório de avaliação formal nem sempre é o melhor. Para um planejamento eficaz da divulgação também é necessário considerar o tempo, estilo, fonte de mensagem, veículo e formato de produtos nos quais a divulgação será realizada. Independentemente de como são construídas as comunicações, o objetivo da divulgação é ter um alcance completo e imparcial da geração de relatórios. O conteúdo do relatório para o público deve explicar o foco da avaliação, suas limitações e listar os pontos fortes e fracos da avaliação¹⁶.

 

2. CONSIDERAÇÕES FINAIS

Este breve trabalho objetivou apresentar as seis etapas mencionadas no manuscrito intitulado Framework for program evaluation in public health, publicado pelo Centers for Disease Control and Prevention (CDC)¹, no entanto, para aprofundamento das questões aqui explanadas, fazem-se necessárias leituras pormenorizadas do próprio texto base e demais referências da área.

Por meio desta resenha é possível clarificar o processo de realização de avaliações eficazes de programas, explicar as etapas de avaliação, analisar padrões de avaliações eficazes e esclarecer equívocos sobre os fins e meios da avaliação de programas.

Cabe destacar ainda, que o processo de avaliação de programas deve também fazer uso da ciência como uma base para a tomada de decisões e ações de saúde pública, expandindo a busca da equidade social por meio da saúde pública, realizando ações efetivas com agências de serviços e fazendo esforços para resultados orientados e responsáveis.

 

REFERÊNCIAS

1. Center for Disease Control. Framework for Program Evaluation in Public Health. Atlanta (US): MMWR; 1999.         [ Links ]

2. Dyal WW. Ten organizational practices of public health: a historical perspective. Am J Prev Med 1995; 11(6) Suppl 2:6–8.

3. Joint Committee on Standards for Educational Evaluation. Program evaluation standards: how to assess evaluations of educational programs. 2nd ed. Thousand Oaks (CA): Sage Publications; 1994.         [ Links ]

4. Patton MQ. Utilization-focused evaluation: the new century text. 3rd ed. Thousand Oaks (CA): Sage Publications; 1997.         [ Links ]

5. U.S. General Accounting Office. Designing evaluations. GAO/PEMD-10.1.4. Washington, DC: U.S. General Accounting Office, 1991.         [ Links ]

6. Taylor-Powell E, Steele S, Douglah M. Planning a program evaluation. Madison (WI): University of Wisconsin Cooperative Extension; 1996.         [ Links ]

7. Weiss CH. Evaluation: methods for studying programs and policies. 2nd ed. Upper Saddle River (NJ): Prentice Hall; 1998.         [ Links ]

8. Bickman L, Rog DJ, eds. Handbook of applied social research methods. Thousand Oaks (CA): Sage Publications; 1998.         [ Links ]

9. McQueen DV, Anderson LM. What counts as evidence? Issues and debates on evidence relevant to the evaluation of community health promotion programs. In: Rootman I, Goodstadt M, Hyndman B, et al. Evaluation in health promotion: principles and perspectives. Copenhagen, Denmark. World Health Organization (Euro). N.92, 1999.         [ Links ]

10. Cook TD, Reichardt CS, eds. Qualitative and quantitative methods in evaluation research. Sage research progress series in evaluation. Vol. 1, Beverly Hills (CA): Sage Publications; 1979.         [ Links ]

11. Green JC, Caracelli V, eds. Advances in mixed-method evaluation: the challenges and benefits of integrating diverse paradigms. New Directions for Program Evaluation. Vol. 74, San Francisco (CA): Jossey-Bass; 1997.         [ Links ]

12. Newman DL, Brown RD. Applied ethics for program evaluation. Thousand Oaks (CA): Sage Publications; 1996.         [ Links ]

13. Weick KE. Sensemaking in organizations. Thousand Oaks (CA): Sage Publications; 1995.         [ Links ]

14. Scriven M. Minimalist theory of evaluation: the least theory that practice requires. American Evaluation Association 1998; 19:57–70.

15. Fetterman DM, Kaftarian SJ, Wandersman A, eds. Empowerment evaluation: knowledge and tools for self-assessment and accountability. Thousand Oaks (CA): Sage Publications; 1996.         [ Links ]

16. Worthen BR, Sanders JR, Fitzpatrick JL. Program evaluation: alternative approaches and practical guidelines. 2nd ed. New York (NY): Longman; 1996.         [ Links ]

 

 

Endereço para correspondência
Danielle Ledur Antes
Universidade Federal de Santa Catarina
Núcleo de Cineantropometria e Desempenho Humano NuCiDH, sala 47 - Trindade - Florianopolis, SC – Brasil
CEP: 88040-900
Email: danielleantes@gmail.com

 

Artigo encaminhado: 01/10/2012
Aceito para publicação: 19/10/2013

 

 

Notas

^* Doutoranda em Saúde Coletiva