ARTIGOS

 

Reflexões sobre avaliação de programas e projetos sociais

 

Considerations on social program and project's evaluation

 

Reflexiones sobre evaluación de programas y proyectos sociales

 

 

Lirene Finkler^I; Débora Dalbosco Dell'Aglio^II

^IUniversidade Federal do Rio Grande do Sul (UFRGS) - Rio Grande do Sul - Brasil
^IIUniversidade Federal do Rio Grande do Sul (UFRGS) - Rio Grande do Sul - Brasil

 

 

---

RESUMO

A área de avaliação de programas e projetos sociais relaciona-se a diferentes campos do conhecimento, cada qual contribuindo com conceitos, indicadores e uma amplitude de técnicas de aplicação. Este artigo apresenta um breve histórico da área de avaliação e discorre sobre a avaliação no contexto internacional e seu processo de institucionalização no campo social brasileiro, apontando a amplitude de conceitos que a caracterizam e discutindo algumas das contradições em sua implementação junto às políticas públicas. São apresentadas classificações organizativas quanto aos principais tipos de avaliação que se destacam na literatura, problematizando a questão dos diferentes usos da avaliação e discutindo a necessidade de que sejam propostas novas metodologias que proporcionem a participação dos usuários.

Palavras-chave: Avaliação. Programas Sociais. Políticas Públicas.

---

ABSTRACT

Social program and project's evaluation area is related to different fields, each contributing with concepts, indicators and a range of application techniques. This article presents a brief history of the evaluation area and discusses its international stage and its process of institutionalization in the Brazilian social field. It indicates a range of concepts that characterize the field and discusses some of the contradictions in its implementation with public policies. Organizational classifications are shown on the main evaluation approaches, as highlighted in literature, problematizing evaluation's different uses and discussing the need for new methodologies to provide user's participation.

Keywords: Evaluation. Social Programs. Public Policies.

---

RESUMEN

El área de evaluación de programas y proyectos sociales se relaciona con diferentes campos del conocimiento, cada cual contribuyendo con conceptos, indicadores y una amplitud de técnicas de aplicación. Este artículo presenta un breve histórico del área de evaluación y discurre sobre la evaluación en el contexto internacional y su proceso de institucionalización en el campo social brasileño, apuntando la amplitud de conceptos que la caracterizan y discutiendo algunas de las contradicciones en su implementación junto a las políticas públicas. Son presentadas clasificaciones organizativas cuanto a los principales tipos de evaluación que se destacan en la literatura, problematizando la cuestión de los diferentes usos de la evaluación y discutiendo la necesidad de que sean propuestas nuevas metodologías que proporcionen la participación de los usuarios.

Palabras-clave: Evaluación. Programas Sociales. Políticas Públicas.

---

 

 

Introdução

A área de avaliação de programas e projetos sociais é ainda recente e apresenta características intrinsecamente transdisciplinares, sendo considerada como um campo independente de estudo (MINAYO, 2005). Para aqueles que se iniciam no tema, há todo um vocabulário a ser apreendido, que expressa as diferentes vertentes e períodos históricos da área da avaliação, desde uma visão positivista até uma inevitável convivência entre diferentes paradigmas nesta virada de milênio. O presente artigo objetiva contribuir para a compreensão da avaliação de programas e projetos sociais, considerando sua interface com o processo das políticas públicas.

As políticas públicas podem ser definidas como conjuntos de ações, programas e atividades desenvolvidas pelo Estado (direta ou indiretamente) com o objetivo de garantir direitos de cidadania, especialmente aqueles assegurados constitucionalmente, voltando-se para a solução de problemas da sociedade. Após desenhadas e formuladas, as políticas públicas desdobram-se em planos, programas e projetos (SOUZA, 2006). A avaliação de políticas públicas e avaliação de programas e projetos sociais são áreas diretamente relacionadas, entretecidas. Enquanto a avaliação de determinada política pública implica o exame de diversos elementos, desde seus pressupostos e fundamentos políticos, passando pela "engenharia institucional" e os "traços constitutivos" dos programas e projetos que a operacionalizam (ARRETCHE, 1998), a avaliação de programas e projetos sociais pode ser compreendida como uma etapa, uma parcela da avaliação da política pública da qual tal programa faz parte. Neste artigo a avaliação de políticas públicas será considerada como campo mais amplo, dentro do qual se desenvolve a avaliação de programas e projetos sociais, que objetiva compreender seu alcance, questionar seus limites e, em última instância, contribuir para a transformação da sociedade (MINAYO, 2005). A avaliação, como técnica e estratégia investigativa, é um processo sistemático de fazer perguntas sobre o mérito e a relevância de determinado assunto, proposta ou programa, devendo ser útil, viável, ética e precisa (MINAYO, 2005; PENNA FIRME, 2003).

De modo amplo, a palavra avaliação está relacionada à determinação de valor (AKERMAN; MENDES; BÓGUS, 2004; TREVISAN; BELLEN, 2008). De modo mais específico, o objetivo de uma avaliação de programa é produzir efeitos e resultados concretos, que possam balizar as decisões a serem tomadas por gestores, executores e sociedade civil em geral. Serve para melhorar um programa ou serviço e modificá-lo a partir do conhecimento de suas qualidades e fraquezas, aprendendo a partir de experiências anteriores, verificando sua eficiência e eficácia, de acordo com os objetivos aos quais se propõe (COHEN; FRANCO, 1999; HARTZ, 2006; UCHIMURA; BOSI, 2002). Pode ser utilizada a fim de mensurar resultados e impactos de uma atividade e distingui-los da influência de outros fatores externos; esclarecer se os custos de uma atividade se justificam; informar decisões quanto à expansão, modificação ou eliminação de projetos, programas ou políticas; melhorar a concepção e gestão de atividades futuras; comparar a eficácia de intervenções alternativas e aumentar o grau de responsabilização pelo resultado (DEPARTAMENTO DE AVALIAÇÃO DAS OPERAÇÕES DO BANCO MUNDIAL, 2004; UCHIMURA; BOSI, 2002).

Algumas definições de avaliação centram-se na verificação do cumprimento de um plano e análise do alcance de objetivos, supondo que estes têm um valor já reconhecido e aceito em si (MOKATE, 2002). Outro conceito de avaliação, mais delimitado, é apresentado por Minayo (2005): "conjunto de atividades técnico-científicas ou técnico-operacionais que buscam atribuir valor de eficiência, eficácia e efetividade a processos de intervenção em sua implantação, implementação e resultados" (p. 23), definição esta que salienta o aspecto técnico e metodológico da avaliação. Brandão e Silva (2008) conceituam que a avaliação é a disciplina que se dedica a medir, descrever e julgar objetos e fenômenos. Cada avaliação será permeada por esses três elementos essenciais que se manifestam com diferentes intensidades: a) medição, relacionada ao ato objetivo e muitas vezes quantitativo de medir as coisas, as variações e as mudanças; b) descrição, que diz respeito ao ato de representar um objeto ou fenômeno, caracterizando-o em sua integralidade e multiplicidade e assim tendendo a operar pela via da linguagem qualitativa; c) julgamento, elemento que dá identidade à avaliação, à medida que explicita que os processos de avaliação podem determinar o mérito e a relevância de um objeto ou fenômeno.

Grande parte da bibliografia disponível sobre a avaliação de programas e serviços refere-se a aspectos tecnológicos, ora enfatizando a qualidade, ora as avaliações econômicas de custo-efetividade, recorrendo para essa finalidade tanto a técnicas quantitativas quanto qualitativas (FARIA, 2005; SILVA, 1999). Conforme Bosi e Uchimura (2007) há estudos de avaliação com contornos mais clássicos, dirigidos à análise da eficácia e/ou eficiência de determinado programa (ARRETCHE, 1998), e estudos avaliativos voltados à dimensão subjetiva da qualidade, que se propõem a desvendar os sentidos dos fenômenos, respeitando sua complexidade, riqueza e profundidade. Tais estudos seriam adequados à análise do sucesso prático do programa, pois consideram as expectativas e o universo simbólico dos atores envolvidos, em especial, dos usuários a que se destinam as ações. Uchimura e Bosi (2002) destacam a importância de focalizar os diversos sentidos da avaliação, a influência do paradigma positivista no campo, o caráter polissêmico do termo qualidade e sua estreita imbricação com a subjetividade.

Conforme Deslandes (1997), o paradigma positivista, inicialmente hegemônico nesse campo, passa a ser questionado por diversos pensadores, especialmente a partir da década de 90, apontando a subjetividade inerente a qualquer avaliação. A pretensa objetividade passa a ser percebida como limitada pelos vários recortes produzidos pelo investigador. Arretche (1998) ainda destaca que a atribuição de aprovação ou desaprovação a uma política ou programa público particular está permeada por certa concepção de justiça, que pode ser explícita ou implícita, e que, por esse motivo, não há possibilidade de que qualquer modalidade de avaliação ou análise de políticas públicas possa ser apenas instrumental, técnica ou neutra. O campo social é intrinsecamente permeado de valores em disputa, o que torna necessário que o processo avaliativo contemple em seu desenho e metodologia a explicitação de óticas, valores e princípios (AKERMAN et al., 2004). Como apontam Laperrière e Zúñiga (2007), toda reflexão sobre os métodos de avaliação está intimamente ligada a opções metodológicas que são necessariamente políticas.

 

Construção da avaliação: contexto internacional e brasileiro

O conceito de avaliação de programas e serviços públicos surge no cenário mundial logo após a Segunda Guerra, estabelecendo-se de forma crescente na Europa e América do Norte. Trata-se de área relacionada a diferentes campos do conhecimento, cada qual contribuindo com conceitos, indicadores e uma amplitude de técnicas de aplicação (DESLANDES, 1997). Organizações internacionais e supranacionais dedicam-se, desde então, à avaliação em diversas áreas, constituindo escritórios ou unidades de avaliação independentes como, por exemplo, os escritórios de avaliação da ONU, do FMI e do BID, do UNICEF, entre outras organizações de grande alcance internacional (endereços disponíveis em (http://www.europeanevaluation.org/?page=756971). Essas instituições utilizam metodologias visando a um olhar macro sobre as questões em estudo, desenvolvendo significativo volume de pesquisas sobre os impactos financeiros, orçamentários e sociais de diferentes áreas de investimento no desenvolvimento local, regional e nacional. Tais organizações internacionais podem ser vistas como contribuindo para a construção de práticas avaliativas nacionais e locais. Entretanto, o formato mais generalista desses estudos leva a pensar nessa hegemonia internacional como uma nova expressão de colonialismo. Financiamentos internacionais são frequentes em programas sociais de países em desenvolvimento, visando a mudanças sociais. Cabe destacar a reflexão de Laperrière e Zúñiga (2007) quanto ao aparente consenso com que as ciências sociais norte-americanas e europeias vêm tratando a expressão mudança social, um valor abstrato, como um aspecto positivo e desejável que seria medido pela avaliação de políticas e programas. Os autores ponderam que tal posição é no mínimo ingênua, senão parcial, pois não há necessariamente uma virtude intrínseca na mudança, que certas vezes é vista como progresso e desenvolvimento e em outras como insurgência e terrorismo, conforme a relação entre processo de produção científica e seus contextos políticos.

Marcada por desenvolvimentos internacionais, a área de avaliação de programas e serviços expandiu-se e diversificou-se metodologicamente nas últimas décadas (NOVAES, 2000). Cada vez mais exigida pelas agências financiadoras internacionais, a avaliação de programas e serviços cresceu em valorização devido a três movimentos principais, apontados por Adulis (2002): a) redução no volume dos recursos, que se articula ao crescente ceticismo quanto ao valor da ajuda nos países em desenvolvimento; b) aumento da concorrência entre as organizações do terceiro setor, que pressiona para uma maior profissionalização da área; c) o processo de democratização e aumento da participação social, gerando pressões para controle social dos gastos públicos. Aparentemente, o processo de institucionalização dos sistemas de avaliação na América Latina foi fortemente marcado por indução externa, a partir de demandas de organismos internacionais e multilaterais. Uma dessas demandas diz respeito à reforma do Estado. As décadas de 80 e 90 foram período de significativo desenvolvimento na avaliação de políticas na América Latina, e há consenso de que a avaliação de políticas públicas foi posta a serviço da reforma do Estado, predominando uma concepção tecnicista (FARIA, 2005). A avaliação ganha centralidade como forma de dar credibilidade a um processo de reforma política em que é questionado o tamanho e a eficiência do setor público (TREVISAN; BELLEN, 2008), existindo uma medição de forças entre defensores do Estado e da privatização, na direção de um estado mínimo. Assim, cabe ressaltar que a construção histórica do campo da avaliação está perpassada pelo jogo de forças que envolvem, entre muitos outros elementos, instituições supranacionais e concepções sobre os estados nacionais e qualidade de vida.

No Brasil, a área de avaliação começa a se desenvolver apenas a partir da década de 80, inicialmente de forma bastante incipiente (ARRETCHE, 2003; UCHIMURA; BOSI, 2002), com grande fragmentação organizacional e temática, além de institucionalização ainda precária das tecnologias de avaliação de intervenções sociais (FARIA, 2005; MINAYO, 2005). Há relativamente poucos dispositivos legais, diretrizes, ou parâmetros que claramente garantam a qualidade, credibilidade e reconhecimento da prática da avaliação (HARTZ, 2006). Entretanto, verifica-se, especialmente a partir da década de 90, que tanto a academia quanto órgãos governamentais e centros de pesquisa têm ampliado estudos e pesquisas sobre políticas públicas e programas sociais (SOUZA, 2003), já sendo possível visualizar um crescente conjunto de estudos nacionais e locais, ainda que poucos sobre as características e diferenças nos níveis estaduais (SOUSA, 2003; TREVISAN; BELLEN, 2008). Na última década houve um crescimento nos estudos no Brasil, com dissertações e teses sobre temas relacionados às políticas governamentais, criação de disciplinas de políticas públicas nos programas de graduação e pós-graduação, implantação de linhas de pesquisa voltadas para essa área, constituição de agências de fomento à pesquisa, assim como formas especiais de financiamento para a área (ARRETCHE, 2003; TREVISAN; BELLEN, 2008).

Trevisan e Bellen (2008) destacam alguns problemas a serem superados na área da avaliação, organizados em três tópicos: 1) baixa capacidade de acumulação de conhecimento da área, em função da proliferação horizontal de estudos de caso e da ausência de pesquisa (ARRETCHE, 2003). Como solução a esse problema foram criados fóruns específicos sobre políticas públicas em espaços acadêmicos e em periódicos nacionais e internacionais, mais acessíveis devido à sua informatização. 2) Abundância de estudos setoriais, caracterizados pela diversificação horizontal, sem um fortalecimento vertical da produção (SOUSA, 2003). 3) Proximidade da área de políticas públicas com a burocracia governamental, que tanto pode resultar em trabalhos normativos e prescritivos, como na possibilidade desses mesmos órgãos governamentais ditarem a agenda de pesquisa acadêmica (TREVISAN; BELLEN, 2008).

Com relação às temáticas mais trabalhadas na área de avaliação no Brasil, Faria (2005) aponta que parte significativa dos estudos refere-se a questões de ordem metodológica e/ou às distintas maneiras de se classificar a avaliação. Em 2003, Arretche já apontava que a agenda de pesquisa brasileira na área estaria subordinada à agenda política, o que estaria expresso no conteúdo da produção acadêmica (teses, artigos e pesquisas), voltado para a avaliação dos resultados alcançados pelas políticas em voga ou à atualização da informação existente sobre programas já consolidados. Mais recentemente, Trevisan e Bellen (2008) também apontam como temática a análise das estruturas e instituições e a caracterização dos processos de negociação das políticas setoriais específicas. Faria (2005) entende que, de forma contraditória, houve no Brasil ênfase na avaliação de políticas, e ao mesmo tempo aparentemente não foi despertado um interesse equivalente por parte da comunidade acadêmica nas áreas da ciência política e da sociologia, enquanto na área da administração pública há maior número de estudos e publicações. Conforme apontam pesquisadores, as avaliações de programas geralmente ocorrem sob o patrocínio de grandes instituições públicas que desenvolvem intervenções em todo o território nacional. A falta de convênios e laços formais e/ou informais de trabalho entre laboratórios de universidades distintas tem impedido a colaboração conjunta nestes grandes projetos (ANPEPP, 2008).

No Brasil existem na atualidade propostas federais de avaliação e monitoramento que vêm crescendo em importância. Na área da Saúde, o Sistema Único da Saúde - SUS tem atribuição de incrementar o desenvolvimento científico em saúde e a avaliação do impacto que as tecnologias provocam à saúde (BRASIL, 1990). Ao Ministério da Saúde (MS), gestor federal do SUS, compete também formular, avaliar, elaborar normas e participar na execução da política nacional de produção de insumos e equipamentos para a saúde, o que é realizado a partir da constituição do Departamento de Ciência e Tecnologia (DECIT) e da Secretaria de Ciência, Tecnologia e Insumos Estratégicos (ELIAS; PATROCLO, 2004). Há também um importante conjunto de estudos que envolvem a avaliação de serviços de saúde, área já consolidada em suas várias linhas de abordagem, realizados em diversas áreas do conhecimento (por exemplo, a literatura sobre avaliação de Programas de Saúde da Família e toda a ampla produção na área do HIV/AIDS, entre outros). A utilização de indicadores de avaliação econômica, tecnológica e de qualidade da atenção em saúde (acesso, utilização, cobertura, eficácia, satisfação do usuário, objetivos, estrutura, processos, resultados, entre outros) é reconhecida e amplamente divulgada (NOVAES, 2000; UCHIMURA; BOSI, 2002).

Na área da assistência social, o Ministério do Desenvolvimento Social e Combate à Fome (MDS) constituiu uma secretaria específica de Avaliação e Gestão da Informação (SAGI), com o objetivo de disseminar metodologias e informações sobre o monitoramento e a avaliação dos programas sociais implementados. Deve estimular que as demais instâncias de Assistência Social em níveis estadual e municipal procedam da mesma forma, institucionalizando a função avaliação e monitoramento e incorporando-a à gestão de seus programas e políticas, bem como favorecendo a publicização de indicadores de monitoramento e de resultados de estudos de avaliação (PAES-SOUSA; VAISTMAN, 2007). Com recursos originados de várias fontes: Tesouro Nacional, empréstimos do Banco Mundial (BIRD) e Banco Interamericano de Desenvolvimento (BID), foram contratados estudos referentes aos 22 programas nacionais, além de realizada capacitação dos gestores do MDS em atividades de avaliação. Conforme Paes-Souza (2007), a estratégia de avaliação envolveu a contratação de estudos de diferentes tipos, desenhos, abordagens e métodos, desde grandes pesquisas nacionais em conjunto com o IBGE - Instituto Brasileiro de Geografia e Estatística, avaliações de impacto com desenho quase-experimental, passando por avaliações de processos e estudos de caso, com abordagem antropológica. Ainda que tais esforços possam ser vistos de forma positiva, análise realizada por Alves (2007) aponta a ausência de uma cultura política de avaliação dos programas, projetos, serviços e benefícios derivados da assistência social no Brasil. A autora entende que tais processos reeditam os tradicionais procedimentos técnico-operativos de controle institucional e administrativo-contábil, não tomando como parâmetros a Constituição e a Lei Orgânica da Assistência Social.

 

Avaliação no processo das políticas públicas

A literatura apresenta um conjunto de textos e manuais clássicos onde avaliação é vista como caracterizada por processos racionais e lineares. Entretanto, avaliação e implementação de políticas públicas não são etapas desvinculadas do processo político, devendo a avaliação também ser um processo político-democrático e subsidiar a sociedade para o controle social e a reflexão sobre a realidade (AKERMAN et al., 2004; ARRETCHE, 2003; COHEN; FRANCO, 1999).

O estudo de políticas públicas está associado à expressão "estudo do estado em ação" (JOBERT; MULLER, 1987, apud ARRETCHE, 2003), considerando programas governamentais, seu histórico, implementação, desenvolvimento e reflexos no campo social e econômico. Arretche (1998) define que a análise deve reconstituir os elementos constitutivos dos programas, as suas diversas características, como o desenho institucional, as formas de relação entre setor público e privado, as formas de financiamento, as modalidades de prestação de serviço, de forma a apreendê-las em um todo coerente e compreensível, de modo a dar sentido e entendimento ao caráter errático da ação pública. Uma das principais dificuldades metodológicas na área é estabelecer relações de causalidade em uma avaliação, onde todo o complexo contexto cultural, social e político precisa ser levado em consideração.

Carvalho (2003) aponta que a avaliação constitui o processo da política pública, em que há uma alteração contínua nas decisões, um processo em fluxo, que se caracteriza por constantes barganhas, pressões e contrapressões, e por redefinições do próprio objeto das decisões. A avaliação deve integrar-se a esse processo como atividade permanente que acompanha todas as fases da política pública, desde a identificação do problema até a análise das mudanças sociais advindas da intervenção, num ciclo que pode ser tomado como um quadro de referência para a análise processual. Entretanto, por vezes é questionado, devido à dificuldade dos atores políticos administrativos fixarem-se a esse contínuo, especialmente para programas políticos mais complexos (TREVISAN; BELLEN, 2008). A possibilidade de a avaliação ser a retroalimentação da política não é um fato dado, uma vez que o processo da política pública não é necessariamente racional e coerente (ARRETCHE, 1998). Sousa (2003) argumenta também que a construção das políticas envolve pressões diversas às quais determinado governo está submetido e prioriza, visando a uma próxima eleição, e que também é necessário considerar as dificuldades concretas em articular ações intersetoriais entre as diferentes políticas sociais. Saúde, educação, assistência social seguem construindo ações em paralelo, apesar de esforços por uma maior integração. Elias e Patroclo (2004) lembram que grupos de interesse exercem pressão em vários estágios: na definição do tipo de necessidades que serão reconhecidas e as que serão ignoradas; no tipo de decisões que serão tomadas e no tipo de políticas que emergirão. Ainda assim, Faria (2005) entende que prevalece no campo a concepção da avaliação como um instrumento administrativo e, portanto, como função supostamente alheia às disputas propriamente políticas, devendo os profissionais da área estar atentos à sua problematização constante.

 

Tipos de avaliação: associações e classificações

Costa e Castanhar (2003) salientam o emaranhado conceitual que ainda prevalece nesse campo, demonstrado pela multiplicidade de tipos de avaliação e pela variedade de critérios apontados pelos estudiosos da matéria. Essas questões e elementos estão imbricados, e sua separação é complexa. Diversos fatores influenciam na definição do tipo de avaliação a ser utilizada, entre os quais os recursos financeiros, a finalidade da avaliação e a fase em que se encontra o projeto. A avaliação deve abranger as três etapas de um projeto: planejamento, processo e resultados, não se restringindo a estes. Os diferentes tipos de avaliação abarcam as questões fundamentais quando se elabora uma proposta de avaliação: o que avaliar, quando avaliar, quem avalia, por que avalia e para quem. Cohen e Franco (1999) apresentam uma tentativa de associar os tipos de avaliação com uma classificação organizadora em função: 1) do momento em que se realiza: antes, durante ou depois da implementação da política ou programa sendo chamada de a) avaliação prévia, pré-avaliação, formativa ou ex-ante; b) durante a realização do projeto: avaliação de processos; c) depois da realização do projeto: avaliação de impacto, avaliação final, somativa ou ex-post; 2) da procedência ou posição do avaliador: avaliação interna, externa ou independente, mista, participativa e autoavaliação; e a estes Faria (2005) acrescenta 3) a natureza do objeto avaliado (contexto, insumos, processos e resultados). Em termos de variação da nomenclatura, ainda são referidas na literatura avaliações de conjunto, de programa nacional, a meio percurso, autoavaliação e meta-avaliação.

Novaes (2000) desenvolve uma síntese das principais modalidades propostas na área de avaliação em saúde, que contempla avaliações de programas sociais em geral, organizando-as também em grandes categorias: (1) objetivo da avaliação: priorização das condições de produção do conhecimento ou das condições de utilização do conhecimento (tomadas de decisão, aprimoramentos na gestão); 2) posição do avaliador: externo, interno, ou semiindependente; 3) enfoque priorizado: interno, de caracterização/compreensão de um contexto, ou externo, de quantificação/comparação de impactos de intervenções; 4) metodologia predominante: quantitativa ou qualitativa, situacional ou experimental/quase-experimental; 5) contexto da avaliação: controlado ou natural; 6) forma de utilização da informação produzida: demonstração/comprovação ou informação, instrumentalização; 7) tipo de juízo formulado: comprovação/negação de hipóteses, recomendações ou normas; 8) temporalidade da avaliação: pontual, corrente, contínua. Segundo a autora, estas modalidades não têm um conteúdo valorativo em si, mas apontam alternativas conceituais e metodológicas existentes nos processos de avaliação, referenciadas por teorias e metodologias gerais aceitas por áreas de conhecimento e práticas legitimadas.

Arretche (1998) destaca três tipos de avaliação, segundo seu foco: efetividade (sucesso ou fracasso em termos de uma efetiva mudança nas condições sociais prévias das populações atingidas), eficácia (relação entre os objetivos e os instrumentos explícitos e seus resultados efetivos), eficiência (relação entre o esforço empregado e os resultados alcançados). Também é importante diferenciar entre avaliação de processo e avaliação de impacto (ADULIS, 2002; CARVALHO, 2003; COHEN; FRANCO, 1999), sendo a primeira aquela que visa acompanhar e avaliar a execução dos procedimentos de implantação dos programas e políticas, a adequação dos meios e recursos com relação aos resultados parciais ou finais, diferenciando-se de monitorar programas (ferramenta de gerenciamento aplicada durante sua execução). Já a avaliação de impacto focaliza os efeitos produzidos sobre a sociedade, para além dos beneficiários diretos da intervenção, avaliando-se sua efetividade social, e pressupõe relação causal entre política/programa e a mudança social provocada.

A metodologia do Marco Lógico vem sendo referida de modo crescente na literatura (CARVALHO, 2003; COSTA; CASTANHAR, 2003; TREVISAN; BELLEN, 2008), caracterizando-se como uma tipificação metodológica muito atual. Adotada por organismos financeiros internacionais (como, por exemplo, o BID), pressupõe que os projetos sejam estruturados seguindo parâmetros razoavelmente rígidos, definidos em metodologia complexa e ampla (CARVALHO, 2003). Em linhas gerais, a estruturação dessa metodologia parte da concepção de políticas públicas como processo e a avaliação é constitutiva e integrada ao próprio processo da política pública, programa e projeto, desde o diagnóstico da populaçãoalvo até a definição de critérios para intervenção.

Dentre os diversos elementos a serem considerados na realização de uma avaliação, cabe destacar a preocupação com o viés do pesquisador. Arretche (1998) defende que as avaliações sejam conduzidas por órgãos e avaliadores independentes, pela questão da neutralidade. Ela pondera a dificuldade de que as próprias equipes governamentais encarregadas da execução de uma dada política realizem avaliações isentas, tendendo a minimizar elementos negativos do programa, visando à manutenção dos próprios empregos e mesmo a questões de poder e recursos financeiros do órgão que representam. Em contrapartida, Brandão e Silva (2008) questionam o modelo avaliativo orientado pela lógica dos julgamentos externos e pela verificação do cumprimento ou não das intenções dos projetos, programas e práticas. Considerando que essa perspectiva está marcada por uma concepção utilitarista da avaliação, os autores problematizam tal discurso de neutralidade, e apontam a consolidação de modelos avaliativos externos, quantitativos, somativos e supostamente neutros. Ao propor a utilização de modelos que valorizam a importância dos processos participativos para a autonomia dos sujeitos, salientam que a avaliação pressupõe um "imperativo fundamental -o conceito avaliação será sempre uma construção e terá tantos sentidos quantos lhe atribuírem aqueles que o constroem" (BRANDÃO; SILVA, 2008, p. 2).

 

Usos da avaliação

A avaliação de programas é, teoricamente, uma das etapas de uma política, destinada a influenciar sua reformulação (ARRETCHE, 1998). Entretanto, as condições para o aproveitamento das informações de uma avaliação não estão previamente dadas, e as descobertas de estudos de avaliação competem com outras propostas e outras fontes de informação nos momentos de tomada de decisão (FARIA, 2005). Muitas vezes os gestores sequer sabem o que perguntar ou o que buscar em uma avaliação. A capacitação dos gestores das políticas é fundamental para que adquiram maior competência para definir suas demandas, debater as metodologias escolhidas e os resultados encontrados e, principalmente, apropriar-se dos achados das investigações para a melhoria dos programas (PAES-SOUSA, 2007). Diversos autores problematizam essa questão, apontando que, ainda que a avaliação tenha se estabelecido como uma importante ferramenta para melhoria de programas e projetos, até agora não se caracteriza como elemento indispensável do processo de gestão, representando um universo de muitas promessas e poucas realizações, um novo modismo, gerador de burocracia e poucos resultados (COTTA, 2001; FARIA, 2005; MOKATE, 2002; TREVISAN; BELLEN, 2008).

Para Cotta (2001), as condições para um efetivo uso dos resultados de uma avaliação devem ser intencional e meticulosamente criadas, pois por vezes as avaliações constituem-se em um problema para os governantes e gerentes de projetos, sendo usadas para criticar governos ou, quando os resultados são favoráveis, para legitimar ganhos políticos (TREVISAN; BELLEN, 2008). Nesse sentido, Arretche (1998) observa que o impacto social de uma política tende a ter menor peso no processo decisório do que seu impacto sobre a opinião pública ou seu impacto eleitoral. Três dimensões quanto ao uso das avaliações são apresentadas por Faria (2005): instrumental (relativa ao apoio às decisões e à busca de resolução de problemas, depende também da adequada divulgação dos resultados, de sua inteligibilidade e da factibilidade das recomendações); conceitual (ou função educativa, que pode alterar a maneira como os técnicos compreendem a natureza, a operação e o impacto do programa que implementam); e simbólica (uso político, como instrumento de persuasão e para legitimar uma posição).

Um elemento fundamental no processo de utilização de avaliações refere-se à forma de divulgação e ao público atingido. É necessário que tais resultados de pesquisa possam dar transparência aos processos de avaliação dos programas e serviços, dando pleno acesso aos cidadãos, com descrição do desenho do estudo e dos processos, da metodologia empregada, e dos resultados alcançados (ARRETCHE, 1998). Devem ser socializados de forma ampla, proporcionando debate e divulgação não somente entre especialistas da área ou aqueles que tomam decisões, mas também junto à opinião pública, com linguagem acessível para o público geral realmente compreender seu conteúdo (FARIA, 2005). Dessa forma, os resultados de avaliações podem fomentar o debate público em torno das alternativas de intervenção governamental em uma dada realidade social, assim como podem instrumentalizar o princípio democrático de controle sobre a eficiência da ação dos governos (ARRETCHE, 1998; TREVISAN; BELLEN, 2008).

Elias e Patroclo (2004) demonstraram também que o uso de informações geradas por investigações científicas pode subsidiar a alocação de recursos, em especial os internacionais. Referindo discussões realizadas no âmbito da Organização Panamericana de Saúde (OPS), os autores destacam a necessidade de integração entre pesquisa, ação e política, uma vez que o processo de produção, tradução, utilização e disseminação de conhecimento é complexo e exige responsabilidade tripartite de pesquisadores, gestores e usuários de serviços. A título de exemplo de uma prática muito atual, Paes-Sousa (2007) descreve como se dá o processo de implementação e divulgação dos estudos de avaliação junto ao Ministério do Desenvolvimento Social: definição do estudo a ser feito; elaboração do termo de referência com os parâmetros técnicos e legais para a contratação do estudo; contratação de instituição de pesquisa e gestão do contrato; acompanhamento do estudo e aprovação dos relatórios; incorporação dos resultados e recomendações dos estudos aos programas; discussão interna dos resultados; divulgação externa dos resultados; disponibilização dos microdados para a comunidade científica, por meio do Consórcio de Informações Sociais (CIS), sob gestão da ANPOCS. Observa-se que a divulgação atinge a própria instituição governamental, a comunidade científica, mas não abrange os cidadãos em geral, assim como não está prevista socialização com os usuários ou público daquela política. Como apontam Brandão e Silva (2008), o fato de estarmos habituados com um olhar instrumental para a avaliação, faz com que até mesmo coloquemos em dúvida as possibilidades de uma leitura ético-política do conceito, que possa envolver outras formas de relação com a própria população e contexto do programa em avaliação. Uma forma de criar a condição de apropriação dos resultados é implicar os usuários da política e/ou programa de forma intrínseca ao processo da avaliação.

 

Sobre avaliação participativa

Diferentes autores enfocam a relevância da participação dos usuários na avaliação (SILVA, 1999; UCHIMURA; BOSI, 2002), o que implica analisar os valores, ideologias, crenças de usuários, comunidade e agentes implicados. Metodologias qualitativas favorecem a investigação desses espaços de intersubjetividade, que caracterizam serviços de assistência a pessoas, e a revisão de pesquisas na área indica a priorização de levantamentos de percepções de usuários e de funcionários quanto aos serviços recebidos e oferecidos (ALVES; COURA-FILHO, 2001; BOSI; UCHIMURA, 2007). A avaliação em si pode ser reconhecida como instrumento de empoderamento dos beneficiários (FARIA, 2005) e vista como processo de produção de aprendizagens e oportunidade de promoção de projetos políticos democráticos, onde os sujeitos e as comunidades podem realizar seu potencial humano e social, construindo consciência crítica a respeito da realidade (BRANDÃO; SILVA, 2008). Entretanto, Faria (2005) pondera certa visão ingênua quanto a este alcance, que talvez fique ocultada diante da popularização das metodologias participativas.

Akerman e cols. (2004) revisaram algumas experiências com ênfase na avaliação participativa, que passa a ser vista não como um procedimento meramente técnico, mas como passível de explicitar valores e princípios. Apresentam um modelo constituído por oito estágios, que se complementam e se retroalimentam: 1) compartilhar uma história comum; 2) criar uma visão comum de futuro; 3) identificar os diversos atores com interesse no processo avaliativo; 4) identificar metas, objetivos e indicadores; 5) identificar estratégias para se alcançar metas; 6) coletar dados e construir indicadores; 7) analisar dados; e 8) comunicar resultados. Conforme os autores, este processo pressupõe: um desenho compartilhado entre comunidade, técnicos e financiadores; que as habilidades e conhecimentos produzidos no desenrolar do programa sejam transferidos para os membros da comunidade; que haja contínuo processo de retroalimentação e reflexão e, finalmente, um envolvimento de diferentes atores sociais no processo de avaliação.

Brandão e Silva (2008) apresentam uma posição ético-política em que as práticas de avaliação podem ser elemento mediador entre o sujeito (ou comunidade) e a compreensão crítica de sua ação no mundo (projeto, programa ou prática). Em seu artigo, os autores apresentam a metodologia, que envolve lideranças comunitárias, a comunidade onde se atua e o poder público, implicados em conversas e negociações em torno de conjuntos de perguntas avaliativas, como "quem participa? Quem avalia? Quem toma decisões? Quem assume as consequências?". O método básico envolve "a roda", arena política e matéria prima a ser trabalhada na avaliação. São destacadas as questões a serem trabalhadas: O que significa avaliação para nós? Por que vamos fazer uma avaliação? Quem participa da avaliação? O que será avaliado? Que perguntas vamos responder? Que evidências devemos buscar para respondê-las? Precisamos agregar outras coisas além de nossas opiniões? De que maneira vamos colher essas informações? O que as informações nos revelam? O que aprendemos com tudo isso? (BRANDÃO; SILVA, 2008).

Também Laperrière e Zúñiga (2007) apresentam uma forma de avaliação da ação comunitária, realizada em uma perspectiva de pesquisa-ação participativa. Apontam que toda avaliação da ação social está entre uma ideia (que contém valores, aspirações e esperanças que dinamizam a ação), e a ação transformadora em si, que desencadeia no avaliador a pressão ética de tomar consciência de seus próprios valores, que sustentam a própria construção metodológica da avaliação. "A avaliação é o encontro do mundo das ideias com o das evidências e sua expressão não poderá forçar a linguagem de um sobre o outro" (LAPERRIÈRE; ZÚÑIGA, 2007, p. 40). Na proposta, os autores buscaram maximizar a atuação dos participantes em todas as etapas das avaliações, desde a definição de metas e de meios, até a construção de estratégias de coleta e de análise de informações e redação dos relatórios, constituindo um espaço de mediação, em que participantes atuaram como agentes multiplicadores e de contato. Permanece sendo um dos limites reais colocados à própria participação dos usuários a barreira da palavra escrita, no sentido de que a finalização do processo, a escrita de relatórios está, via de regra, a cargo do pesquisador/avaliador.

 

Considerações finais

A avaliação de programas e projetos sociais traz à tona um conjunto de questões amplas e profundamente relevantes, com as quais o pesquisador/avaliador necessariamente terá de lidar. Não há uma única forma para produzir conhecimento sobre um programa social e o pesquisador deve ter clareza de que cada escolha implica inevitavelmente posicionamento ético-político. Fazer uma opção metodológica é também fazer uma opção política. Assim, é cada vez mais necessário tornar explícitos os valores e princípios que permeiam o processo, buscando compreender o programa de forma coerente e contextualizada, assim como o seu próprio papel na avaliação.

O paradigma positivista, ainda muito presente no campo, é alvo de fortes resistências por parte de abordagens qualitativas, construcionistas e participativas. Como apontado neste artigo, a emergência destas abordagens alternativas nas últimas duas décadas teve impacto na ampliação das reflexões sobre os diferentes contextos e implicações da avaliação. As metodologias participativas, em especial, trazem novos desafios para o campo. Além de envolverem a necessidade de uma preparação pessoal e coletiva, um aprendizado das formas de participação, tais metodologias pressupõem a formação de consensos e tomada de decisões conjuntamente. Isso implica uma circulação diferenciada do poder, que não fica centrado no pesquisador/avaliador, visto como expert, mas é compartilhado com os indivíduos e as comunidades. Como discutem Leite e Nunes (2009), "sujeitos de diferentes saberes e posições de poder podem, portanto, apropriar-se da avaliação numa lógica de empoderamento que é, simultaneamente, constitutivo do e constituído pelo processo avaliativo" (LEITE; NUNES, 2009, p. 152).

Nesse sentido, algumas das principais metodologias participativas estruturadas que surgiram na segunda metade do século XX, no contexto de transferência de tecnologia de países centrais para aqueles em desenvolvimento, têm sido utilizadas de forma crescente (BURSZTYN; RIBEIRO, 2005). São elas: Logical Framework, o Planejamento de Projeto Orientado aos Objetivos (conhecido como ZOPP -Zielorientiert Projekt Plannung), a Gestão do Ciclo do Projeto (Project Cycle Management); e as metodologias rápidas, genericamente chamadas de RAP (Rapid Assessment Procedures). Tais tecnologias podem ser úteis se tomadas segundo a "lógica da caixa de ferramentas", como um instrumental que pode ser disparador de processos participativos. Entretanto, é necessário atentar para o risco de manipulação ou ilusão de participação, se tais alternativas metodológicas forem utilizadas como um fim em si mesmo. A participação efetiva estará voltada para o desenvolvimento de consciência crítica e libertadora.

A questão ética do viés do pesquisador, portanto, deixa de implicar busca por neutralidade pura e simplesmente, mas a busca por uma clareza da posição e da relação que se estabelece com o objeto investigado. Seja um avaliador externo ou interno, sua posição precisa ser problematizada. A avaliação é uma construção de sentidos diante de uma realidade complexa e implicar usuários e gestores da política e/ou programa de forma intrínseca ao processo da avaliação amplia a magnitude de sentidos possíveis. Mais do que tudo, a avaliação pode tornar-se processo de produção de aprendizagens e de construção de consciência crítica sobre o nosso mundo.

 

Referências

ADULIS, Dalberto. O uso do Marco Lógico na gestão e avaliação de projetos. Revista do Terceiro Setor. São Paulo: RITS -Rede de informações para o terceiro setor, dez, 2002.         [ Links ]

AKERMAN, M.; MENDES, R.; BÓGUS, C. M. É possível avaliar um imperativo ético? Ciência e saúde coletiva, vol. 9, n. 3, p. 605-615, 2004.         [ Links ]

ALVES, A. A. F. Os atuais processos de avaliação da política de assistência social no Brasil. Rio de Janeiro. 320 p. Dissertação de Mestrado em Serviço Social. Universidade Federal do Rio de Janeiro, 2007.         [ Links ]

ALVES, A. M.; COURA-FILHO, P. Avaliação das ações de atenção às mulheres sob violência no espaço familiar, atendidas no Centro de Apoio à Mulher (Belo Horizonte), entre 1996 e 1998. Ciência e saúde coletiva, vol. 6, n. (1), p. 243-257, 2001.         [ Links ]

ANPEPP -Associação Nacional de Pesquisas e Pós-Graduação em Psicologia. Anais do XII Simpósio da ANPEPP de Pesquisas e Intercâmbio Científico: Conhecimento em Psicologia no Brasil: expansão e avaliação. GT 8 - Avaliação de programas. Natal, Rio Grande do Norte. 2008.         [ Links ]

ARRETCHE, Marta. Tendências no estudo sobre avaliação. In E. M. Rico (Ed.), Avaliação de políticas sociais: uma questão em debate (pp. 29-39).São Paulo: Cortez, 1998.         [ Links ]

______. Dossiê agenda de pesquisa em políticas públicas. Revista Brasileira de Ciências Sociais, vol. 18, n. 51, p. 7-9, 2003.         [ Links ]

BOSI, M. L. M.; UCHIMURA, K. Y. Avaliação da qualidade ou avaliação qualitativa do cuidado em saúde? Revista de Saúde Pública, vol. 41, n. 1, p. 150-153, 2007.         [ Links ]

BRANDÃO, D.; SILVA, R. Avaliação educadora. In L. A. Ferraro Jr. (Org.), Encontros e Caminhos: formação de educadoras(es) ambientais e coletivos educadores. Volume III. Brasília: MMA, 2008. Disponível em: http://institutofonte.org.br/sites/default/files/Silva%20RR%20et%20al_Avaliacao%20educadora_artig o.pdf. Acesso em: 28 fev. 2012.         [ Links ]

BRASIL. Lei Orgânica da Saúde, Nº 8.080 -de 19 de setembro de 1990. Presidência da República, Brasília, 1990.         [ Links ]

BURSZTYN, I.; RIBEIRO, J. M. Avaliação participativa em programas de saúde: um modelo para o Programa de Saúde do Adolescente. Cadernos de Saúde Pública, vol. 21, n. 2, p. 404-416, 2005.         [ Links ]

CARVALHO, Sonia Nahas de. Avaliação de programas sociais: balanço das experiências e contribuição para o debate. São Paulo em Perspectiva, vol. 17, n. 3-4, p. 185-197, 2003.         [ Links ]

COHEN, E.; FRANCO, R. Avaliação de projetos sociais. Petrópolis: Vozes, 1999.         [ Links ]

COSTA, F. L.; CASTANHAR, J. C. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, vol. 37, n. 5, p. 969-992, 2003.         [ Links ]

COTTA, Tereza Cristina da Silva. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação Básica. Revista do Serviço Público, vol. 52, n. 4, p. 89-110, 2001.         [ Links ]

DEPARTAMENTO DE AVALIAÇÃO DAS OPERAÇÕES DO BANCO MUNDIAL. Monitorização e Avaliação: Algumas ferramentas, métodos e abordagens [Online]. Banco Mundial, 2004. Disponível em: http://siteresources.worldbank.org/EXTEVACAPDEV/Resources/45856721251481378590/me_portuguese.pdf. Acesso em: 16 fev. 2007.         [ Links ]

DESLANDES, S. F. Concepções em pesquisa social: articulações com o campo da avaliação em serviços de saúde. Cadernos de Saúde Pública, vol. 13, n. 1, p. 103-107, 1997.         [ Links ]

ELIAS, F. T. S.; PATROCLO, M. A. DE A. Utilização de pesquisas: como construir modelos teóricos para avaliação? Ciência & Saúde Coletiva, vol. 10, n. 1, p. 215-227, 2004.         [ Links ]

FARIA, Carlos Aurélio Pimenta de. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, vol. 20, n. 59, p. 97-110, 2005.         [ Links ]

HARTZ, Z. M. DE A. Princípios e padrões em meta-avaliação: diretrizes para os programas de saúde. Ciência e saúde coletiva, vol. 11, n. 3, p. 733-738, 2006.         [ Links ]

LAPERRIÈRE, H.; ZÚÑIGA, R. Cuando la comunidad guia la acción: hacia una evaluación comunitaria alternativa. Psicologia & Sociedade, vol. 19, n. 3, p. 39-45, 2007.         [ Links ]

LEITE, D.; NUNES, A. K. Avaliação participativa: constatações e aprendizagens. Contexto & Educação, n. 81, p. 147-169, 2009.         [ Links ]

MINAYO, M. C. de S. Conceito de avaliação por triangulação de métodos. In M. C. DE S. MINAYO; S. G. ASSIS; E. R. SOUZA (Eds.), Avaliação por triangulação de métodos. Abordagem de programas sociais (pp.19-51). Rio de Janeiro: Editora FIOCRUZ, 2005.         [ Links ]

MOKATE, Karen Marie. Convirtiendo el "monstruo" en aliado: la evaluación como herramienta de la gerencia social. Revista do Serviço Público, vol. 53, n. 1, p. 89-131, 2002.         [ Links ]

NOVAES, Hillegonda Maria Dutilh. Avaliação de programas, serviços e tecnologias em saúde. Revista de Saúde Pública, vol. 34, n. 5, p. 547-549, 2000.         [ Links ]

PAES-SOUSA, Rômulo. O sistema de avaliação e monitoramento das políticas e programas do MDS. Relato de Experiência Premiada no 11º Concurso Inovação na Gestão Pública Federal [Online]. 2007. Disponível em: <http://inovacao.enap.gov.br/index.php?option=com_docman&task=doc_view&gid=101>. Acesso em: 02 fev. 2009.         [ Links ]

PAES-SOUSA, R.; VAITSMAN, J. Síntese das pesquisas de avaliação de programas sociais do MDS. Cadernos de Estudos Desenvolvimento Social em Debate, n. 5, p. 1-133.Brasília: Ministério do Desenvolvimento Social e Combate à Fome, Secretaria de Avaliação e Gestão da Informação, 2007.         [ Links ]

PENNA FIRME, T. Avaliação em rede. Revista do Terceiro Setor. São Paulo: RITS -Rede de informações para o terceiro setor, dez, 2003.         [ Links ]

SILVA, Ligia Maria Vieira da. Avaliação do processo de descentralização das ações de saúde. Ciência e Saúde Coletiva, vol. 4, n. 2, p. 331-339, 1999.         [ Links ]

SOUZA, Celina. "Estado do campo" da pesquisa em políticas públicas no Brasil. Revista Brasileira de Ciências Sociais, vol. 18, n. 51, p. 15-20, 2003.         [ Links ]

______. Políticas Públicas: uma revisão da literatura. Sociologias, n. 16, p. 20-45, 2006.         [ Links ]

TREVISAN, A. P.; BELLEN, H. M. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista de Administração Pública, vol. 42, n. 3, p. 529-550, 2008.         [ Links ]

UCHIMURA, K. Y.; BOSI, M. L. M. Qualidade e subjetividade na avaliação de programas e serviços em saúde. Cadernos de Saúde Pública, vol. 18, n. 6, p. 1561-1569, 2002.         [ Links ]

 

 

Data de recebimento: 10/05/2012
Data de aceite: 27/06/2013

 

 

Sobre as autoras:
Lirene Finkler é psicóloga -membro da Equipe de Proteção Social Especial de Média Complexidade da Fundação de Assistência Social e Cidadania e Membro de corpo editorial da Revista Pensando Famílias. Doutora e mestre em Psicologia pela Universidade Federal do Rio Grande do Sul, especialista em Terapia de Casal e Família pelo Domus -Centro de Terapia de Casal e Família, especialista em Dinâmica dos Grupos pela Sociedade Brasileira de Dinâmica dos Grupos. Atua em políticas públicas na Prefeitura Municipal de Porto Alegre / RS. Endereço Eletrônico: lirenefinkler@yahoo.com.br.
Débora Dalbosco Dell'Aglio é docente do Programa de Pós-Graduação em Psicologia da Universidade Federal do Rio Grande do Sul, orientadora de mestrado e doutorado e Coordenadora do Núcleo de Estudos e Pesquisas em Adolescência (NEPA/UFRGS). Editora Associada na área de desenvolvimento na Revista Psicologia Reflexão e Crítica/Psychology. Endereço Eletrônico: dalbosco@cpovo.net.