PESQUISA ORIGINAL

 

Avaliação de programas de intervenção com adolescentes: limites, avanços e perspectivas

 

Evaluation of intervention programs with adolescents: limits, progress and prospects

 

 

Fabio Scorsolini-Comin^I; Alana Batistuta Manzi-Oliveira^II; Karin Aparecida Casarini^III; Roberta Cury Jacquemin^IV; Manoel Antônio dos Santos^V

^IProfessor do Departamento de Psicologia do Desenvolvimento, da Educação e do Trabalho da Universidade Federal do Triângulo Mineiro. E-mail: scorsolini_usp@yahoo.com.br
^IIPsicóloga e mestranda em Psicologia pela Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto da Universidade de São Paulo. E-mail: alana.manzi@gmail.com
^IIIProfessora do Departamento de Psicologia da Saúde e Processos Básicos da Universidade Federal do Triângulo Mineiro. E-mail: kacasarini@yahoo.com.br
^IVPsicóloga e mestranda em Psicologia da Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto da Universidade de São Paulo. E-mail: betacury@hotmail.com
^VProfessor Associado do Programa de Pós-graduação em Psicologia da Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto da Universidade de São Paulo. E-mail: masantos@ffclrp.usp.br

Correspondência para

 

 

---

RESUMO

O objetivo é descrever o estado da arte da avaliação de programas de intervenção junto a adolescentes. Por meio de uma revisão da literatura, foram recuperados seis artigos publicados entre 2008 e 2010. Destes, quatro são de caráter empírico, um teórico e uma revisão, sendo que a maioria das publicações é de autores norte-americanos. Os estudos abordam instrumentos e métodos utilizados na avaliação de programas e buscam uma articulação entre pesquisa e prática. Quanto à abordagem metodológica, predominam pesquisas qualitativas. Os estudos indicam um interesse vinculado ao desenvolvimento e aperfeiçoamento de intervenções junto aos adolescentes e uma sofisticação da discussão crítica das pesquisas de descrição de indicadores de eficácia. Entre as contribuições, destaca-se a consideração do contexto para pesquisas de avaliação e sua potencial relação com a melhoria dos programas de intervenção. Os resultados podem ser vistos como norteadores para profissionais da área, fomentando a construção de práticas e conhecimentos sobre o papel do avaliador.

Palavras-chave: avaliação; programas; adolescentes; literatura de revisão.

---

ABSTRACT

The aim of this study is to describe the state of the art of the evaluation of intervention programs with adolescents. Through a literature review, six articles published between 2008 and 2010, were retrieved. Of these, four were empirical, one theoretical and one a literature review, with the majority of the publications by North American authors. The studies address instruments and methods used to evaluate programs and seek a connection between research and practice. According to the methodological approach, they were predominantly qualitative research. The studies indicate an interest linked to the development and refinement of interventions with adolescents and the sophistication of a critical discussion of the description studies of efficacy indicators. Among the contributions, there is the consideration of the context for evaluation research and its potential relationship with the improvement of the intervention programs. The results can be seen as guidelines for the professionals of the field, promoting the construction of practices and knowledge regarding the role of the evaluator.

Key words: evaluation; programs; adolescents; literature review.

---

 

 

INTRODUÇÃO

A adolescência é uma fase do desenvolvimento comumente caracterizada pelos extremos e excessos, mas também pela construção de bases sólidas da personalidade adulta, em um período marcado por crises e transformações físicas, psicológicas e sociais. É na transição dessa etapa evolutiva que o indivíduo adquirirá condições maturacionais para desenvolver seu papel social, internalizando valores, atitudes, crenças, princípios e hábitos que serão organizados e assumidos pelo adolescente, servindo de alicerce para a consolidação de seu processo de desenvolvimento psicossocial^1-3.

A adolescência tem despertado crescente interesse não apenas da mídia e dos meios de comunicação contemporâneos, tais como redes sociais, comunidades virtuais e sites de relacionamentos, como também das políticas públicas de saúde e educação. A adolescência pode ser considerada um período no qual alguns indivíduos se tornam vulneráveis aos fatores de risco e estressores psicossociais presentes em seu contexto vital, pois compreende mudanças físicas, psicológicas e sociais. Há uma maior aproximação em relação ao grupo de pares, que aumentam seu campo de influência sobre o adolescente, e a vivência de situações novas sem que este esteja preparado para lidar com essas situações de forma construtiva⁴. Na adolescência também é comum o engajamento em comportamentos de risco e de violação às leis, relacionados às tarefas desenvolvimentais de busca do incremento da autonomia e da autorregulação⁵. Assim, abre-se espaço para a intervenção de profissionais de educação e saúde, dentre os quais, o psicólogo se destaca como um importante agente de mediação nesse contexto de desenvolvimento humano.

A partir dessa concepção, diversos programas voltados à promoção da saúde, do bem-estar e da educação dos adolescentes são propostos como estratégias não apenas para atender a uma parcela significativa da população, mas também para possibilitar a assunção de práticas adaptativas e salutares em indivíduos que se encontram na transição para a fase adulta, principalmente aqueles submetidos a situações de risco e de maus-tratos, no Brasil e também em outros países^6-8. A proposição de tais programas traz consigo a necessidade de avaliá-los, a fim não apenas de verificar o alcance de seus objetivos, como também proporcionar uma visão global sobre seus resultados em diferentes fases de sua execução, visando ao aprimoramento e otimização dos recursos aplicados. A sustentabilidade dos programas de intervenção deve ser considerada em termos operacionais e também em relação às práticas desenvolvidas, empregadas e negociadas para, pelos e entre os participantes e os profissionais envolvidos^9-10.

Em uma de suas abordagens mais promissoras, a avaliação de programas de intervenção junto a crianças e adolescentes é tratada a partir da perspectiva que compreende o processo avaliativo não como uma dimensão apenas de julgamento, mas também como balizadora de práticas e dimensão constitutiva das ações socioeducativas ou psicoeducativas⁶. Nessa perspectiva, a avaliação não é algo que se dá apenas a posteriori, mas está intimamente vinculada a qualquer processo interventivo, em todas as suas fases. Assim, deve ser empregada na etapa de diagnóstico, no planejamento, na intervenção propriamente dita e, posteriormente, em caráter de acompanhamento longitudinal.

Os programas de intervenção junto a adolescentes devem demonstrar tentativas claras de melhorar as competências, habilidades e atitudes desses protagonistas, o relacionamento dos jovens com os demais e sua contribuição à comunidade a qual pertencem, atuando como fatores de proteção e suporte para o desenvolvimento saudável¹¹. Para detectar o alcance desses programas de maneira segura, há necessidade de implementar um processo de avaliação contextualizado e delineado de forma clara, precisa e problematizadora da realidade analisada.

Tendo em vista essas considerações, pode-se indagar: como vem ocorrendo a avaliação de programas de intervenção junto a adolescentes, segundo a literatura científica de impacto? Posto isso, o objetivo é descrever o estado da arte da avaliação de programas de intervenção junto a adolescentes.

 

MÉTODO

Trata-se de uma atualização de literatura, que busca sumarizar resultados de pesquisas e tirar conclusões globais de um corpo de literatura de um tópico em particular, de modo a contribuir para discussões sobre métodos e resultados de pesquisa, assim como proporcionar reflexões sobre a realização de futuras investigações¹². Seguindo procedimentos específicos¹³, como o estabelecimento de critérios para inclusão e exclusão dos estudos e análise crítica dos resultados, observa-se que, embora os métodos para a condução de revisões integrativas variem, existem padrões a serem seguidos.

É necessário, portanto, seguir padrões de rigor e clareza na revisão, de forma que o leitor possa identificar as características reais dos estudos revisados. Na operacionalização dessa revisão, foram seguidas as etapas: (a) seleção da questão temática; (b) escolha da base de dados/periódico; (c) estabelecimento dos critérios para a seleção/exclusão da amostra; (d) análise e interpretação dos resultados; (e) apresentação da revisão.

Desta maneira, procedeu-se a busca nas bases indexadoras nacionais e de abrangência latino-americana: PePSIC, BVS-Psi, SciELO e LILACS. Essas bases têm como órgãos responsáveis, respectivamente, a Associação Brasileira de Editores Científicos de Psicologia (ABECiPsi), a Rede Nacional de Bibliotecas da Área de Psicologia (ReBAP), o Centro Latino-Americano e do Caribe de Informações em Ciências da Saúde (BIREME) e a Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP).

No entanto, a consulta a tais bases não se mostrou apropriada para o resgate de boa parte dos estudos internacionais, uma vez que, em levantamento prévio, encontramos poucos artigos, com predomínio de trabalhos teóricos, muitos dos quais eram estudos de revisão, em relação às pesquisas empíricas. Como a meta do estudo foi trazer à baila não apenas estudos recentes, mas também aqueles com maior impacto na área de avaliação, optou-se por realizar um levantamento em uma base internacional.

Devido ao volume de publicações internacionais encontrado, optou-se por selecionar um periódico internacional de destaque na área de avaliação, como estratégia para se ter acesso a publicações recentes e relacionadas à temática investigada. O periódico selecionado foi o American Journal of Evaluation - AJE (<http://aje.sagepub.com>). Este periódico explora os complexos desafios da área de avaliação a partir de relatos de pesquisa derivados de estudos específicos sobre métodos, teoria e prática da avaliação.

Como o campo da avaliação é diversificado, com diferentes tradições intelectuais que se refletem na multiplicidade de métodos, estratégias de pesquisa, abordagens para a prática e domínios de aplicação, o periódico selecionado publica estudos advindos de diferentes perspectivas teóricas, multidisciplinares, pertinentes à educação, administração pública, ciências do comportamento, serviços, pesquisas em saúde, sociologia, economia e criminologia. Alguns dos temas críticos cobertos em edições recentes incluem: abordagens para avaliação colaborativa, avaliação global das iniciativas comunitárias, desenvolvimento das capacidades de avaliação, avaliação ética, avaliação em saúde e educação, implementação do processo de avaliação, desenvolvimento internacional, validação e confiabilidade de medição, métodos de avaliação narrativa, métodos estatísticos, entre outras temáticas de interesse.

O AJE é publicado pela Associação Americana de Avaliação (American Evaluation Association), que é uma entidade profissional internacional de avaliadores dedicada à aplicação e exploração da avaliação de programas, avaliação de pessoal, tecnologia e outras formas de mensuração. A área de avaliação contempla os pontos fortes e fracos dos programas, políticas de pessoal, produtos e organizações, tendo como objetivo melhorar a eficácia dos mesmos por meio da melhoria das práticas e métodos de avaliação, da promoção da avaliação como uma profissão e do suporte à contribuição da avaliação para a geração de teoria e conhecimento sobre a ação humana eficaz.

O AJE possui seções especiais, tais como: (a) desafios éticos, com o objetivo de estimular discussões por profissionais de diversas áreas sobre como avaliadores podem responder a determinados dilemas éticos que são comuns na prática de avaliação; (b) entrevistas nos bastidores com os avaliadores, cujo trabalho ilustra a aplicação de diferentes modelos, teorias e princípios; (c) debates sobre questões intrigantes na vanguarda da avaliação; (d) ensaios sobre os dilemas filosóficos, éticos e práticos da avaliação como uma profissão; (e) relatórios sobre métodos de avaliação novos ou melhorados, técnicas, ferramentas, produtos e/ou serviços; (f) estudos de casos práticos sobre o ensino de avaliação e treinamento em diversos ambientes, incluindo ambientes acadêmicos tradicionais, bem como o corporativo, governamental, de instituições sem fins lucrativos e os contextos comunitários.

Ademais, como critérios de inclusão e exclusão, com a finalidade de restringir o levantamento apenas a publicações submetidas a um rigoroso processo de avaliação metodológica, selecionaram-se apenas artigos indexados. Esse critério foi alcançado já na escolha da base, uma vez que se trata de um periódico internacional indexado e com seletiva política editorial. Foram excluídos trabalhos que abordavam assuntos distantes do tema e não relacionados a intervenções com adolescentes. Em relação ao idioma de publicação, não houve restrição, embora o presente periódico permita resgatar, predominantemente, artigos em inglês.

O levantamento compreendeu o período de janeiro de 2008 a janeiro de 2010. Tal abrangência objetivou traçar um perfil apenas de publicações recentes na área. Os resumos condizentes com os critérios adotados foram selecionados e partiu-se desse levantamento preliminar para a recuperação dos trabalhos completos, como será descrito a seguir.

O levantamento foi realizado em maio de 2010 na página oficial do AJE. As buscas eletrônicas foram realizadas a partir da utilização dos descritores "avaliação" (evaluation), "programa" (program), "adolescentes" (adolescents) e do operador booleano "e" (and). Na busca pelos dois primeiros termos, encontramos 113 registros. Acrescentando o terceiro termo (adolescents), encontramos 10 registros. Tal estratégia foi privilegiada, levando-se em consideração que viabiliza a localização de referências que apresentam os três descritores adotados.

As bases de dados foram configuradas para localizar as referências que apresentavam os descritores entre as palavras-chave e/ou no resumo. Esse procedimento foi adotado para possibilitar a obtenção de resultado mais preciso do que aquele que poderia ser alcançado sem a especificação dos campos de busca¹⁴.

A opção pelos referidos descritores deu-se pelo fato de que os três selecionados são reconhecidos pelas bases de dados nacionais e internacionais, assim como pela base do periódico consultado, além de serem utilizadas de forma corrente na literatura científica especializada.

Análise dos dados

Primeiramente, os resumos dos 10 artigos encontrados pelos descritores utilizados foram lidos e analisados em termos de sua aderência ao tema investigado. Tendo como norteadores os critérios de inclusão/exclusão, três desses artigos foram excluídos, uma vez que se distanciavam da temática: um artigo dedicado a avaliar competências culturais no contexto de um programa de intervenção em HIV/aids, um estudo sobre dilemas éticos na avaliação de populações indígenas e, por fim, uma investigação acerca da construção de banco de dados sobre pessoas acometidas por traumas. Nenhum desses artigos se encaixava na temática da avaliação de programas de intervenção com adolescentes. Outro artigo, embora relacionado ao tema, foi excluído por se tratar de uma resenha de livro.

Desse modo, foram selecionados seis artigos para posterior leitura e análise na íntegra. Essas publicações foram recuperadas, analisadas em profundidade e categorizadas a partir dos seguintes eixos de análise: (a) caracterização dos estudos; (b) objetivos; (c) métodos empregados; (d) referenciais teóricos utilizados; (e) principais resultados encontrados; e (d) limites, tendências e avanços. Posteriormente, os artigos foram discutidos dentro de cada eixo, buscando os pontos de intersecção, as discordâncias e, principalmente, as contribuições de cada um para a produção de conhecimento de impacto na área.

 

RESULTADOS

A Tabela 1 resume os artigos selecionados em termos de seus países de origem, data de publicação e identificação. Como podemos observar, dos seis artigos recuperados, quatro são de caráter empírico, um é teórico e uma revisão da literatura. A maioria das publicações é de origem norte-americana, sendo quatro dos Estados Unidos e uma do Canadá. A outra publicação é proveniente de Israel. No que se refere ao ano, dois estudos foram publicados em 2008 e quatro em 2009.

 

DISCUSSÃO

Assim, como pode ser observado na Tabela 2, o primeiro artigo¹⁵ recuperado mostrou que, após a divulgação da lista de programas aprovados pelo governo, especificando a desaprovação do programa DARE, seis distritos já não mais o mantinham como programa de prevenção às drogas, utilizado nas escolas. Esse número aumentou após dois anos, elevando para oito, e apresentou uma redução significativa em outros seis distritos. As razões apontadas para o abandono do programa pelos agentes entrevistados foram as exigências governamentais da utilização de programas aprovados para a obtenção de financiamentos, evidenciando os critérios utilizados por estes no julgamento das pesquisas de avaliação e na decisão de adotar determinados programas de intervenção como estratégias privilegiadas. Um exame mais detalhado das pesquisas de avaliação dos programas, no referido estudo, revelou que as mesmas continham muitos vieses metodológicos, comprometendo a validade dos resultados gerados.

Estes vieses compreendiam: (a) a inclusão de pesquisas realizadas pelos próprios autores dos programas como referência da eficiência dos mesmos; (b) evidências limitadas a resultados positivos, sem a discussão de falhas ou insuficiências; (c) ausência de mecanismos de avaliação sobre a fidelidade da implementação do programa (correspondência entre o planejamento e as ações de fato realizadas); (d) comparações inadequadas entre grupos para validação dos resultados; (e) ausência de seguimentos em longo prazo, entre outros. O artigo ainda destaca que os critérios para a inclusão de um programa na lista de aprovados eram frágeis, uma vez que não consideravam os resultados negativos e eles não se aplicavam de modo consistente e homogêneo aos diferentes programas. Essa situação pode ter contribuído para a baixa confiança dos respondentes nas pesquisas de avaliação¹⁵.

Em relação ao segundo artigo¹⁶, que buscou verificar as propriedades psicométricas (confiabilidade) de um protocolo de avaliação de intervenções (GAS), os dados indicaram alta concordância entre os estudantes de Serviço Social respondentes em relação aos seus julgamentos sobre o caso descrito (método de avaliação por juízes). Isto indica que as impressões clínicas subjetivas dos 43 estudantes no uso da GAS obtiveram escores estatisticamente significativos, sugerindo a confiabilidade do referido instrumento¹⁶.

No terceiro artigo¹⁷, os autores buscaram, por meio de uma revisão de literatura, examinar aspectos que fundamentam as bases metodológicas das teorias de avaliação e de suas práticas. Os autores encontraram que a maioria dos estudos desenvolvidos na área (38) está centrada nas características das avaliações. Tais estudos também buscaram características dos avaliadores ou dos contextos da avaliação, além de aspectos relacionados ao uso dos resultados da avaliação ou, em alguns casos, a relação dos resultados para a tomada de decisão do programa. Doze desses trabalhos examinaram outras questões de caráter mais geral. Por fim, cinco trabalhos examinaram o nível ou a extensão do uso dos resultados da avaliação. Deve-se destacar que a maioria dos estudos está relacionada à área de educação.

Os resultados do quarto estudo¹⁸ recuperado indicaram que os nutricionistas se preocupavam com três objetivos primordiais durante a realização da oficina de nutrição: (a) envolvimento dos estudantes em relação à sua saúde futura; (b) otimização do funcionamento da oficina de nutrição; e (c) criar condições que garantem a estabilidade, em longo prazo, da intervenção na escola, o que poderia ser evidenciado a partir de uma adequada avaliação.

O quinto artigo¹⁹ mostrou que, entre os fatores que diferenciaram os programas que faliram dos que mantiveram sua sustentabilidade, estão: múltiplos fundos de financiamento, programas vinculados a ONGs, dirigentes que investiram no sustento das organizações, mobilização da comunidade para angariar fundos, programas que foram contemplados como prioridade dentro das organizações, com esforços por parte destas para assegurar sua sustentabilidade, articulação com outros programas dentro da organização, investimento em marketing direcionado a agências de financiamento e redes de relações com possíveis doadores e financiadores, e relacionamento estreito com a comunidade local e estendida. O estudo destaca o papel fundamental do fator humano nas organizações, especialmente relacionados aos dirigentes, que no caso dos programas que mantiveram sua sustentabilidade, apresentaram capacidade de iniciativa, flexibilidade e dedicação à busca por parcerias¹⁹.

Por fim, o sexto artigo²⁰ descreveu e explicitou modelos para integração entre teoria e prática, a partir de exemplos de aplicação no contexto de programas de intervenção. Segundo os autores, a avaliação e o planejamento de programas dão vida aos esforços empreendidos para se efetivar tal integração.

Metodologias de expressão de teorias, de identificação de necessidades e de divulgação de resultados, como a construção de sistemas científicos e a Prática Baseada em Evidência (PBE), permitem a identificação dos locais onde os esforços de avaliação e pesquisa se encontram, ilustradas pelos autores por meio da metáfora da "espiga de ouro". Este ponto sintetiza a conexão entre a pesquisa e a prática, a orientação da rede de percursos e o maior potencial da avaliação. Nessa perspectiva, a avaliação é concebida como parte de um processo dinâmico, que deve ocorrer ao longo de toda a vida do programa.

Entre os limites, avanços e perspectivas futuras destacados nos artigos, podemos salientar que a utilização de estudos de caso relacionados a programas de intervenção específicos poderia impedir a generalização dos achados para outras realidades e outros contextos de aplicação¹⁵. Ainda assim, o referido estudo salienta os avanços oferecidos no sentido de que afirma a importância do contexto para as pesquisas de avaliação e sua potencial contribuição para a melhoria dos programas, considerando-se as características locais da população e dos recursos investidos, os aspectos políticos e financeiros envolvidos, entre outros aspectos. Outros avanços que podem ser mencionados se referem à discussão crítica de resultados de políticas governamentais de financiamento, dos desenhos de pesquisas e seus impactos no comportamento dos profissionais. Por fim, evidencia-se o quanto o atrelamento do financiamento à aprovação científica de um programa, desvinculada da realidade social em que se vive, não promove maior satisfação das necessidades dos profissionais responsáveis pela implementação do programa, nem de seus usuários.

Em outra publicação¹⁶, os autores consideram que os escores obtidos no estudo de confiabilidade do instrumento podem ser mais altos do que os que existem, na prática, por dois motivos: (a) os juízes foram treinados uniformemente dentro de um período curto de tempo antes do estudo; e (b) as avaliações foram realizadas em relação a um caso pré-organizado, o que não permitiu o acesso às interpretações dos estudantes. Ainda que não destaque as tendências, o artigo traz como avanço o fato de que os dados podem contribuir para a utilização de um instrumento de avaliação composto por critérios construídos com base em uma relação de colaboração entre profissionais e clientes. Outra contribuição lançada pelo presente estudo é destacar a importância do treino dos avaliadores no uso do instrumento, o que é fundamental para que a avaliação possa refletir uma dada realidade investigada pela pesquisa científica.

No terceiro artigo recuperado¹⁷, os autores ponderam que os fundamentos metodológicos utilizados para as conclusões sobre o uso da avaliação (e seus instrumentos) são menos fortes do que o desejável. Segundo os autores, os estudos existentes não podem fornecer provas definitivas sobre os efeitos do uso, embora forneçam sugestões. Sem mais provas da qualidade psicométrica dos instrumentos de coleta de dados, a validade dos resultados ainda é desconhecida. Sobre os avanços alcançados, os achados dos estudos sobre o uso da avaliação podem ser vistos como evidências para os profissionais de avaliação que procuram conselhos práticos sobre a utilização dos resultados de pesquisas. Além disso, os resultados dos estudos sobre o uso da avaliação mostram que muitas variáveis podem ser úteis para os avaliadores, em termos de fomentar o uso dessas técnicas.

O quarto artigo¹⁸ apresenta como limitação o fato de que os autores fornecem um referencial teórico que auxilia a reorientar e promover a reflexão sobre o que é um programa e o que ele se torna - ou seja, como ele vai se desenvolvendo e se transformando - durante sua execução. Entretanto, os autores recomendam a realização de novos estudos para definir sistematicamente o que acontece na prática. Os avanços se referem ao fato de que os nutricionistas estrategicamente traduziram componentes do programa como um meio de negociação com os participantes e interessados, o que aproxima este trabalho do terceiro artigo aqui analisado. Os resultados deste estudo apoiam a proposição teórica de que a execução do programa é um processo de expansão de uma rede socio-técnica.

As limitações suscitadas pelo quinto artigo¹⁹ apontam a necessidade de mais estudos especificamente voltados à sustentabilidade de programas, na direção da elaboração de uma teoria da sustentabilidade. A segunda fase do estudo, não apresentada nesta publicação, será baseada em dados quantitativos, colaborando para uma prática mais completa e aperfeiçoada no que diz respeito à avaliação de programas. Os avanços mencionados tratam da sustentabilidade como parte da avaliação dos programas, uma tendência recente e em franca evolução em termos de pesquisas científicas. Além disso, o estudo apresenta uma revisão da literatura na área, que articula os resultados encontrados com as pesquisas já produzidas. E sistematiza em categorias de análise os fatores associados à sustentabilidade que, até então, estavam agrupados na literatura, sem, contudo, descartar sua complexidade e seu caráter dinâmico.

O sexto artigo²⁰ avança no sentido de oferecer um modelo compreensivo sistematizado para a avaliação de programas. No que concerne às tendências explicitadas, o artigo aponta que a tarefa para os proponentes que elaboraram o programa é impulsionar o alcance das avaliações sucessivas rumo aos pontos da "espiga de ouro", os quais podem se relacionar com percursos de investigação já determinados. Para os pesquisadores, o desafio é desenvolver linhas de pesquisa em níveis mais elevados de alcance e que sejam capazes de unir resultados de médio prazo com efeitos maiores e mais adaptativos para a população alvo. O desafio no que concerne à avaliação é justamente proporcionar um ambiente e sistemas de apoio para determinar se tais conexões são razoáveis.

A apreciação da produção científica relacionada à avaliação de programas de intervenção direcionados aos adolescentes, presente no AJE nos dois últimos anos, indica um interesse relacionado ao desenvolvimento e aperfeiçoamento de intervenções junto à essa população e uma sofisticação da discussão crítica das pesquisas que oferecem a descrição de indicadores de eficácia.

Conforme já evidenciado, a adolescência constitui-se como um período de maior vulnerabilidade psicológica, o que coloca em relevo a importância do desenvolvimento de ações preventivas direcionadas para necessidades específicas⁴, ao passo que as ações de promoção de saúde buscam um alcance mais geral. As ações de prevenção, quando executadas na forma de programas de intervenções, devem contar com mecanismos de avaliação que possam afirmar sua adequação diante das características dos usuários.

Nesse contexto, observa-se que os artigos identificados nesta revisão voltam-se, predominantemente, para a análise de fatores que podem influenciar na acurácia dos achados de avaliação de programas de intervenção. Esses fatores incluem desde aspectos culturais e sociais mais amplos, que podem interferir na forma como os programas de intervenção atingem diferentes camadas populacionais, aspectos políticos e econômicos que podem favorecer a adoção de determinadas recomendações dos programas de modo absolutamente desvinculado da realidade vivida pelos usuários (intervenção pela intervenção), até características metodológicas das pesquisas de avaliação, relacionadas à forma e aos critérios utilizados para a consideração da eficiência ou adequação dos resultados.

Os artigos aqui analisados dirigem-se para a busca do refinamento das estratégias de avaliação, afirmando a necessidade da análise científica rigorosa e amplificada, estabelecendo relações entre diversos aspectos do contexto social, da realidade dos usuários e do universo acadêmico. Afirmam também a tendência das avaliações de programas de intervenção construírem-se a partir de uma interlocução entre usuários, profissionais implementadores e pesquisadores, de modo a favorecer a aproximação de um conhecimento das condições reais de execução dos programas de intervenção e necessidades dos usuários. Esse aspecto corrobora as indicações derivadas de outros estudos^6,9-11 sobre a realização de avaliações, que incluem a ponderação sobre resultados imediatos e de médio e longo prazos, disponibilizando informações sobre a manutenção e evolução das intervenções, a correspondência entre objetivos planejados / objetivos alcançados / necessidades dos usuários, bem como sobre o ajustamento das medidas e ações socioeducativas.

Assim, são especialmente importantes as tentativas de construção de instrumentos de avaliação longitudinais, que favoreçam a expressão de perspectivas dos usuários, inclusive no estabelecimento de metas, formas de mensuração/identificação dos resultados e negociação das práticas adotadas. Além disso, também parece ser premente a necessidade de se considerarem as especificidades territoriais, sociais e fenomenais envolvidas em um dado programa de intervenção, assim como o desafio de encontrar meios de prover generalização dos resultados encontrados.

Alguns dos artigos promovem uma análise sobre como o processo de avaliação dos programas de intervenção pode ser utilizado como um instrumento direcionador dos resultados e das políticas relacionadas às ações contempladas pelos programas, servindo a interesses diferenciados. Nesse sentido, estudos sobre sustentabilidade¹⁹ podem contribuir para conferir maior imparcialidade a esse processo.

Ao final desse percurso de pesquisa bibliográfica, um dos pontos que devem ser destacados se refere ao papel do avaliador. Deve-se ressaltar sua importância não apenas como diagnosticador de uma realidade e planejador de uma intervenção, mas como um profissional capaz de estabelecer um diálogo aberto entre os saberes teóricos e os práticos. Pelos trabalhos resgatados no corpus do presente estudo, esta capacidade é vista como uma necessidade e também uma tendência no panorama da evolução da área. Desse modo, a avaliação cumpriria o seu papel na compreensão de uma dada realidade e seria também um balizador de práticas e de formas de se intervir em diversos contextos sociais, notadamente com a população adolescente, que é o recorte deste estudo.

Como um dos limites deste estudo, destacamos a curta abrangência da revisão (dois últimos anos), embora destaquemos que, em um periódico específico da área de avaliação e com uma política editorial bastante seletiva e constantemente atualizada, pudemos encontrar relatos representativos das práticas e das pesquisas que vêm sendo desenvolvidas no contexto internacional. Para futuras atualizações da literatura científica, pode-se optar por diferentes percursos metodológicos, com a adoção de outras bases de indexação de periódicos científicos, períodos mais abrangentes e outros descritores, o que, obviamente, possibilitará a obtenção de resultados que conduzirão a novas leituras acerca da área da avaliação de programas de intervenção no contexto da adolescência.

 

REFERÊNCIAS

1. Aberastury A, Knobel M. Adolescência normal. Porto Alegre: Artes Médicas; 1981.         [ Links ]

2. Brêtas JRS, Moreno RS, Eugenio DS, Sala SCP, Vieira TF, Bruno PR. Os rituais de passagem segundo adolescentes. Acta Paulista de Enfermagem 2008; 21(3): 404-11.         [ Links ]

3. Zagury T. O adolescente por ele mesmo. 10ª ed. Rio de Janeiro: Record; 1999.         [ Links ]

4. Sapienza G, Pedromônico MR. Risco, proteção e resiliência no desenvolvimento da criança e do adolescente. Psicologia em Estudo 2005; 10(2): 209-16.         [ Links ]

5. Mun EY, Windle M, Schainker LS. A model-based cluster analysis approach to adolescent problem behaviors and young adult outcomes. Dev Psychopathol 2008; 20:291-318.         [ Links ]

6. Lacharité C. La dimension formative du bilan d'implantation: des suites d'un programme à l'état des acquis subjectivement perçus par les intervenants au programme. Dans Alain, M. et al., org. Élaborer et évaluer les programmes d'intervention psychosociale: une perspective transdisciplinaire. Québec: PUQ; 2009: 87-102.         [ Links ]

7. Muza GM, Costa MP. Elementos para a elaboração de um projeto de promoção à saúde e desenvolvimento dos adolescentes: o olhar dos adolescentes. Cadernos de Saúde Pública 2002; 18(1): 321-28.         [ Links ]

8. Suárez-Ojeda N, Silber TJ, Munist M. Servicios para la atención de salud del adolescente. In Silber TJ, Munist M, Maddaleno M, Suárez-Ojeda N, org. Manual de Medicina de la Adolescencia. Washington, DC: Organización Panamericana de la Salud; 1992: 601-29.         [ Links ]

9. Bledsoe KL, Graham A. The use of multiple evaluation approaches in program evaluation. American Journal of Evaluation 2005; 26: 302-19.         [ Links ]

10. Faw L, Hogue A. Multidimensional implementation evaluation of a residential treatment program for adolescent substance abuse. American Journal of Evaluation 2005; 26: 77-94.         [ Links ]

11. Weissberg RP, Kumpfer KL, Seligman ME. Prevention that works for children and youth. American Psychologist 2003; 58(6/7): 425-32.         [ Links ]

12. Beyea SC, Nicoll LH. Writing in integrative review. AORN Journal 1998; 67(4): 877-80.         [ Links ]

13. Ganong LH. Integrative reviews of nursing research. Research in Nursing & Health 1987; 10(1): 1-11.         [ Links ]

14. Peres RS, Santos MA. Personalidade e câncer de mama: produção científica em Psico-oncologia. Psicologia: Teoria e Pesquisa 2009; 25(4): 611-20.         [ Links ]

15. Weiss CH, Murphy-Graham E, Petrosino A, Gandhi AG. The fairy godmother and her warts: making the dream of evidence-based policy come true. American Journal of Evaluation 2008; 29(1): 29-47.         [ Links ]

16. Marson SM, Wei G, Wasserman D. A reliability analysis of goal attainment scaling (GAS) weights. American Journal of Evaluation 2009; 30(2): 203-16.         [ Links ]

17. Brandon PR, Singh JM. The strength of the methodological warrants for the findings of research on program evaluation use. American Journal of Evaluation 2009; 30(2): 123-57.         [ Links ]

18. Bisset S, Daniel M, Potvin L. Exploring the intervention context interface: a case from a n-based nutrition intervention. American Journal of Evaluation 2009; 30(4): 554-71.         [ Links ]

19. Savaya R, Spiro S, Elran-Barak R. Sustainability of social programs: a comparative case study analysis. American Journal of Evaluation 2008; 29(4): 478-93.         [ Links ]

20. Urban JB, Trochim W. The role of evaluation in research-pratice integration: working toward the "golden Spike". American Journal of Evaluation 2009; 30(4): 538-53.         [ Links ]

 

 

Correspondência para:
scorsolini_usp@yahoo.com.br

Artigo submetido em 08.09.11, aceito em 30.08.11.