ARTIGO DE ORIGINAL

 

Mensuração da fidelidade de intervenções em saúde mental baseadas na escola: uma revisão sistemática^*

 

Medición de la fidelidad de intervenciones en salud mental basadas en la escuela: una revisión sistemática

 

 

Douglas Garcia^I; Daniela Ribeiro Schneider^II; Roberto Moraes Cruz^III

^IPrefeitura Municipal dde Palhoça, Centro de Referência de Assistência Social, Palhoça, RS, Brasil
^IIUniversidade Federal de Santa Catarina, Florianópolis, SC, Brasil
^IIIUniversidade Federal de Santa Catarina, Florianópolis, SC, Brasil

Autor Correpondente

 

 

---

RESUMO

OBJETIVO: caracterizar a mensuração da fidelidade de intervenções em saúde mental em crianças de escolas do ensino fundamental primário. Os dados foram levantados nas bases de dados ERIC, LILACS, APA, PubMed, Scopus, SciELO e Web of Science. Foram incluídos 45 artigos empíricos, publicados entre 2007 e 2016, os quais foram analisados em relação a categorias definidas previamente. Os resultados indicam variações na definição, dimensionalidade e forma de mensuração da fidelidade, havendo poucos indicadores de validade e precisão dos instrumentos, o que pode enviesar a avaliação do processo de implementação e a validade interna dos resultados das intervenções.

Descritores: Fidelidade a Diretrizes; Saúde Mental; Avaliação de Programas e Projetos de Saúde; Psicometria.

---

RESUMEN

OBJETIVO: caracterizar la medición de la fidelidad de intervenciones en salud mental en niños de escuelas de enseñanza primaria primaria. Los datos fueron recogidos en las bases de datos ERIC, LILACS, APA, PubMed, Scopus, SciELO y Web of Science. Se incluyeron 45 artículos empíricos, publicados entre 2007 y 2016, los cuales fueron analizados en relación a categorías definidas previamente. Los resultados indican variaciones en la definición, dimensionalidad y forma de medición de la fidelidad, habiendo pocos indicadores de validez y precisión de los instrumentos, lo que puede enviar la evaluación del proceso de implementación y la validez interna de los resultados de las intervenciones.

Descriptores: Adhesión a Directriz; Salud Mental; Evaluación de Programas y Proyectos de Salud; Psicometría.

---

 

 

INTRODUÇÃO

A fidelidade é um construto definido como o grau no qual uma intervenção é implementada conforme foi planejada^(1-2). O construto faz parte da avaliação do processo de implementação de intervenções, que permite compreender como e por que intervenções funcionam ou deixam de funcionar^(1-3). Mensurar a fidelidade é importante no contexto de intervenções e programas em saúde, pois as estimativas desse construto permitem avaliar se houve alguma mudança pretendida em um determinado desfecho que realmente possa ser creditada à intervenção implementada^(3-4). Assim, mensurar a fidelidade de intervenções em saúde é importante para aferir a validade dos resultados da intervenção^(3-4). O problema surge a partir da operacionalização da mensuração da fidelidade, pois nas pesquisas observam-se diferenças entre as definições constitutivas do construto, diferenças entre as dimensões do construto e escassez de informações relacionadas às propriedades psicométricas dos instrumentos utilizados na mensuração.

A começar pelo termo utilizado, observa-se que o construto da fidelidade também é referido na literatura como fidelidade de implementação⁽⁵⁾, integridade⁽¹⁾, aderência⁽⁶⁾, entre outros termos. Apesar da variação de termos, as definições utilizadas para conceituar o construto tendem a assemelharem-se, conforme pode ser observado entre as definições de fidelidade⁽⁷⁾ e integridade⁽¹⁾, que, respectivamente, são conceituadas como: "conformidade com elementos previstos e ausência de elementos não previstos" e "grau no qual programas foram implementados como foram planejados". Não obstante, é importante atentar-se a possíveis dispersões nas definições utilizadas para os construtos. A definição de aderência, por exemplo, apesar de também ser semelhante, às vezes é avaliada apenas como uma das dimensões da fidelidade⁽¹⁾ e às vezes como um construto análogo à fidelidade⁽⁸⁾.

A dimensionalidade da fidelidade é outro aspecto da mensuração que pode apresentar variações. Na perspectiva de Dane & Schneider⁽¹⁾, referência frequentemente citada por artigos que mensuram o construto, a fidelidade (originalmente conceituada por tais esses autores como integridade) é constituída por cinco dimensões: 'aderência' - grau no qual os aplicadores seguem os métodos do programa e completam o que está previsto no manual; 'dosagem' ou 'exposição'- grau no qual a exposição do programa ocorre (quantidade de sessões, quantidade de participantes); 'qualidade da aplicação' - grau de habilidade e compreensão dos aplicadores que prestam a intervenção; 'engajamento' ou 'responsividade' - grau no qual os participantes estão apropriadamente envolvidos nas tarefas; e 'diferenciação' - grau em que a intervenção alcança resultados imediatos e intermediários diferenciados. A mensuração da fidelidade nas pesquisas, todavia, pode variar desde a avaliação de uma única dimensão, por exemplo, somente a aderência, ou com mais de uma dimensão^(8-9). Ressalta-se que o modelo polidimensional com cinco dimensões é fundamentado em validade de conteúdo, não havendo validade fatorial. Assim, a dimensionalidade mensurada nos estudos fica condicionada ao modelo teórico de fidelidade assumido pelo autor e também ao interesse de pesquisa^(8,10).

As propriedades psicométricas dos instrumentos utilizados para mensurar a fidelidade frequentemente não são apresentadas nas pesquisas, o que é um fator que dificulta avaliar a validade e a precisão do construto que se pretende avaliar^(11-12). Além disso, medidas de autorrelato frequentemente usadas para mensurar a fidelidade tendem a comprometer a precisão da medida⁽¹¹⁾. As próprias dimensões da fidelidade utilizadas são selecionadas mais por opções metodológicas de pesquisa do que por uma estrutura teórica que subjaz o processo de mensuração⁽¹¹⁾.

Mesmo apesar das limitações da mensuração, a fidelidade é um construto frequentemente utilizado nas pesquisas porque permite inferir a validação empírica de modelos teóricos subjacentes à intervenção^(13-14). Não obstante, o construto da fidelidade permite colocar uma intervenção à prova. Em pesquisas de eficácia, por exemplo, o nível de fidelidade indica se a intervenção realmente funcionou ou não - a depender dos resultados dos desfechos avaliados. Além disso, em pesquisas de efetividade de intervenções, a avaliação da fidelidade permite identificar quais são os componentes centrais da intervenção, ou seja, quais são na prática as intervenções que são responsáveis pela mudança⁽³⁾.

No contexto da saúde mental de crianças escolares brasileiras, a avaliação do processo de implementação de intervenções tornou-se importante, sobretudo, com a implementação do Programa Elos para prevenção do uso de drogas em escolas da rede pública^(15-18). O programa é uma adaptação do Good Behavior Game, um programa de gestão de sala de aula para crianças do ensino fundamental que apresenta resultados efetivos em outros países e agora tem sua eficácia e efetividade avaliadas no Brasil^(19-21). Nesse sentido, a fidelidade é um construto que faz parte da avaliação do processo de implementação e é importante para compreender os resultados que intervenções, como o Programa Elos, podem apresentar.

Dado o problema circunscrito em torno da mensuração da fidelidade, o objetivo desta revisão sistemática é caracterizar a mensuração desse construto em intervenções, com foco em saúde mental, implementadas em escolas de ensino primário nos últimos 10 anos. Em decorrência desse objetivo, visou-se com esta revisão sistemática caracterizar aspectos das intervenções avaliadas; caracterizar aspectos metodológicos do processo de avaliação e mensuração do construto da fidelidade; e caracterizar o construto da fidelidade em sua matriz conceitual, dimensionalidade e função no escopo de pesquisa.

 

Método

Para revisar sistematicamente a literatura acerca da mensuração da fidelidade, foram considerados os indicadores do protocolo PRISMA⁽²²⁾. Para levantamento de dados, optou-se pelas bases ERIC, LILACS, APA, PubMed, Scopus, SciELO e Web of Science. As bases foram selecionadas por apresentarem indexadores relevantes na área da saúde e da educação, com escopo nacional e internacional. Foi utilizada a seguinte equação de busca para levantamento dos dados: (Program OR intervention OR prevention) AND (school-based) AND (fidelity) AND ("program implementation" OR "program evaluation" OR "integrity" OR "adherence" OR "curriculum implementation"). Para refinar os resultados, a busca foi filtrada para encontrar os descritores somente no título e no resumo dos artigos, sendo utilizada também em idioma português e espanhol.

Dentre os critérios de elegibilidade de artigos, definiram-se: a) artigos em espanhol, inglês ou português; b) artigos publicados entre 2007 e 2016; e c) artigos empíricos que abordassem a avaliação da fidelidade de implementação de intervenções relacionadas à saúde mental, exclusivamente para crianças de 3 a 12 anos de idade. Foram excluídos artigos de revisão, metanálises e artigos duplicados. Após a definição desses critérios, foi realizada a leitura dos resumos e o levantamento dos estudos que eram adequados ao objetivo da pesquisa. O fluxograma apresentado na figura 1 ilustra os resultados do processo de seleção que levou à amostragem de 45 artigos.

 

 

Para realização da análise dos dados, os artigos foram lidos integralmente para o levantamento das variáveis de interesse, que foram agrupadas em três categorias: a) caracterização do programa (nome do programa, quantidade de sessões, tipos de implementadores e público alvo); b) delineamento metodológico de pesquisa (tipo de delineamento e caracterização da amostra); e c) características da mensuração da fidelidade (tipo de instrumento, quantidade de instrumentos, parâmetros psicométricos dos instrumentos, caracterização da medida/escala, caracterização da definição constitutiva e definição operacional do construto e finalidade da mensuração da fidelidade no protocolo de pesquisa).

As três categorias utilizadas para a análise de dados e as suas respectivas variáveis constituintes foram definidas a priori sob a intenção de delimitarem o contexto da saúde mental abordado e caracterizarem o objeto de estudo da mensuração da fidelidade frente ao estado da arte identificado⁽²⁾. Assim, a delimitação das variáveis e categorias se deu a partir das necessidades de responder ao objetivo da revisão e também foram fundamentadas nos dados encontrados nos artigos. Após a delimitação dessas variáveis, os dados foram extraídos dos artigos analisados e foi realizada a distribuição de ocorrência de cada variável em cada estudo, a fim de identificar tendências que melhor respondessem aos objetivos. Para a operacionalização desta análise, foram utilizadas planilhas eletrônicas.

 

Resultados

Características dos programas e intervenções presentes nas publicações

Dos 45 estudos incluídos, foram identificados 38 programas distintos, sendo predominantemente aplicados em escolas nos Estados Unidos (38 estudos) e na Europa (6 estudos). A Tabela 1 apresenta uma caracterização dos aspectos dos delineamentos metodológicos dos estudos.

 

 

Os professores foram os principais responsáveis pela implementação dos programas, mas outros profissionais da escola, como diretores, psicólogos, enfermeiros, conselheiros e médicos foram identificados como implementadores em 9 estudos.

Características da mensuração do construto da fidelidade

A definição constitutiva do construto da fidelidade, a qual se refere à definição teórica do fenômeno, foi identificada em apenas 28 artigos. Ao identificar as definições constitutivas, foram observadas as referências bibliográficas utilizadas pelos autores para definir o construto da fidelidade, a fim de caracterizar uma matriz conceitual que pudesse explorar a perspectiva teórica predominante. A figura 1 apresenta a síntese dessa análise que resultou na matriz conceitual, que apresenta a ocorrência e a coocorrência de cada referência ao longo dos estudos que apresentaram definição constitutiva para fidelidade^{(1,3,5,23-29)}.

De acordo com a matriz conceitual, é possível observar que a caracterização do construto da fidelidade apresenta embasamento teórico mais frequente em três autores, a saber: Dusenbury, Brannigan, Falco e Hansen⁽³⁾ em 10 artigos, Durlak e Dupre⁽²⁸⁾ em 6 artigos e Dane e Schneider⁽¹⁾ em 12 artigos. Dane e Schneider⁽¹⁾, por meio de uma revisão de literatura acerca de programas preventivos com estudos publicados entre 1980 a 1994, investigaram a fidelidade em 162 estudos e identificaram que apenas 24% apresentaram procedimentos especificados para avaliação da fidelidade, demonstrando que, apesar das fragilidades nas definições usadas, uma concepção com cinco dimensões (aderência, exposição, qualidade da implementação, responsividade e diferenciação) foi prevalente. Dusenbury, Brannigan, Falco e Hansen⁽³⁾ realizaram uma revisão sistematizada de 25 anos em programas relacionados à prevenção ao uso de drogas e também assumem o modelo de cinco dimensões proposto por Dane e Schneider⁽¹⁾, avançando em demonstrar aspectos centrais que afetam a fidelidade de implementação, como as características do programa, as características do treinamento recebido, as características do implementador e as características organizacionais. Durlak e Dupre⁽²⁸⁾, em uma revisão mais ampla que visou identificar o impacto do processo de implementação sobre o desfecho avaliado e as variáveis intervenientes sobre este desfecho, abordam a fidelidade como um construto central e o definem utilizando a base teórica de Dane e Schneider⁽¹⁾. A expansão de evidências apresentadas por Durlak e Dupre⁽²⁸⁾ está na identificação de variáveis que afetam a implementação. Assim, nessa perspectiva observa-se que a matriz conceitual é sobreposta em termos de dimensões, as quais advêm de revisões que visaram sintetizar a abordagem da fidelidade ao longo dos últimos anos.

Dos 45 artigos, apenas 13 estudos mensuraram a fidelidade em mais de uma dimensão, sendo três artigos com duas dimensões, seis artigos com três dimensões, dois artigos com quatro dimensões, um artigo com sete dimensões e um artigo com oito dimensões. Todos os demais artigos não apresentaram dimensionalidade da medida de fidelidade utilizada. As dimensões mais prevalentes associadas à fidelidade foram aderência (10 estudos), dosagem ou exposição (5 estudos), qualidade de implementação (4 estudos), responsividade ou engajamento (4 estudos). Além das dimensões mais prevalentes, outras menos comuns também foram utilizadas nos instrumentos, por exemplo, expectativas definidas, expectativas de comportamento ensinadas, sistema para recompensar as expectativas comportamentais, sistema para responder a violações comportamentais, monitoramento e avaliação, gerenciamento e suporte de nível distrital (Figura 2).

 

 

As definições operacionais ou os itens dos instrumentos utilizados para mensurar a fidelidade foram apresentados integralmente somente em três estudos, sendo que em outros 17 estudos foram apresentados apenas alguns itens. Os itens apresentados se inseriram dentro de algumas dimensões do construto da fidelidade, em conformidade à dimensionalidade conceitual considerada pelos autores e também em relação aos interesses e delineamentos de pesquisa propostos.

A fidelidade foi mensurada por apenas um instrumento em 35 estudos e por dois ou mais instrumentos em 10 estudos, dentre os quais foram predominantes questionários/inventários (22 artigos) e checklists (17 artigos). Os níveis de mensuração variaram entre escalas dicotômicas e escalas com variações discretas de 3 a 10 pontos. Os dados dos instrumentos foram coletados em 14 estudos por autorrelato do próprio implementador, em 22 estudos por registro de pesquisador externo, e em nove estudos por registro múltiplo, que associou medidas coletadas tanto pelo pesquisador como pelo implementador.

Os indicadores psicométricos de confiabilidade e validade foram identificados em estudos que apresentaram esses parâmetros em um ou mais instrumentos. Nos indicadores de confiabilidade, identificou-se o uso de σ de cronbach (14 artigos), confiabilidade entre avaliadores (11 artigos) e índice Kappa (2 artigos). Os indicadores de validade identificados foram a validade de construto por meio de análise fatorial exploratória ou confirmatória (4 artigos), validade de critério (2 artigos) e validade de conteúdo (1 artigo). De um total de 15 artigos que referenciaram o instrumento utilizado para mensurar a fidelidade, cinco não apresentaram parâmetros psicométricos possivelmente por já haverem tais informações na referência utilizada para o instrumento.

Por fim, a finalidade de mensuração do construto da fidelidade nas pesquisas variou de três formas, sendo a abordagem da fidelidade como um recurso na validação de resultados produzidos pela intervenção sobre o desfecho de interesse (22 artigos), a abordagem da fidelidade como objeto principal de estudo para investigar variáveis intervenientes na sua variação (14 artigos) e uma abordagem mista de estudos que tanto relacionaram a fidelidade com o desfecho para validá-lo como também avaliaram a relação mediadora ou moderadora de outras variáveis sobre a fidelidade (9 artigos).

Apesar das evidências demonstradas por meio desta revisão, cumpre destacar algumas limitações do estudo que podem ter influenciado os resultados, como o viés de seleção dos artigos assumido na delimitação dos critérios de elegibilidade e o enfoque instrumental sobre o construto da fidelidade. No que tange ao viés de seleção dos estudos, a opção por artigos que dentro do contexto da saúde mental incidiram estritamente em intervenções escolares destinadas a crianças deu-se por conta da hipótese de haverem idiossincrasias e similaridades dos objetos de estudo nestes contextos que pudessem favorecer as análises e as comparações dentro de uma amostra mais homogênea. Em face desta limitação do estudo e à ampliação das discussões apresentadas, vislumbra-se que proposições de outros protocolos de pesquisa análogos que abrangessem outros públicos-alvo e intervenções potencialmente trariam contribuições pertinentes à discussão em um panorama mais ampliado da saúde mental. Referente à limitação que decorre do enfoque da mensuração da fidelidade no contexto de saúde mental, considera-se que a contribuição se deu predominantemente no tocante à avaliação crítica da instrumentalização da avaliação psicométrica da fidelidade, muito embora prevaleça ainda a lacuna das implicações desta condição para o campo ampliado da saúde mental - cenário para o qual também se encoraja a realização de outras pesquisas.

 

Discussão

A variação de definições acerca do construto da fidelidade associada à falta de consenso da caracterização de variáveis de implementação, ora como dimensões, ora como variáveis de controle do delineamento de pesquisa apresentam desdobramentos importantes para a operacionalização da medida e consequentemente para a avaliação dos programas.

A operacionalização de medidas de fidelidade entre os artigos analisados é limitada por alguns fatores como o uso de definições constitutivas baseadas em modelos estritamente teóricos, a delimitação da dimensionalidade em função do objetivo de pesquisa e a ausência de critérios psicométricos de validade e precisão na maioria dos instrumentos.

Os modelos teóricos de Dane e Schneider⁽¹⁾ e Dusenbury, Brannigan, Falco e Hansen⁽³⁾, referências mais utilizadas para definir constitutivamente a fidelidade, apresentam sobreposição dimensional. Todavia, foram constituídos a partir de revisões de literatura ou revisões sistemáticas, o que significa que a validade desse modelo, a rigor, é de conteúdo ou aparente, pois não houve prova empírica dessas dimensões através de uma validação de construto nos artigos analisados.

Estudos que não apresentaram definições constitutivas corroboram a fragilização da mensuração da fidelidade, visto que até mesmo a sua validade de conteúdo pode ser desconhecida - o que compromete não só a medida como a validade dos resultados da intervenção⁽¹¹⁾. Neste ponto, importa destacar a existência de alguns esforços para padronizar construtos relacionados ao processo de implementação, como é o caso da fidelidade, por meio da elaboração de glossários para padronização dos termos^(11,30-32). Porém, mesmo com a padronização dos termos, a validade da mensuração continua a exigir uma definição teórica do fenômeno que produza as definições operacionais que delimitem pelo menos: quais tipos de comportamentos constituem a fidelidade, para qual intervenção e para qual sujeito⁽³³⁾.

A escassez de apresentação dos itens dos instrumentos ou dos comportamentos operacionais que rastreiam o construto da fidelidade nos estudos observados nesta revisão é um fator que inviabiliza a consistência interna da mensuração, além de dificultar a compreensão sobre a extensão do fenômeno que foi avaliado. Tanto na operacionalização de itens dentro da teoria da medida⁽³⁴⁾, como nas recomendações quanto à mensuração da fidelidade⁽³³⁾, a descrição de comportamentos objetivos circunscritos em um conjunto de itens pertinentes à definição conceitual proposta para o construto é uma condição importante para a consistência teórica e operacional da mensuração. Nessa direção, poucos estudos apresentam os itens ou as definições operacionais do construto, o que dificulta avaliar a coerência teórica da medida utilizada.

A função da mensuração da fidelidade dentro de alguns delineamentos de pesquisa mostrou que o construto é um recurso metodológico utilizado para garantir que as variações no desfecho de interesse se devem ao programa, legitimando assim a validade interna da intervenção. Contudo, a própria validade interna do programa pode estar sendo aferida de maneira enviesada, pois a mensuração da fidelidade que delimita a relação causal da intervenção com os resultados não apresenta parâmetros de validade na maioria dos estudos. Afinal, qual a validade de um programa que tem a sua eficácia aferida e mediada por uma medida não validada? Nesse sentido, pouco se avança na validação empírica dos modelos teóricos subjacentes à intervenção que fundamentam os avanços em estabelecer as práticas baseadas em evidências de cada intervenção.

Em um cenário no qual o contexto escolar pode ser imperativo sobre o fracasso de intervenções em saúde mental para crianças⁽³⁵⁾, a mensuração psicometricamente consistente da fidelidade em estudos de eficácia permite não só identificar as práticas baseadas em evidência como também viabilizam a adaptação cultural e a disseminação dos programas em contextos diversos^(35-36).

 

Conclusão

A busca por descrições detalhadas e consensuais sobre intervenções em saúde é considerada uma condição importante para o avanço do conhecimento e o desenvolvimento tecnológico, o qual pode enfrentar limitações editoriais e interesses comerciais relacionados a intervenções.

A mensuração do construto da fidelidade carece de estimadores psicométricos, havendo implicações importantes para o avanço científico acerca do conhecimento dos elementos centrais da intervenção e suas relações com as mudanças pretendidas. Os desafios da implementação em larga escala, sobretudo para intervenções avaliadas como potenciais políticas públicas, são amplos e necessitam de delineamentos que possam testar a intervenção e propor uma engenharia reversa ao sugerir mudanças baseadas em delineamentos que levem em consideração indicadores de fidelidade consistentes psicometricamente correlacionados a medidas de desfecho. Para isso, a fidelidade e outros construtos relacionados ao processo de implementação carecem de avanços tecnológicos de pesquisa.

A restrição de intervenções em saúde mental no ensino primário, definida em função do delineamento, é uma limitação metodológica desta pesquisa que pode gerar algum viés na caracterização da mensuração da fidelidade. Abranger a mensuração do construto da fidelidade em outros tipos de intervenção e em outros contextos além da saúde podem demonstrar outros resultados - o que ampliaria as possibilidades de aproximação do fenômeno nos contextos de pesquisa.

 

Referências

1. Dane AV, Schneider BH. Program integrity in primary and early secondary prevention: are implementation effects out of control? Clin Psychol Rev. 1998; 18:23-45.         [ Links ]

2. Hansen WB. Measuring fidelity. In: Sloboda Z, Petras H. Defining prevention science, advances in prevention science. Nova York: Springer Science and Business Media; 2014. p. 335-59.         [ Links ]

3. Dusenbury L, Brannigan R, Falco M, Hansen WB. A review of research on fidelity of implementation: implications for drug abuse prevention in school settings. Health Educ Res. 2003; 18:237-56.         [ Links ]

4. Melo MHS, Rodrigues DRSR, Conceicão MIG. Avaliação de programas de prevenção e promoção em saúde mental. In: Murta SG, Leandro-França C, Santos KB, Polejack L. Prevenção e promoção em saúde mental: fundamentos, planejamento e estratégias de intervenção. Novo Hamburgo: Sinopsys; 2015. p. 212-29.         [ Links ]

5. Century J, Rudnick M, Freeman C. A framework for measuring fidelity of implementation: a foundation for shared language and accumulation of knowledge. Am J Eval. 2010; 31:1-17.         [ Links ]

6. Goncy EA, Sutherland KS, Farrell AD, Sullivan TN, Doyle ST. Measuring teacher implementation in delivery of a bullying prevention program: the impact of instructional and procedural adherence and competence on student responsiveness. Prev Sci. 2015; 16(3):440-50.         [ Links ]

7. McGrew JH, Bond GR, Dietzen L, Salyers M. Measuring the fidelity of implementation of a mental health program model. J Consul Clin Psychol. 1994; 62(4):670-8.         [ Links ]

8. Carroll C, Patterson M, Wood S, Booth A, Rick J, Balain S. A conceptual framework for implementation fidelity. Implement Sci. 2007;2:40. doi: 10.1186/1748-5908-2-40        [ Links ]

9. Pérez D, Van der Stuyft P, Zabala MC, Castro M, Lefèvre P. A modified theoretical framework to assess implementation fidelity of adaptive public health interventions. Implement Sci. 2016; 91:1-11.         [ Links ]

10. Santos KB, Murta SG. A implementação de programas de promoção e prevenção no âmbito da saúde mental. In: Murta SG, Leandro-França C, Santos KB, Polejack L. Prevenção e promoção em saúde mental: fundamentos, planejamento e estratégias de intervenção. Novo Hamburgo: Sinopsys; 2015. p. 192-211.         [ Links ]

11. Martinez RG, Lewis CC, Weiner BJ. Instrumentation issues in implementation science. Implement Sci. 2014;49:118. doi: https://doi.org/10.1186/s13012-014-0118-8        [ Links ]

12. Chaudoir SR, Dugan AG, Barr CH. Measuring factors affecting implementation of health innovations: a systematic review of structural, organizational, provider, patient, and innovation level measures. Implement Science. 2013; 8:22. doi: https://doi.org/10.1186/1748-5908-8-22        [ Links ]

13. Basch CE, Sliepcevich EM, Gold RS, Duncan DF, Kolbe LJ. Avoiding type III errors in health education program evaluations: a case study. Health Educ Q. 1985; 12(4):315-31.         [ Links ]

14. Linnan L, Steckler A. Process evaluation for public health interventions and research: An overview. In: Steckler A, Linnan L. editors. Process evaluation for public health interventions and research. San Francisco (CA): Jossey-Bass; 2002. p. 1-21.         [ Links ]

15. Horr JF. Avaliação da satisfação do processo de implantação do programa preventivo Unplugged na perspectiva dos educandos [dissertação]. Florianópolis: Universidade Federal de Santa Catarina; 2015. 187 p.         [ Links ]

16. Strelow M. Avaliação da implementação de programa preventivo em saúde mental através da aceitabilidade de crianças participantes [dissertação]. Florianópolis: Universidade Federal de Santa Catarina; 2016. 157 p.         [ Links ]

17. Lopes J. Avaliação do processo de implementação de programa de prevenção escolar do uso de drogas na percepção dos professores participantes [tese]. Florianópolis: Universidade Federal de Santa Catarina; 2016. 258 p.         [ Links ]

19. Embry DD. The Good Behavior Game: a best practice candidate as a universal behavioral vaccine. Clin Child Fam Psychol Rev. 2002; 5:273-97.         [ Links ]

20. Donaldson JM, Vollmer TR, Krous T, Downs S, Berad KP. An evaluation of the Good Behavior Game in kindergarten classrooms. J Appl Behav Anal. 2011; 44:605-9.         [ Links ]

21. Leflot G, van Lier PAC, Onghena P, Colpin H. The role of children's on-task behavior in the prevention of aggressive behavior development and peer rejection: a randomized controlled study of the Good Behavior Game in belgian elementary classrooms. J Sch Psychol. 2013; 51:187-99.         [ Links ]

22. Moher D, Liberati A, Tetzlaff J, Altman DG. Preferred Reporting Items for Systematic Reviews and Meta-Analyses: the PRISMA Statement; 2009. Disponível em: www.prisma-statement.org        [ Links ]

23. Lee CS, August GJ, Realmuto GM, Horowitz JL, Bloomquist ML, Klimes-Dougan B. Fidelity at a distance: assessing implementation fidelity of the Early Risers Prevention Program in a going-to-scale intervention trial. Prev Sci. 2008; 9:215-29.         [ Links ]

24. Perepletchikova F, Kazdin AE. Treatment integrity and therapeutic change: issues and research recommendations. Clin Psychol. 2005; 12:365-83.         [ Links ]

25. Domitrovich CE, Greenberg MT. The study of implementation: Current findings from effective programs that prevent mental disorders in school-aged children. J Educ Psychol Consult. 2000; 11:193-221.         [ Links ]

26. Gresham FM, Gansle KA, Noell GH, Cohen S, Rosenblum S. Treatment integrity of school-based behavioral intervention studies: 1980-1990. School Psych Rev. 1993; 22:254-72.         [ Links ]

27. Waltz J, Addis ME, Koerner K, Jacobson NS. Testing the integrity of a psychotherapy protocol: assessment of adherence and competence. J Consult Clin Psychol. 1993; 61:620-30.         [ Links ]

28. Durlak JA, Dupre EP. Implementation matters: a review of research on the influence of implementation on program outcomes and the factors affecting implementation. Am J Community Psychol. 2008; 41:327-50.         [ Links ]

29. Yeaton WH, Sechrest L. Critical dimensions in the choice and maintenance of successful treatments: strength, integrity, and effectiveness. J Consult Clin Psychol. 1981; 49:156-67.         [ Links ]

30. Proctor E, Silmere H, Raghavan R, Hovmand P, Aarons G, Bunger A, et al. Outcomes for implementation research: conceptual distinctions, measurement challenges, and research agenda. Adm Policy Ment Health. 2011; 38(2):65-76.         [ Links ]

31. Rabin BA, Brownson RC, Haire-Joshu D, Kreuter MW, Weaver NL. A glossary for dissemination and implementation research in health. J Public Health Manag Pract. 2008; 14(2):117-23.         [ Links ]

32. Aarons GA, Hurlburt M, Horwitz SM. Advancing a conceptual model of evidence-based practice implementation in public service sectors. Adm Policy Ment Health. 2011; 38(1):4-23.         [ Links ]

33. Ledford JR, Wolery, M. Procedural fidelity: an analysis of measurement and reporting practices. J Early Interv. 2013; 35(2):173-93.         [ Links ]

34. Pasquali L. Instrumentação psicológica: fundamentos e práticas. Porto Alegre: Artmed; 2010. 559 p.         [ Links ]

35. Bosworth K. Defining prevention science in school settings, complex relationships and process. Nova York: Springer Science and Business Media; 2015. 378 p.         [ Links ]

36. Bishop DC, Pankratz MM, Hansen WB, Albritton J, Albritton L, Strack J. Measuring fidelity and adaptation: reliability of a instrument for school-based prevention programs. Eval Health Prof. 2014; 37(2):231-57.         [ Links ]

 

 

Autor Correpondente:
Douglas Garcia
E-mail: garciadouglas90@gmail.com

Recebido: 21.11.2017
Aceito: 07.12.2018

 

 

* Artigo extraído da dissertação de mestrado "Avaliação da fidelidade de implementação de um programa preventivo em saúde mental infantil baseado na escola", apresentada à Universidade Federal de Santa Catarina, Florianópolis, SC, Brasil. O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - Brasil (CAPES) - Código de Financiamento 001.