Modelos lógicos em avaliação de sistemas instrucionais: dois estudos de caso

 

Logical models for Instructional systems evaluation: two case studies

 

 

Gardênia da Silva Abbad^I; Daniela Borges Lima de Souza^I; Alexandre da Silva Laval^II; Stella Cristina Pereira Souza^I

^IUniversidade de Brasília - Instituto de Psicologia
^IIUniversidade de Brasília - FACE

 

 

---

RESUMO

O objetivo deste artigo é discutir os principais desafios e benefícios associados à adoção de modelos lógicos em avaliação de sistemas instrucionais. Análises da produção de conhecimentos nesta área mostraram lacunas na investigação de relacionamentos entre efeitos de programas no nível dos egressos e impactos indiretos desses programas instrucionais sobre a organização. Essas lacunas nas pesquisas estimularam a adoção de estratégias metodológicas que facilitassem a compreensão da realidade dos programas. Os modelos lógicos são ferramentas eficazes na avaliação de programas sociais e governamentais. Este artigo apresenta, a título de demonstração empírica, dois casos de aplicação bem-sucedida da abordagem de modelos lógicos em avaliação de sistemas instrucionais. O primeiro apresenta a avaliação de um treinamento corporativo e o segundo, a avaliação de um mestrado profissional. Nesses estudos foram realizadas diversas etapas de pesquisa qualitativa, a partir das quais foram confeccionados modelos lógicos e figuras, que resumem a teoria do programa, tal como concebida pelos stakeholders, participantes da pesquisa. As pesquisas são descritas brevemente, de modo a ilustrar a aplicação de modelos lógicos nos dois contextos estudados. Ao final, são discutidos benefícios e limitações dessa abordagem na avaliação de sistemas instrucionais.

Palavras-Chave: Avaliação de Programas, Avaliação de Treinamento, Modelos Lógicos.

---

RESUMO

The aim of this article is to discuss the main challenges and benefits associated with the adoption of logical models to evaluate instructional systems. Analyses of the production of knowledge in this area have shown gaps in the investigation of relationships between program effects for egresses as well as the indirect impacts of these instructional programs on the organization. These gaps in the research have stimulated the adoption of methodological strategies to improve the understanding of the reality of such programs. Logical models are effective tools for the evaluation of social and governmental programs. This article presents, by way of empirical demonstration, two cases in which logical models were successfully used for instructional systems evaluation. The first presents the evaluation of a corporate training course and the second the evaluation of a professional master's. Several qualitative research steps were conducted in these studies and from them logical models were created. These models summarize the theory of the program, as conceived by the stakeholders, who were also participants in the study. The studies are described briefly, to illustrate the application of the logical models in these two contexts. Finally, the benefits and limitations of this approach for the evaluation of instructional systems are discussed.

Key words: Program Evaluation, Training Evaluation, Logical Models.

---

 

 

O objetivo deste trabalho é, a partir da análise de pesquisas nacionais, discutir os principais desafios e benefícios associados à adoção da abordagem de modelos lógicos em avaliação de sistemas instrucionais. Amplas análises da produção nacional e estrangeira de conhecimentos sobre avaliação de sistemas instrucionais mostraram lacunas na investigação de relacionamentos entre efeitos mensurados no nível dos egressos de programas educacionais e impactos indiretos desses programas sobre resultados organizacionais, medidos por meio de indicadores objetivos.

Os pesquisadores da área de avaliação de programas sociais e governamentais têm adotado com sucesso a abordagem de modelos lógicos como ferramenta de gestão e avaliação de programas. Essa abordagem facilita a compreensão da realidade complexa dos programas, é aplicável em quaisquer tipos de programas e é compatível com os modelos de avaliação em vigor desde a década de 1960, os quais também se originaram da teoria de sistemas. Por esses e por outros motivos, discutidos mais adiante, essa metodologia foi aplicada por pesquisadores brasileiros em avaliação de programas educacionais e de treinamento.

Este artigo descreve, a título de demonstração empírica, dois casos de aplicação bem-sucedida da abordagem de modelos lógicos em avaliação de sistemas instrucionais. O primeiro caso apresenta uma experiência de avaliação de treinamento corporativo, realizada em uma organização bancária de grande porte, e o segundo, a avaliação do Mestrado Multidisciplinar Profissionalizante em Gestão e Desenvolvimento Social (MMDGS), oferecido pelo Centro Interdisciplinar de Apoio à Gestão Social (CIAGS), da Universidade Federal da Bahia.

Nas duas pesquisas foram feitas análises documentais e entrevistas individuais e coletivas com pessoas interessadas nos resultados dos respectivos programas. Em seguida, foram realizadas etapas de validação qualitativa dos modelos lógicos, por meio das quais foram descritos os componentes dos programas (demandas, problemas ou necessidades, recursos, atividades, beneficiários, produtos e resultados) e identificadas hipóteses de relações causais entre esses componentes e selecionados os indicadores de avaliação dos programas. Alguns desses indicadores foram escolhidos entre os disponíveis em fontes secundárias mantidas pelas organizações estudadas, outros exigiram a construção ou a adaptação de escalas de medida de avaliação.

As etapas de construção, validação e aplicação do modelo lógico de avaliação na análise e interpretação dos resultados, nos dois estudos, envolveram uma complexa articulação e triangulação de métodos.

O texto que se segue está estruturado de acordo com os seguintes tópicos: 1) modelos lógicos na avaliação de programas, que expõem as características da abordagem e sua vinculação com avaliação de programas; 2) avaliação de programas educacionais e de treinamento, que apresentam alguns dos principais modelos de avaliação; 3) lacunas e desafios da avaliação de sistemas instrucionais, que destacam problemas difíceis de se resolver em pesquisas sobre impactos de programas em níveis de resultados organizacionais; 4) Estudo 1: avaliação de um treinamento corporativo, que descreve brevemente a adoção de modelo lógico na pesquisa de Laval (2011); 5) Estudo 2: avaliação de um curso de mestrado profissional, que descreve a construção e aplicação de modelos lógicos na pesquisa de Borges de Souza (2011); 6) considerações finais e agenda de pesquisa, parte final do artigo, no qual são descritos benefícios e limitações dessa abordagem na avaliação de sistemas instrucionais.

 

1. MODELOS LÓGICOS NA AVALIAÇÃO DE PROGRAMAS

A partir de uma extensa análise da literatura, Meneses (2007) e Borges de Souza (2011) afirmam que as primeiras tentativas de avaliação de programas ocorreram no início do século XIX. Porém, somente a partir da década de 1960 é que a área de avaliação atingiu o status de conhecimento científico. De acordo com Cano (2004), a consolidação da área está associada à publicação de dois artigos: o primeiro, de Campbell e Stanley (1963), que trata de "Desenhos Experimentais e Quase Experimentais para a Pesquisa sobre o Ensino" e o segundo, publicado em 1979 por Cook e Campbel, que aborda "Questões de Desenho e Análise para Contextos Naturais".

Desde então, surgiram diversas abordagens de avaliação e intensos debates sobre a eficácia desses métodos. Worthen, Sanders & Fitzpatrick (2004) identificaram grande diversidade de metodologias, entre as quais estão as avaliações por objetivos, avaliações realizadas por especialistas e avaliações focadas nos beneficiários.

Grande parte dos modelos tem enfocado, de acordo com Posavac e Carey (2002), apenas os elementos descritivos dos programas, sem buscar explicações causais entre os componentes, atividades e resultados do programa. A avaliação da eficácia e efetividade de programas depende do estabelecimento de relações entre as atividades do programa e os resultados almejados. Esta, entretanto, não é uma tarefa fácil.

A avaliação de programas, segundo Chen (2005), inclui, além de uma combinação de elementos descritivos (o que o programa é, seus componentes) e prescritivos (o que o programa deveria ser para obter os resultados), e a explicitação de pressupostos (muitas vezes implícitos) sobre as causas do sucesso ou fracasso de um programa.

Esse conjunto de informações e conhecimentos denomina-se teoria do programa, cuja elaboração exige uma análise apurada das suposições de relacionamento causal, definidas com base em teorias científicas disponíveis e/ou nas percepções dos constituintes sobre quais atividades são supostamente capazes de resolver um problema social ou demanda dos beneficiários. Essa teoria facilita a concepção e a gestão de programas, bem como a realização de pesquisas científicas.

Segundo Bickman (1987), aferir a qualidade da teoria do programa significa, em síntese, verificar se o programa está bem-concebido e se possui um plano plausível de alcance dos resultados esperados. Para tanto, é necessário articular uma explícita descrição das ideias, hipóteses e expectativas que constituem a estrutura do programa e o seu funcionamento esperado, tanto para concebê-lo quanto para monitorá-lo e avaliá-lo.

A metodologia de modelos lógicos de avaliação é uma versão simplificada da abordagem baseada na teoria do programa, que descreve apenas os elementos essenciais do programa. Segundo Meneses (2007), os modelos lógicos são ferramentas que facilitam a quantificação das atividades e resultados de um programa, enquanto a teoria do programa, além desse objetivo, possui outros bem mais amplos, relacionados à compreensão detalhada do funcionamento do próprio programa.

Segundo McLaughlin e Jordan (2010), os elementos constituintes de programas são: recursos (aspectos humanos, financeiros e tecnológicos necessários à entrega do programa para o público-alvo); atividades (processos ou passos necessários para que o programa seja capaz de fornecer os produtos ou os serviços desejados pelo público-alvo), produtos, resultados e contexto. Sob essa ótica, há três tipos de resultados: resultados de curto prazo (mudanças e/ou benefícios gerados diretamente pelo programa); resultados intermediários (consequências indiretas do programa, determinadas pela aplicação dos resultados de curto prazo em determinado contexto pré-identificado) e resultados de longo prazo (impactos e benefícios gerados pelo programa). As variáveis do contexto são aquelas com potencial para afetar todos os componentes do programa, além de servirem como explicações alternativas aos resultados esperados pelo programa.

O uso de figuras para representação esquemática do modelo lógico tem facilitado a visualização dos componentes e do relacionamento causal entre eles. Essas figuras podem ser vistas como organizadores gráficos avançados que facilitam a apreensão e a síntese de grande quantidade de informações, além de auxiliar o pesquisador a validar o modelo e os resultados da avaliação do programa ou sistema de atividades com os stakeholders.

Entre os benefícios associados à adoção de modelos lógicos estão, segundo McLaughlin e Jordan (2010): 1) facilitar o planejamento, a implementação, o monitoramento e a avaliação, uma vez que pode ser utilizada em qualquer estágio do ciclo de um programa; 2) facilitar a identificação de indicadores de resultados; 3) facilitar o desenho e a melhoria das atividades críticas de um programa; 4) construir um entendimento comum sobre o programa; 5) oportunizar o compartilhamento de ideias e a explicitação de pressupostos sobre relações de causa e efeito entre os componentes do programa; 6) melhorar a comunicação entre os interessados e constituintes do programa, facilitando, desse modo, a gestão do programa.

O modelo lógico, criado pelo Banco Interamericano de Desenvolvimento - BID (BID 1997, p. 66-77), tem sido utilizado no desenho, monitoramento e avaliação de programas por inúmeros organismos internacionais e multinacionais. Entre eles estão: a US Agency for International Development - USAID e a Internacional Fund for Agricultural Development - IFAD. Também vem sendo utilizado por diversos órgãos públicos nacionais como: a Agência Brasileira de Cooperação, órgão do Ministério das Relações Exteriores, na análise de projetos submetidos a sua apreciação; o Ministério do Planejamento, Orçamento e Gestão que, através da Secretaria de Planejamento e Investimentos Estratégicos, publicou um importante manual, denominado Indicadores de Programas - Guia Metodológico (2010); o Tribunal de Contas da União, que instituiu o marco lógico como uma das ferramentas de apoio à auditoria em programas governamentais (Portaria da Secretaria de Controle Externo Nº 39, de 21/05/2001). Há publicações nacionais defendendo ou relatando a aplicação de modelo lógico na avaliação de programas de saúde (Costa & Castanhar, 2003 e Esher, Santos, Azeredo, Luiza, Osório-de-Castro & Oliveira, 2011). Entretanto, essa ferramenta ainda não tem sido amplamente adotada na avaliação de programas de capacitação e treinamento e, ao que tudo indica, não tem sido utilizada na avaliação de mestrados profissionais.

 

2. AVALIAÇÕES DE PROGRAMAS EDUCACIONAIS E DE TREINAMENTO

A avaliação de programas educacionais e de treinamento tem sido comumente realizada de acordo com abordagens sistêmicas, nas quais estão previstas análises de relacionamentos entre insumos ou recursos, processos ou atividades, produtos, resultados e contexto. Entre as abordagens mais influentes estão os modelos de Scriven (1967), Stufflebeam (1978) e Warr, Birdi e Rackham (1970). O primeiro autor propôs uma importante classificação das avaliações em formativas, focadas no acompanhamento de avanços e retrocessos de um programa e realizadas durante a implementação das atividades, e as somativas, que possibilitam uma avaliação do programa como um todo, após a conclusão de um ciclo completo de atividades.

O modelo Context, Input, Process and Product - CIPP, de Stufflebeam (1978), desenvolvido para avaliar programas educacionais, sugere a análise das relações entre variáveis de contexto, insumos, processos (atividades de ensino) e produtos ou resultados almejados pelo programa.

A abordagem Context, Input, Reactions and Outcomes - Ciro, proposta por Warr, Birdi e Rackham (1970), também baseada na abordagem sistêmica, propõe a avaliação de diferentes componentes, apesar de não incluir explicitamente os processos ou atividades como a abordagem CIPP. Entre os modelos nacionais, merecem destaque o Modelo de Avaliação Integrado e Somativa - Mais, elaborado por Borges-Andrade (1982), e o Modelo Impact, elaborado por Abbad, em 1999.

A adoção da abordagem de modelos lógicos em avaliação educacional e de treinamento também tem se ampliado nas últimas décadas, incentivada pela adoção dessa metodologia na gestão e avaliação de programas governamentais e sociais, no Brasil e em outros países.

Os modelos de avaliação acima mencionados, assim como os modelos lógicos, foram criados a partir de abordagens sistêmicas. Essa semelhança facilita a adoção conjunta desses modelos na realização de pesquisas avaliativas, como as conduzidas por Mourão (2004), Meneses (2007), Pereira (2009), Laval (2011) e Borges de Souza (2011).

Os quatro primeiros foram realizados a partir de referenciais teóricos e empíricos da área de treinamento, enquanto o último em referenciais de avaliação educacional. Todos esses modelos são multivariados e abrangem, além dos resultados ou níveis de avaliação de efetividade, as variáveis que os predizem. Além destes, alguns desses modelos de pesquisa que supõem relações entre variáveis na predição de diferentes resultados de treinamento. Entre os últimos estão o Impact, de Abbad (1999, 2010), o IMTEE, de Alvarez, Salas e Garofano (2004), e muitos outros.

Entre as principais contribuições dessas abordagens estão: a) a identificação de componentes e elementos dos sistemas instrucionais; b) a construção de medidas de avaliação; e c) a indicação de hipóteses de relações entre variáveis e componentes dos sistemas. Entretanto, há lacunas nas pesquisas que pretendem estudar efeitos de médio e longo prazos de programas educacionais e de treinamento. O uso de modelos lógicos em combinação com modelos de avaliação existentes parece apontar soluções metodológicas para esse tipo complexo de avaliação.

A seguir, são apresentados desafios e lacunas que caracterizam a produção de conhecimentos da área e que, para serem enfrentados e superados, oportunizaram a adoção de modelos lógicos nas pesquisas.

 

3. LACUNAS E DESAFIOS DA AVALIAÇÃO DE SISTEMAS INSTRUCIONAIS

Esta seção analisa brevemente alguns aspectos da produção de conhecimentos em avaliação de sistemas instrucionais, que indicam lacunas na avaliação de efeitos de programas nos níveis da organização e da sociedade e ilustram problemas metodológicos e práticos, comuns aos pesquisadores que atuam em avaliações educacionais e de treinamentos corporativos.

As análises de artigos nacionais e internacionais sobre avaliação, realizadas por Abbad (1999), Abbad, Pilati e Pantoja (2003), Salas e Cannon-Bowers (2001), Alvarez, Salas e Garofano (2004), Sonnentag, Niessen e Ohly (2004), Aguinis e Kraiger (2009), Pereira (2009), Abbad (2010) e Laval (2011), mostraram avanços significativos na produção de conhecimentos e tecnologias de avaliação nas últimas décadas. Há resultados robustos e consistentes, obtidos em pesquisas nacionais e internacionais, mostrando, por exemplo, que a variável suporte (ou clima) à transferência, exerce influência direta e, em alguns casos, mais forte do que o programa de treinamento sobre o desempenho do egresso do curso. A aplicação de novas aprendizagens no trabalho, em muitos casos, depende mais de variáveis do contexto organizacional do que do próprio treinamento.

No período compreendido entre 1999-2009, aproximadamente 35 pesquisas brasileiras adotaram modelos de avaliação somativa de sistemas instrucionais, destacando-se os modelos Mais, de Borges-Andrade (1982) e o Impact, de Abbad (1999).

Observa-se que grande parte das pesquisas tem enfocado apenas os níveis individuais de análise. A avaliação de treinamento em níveis de análise mais abrangentes (isto é, ligados a equipes, unidades, organização e sociedade) ainda é um assunto pouco explorado.

A relação entre os níveis de resultados individuais e organizacionais tem recebido pouca atenção dos pesquisadores no campo de avaliação de treinamento. Destacam-se os estudos nacionais, realizados por Freitas e Borges-Andrade (2004), Freitas (2005), Mourão (2004), Meneses (2007) e Pereira (2009), que correlacionaram medidas perceptuais de transferência ou impacto em profundidade (nível indivíduo) com medidas objetivas de desempenho organizacional (nível organização).

Há inúmeras possíveis explicações para a baixa produção de conhecimentos na avaliação de resultados organizacionais e sociais de programas de treinamento. Algumas delas merecem destaque. A primeira está associada às dificuldades metodológicas inerentes à investigação de relações de causa e efeito entre programas e resultados de médio e longo prazos e à análise da influência de outras variáveis, externas ao programa, sobre esses resultados.

Os delineamentos de pesquisa e as estratégias estatísticas exigidos pela avaliação de programas são difíceis de operacionalizar (análises de séries temporais, delineamentos quase experimentais, técnicas de amostragem, modelagem por equações estruturais, regressão multinível, entre outras).

Outra explicação para a pequena produção de conhecimentos nesta área é o alto custo associado à construção de indicadores objetivos, sensíveis aos efeitos do programa. Esses indicadores nem sempre estão disponíveis ou, quando estão, são pouco válidos e/ou consistentes. A construção de bancos de dados com esses indicadores é custosa e demorada. Em alguns casos, entretanto, a pesquisa torna-se viável porque as organizações já possuem indicadores de desempenho organizacional que podem ser utilizados nas avaliações. Indicadores sociais e econômicos também estão disponíveis em sítios de órgãos de governo e de institutos de pesquisa, como o Ipea e o IBGE, o que facilita o acompanhamento de variáveis relevantes, relacionadas ao programa. Mourão (2004), Meneses (2007) e Laval (2011) utilizaram indicadores extraídos de fontes secundárias, disponibilizadas pela organização e por órgãos do governo e institutos de pesquisa.

A terceira razão para a pequena quantidade de avaliações de resultados organizacionais é a dificuldade de identificar variáveis contextuais de natureza econômica, social e cultural que afetam as relações entre os componentes do programa em suas relações de causa e efeito. A identificação desse tipo de variáveis requer múltiplas fontes documentais e humanas e a participação ativa de stakeholders na avaliação, o que nem sempre vem sendo feito nas pesquisas avaliativas.

Um desafio posto pelas abordagens multinível de avaliação é a análise das relações entre efeitos que emergem de níveis menos abrangentes para os mais abrangentes de análise e vice-versa. Os modelos de avaliação adotados até o momento não propiciaram a investigação dos fenômenos que transformam efeitos individuais em efeitos organizacionais ou sociais dos programas.

Esses fenômenos que ligam os níveis individuais aos níveis mais abrangentes de análise, segundo a abordagem de Kozlowski, Brown, Weissbein, Cannon-Bowers e Salas (2000), envolvem processos horizontais e verticais de transferência de aprendizagem. Esses processos precisam ser estudados, pois são importantes na avaliação de programas e sistemas instrucionais.

As condições ambientais propícias aos efeitos de um programa podem variar dependendo do nível de análise. O estudo de Pereira (2009), baseado em modelos lógicos, confirma essa suposição. Os resultados da pesquisa mostraram que há diferentes variáveis de suporte interno e externo à organização afetando resultados individuais e organizacionais de um treinamento.

Outro importante desafio teórico e metodológico, ainda não totalmente superado, é verificar o quanto os conceitos usados na definição de variáveis de interesse são (ou não) isomórficos. Conceitos isomórficos são aqueles relativos a fenômenos que podem ser investigados a partir dos mesmos conceitos, instrumentos e medidas, independentemente do nível de análise a que pertençam. Um conceito não isomórfico, ao contrário, merece distintas definições, instrumentos e mensurações. Suporte à transferência de treinamento, por exemplo, é conceito não isomórfico, pois precisa ser definido, operacionalizado e mensurado em cada nível de análise. Nesse caso, cada nível de resultado requer medidas distintas, apesar das definições gerais desses constructos se manterem similares.

O trabalho de Pereira (2009) ilustra muito bem este ponto. A autora precisou construir escalas específicas para avaliação de suporte interno e externo à transferência de treinamento. Os itens componentes desse último referem-se a variáveis pertencentes ao ambiente macro, externo à organização, e os itens do primeiro, ao ambiente interno (micro e meso) de trabalho do egresso do treinamento estudado.

As variáveis de suporte externo estão relacionadas diretamente aos impactos de médio e longo prazos, sociais e organizacionais, resultantes da atuação de egressos de treinamento nesse contexto. Elas diferem das variáveis de suporte interno (psicossocial, material e técnico) das quais o egresso do treinamento depende para aplicar, no trabalho, o que aprendeu no curso. A participação dos stakeholders na elaboração do modelo lógico, no caso das pesquisas de Meneses (2007) e Pereira (2009), facilitou a definição dos constructos, bem como a definição dos itens e instrumentos apropriados a cada nível de análise.

Outro desafio da avaliação de sistemas instrucionais é mostrar as relações entre o que é dito pelo participante, por meio de escalas e entrevistas, e a realidade objetiva, tal como mensurada por indicadores duros de resultados individuais e organizacionais. Resultados das pesquisas de Baiocchi (2007) e Laval (2011) mostraram correlações positivas fracas, mas estatisticamente significativas, entre medidas perceptuais e medidas duras ou objetivas de resultados organizacionais. Pouco se sabe sobre as causas desse fraco relacionamento.

A grande quantidade de explicações alternativas, oriundas do contexto interno e externo à organização, aos resultados de um programa educacional e de treinamento é outro desafio que exige a escolha de delineamentos mais sofisticados de pesquisa, como os sugeridos por Shadish, Cook e Campbell (2002). Delineamentos experimentais e quase experimentais podem ser desenhados com maior facilidade a partir da adoção de modelos lógicos, uma vez que estes facilitam a identificação de ameaças à validade interna das inferências sobre a efetividade do programa avaliado.

As diferentes visões sobre o programa, oriundas de múltiplas fontes, quando combinadas, proporcionam uma rica teoria e um conjunto de hipóteses plausíveis sobre a eficiência, eficácia e efetividade dos programas. Além disto, a elaboração dos modelos possibilita a combinação de conhecimentos científicos com as teorias implícitas dos stakeholders sobre o programa.

Há, pois, muitos desafios na avaliação de efeitos de treinamentos na organização e na sociedade. Para enfrentá-los, alguns pesquisadores brasileiros procuraram novas ferramentas metodológicas, mais sensíveis às complexidades da avaliação em múltiplos níveis de análise.

Na avaliação de sistemas instrucionais, a aplicação do modelo lógico tem se mostrado útil em diferentes contextos. Mourão (2004), por exemplo, adotou o modelo para avaliar um treinamento ligado a um programa governamental de qualificação profissional; Meneses (2007) e Meneses e Abbad (2009), Pereira (2009) e Laval (2011) avaliaram treinamentos em uma empresa e, Borges de Souza (2011), um curso de mestrado profissional.

A seguir são descritos dois estudos que aplicaram a ferramenta metodológica de modelos lógicos em avaliação. As pesquisas são descritas apenas nos aspectos ilustrativos da aplicação dessa abordagem, omitindo-se os detalhes contidos nos trabalhos completos.

 

4. ESTUDO 1: AVALIAÇÃO DE UM TREINAMENTO CORPORATIVO

Esta pesquisa, desenvolvida por Laval (2011), teve como objetivo principal identificar as variáveis preditoras do impacto de um treinamento no desempenho individual dos egressos e a sua relação com os resultados organizacionais. Trata-se de um estudo correlacional, com método misto (quali-quanti), que utilizou técnicas diversificadas de coleta de dados primários e secundários. Após o estudo do modelo teórico de pesquisa, foram realizados cinco estudos: 1) elaboração do modelo lógico do curso avaliado, denominado Oficina de Crédito e Vendas PJ (Pessoa Jurídica), com 40 horas de duração, realizado no Banco do Brasil em âmbito nacional; 2) construção e validação de dois instrumentos; 3) teste estatístico de cinco modelos de investigação de preditores do impacto do treinamento no trabalho do egresso; 4) teste de dois modelos para investigar as variáveis preditoras de duas medidas de resultados organizacionais não financeiros (desempenho em processos internos e de clientes); e 5) teste de três modelos de investigação de variáveis preditoras de resultados financeiros (nas perspectivas: econômica e financeira e de estratégias e operações).

4.1. Método do Estudo 1

A pesquisa foi realizada em diversas etapas, denominadas Estudos, realizados em sequência. Na primeira etapa, foi escolhido o Modelo Impact (Abbad, 2010) como modelo teórico de pesquisa, conforme representado na Figura 1, com o intuito de orientar a elaboração do modelo lógico para avaliação do treinamento, denominado Oficina de Crédito e Vendas para Pessoa Jurídica, desenvolvido no Banco do Brasil, com carga horária de 40 horas presenciais, realizado em 416 turmas distribuídas entre julho e dezembro de 2010, totalizando aproximadamente 10 mil colaboradores.

A partir desse modelo teórico e com base nas informações obtidas na análise documental do material instrucional do curso, dos dados de participantes e dos relatórios a respeito do curso, foram realizados dois grupos focais para elaboração e validação do modelo lógico. Os grupos contaram com a participação de gerentes, egressos do curso, profissionais de planejamento e educadores corporativos. Esses grupos definiram indicadores de desempenho organizacional, supostamente sensíveis aos resultados do treinamento e identificaram variáveis intervenientes ou explicações alternativas para os resultados do curso.

O primeiro grupo era composto por seis pessoas (gerentes e egressos do curso) e o segundo por cinco participantes (dois planejadores instrucionais, dois educadores corporativos e uma profissional da área de formulação de estratégias). As duas entrevistas em grupo seguiram a mesma sequência e tiveram a mesma duração (duas horas). Ao final dos grupos focais, aprofundou-se a discussão para definição de indicadores de desempenho organizacional, visando à construção do modelo lógico nos aspectos relacionados aos resultados organizacionais.

Validados a representação gráfica esquemática do programa e o modelo lógico de avaliação nos grupos focais, obteve-se uma importante ferramenta de monitoramento dos elementos do treinamento e de avaliação das "relações causais", estabelecidas entre os elementos constitutivos do modelo, tal como supostas pelos participantes. Além disso, foram identificadas as variáveis interferentes ou explicações alternativas para os resultados do treinamento.

A segunda etapa ou estudo teve como objetivo desenvolver e validar medidas para mensurar alguns elementos do modelo lógico da Oficina de Crédito e Vendas, elaborado na primeira etapa da pesquisa. Mais especificamente, variáveis pertencentes aos resultados no nível individual de análise e variáveis preditivas, pertencentes ao contexto de trabalho. Os elementos avaliados foram: impacto do treinamento no trabalho do egresso, que corresponde ao resultado de curto prazo, medido no nível do indivíduo, e suporte à transferência de treinamento, que diz respeito a características do ambiente que podem interferir nos demais componentes do modelo de pesquisa.

A aplicação do conjunto de questionários foi realizada por meio de intranet. Participaram 3.376 concluintes do curso. Os resultados da aplicação desses questionários não serão apresentados neste artigo, uma vez que não estão alinhados aos objetivos deste trabalho.

A obtenção dos dados secundários, referentes aos indicadores de resultados e desempenho organizacional sensíveis aos resultados do treinamento foi conseguida a partir dos indicadores sugeridos pelos participantes da etapa de elaboração do modelo lógico. Esses dados foram obtidos em arquivos mantidos pelo Banco do Brasil e indicavam a contribuição de egressos do curso avaliado, que exerciam a função de gerente de Carteira de Crédito Pessoa Jurídica com tempo de serviço igual ou superior a um ano. Foram obtidos indicadores de resultados organizacionais do Acordo de Trabalho (ATB) de uma amostra de 469 gerentes de Carteiras de Crédito PJ.

Os indicadores de desempenho organizacional foram disponibilizados pela empresa. Um deles, os resultados do Acordo de Trabalho (ATB) e o outro de Carteiras de Crédito PJ. O Acordo de Trabalho é variável composta, formada pelas seguintes variáveis: Resultado Econômico, Estratégia, Operações, Processos Internos, Sociedade, Comportamento Organizacional e Clientes. O desempenho do ATB foi medido pela pontuação de cada perspectiva de avaliação de desempenho, que é atribuída semestralmente e pode variar entre 100 e 600 pontos.

Após isso, foram desenvolvidas análises correlacionais, mediante a utilização de Regressões Logísticas e Regressões Múltiplas Padrão e Hierárquicas, para verificar quais variáveis predizem os impactos do treinamento no trabalho (desempenho do egresso), e resultados da Oficina de Crédito e Vendas de Pessoa Jurídica em resultados organizacionais. A modelagem das regressões foi definida com base no Modelo Teórico de Pesquisa e no Modelo Lógico.

4.2. Principais resultados do Estudo 1

Esta seção apresenta somente uma parte dos resultados da pesquisa de Laval (2011), em especial aqueles que ilustram a aplicação do modelo lógico na identificação das variáveis de interesse. A Figura 2 apresenta a representação esquemática do modelo lógico de avaliação, obtida na primeira etapa da pesquisa, a partir de análises documentais e grupos focais, e mostra também os componentes do programa de treinamento e as articulações entre eles. Os responsáveis pela elaboração do modelo lógico indicaram que o treinamento foi elaborado para desenvolver competências técnicas específicas, relativas ao financiamento de pessoas jurídicas, as quais, se aplicadas pelo egresso do curso no trabalho, podem impactar resultados organizacionais de curto, médio e longo prazos.

O curso mobilizou recursos humanos, materiais e financeiros para realização das atividades educacionais (análise das necessidades, desenho e execução do curso), voltadas para um amplo público-alvo ou beneficiários, funcionários da empresa. O Banco do Brasil esperava treinar (e o fez) cerca de 10 mil profissionais, lotados em agências de todas as regiões do País (produto), além de promover a aprendizagem de conteúdos e reações favoráveis dos participantes ao curso (resultados).

Entre os resultados imediatos pretendidos estavam: a transferência da aprendizagem para o trabalho (impacto em profundidade) e o impacto da aplicação das novas aprendizagens na expressão de competências (impacto em amplitude) no trabalho. Ambos avaliados no nível individual, com foco no egresso do curso.

Os demais resultados são indiretos, pois dependem da aplicação do treinamento pelo egresso no trabalho. Esses efeitos de curto prazo referem-se à melhoria da contribuição do indivíduo no desempenho organizacional (ex.: volume de crédito, satisfação do cliente), os de médio prazo referem-se a resultados financeiros e diminuição de inadimplência, entre outros. Os efeitos organizacionais de longo prazo são ainda mais indiretos (como fidelização do cliente e melhoria da imagem do Banco) e, referem-se a impactos sociais da estratégia e do treinamento.

A Figura 3 mostra as variáveis interferentes indicadas pelos participantes dos grupos focais para cada nível de resultado de curto, médio e longo prazos.

Observa-se, na Figura 3, que a aplicação da metodologia de modelos lógicos propiciou a identificação de indicadores ou variáveis que precisam ser consideradas na avaliação de efeitos de treinamentos. Os resultados mostraram que as variáveis contextuais diferem muito, de acordo com o nível considerado.

Entre as variáveis intervenientes aos resultados de curto prazo - efeitos no desempenho do egresso - foram relatados: a motivação pessoal e a disponibilidade de tempo para aplicar as novas competências no trabalho, o potencial dos clientes e a complexidade da agência.

Nas variáveis intervenientes relativas aos resultados organizacionais de médio prazo, foram citadas: a marca do Banco, o portfólio de produtos e o acirramento da concorrência.

Entre as variáveis intervenientes relativas aos efeitos de longo prazo na sociedade estão o contexto e as políticas econômicas do País. Na representação gráfica do modelo, as setas indicam a direção dos relacionamentos entre antecedentes e consequentes. Nota-se também que os resultados de médio e longo prazos são efeitos indiretos do treinamento, os quais são influenciáveis por inúmeras variáveis internas e externas à organização estudada.

4.3. Contribuições do Modelo Lógico ao Estudo 1

Sendo assim, pode-se afirmar que a utilização do Modelo Lógico associado ao Modelo Impact apresentou as seguintes vantagens: compreensão da lógica ou racionalidade interna do programa, que facilitou a visualização da atividade avaliada em componentes (insumos ou recursos, atividades, beneficiários e resultados); participação das partes interessadas na definição dos componentes do programa de treinamento, o que possibilitou a visualização abrangente dos fenômenos estudados, bem como a construção de um modelo de pesquisa mais aprimorado; identificação de variáveis contextuais que servem de explicação alternativa dos resultados do treinamento, bem como o entendimento das relações entre as variáveis perceptuais e os indicadores de desempenho dos resultados organizacionais; escalonamento dos resultados em curto, médio e longo-prazos, incluindo, também, os níveis de desempenho individual, organizacional e até social; e formulação consensual das partes interessadas a respeito das "relações de causalidade" dos componentes do modelo de avaliação do treinamento, indicando as principais hipóteses de relacionamento entre variáveis a serem testadas estatisticamente; identificação de indicadores de desempenho organizacionais, sensíveis às atividades e efeitos do curso em nível de resultados da organização.

Observou-se que a utilização do Modelo Lógico trouxe benefícios para a identificação de efeitos individuais e organizacionais e de seus relacionamentos entre variáveis antecedentes ligadas ao treinamento e as contextuais, tal como ocorreu nos estudos de Mourão (2004), Meneses (2007) e Pereira (2009).

 

5. ESTUDO 2: AVALIAÇÃO DE UM CURSO DE MESTRADO PROFISSIONAL

Este estudo, realizado por Borges de Souza (2011), tem como objetivo principal avaliar o impacto de um curso de mestrado profissional no desempenho de egressos, a partir da construção de modelos lógicos, confeccionados a partir das percepções dos constituintes do curso avaliado. A literatura especializada em avaliação educacional no Brasil indica lacunas na avaliação de impactos de programas educacionais no desempenho de egressos.

A avaliação de programas educacionais tem apresentado diversos desafios em termos de construção de parâmetros avaliativos e indicadores de resultados. Isso porque, não raro, o desenho, as atividades empreendidas e os elementos constituintes dos programas educacionais não são bem delineados e suas relações desconhecidas, quando se chega o momento da avaliação. Assim sendo, a análise dos recursos, atividades e resultados esperados pode tornar-se um processo laborioso e muitas vezes afastado da realidade dos atores participantes do programa.

Em se tratando de programas de grande complexidade, esse processo de avaliação pode tornar-se ainda mais complexo e exigente. Exigente porque são programas que possuem inúmeros elementos articulados entre si, tais como diversos módulos e disciplinas, são arquitetados para muitas horas - alguns têm mais de 400 horas e chegam a durar anos; envolvem o desenvolvimento de competências complexas (cognitivas e afetivas), e pressupõem a aplicação do aprendido em contextos adversos. Não se trata apenas de identificar a ocorrência de resultados, mas, sim, de mensurar em que medida e amplitude esses efeitos planejados se manifestaram.

O processo de avaliação de programas educacionais exige a análise de uma ampla cadeia articulada de elementos, pessoas e estruturas, mobilizados e articulados intensivamente e que se repetem e se modificam em cada ciclo ou turma de estudantes. O uso de modelos lógicos surge nesse cenário como orientador metodológico adequado a essa realidade.

5.1. Método do Estudo 2

A abordagem de modelos lógicos foi adotada na avaliação de Impacto do Mestrado Multidisciplinar Profissional em Desenvolvimento e Gestão Social (MMDGS), oferecido pelo Centro Interdisciplinar de Apoio à Gestão Social (CIAGS), da Universidade Federal da Bahia.

O curso pesquisado formou três turmas de 40 estudantes, totalizando cerca de 120 egressos. Nesse contexto, entre os anos de 2009 e 2011, as seguintes etapas foram empreendidas: 1) levantamento de dados relacionados ao programa; 2) análise documental; 3) descrição dos elementos descritivos e prescritivos do MMDGS; 4) descrição das questões a serem investigadas; 5) definição e organização gráfica dos elementos do modelo lógico inicial (Versão 1); 6) investigação das relações de causalidade entre os elementos do modelo; 7) verificação do modelo lógico junto aos constituintes do programa e validação do questionário de avaliação do impacto do curso no desempenho do egresso; 8) entrevistas de avaliação de impacto do curso no desempenho dos egressos.

As etapas de 1 a 6 envolveram análises bibliográficas e documentais. Ao final dessas etapas foram produzidas: uma primeira versão do modelo lógico, a figura representativa das suposições de relacionamento entre componentes e resultados esperados pelo programa, e um conjunto de 22 itens descritivos dos efeitos do programa no desempenho do egresso, definido em termos de competências.

A etapa 7 foi realizada por meio de grupos focais e entrevistas com cinco estudantes egressos das três turmas formadas pelo programa e duas professoras do programa. O grupo focal foi realizado com sete professores. Esta etapa resultou na reformulação do modelo lógico e de alguns itens do questionário de avaliação do impacto do curso no desempenho profissional do egresso. A seguir são apresentados somente os resultados referentes ao modelo lógico.

5.2. Resultados do Estudo 2

Na Figura 4 é apresentada a versão inicial do Modelo Lógico (Versão 1), proveniente da 5ª etapa, na qual foram apresentados os resultados esperados pelo MMDGS.

Os resultados preliminares da pesquisa mostraram vínculos entre os diferentes níveis de resultados e facilitaram a construção de um instrumento de avaliação do curso no desempenho do egresso. Observou-se, entretanto, que a linearidade das relações de causalidade não se mostrou adequada para descrever importantes efeitos intermediários, ocorridos durante o curso. Além disto, observou-se que o curso sofreu mudanças ao longo de sua existência. As três turmas de egressos, em função disto, deveriam ser avaliadas separadamente, antes da realização de análises dos efeitos gerais do curso sobre o desempenho de todos os egressos.

Esta etapa mostrou que a investigação das relações entre os componentes do programa devem incluir também efeitos intermediários, ocorridos durante o curso. Esses resultados apontam para a importância de avaliações formativas de acompanhamento das atividades e rendimento dos estudantes.

Diferentemente do apontado na literatura de treinamento, a realização de uma única sessão de validação do modelo lógico, nesta pesquisa, não foi suficiente para que se apreendessem as relações de causalidade existentes entre os componentes e variáveis significativas ao processo de avaliação de impacto.

Dessa forma as etapas 5, 6 e 7 tiveram que ser aplicadas novamente, ampliando significativamente o número de profissionais (professores e egressos) envolvidos no processo de avaliação.

Um novo modelo lógico emergiu desse segundo processo de construção do modelo lógico (Figura 5), que representava melhor a teoria do programa e incluía as três turmas com importantes componentes da avaliação.

A segunda versão do modelo lógico contém elementos importantes, não contemplados na Figura 4. Entre eles, o perfil dos ingressantes, uma vez que os estudantes tinham repertórios de entrada, formação e experiências profissionais distintas intra e entre turmas. As atividades do curso ficaram representadas pelas disciplinas (S1 - S5), pela residência social e pelas exigências de avaliação, relativas ao projeto de pesquisa e à dissertação de mestrado. As três turmas de egressos representam os produtos diretos do curso.

Os resultados de curto prazo (satisfação com o curso, aprendizagem dos conteúdos e motivação para aplicar as novas aprendizagens em outros contextos) foram assim classificados nesta pesquisa porque são comumente mensurados ao final do curso.

Os resultados de médio prazo referem-se aos efeitos ocorridos após o curso, definidos, neste contexto, como o impacto do curso no desempenho do egresso. Entre os indicadores descritos no modelo lógico, há resultados na sociedade ou nas organizações em que trabalham os egressos, entre eles a difusão social de conhecimentos e gestão de mudanças em espaços territoriais diversos. São denominados de efeitos de médio prazo porque não são avaliáveis logo após o término do curso, pois dependem de tempo para realização de projetos e intervenções em outros contextos de atuação dos mestres, egressos do programa.

Os efeitos de longo prazo foram apenas citados pelos constituintes do curso nas entrevistas e indicam uma expectativa de impactos indiretos do mestrado sobre o desenvolvimento social das instituições atendidas e na rede solidária, em diferentes contextos de trabalho e atuação dos egressos.

Dessa forma, após a repetição das etapas 5, 6 e 7, o Modelo Lógico do MMDGS foi usado para validação do processo de coleta de dados. Depois desta etapa, quase todos os egressos das três turmas foram entrevistados para análise dos modelos contidos nas duas versões do modelo lógico e para responderem o questionário de avaliação do impacto do curso no desempenho do egresso, de acordo com o perfil de competências esperadas pelo curso. A segunda versão do modelo lógico sofreu pequenas modificações após as entrevistas com os egressos das três turmas. Uma delas foi a inclusão de setas, no "bolo de noiva", que indicassem a ocorrência de efeitos intermediários do curso sobre a vida profissional e carreira dos estudantes. Esses efeitos são relevantes e podem ser incorporados em avaliações formativas das turmas subsequentes. As diversas etapas de construção do modelo lógico resultaram na explicitação da teoria do programa, de acordo com a visão dos participantes.

5.3 Contribuições do Modelo Lógico ao Estudo 2

O modelo lógico, associado ao uso de questionários de avaliação do impacto do curso no desempenho do egresso, facilitou a descrição das atividades e demais componentes do curso de mestrado - MMDGS. A inclusão do perfil de ingressantes no modelo também possibilitou a análise das diferenças individuais e suas ligações com os efeitos que o programa produziu nos egressos. Além disto, a representação gráfica dos elementos do curso apoiou os participantes e a pesquisadora na identificação de importantes elementos do cenário e do contexto do curso, que possibilitaram uma avaliação mais segura dos impactos do referido mestrado.

É preciso destacar que a elaboração do modelo lógico exige uma análise apurada dos pressupostos implícitos e explícitos de um determinado programa - elementos descritivos e prescritivos. A consecução dessas etapas é o que permite a elaboração do organizador gráfico avançado, também chamado de mecanismo de foco, para a mensuração dos indicadores de resultado e de impacto que se almeja.

Essa experiência fez surgirem inúmeros resultados, dentre eles vale citar: 1) o uso de modelos lógicos em programas de grande complexidade precisa ser pontuado como elemento flexível e aberto a desconstrução e reconstrução, caso contrário, poderá levar à não representatividade por falta de articulação com as percepções e teorias dos participantes sobre o programa ou, ainda, inibir o potencial de contribuição dos participantes; 2) o uso de modelos lógicos evidencia que esse orientador metodológico é um excelente dispositivo não só para planejamento de atividade de aprendizagem, mas, também, como elemento de avaliação e monitoramento; 3) o uso de modelos lógicos surge como diferencial metodológico para processos avaliativos em programas de grande complexidade e de várias naturezas (sociais, governamentais, educacionais); 4) o uso de modelos lógicos na avaliação de programas evidencia que, por mais relevantes que as contribuições acadêmicas possam ser, quando o campo de pesquisas é muito amplo e complexo, o uso de métodos mistos é indispensável.

 

6. CONSIDERAÇÕES FINAIS E AGENDA DE PESQUISA

Há muitos benefícios na adoção de modelos lógicos na avaliação de programas educacionais e de treinamento. As pesquisas apresentadas neste artigo são demonstrações empíricas da utilidade dos modelos lógicos na avaliação de programas educacionais e de treinamento.

Entre as contribuições dessa abordagem estão: 1) a explicitação da teoria do programa com riqueza de detalhes e consistência, que facilita a concepção e a escolha do delineamento da pesquisa avaliativa; 2) o uso combinado de teorias científicas com teorias formuladas pelos stakeholders, que facilita a formulação de hipóteses de relações de causalidade entre o programa e seus resultados; 3) a identificação de variáveis interferentes, de acordo com o nível de análise a que pertençam, que viabiliza o controle estatístico ou experimental da influência de variáveis interferentes sobre os resultados desejados e/ou o monitoramento dos riscos associados à interferência delas sobre a eficácia e efetividade do programa; 4) a escolha de indicadores de resultados sensíveis aos efeitos do programa, facilitada pela participação de múltiplas fontes humanas; 5) a possibilidade, gerada pela riqueza de informações extraídas por meio do modelo lógico, de monitorar e corrigir desvios e falhas no programa; 6) o uso de figuras e organizadores gráficos avançados, que auxiliam o pesquisador a coletar, analisar, resumir, interpretar dados provenientes da triangulação de métodos, bem como validar seus resultados; 7) a discussão do modelo lógico, que facilitou a comunicação entre os stakeholders e a identificação de controvérsias sobre o programa; 8) as contribuições teóricas e metodológicas do modelo para o avanço da produção científica sobre relevantes temas como suporte e impactos de programas no desempenho de egressos.

Novas descobertas sobre variáveis do contexto foram registradas por Meneses (2007), Pereira (2009) & Laval (2011). Os resultados dessas pesquisas também sugerem que essas variáveis podem exercer efeitos diretos e indiretos (moderadores e mediadores) sobre diversos elementos do programa.

O uso de delineamentos robustos, capazes de reduzir ameaças à validade interna das inferências de causalidade entre o programa e seus impactos nem sempre são viáveis nos ambiente organizacionais. Os indicadores escolhidos nem sempre estão disponíveis nos níveis de agregação necessários ao pareamento de dados do indivíduo com os resultados da unidade e da organização a qual está vinculado. Alguns indicadores objetivos, sugeridos pelo modelo lógico, são medidas compostas, o que diminui a precisão das avaliações. Outro problema diz respeito à falta de medidas anteriores ao programa, que possam ser estudadas como ponto de referência para a aferição dos resultados do programa.

Em suma, recomenda-se a adoção de modelos lógicos como ferramenta de apoio à concepção, monitoramento e avaliação de programas. Trata-se de uma ferramenta eficaz de gestão e uma poderosa metodologia de pesquisa que estimula a produção de novos conhecimentos e tecnologias de avaliação de programas.

 

REFERÊNCIAS

Abbad, G. S. (1999). Um modelo integrado de avaliação do impacto do treinamento no trabalho - Impact. Tese. (Doutorado em Psicologia), Instituto de Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Abbad, G. S. (2010). Projeto de Pesquisa CNPq (2010-2014). Disponível em: <http://dgp.cnpq.br/buscaoperacional>. Acesso em: 14 abr. 2010.         [ Links ]

Abbad, G.S.; Pilati, R.& Pantoja, M.J. (2003) Avaliação de treinamento: análise da literatura e agenda de pesquisa. Revista de Administração (USP), 38(3),205-2018.         [ Links ]

Aguinis, H. & Kraiger, K. (2009). Benefits of training and development for individuals and teams, organizations, and society. Annual Review of Psychology, 60,451-474.         [ Links ]

Alvarez, K.; Salas, E & Garofano, C.M. (2004). An integrated Model of Training Evaluation. Human Resource Development Review, 3(4),385-416.         [ Links ]

Baiocchi, R. M. (2007). Modelo de avaliação de impacto da aprendizagem no nível de resultados organizacionais: Preditores relacionados ao indivíduo e ao contexto organizacional. Tese. (Doutorado em Psicologia), Instituto de Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Bickman, L. (1987). The functions of program theory. In L. Bickman (Ed.), Using Program Theory in Evaluation, New Directions for Program Evaluation (pp. 5-18). San Francisco, CA.: Jossey-Bass Publishers.         [ Links ]

Bickman, L. (1987). The functions of program theory. In Bickman, L. (ed.). Using Program Theory in Evaluation, New Directions for Program Evaluation, 33,5-18. San Francisco, CA: Jossey-Bass Publishers.         [ Links ]

Borges-Andrade, J. E. (1982). Avaliação somativa de sistemas instrucionais: integração de três propostas. Tecnologia Educacional, XI (46), p. 29-39.         [ Links ]

Borges-Andrade, J. E. & Abbad, G.S. (1996). Treinamento e desenvolvimento: reflexões sobre suas pesquisas científicas. Revista de Administração - Rausp, 31(2), p. 112-125.         [ Links ]

Borges de Souza, D. (2011). Avaliação de Impacto de Mestrado Profissional em Desenvolvimento e Gestão Social. Projeto de Qualificação de Doutorado em Psicologia, Instituto de Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Campbell, D. T., & Stanley, J. C. (1963). Experimental and quasi-experimental designs for research. Chicago, IL: RAnd-McNally.         [ Links ]

Cano. I. (2004). Introdução à Avaliação de Programas Sociais. (3ª. Ed.) Rio de Janeiro: Fundação Getúlio Vargas.         [ Links ]

Chen, H.T. (2005) Practical Program Evaluation: Assessing and Improving, Planning, Implementation and Effectiveness. London: Sage.         [ Links ]

Cook, T. D., & Campbell, D. T. (1979). Quasi-experimentation: Design and analysis issues for field settings. Boston, MA: Houghton Mifflin Company.         [ Links ]

Costa, F.L. & Castanhar, J.C. (2003) Avaliação de programas públicos: desafios conceituais e metodológicos. Revista Brasileira de Administração Pública, Rio de Janeiro, 37(5): p. 969-992.         [ Links ]

Esher, A.; Santos, E. M.; Azeredo, T. B.; Luiza, V. L.; Osorio-de-Castro, C. G. S. & Oliveira, M. A. (2011) Logic models from an evaluability assessment of pharmaceutical services for people living with HIV/AIDS. Ciênc. saúde coletiva [online].16 (12), p. 4833-4844. http://dx.doi.org/10.1590/S1413-81232011001300032.         [ Links ]

Freitas, I. A. (2005). Impacto de treinamento nos desempenhos do indivíduo e do grupo de trabalho: suas relações com crenças sobre o sistema de treinamento e suporte a aprendizagem contínua. Tese (Doutorado em Psicologia), Instituto de Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Freitas, I. A. & Borges-Andrade, J. E. (2004). Efeitos de treinamentos nos desempenhos individual e organizacional. Revista de Administração de Empresas, 44(3), p. 44-56.         [ Links ]

Kozlowski, S. W. J., Brown, K. G., Weissbein, D.A, Cannon-Bowers, J. A, & Salas, E. (2000). Em Klein K.J., Koslowski S.W.J. (Eds.). Multilevel Theory, Research, and Methods in Organizations: Foundations, Extensions and New Directions. 157-210). San Francisco: Jossey-Bass.         [ Links ]

Laval, A. S. (2011). Avaliação de treinamentos nos níveis de impacto no trabalho e resultados organizacionais. Tese (Doutorado em Administração), Faculdade de Economia, Administração e Contabilidade, Programa de Pós-Graduação em Administração, Universidade de Brasília, Brasília.         [ Links ]

McLaughlin, J. A. & Jordan, G. B. Using logic models. (2010) In: J. S. Wholey; H.P. Hatry & K.E. Newcomber. (Eds.). Handbook of Practical Program Evaluation; (3rd. Ed.). San Francisco: Jossey-Bass.         [ Links ]

Meneses, P. P. M. (2007). Avaliação de um curso de desenvolvimento regional sustentável no nível de resultados: a contribuição dos modelos lógicos e do método quase experimental. Tese (Doutorado em Psicologia), Instituto de Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Meneses, P. P. M. & Abbad, G. S. (2009). Proposta para desenvolvimento de modelos de avaliação da efetividade de programas de treinamento. RAC Eletrônica (Online), 3,105-122.         [ Links ]

Mourão, L. (2004). Avaliação de programas públicos de treinamento: um estudo sobre o impacto no trabalho e na geração de emprego. Tese (Doutorado em Psicologia), Instituto de Psicologia. Universidade de Brasília, Brasília.         [ Links ]

Posavac, E.J. & Carey, R.G. (2002) Program Evaluation: Methods and Case Studies (6a. ed.). New Jersey: Prentice Hall.         [ Links ]

Pereira, S. C. M. (2009). Avaliação de efeitos de uma ação de TD&E no desempenho de egressos e da organização. Dissertação (Mestrado em Psicologia), Instituto de Psicologia. Universidade de Brasília, Brasília.         [ Links ]

Salas, E. & Cannon-Bowers, J. (2001). The science of training: a decade of progress. Annual Review of Psychology, 52,471-499.         [ Links ]

Scriven, M. (1967) The Methodology of Evaluation. In: R.E. Stake (Ed.): Curricullum Evaluation (v.1, pp.39-83). American Educational Resaearch Association. Monograph Series on Evaliation. Rand McNally.         [ Links ]

Shadish. W.R., Cook, T.D. & Campbell, D.T. (2002) Experimental and Quasi-experimental Designs for Generalizes Causal Inference. Houghton Mifflin Company.         [ Links ]

Sonnentag, S., Niessen, C. & Ohly, S. (2004) Learning at work: training and development. In: C. L. Cooper & I. T. Robertson (eds), International Review of Industrial and Organizational Psychology, V. 19, (p. 249-289). New York: John Wiley & Sons, Ltd.         [ Links ]

Stufflebeam, D. (1978). Alternativas em avaliação educacional: Um guia de autoensino para educadores. In: M. Scriven & D. Stufflebeam (eds.). Avaliação educacional (II) - Perspectivas, procedimentos e alternativas. Petrópolis: Vozes.         [ Links ]

Warr, P.; Birdi, M. & Rackham, N. (1970). Evaluation of management training. 6ª Ed., Gower Famborough.         [ Links ]

Worthen, B.R.; Sanders, J.R. & Fitzpatrick, J.L. (2004) Avaliação de Programas: Concepções e Práticas. São Paulo: Ed. Gente. (capítulos 1-11).         [ Links ]

 

 

Recebido em: 20.12.2011
Aprovado em: 01.03.2012