ARTIGOS

 

Validação de medidas de efetividade de cursos de mestrado e doutorado no trabalho¹

 

Validation of training effectiveness measures of master and PhD programs

 

 

Ronaldo Pilati^I; Juliana Barreiros Porto^II; Alexandre Magno D. Silvino^III

^IDoutor em Psicologia. Professor Adjunto do Departamento de Psicologia Social e do Trabalho. Professor do programa de pós-graduação em Psicologia Social, do Trabalho e das Organizações (PPG-PSTO). Universidade de Brasília - UnB. E-mail: rpilati@gmail.com
^IIDoutora em Psicologia. Professora do Mestrado em Psicologia da Universidade Católica de Brasília (UCB). Pesquisadora e Consultora do Instituto de Ciências do Trabalho. E-mail: porto.juliana@gmail.com
^IIIDoutor em Psicologia. Consultor e Pesquisador do Instituto de Ciências do Trabalho. Coordenador do Núcleo de Produção Científica da FACITEC. E-mail: alexandre.silvino@gmail.com

 

 

---

RESUMO

A pesquisa em avaliação de ações educacionais em organizações de trabalho tem produzido resultados e tecnologias relevantes para a pesquisa e a prática de avaliação nas organizações. A avaliação, como ação sistemática de coleta e interpretação de informações, permite estabelecer um juízo sobre uma ação educacional. Dessa forma, o desenvolvimento de medidas válidas e precisas para aferição de indicadores de avaliação é uma atividade crucial para o aprimoramento teórico e tecnológico do campo. O presente trabalho tem como objetivo apresentar o desenvolvimento e a validação de duas escalas para a aferição da transferência de aprendizagem e do impacto no trabalho de cursos de mestrado e doutorado em uma organização pública brasileira. As escalas foram desenvolvidas por meio do levantamento de indicadores em entrevistas com diferentes atores envolvidos no programa de capacitação. Os dados foram coletados em uma amostra de egressos do programa. Os resultados das análises indicam que as escalas possuem validade de construto e confiabilidade, o que permite seu uso em situações de pesquisa de avaliação. Demais implicações teóricas e práticas são discutidas.

Palavras-chave: transferência de aprendizagem; impacto do treinamento no trabalho; construção e validação de instrumentos psicométricos; programas de mestrado e doutorado.

---

ABSTRACT

The training evaluation research in work organizations has produced technologies to research and practice in organizations. Evaluation, as a systematic data collection and interpretation action, allows for the judgment of an educational action. In this context, the development of reliable and valid measures to obtain information of evaluation indicators is an important activity to enhance the theoretical and technological framework of the field. The purpose of this paper is to develop and validate two measures: one of learning transfer and other of the training impact at work of master and PhD programs in a Brazilian public organization. The scales were developed from the description of behavioral indicators collected in interviews with program actors. The data were collected with program trainees. Results show that there are indicators of construct validity and reliability of both scales. The scales can be used in evaluation and research projects. Theoretical and methodological implications are discussed.

Keywords: learning transfer; training impact at work; construction and development of psychometric scales; master and PhD educational programs.

---

 

 

1. Validação de medidas de efetividade de cursos de mestrado e doutorado no trabalho

A avaliação de ações de treinamento, desenvolvimento e educação em organizações (TD&E) é foco de atenção da pesquisa aplicada em psicologia e administração no Brasil. Essa produção acadêmica e tecnológica culminou em publicações nacionais em periódicos de diferentes disciplinas (e.g. Psicologia, Administração, Educação) e livros. Na última revisão internacional sobre o tema, Salas e Cannon-Bowers atribuíram status de ciência ao campo graças ao desenvolvimento de seu arcabouço teórico. Em parte, esse avanço é devido ao desenvolvimento de medidas válidas e precisas para a mensuração de fenômenos psicossociais atinentes à efetividade das ações educacionais.

A estruturação de medidas efetivas para a aferição dos resultados no trabalho dos egressos de ações educacionais tem sido empreendida no contexto nacional , mas ainda não foi observado nenhum trabalho que buscasse desenvolver medidas específicas para programas de mestrado e doutorado. Diante dessa lacuna, o presente artigo tem como objetivo apresentar o desenvolvimento e a validação de duas medidas indicadoras da efetividade no trabalho de ações de capacitação em nível de mestrado e doutorado. Essas medidas têm como proposição a mensuração do fenômeno em suas dimensões de amplitude e profundidade, como largamente é discutido na literatura sobre modelos de avaliação de treinamento nas organizações . A seguir, é realizada uma revisão de literatura sobre modelos de avaliação da efetividade de TD&E no trabalho. Na seqüência, são descritos o método e resultados e, por fim, são discutidas as implicações dos resultados para o desenvolvimento teórico da área e para as organizações.

A principal variável de interesse dos modelos de avaliação de treinamento tem sido a transferência de aprendizagem para o trabalho . Em modelos clássicos de avaliação, esse efeito do treinamento tem sido denominado de comportamento no cargo . Hamblin (1974) argumenta que esse efeito pode ser de dois tipos. O primeiro seria em "profundidade" e se refere ao uso, no trabalho, das competências aprendidas. Essa dimensão do efeito do treinamento também pode ser entendida como transferência de aprendizagem. O segundo efeito seria em "amplitude" e se refere às conseqüências do treinamento no desempenho geral e na motivação dos egressos de uma ação instrucional. Pilati e Abbad realizaram uma análise conceitual da cadeia de eventos desencadeados por ações educacionais no nível dos egressos, na busca de maior precisão conceitual. Os autores propuseram nomear o efeito "em profundidade" de transferência de aprendizagem, e o efeito "em amplitude" de impacto do treinamento no trabalho.

A taxonomia de Kirkpatrick (1974), estendida por Hamblin (1974), tem recebido críticas concernentes à sua concepção dos efeitos de treinamento. Essas críticas estão associadas à não verificação empírica de relações causais entre os múltiplos níveis , ou, então, à simplificação do processo de classificação dos efeitos provocados pelo treinamento. Como forma de aprimorar o sistema de classificação dos resultados de ações de TD&E, Birdi desenvolveu a TOTADO (Taxonomy of Training and Development Outcomes), uma taxonomia multinível para classificação dos efeitos de ações educacionais em ambientes organizacionais. O autor propõe a organização dos efeitos em quatro diferentes níveis: (a) individual, que compreende efeitos em afetos, cognições e comportamento em dimensões físicas e instrumentais dos egressos; (b) de equipe, que envolve efeitos afetivos, cognitivos, comportamentais e instrumentais nos membros da equipe de trabalho; (c) organizacional, que inclui efeitos financeiros, resultados dos produtos produzidos pela força de trabalho, processos e recursos organizacionais; e (d) social, que considera efeitos econômicos, educacionais, ambientais, de saúde pública e de lei e ordem na sociedade. O presente estudo apresenta a validação de medidas no nível individual, ou seja, relativo ao primeiro nível da TOTADO.

Para isso, é fundamental a definição de efeito de TD&E no comportamento dos egressos. Baldwin e Ford definem a transferência de treinamento como a extensão em que as competências são adquiridas de um programa de capacitação e aplicadas, generalizadas e mantidas, por certo tempo, no ambiente de trabalho. Essa noção de resultado do treinamento proposta pelos autores está diretamente associada à aplicação de competências no trabalho. Como forma de abordar os indicadores de efetividade do treinamento no trabalho, Pilati e Abbad reanalisaram conceitos relativos às conseqüências do treinamento no trabalho dos egressos. Para esses autores, a ação de capacitação provoca a aquisição de conhecimentos nos treinandos, permitindo, então, o processo de retenção de competências, a generalização para novas situações, a transferência de aprendizagem e, ao final da cadeia, o impacto do treinamento no trabalho. Os autores defendem que tais efeitos da ação de treinamento para o treinado não têm uma relação causal entre si, pois cada um deles pode possuir múltiplos fatores antecedentes. A Figura 1 apresenta um esquema gráfico, proposto pelos autores, que aponta limites e relações nessa cadeia de efeitos.

Para Pilati e Abbad (2005), a transferência de aprendizagem está relacionada à noção teórica de impacto em "profundidade", descrita por Hamblin (1974). Já o impacto do treinamento no trabalho seria o efeito em "amplitude" no comportamento do egresso em suas atividades funcionais. Isso corrobora a noção teórica de transferência proposta por outros pesquisadores . Entretanto, amplia a idéia de efetividade de treinamento, pois propõe a noção de impacto do treinamento no trabalho, que é relativa a um efeito mais amplo que o da transferência de aprendizagem.

O que se tem observado na literatura da área é a produção de medidas genéricas de avaliação do efeito do treinamento no trabalho, principalmente na categoria de impacto do treinamento no trabalho . Nesse contexto, é necessário o desenvolvimento de medidas específicas de avaliação de determinadas ações educacionais, como programas de mestrado e doutorado, que possam aferir efeitos no trabalho de tipos específicos de capacitação.

Como discutido por alguns autores , a mensuração de impacto em profundidade é feita de forma específica para cada tipo de treinamento, mas as medidas de impacto em amplitude, na grande maioria das vezes, são medidas genéricas, passíveis de ser aplicadas a qualquer tipo de capacitação. Alguns programas educacionais em contexto organizacional, muitas vezes, exigem mensuração específica de seus efeitos no trabalho. Dentro desse grupo de programas que exigem medidas específicas, estão os programas de mestrado e doutorado. Por sua natureza, esses programas desenvolvem competências complexas em seus egressos e, portanto, exigem medidas que avaliem essas especificidades. Medidas psicossociais de avaliação de impacto do treinamento no trabalho, que considerem as especificidades das ações educacionais, são úteis tanto para o processo de gestão organizacional como para a produção de conhecimento científico relevante e aplicado ao aprimoramento tecnológico da educação nas organizações de trabalho. Diante desses aspectos é que o presente trabalho tem por objetivo o desenvolvimento e a validação de medidas específicas para a mensuração do efeito de cursos de mestrado e doutorado nas atividades ocupacionais de egressos de tais programas. As medidas aqui desenvolvidas e validadas buscam aferir a transferência de aprendizagem para o trabalho, a retenção das competências desenvolvidas na capacitação e o efeito da capacitação no desempenho e na motivação do egresso.

Estudos que busquem aferir o efeito de programas de pós-graduação são raros na literatura brasileira e internacional. No Brasil, Quirino, Borges-Andrade e Pereira avaliaram o retorno do investimento feito pela Empresa Brasileira de Pesquisa Agropecurária (Embrapa) na formação de seu quadro de pesquisadores, durante os anos de 1970. Esses autores apontam que houve retorno de 30% do investimento feito pela organização, indicando a importância capital da formação pós-graduada para a consecução dos objetivos da Embrapa. Bahry, Brandão e Freitas desenvolveram um trabalho em que relacionaram o suporte à transferência do aprendido com o impacto percebido por egressos do programa de mestrado e doutorado do Banco do Brasil. Esses autores apontam que há maior percepção de suporte à aplicação do aprendido por parte dos funcionários que receberam apoio do Banco para o desenvolvimento da formação pósgraduada. Uma busca na literatura da área não indicou a presença de trabalhos que tenham apresentado a validação de medidas de efetividade no trabalho de programas de mestrado e doutorado em contexto organizacional. Pela raridade do tema, considera-se de relevância a apresentação de evidência empírica da validade desse tipo de medida, para fomentar a discussão e o avanço da pesquisa de avaliação de educação nas organizações de trabalho.

Cabe salientar que, no caso do desenvolvimento dessas medidas, o que se observa é a tentativa da estruturação de uma medida geral de transferência de aprendizagem, focada em competências genéricas que programas de mestrado e doutorado nas diversas áreas do conhecimento almejam desenvolver em seus alunos. Isso ocorre devido à impossibilidade de se descreverem listas de competências específicas de programas de mestrado e doutorado, tendo em vista que, geralmente, egressos de programas organizacionais dessa natureza realizam seus cursos em diferentes áreas do conhecimento.

No entanto, defende-se a idéia de que existe um conjunto sólido e geral de competências que são objeto de qualquer programa de pós-graduação stricto sensu. É exatamente nessa dimensão que o presente trabalho procura contribuir para a estruturação de uma medida de transferência de aprendizagem. Cabe ressaltar que um aspecto importante na aferição da transferência de aprendizagem, mensurada por meio de competências gerais, é a contextualização na importância do uso dessas competências na atividade diária de trabalho. Por esse motivo, é relevante aferir o grau de percepção de domínio para cada competência que os egressos consideram que possuem, o que constituiria, de acordo com a formulação teórica de Pilati e Abbad , uma medida de retenção - um dos efeitos esperados da ação educacional em curto e médio prazo. Essa avaliação de retenção pode ser contrastada com a percepção de uso das competências desenvolvidas, o que possibilita a avaliação de indicadores de discrepância entre a freqüência de uso e a retenção. Esse tipo de tecnologia de aferição é utilizada na área de treinamento, em avaliação de necessidades de treinamento , o que traz indicações úteis para a tomada de decisões em avaliação. Isso é ainda mais importante no contexto de avaliação de formação em nível de mestrado e doutorado, pois podem existir diferenças na percepção de domínio de algumas das competências identificadas como gerais, devido à diferença de áreas do conhecimento. Dessa forma, a medida de retenção funciona como um controle dos indicadores de impacto em profundidade.

Já a mensuração de impacto em amplitude é efetivada de forma bastante semelhante àquela empregada em programas de capacitação de curta duração. As diferenças centram-se, basicamente, nas características da demanda de desempenho que profissionais com esse nível de qualificação possuem, bem como o papel ocupacional estipulado para egressos desses programas. De uma forma geral, os indicadores apresentados em instrumentos já validados de impacto do treinamento no trabalho são adequados para a aferição desse efeito do treinamento.

Considera-se relevante o estudo do efeito do treinamento no nível individual porque esse fornece informações cruciais para a formulação de tecnologias de gestão do comportamento humano no trabalho, bem como o desenvolvimento de estratégias eficazes de capacitação. Existe indicação de que o efeito gerado por programas de mestrado e doutorado exerce influência não apenas no indivíduo, mas em diferentes níveis (i. e. grupal, organizacional) dos ambientes organizacionais. Sob essa perspectiva, considera-se que o presente trabalho é uma contribuição no sentido de possibilitar a mensuração do efeito de ações educacionais no nível individual, que é o primeiro passo para que pesquisadores e gestores organizacionais estabeleçam relações entre os múltiplos efeitos de ações complexas de capacitação nas organizações de trabalho.

 

2. Método

Nesta seção, relata-se o método de construção e validação dos instrumentos de transferência de aprendizagem e o impacto no trabalho do programa de pós-graduação stricto sensu de uma organização pública brasileira. Essa organização possui o seu programa implantado e regulamentado há mais de 13 anos, e esse programa já formou 389 funcionários em nível de mestrado e 39 em nível de doutorado.

2.1. Desenvolvimento do questionário de avaliação

Para a construção dos itens do questionário, foram realizadas, inicialmente, entrevistas com os funcionários da organização envolvidos com o programa de pós-graduação (egressos, membros do comitê de julgamento dos candidatos ao programa, chefias e atuais participantes do programa). O objetivo foi levantar o maior número possível de indicadores que representassem a efetividade do programa para os egressos. Para a composição da amostra de entrevistados foi utilizado como critério a seleção aleatória de 10% da população, ou redundância das respostas nas entrevistas. No total, foram entrevistados 35 funcionários, sendo 5 membros do comitê, 19 egressos de diferentes áreas de formação (economia, informática, administração, direito, entre outras), 6 chefes de departamentos da área meio e fim e 5 atuais participantes do programa. Para cada grupo de entrevistados, foi elaborado um roteiro de entrevista diferenciado, que continha entre 16 e 20 questões sobre o processo e os resultados do programa, tanto em nível individual quanto organizacional. Para a elaboração do questionário, as perguntas-chave se referiam a: 1) comportamentos apresentados pelos egressos que contribuíram para a organização; 2) comportamentos apresentados pelos egressos que não contribuíram para a organização; 3) competências esperadas de um egresso do programa de pós-graduação; 4) atividades de disseminação desenvolvidas pelos egressos; 5) tipo de produção científica dos egressos; 6) efeitos do programa para a organização; e 7) efeito dos egressos sobre as mudanças de processos de trabalho ou atividades dos departamentos, bem como sobre a inovação. Após a análise das entrevistas por categorização, foram redigidos 18 itens sobre competências gerais desenvolvidas por egressos do programa de pós-graduação, indicadores da variável transferência de aprendizagem e 8 itens sobre o efeito geral do programa sobre o desempenho ocupacional do egresso, variável de impacto em amplitude.

O questionário resultante foi composto por duas subescalas. Na primeira, de transferência de aprendizagem, cada um dos itens deveria ser avaliado duas vezes, por duas escalas de resposta do tipo Likert, de cinco pontos, uma para domínio (1=não domino nada, 2=domino pouco, 3=domino medianamente, 4=domino muito, 5=domino totalmente) e outra para freqüência de uso da competência no trabalho (1=nunca, 2=raramente, 3=algumas vezes, 4=freqüentemente, 5=sempre). Cabe ressaltar que a aferição de transferência de aprendizagem é dada pela reposta à escala de freqüência de uso do aprendido, que, por definição teórica, é o indicador mais freqüentemente utilizado para aferição da efetividade do treinamento no trabalho . A escala de domínio serve como estratégia comparativa e de tomada de decisões sobre a transferência de aprendizagem, pois permite avaliar a discrepância entre uso e domínio. A escala de domínio também serve como um indicador de retenção do aprendido, um dos efeitos esperados provocados por uma ação educacional.

A segunda subescala é de impacto, e os 8 itens eram respondidos por uma escala de cinco pontos de freqüência. O questionário com as duas seções foi validado semanticamente com um grupo de 5 egressos do programa, e pequenas alterações de redação foram realizadas. Também houve discussão do instrumento com a equipe de gestores do programa de capacitação e com as chefias responsáveis, para que se verificasse se os itens cobriam todas as competências esperadas dos egressos.

2.2. Amostra

Para a validação psicométrica das escalas, o questionário foi respondido por uma amostra de 121 egressos do programa, que haviam concluído há pelo menos 6 meses, constituída de 98 mestres, 20 doutores e três que não identificaram sua titulação. Esse número corresponde a 48% dos egressos que foram convidados a participar do survey. É importante ressaltar que todos os egressos do programa foram convidados a participar da pesquisa. Essa alta taxa de resposta, se comparada à média geral de 30% nas pesquisas de avaliação de treinamento , foi possível em função do apoio da organização e da ampla divulgação da pesquisa nos mecanismos de comunicação interna. A média de tempo de serviço foi de 11,33 anos (d.p. = 7,20), e a média do tempo de conclusão da pós-graduação foi de 3,71 anos (d.p. = 4,11).

2.3. Procedimentos de coleta de dados

Os questionários foram aplicados on-line, no ambiente virtual da intranet da organização. Antes do envio dos questionários, foi veiculado, nos mecanismos de comunicação interna da organização, um informativo sobre o levantamento de dados que estava sendo realizado, ressaltando a importância da participação de todos os egressos no processo. Um correio eletrônico foi encaminhado para cada um dos funcionários egressos do programa. Essa mensagem continha instruções gerais sobre a pesquisa e era acompanhada de um link que disponibilizava o acesso ao questionário. O questionário, por sua vez, possuía todas as informações necessárias para que os participantes da pesquisa pudessem respondê-los. Os participantes eram instruídos a procurarem os autores do presente trabalho, via correio eletrônico, caso tivessem dúvidas sobre a pesquisa ou sobre o processo de resposta aos questionários.

2.4. Procedimentos de análise de dados

Inicialmente, uma análise exploratória de dados possibilitou sua adequação ao modelo linear geral . A validação dos questionários foi realizada a partir de uma análise fatorial exploratória, para identificação da estrutura empírica das escalas.

O primeiro passo foi uma análise de componentes principais. Os indicadores dessa análise foram satisfatórios (KMOs superiores a 0,80, teste de esfericidade de Bartlet significativo e correlações das matrizes anti-imagem reduzidas), e uma análise paralela , conjunta com a análise do gráfico de sedimentação e com a análise teórica da solução fatorial, indicou o número de fatores a serem extraídos em cada escala. Como último procedimento, realizou-se uma análise fatorial, com a utilização do método de fatoração dos eixos principais. O critério para a manutenção do item no fator foi apresentar saturação de carga fatorial superior a 0,35. Também foram rodadas análises de confiabilidade, estimada pelo coeficiente alpha de Cronbach.

 

3. Resultados

Esta seção apresenta os resultados da validação da Escala de Efetividade no Trabalho de Cursos de Mestrado e Doutorado. Inicialmente, são apresentados os dados referentes às pré-análises que visavam a verificar a fatorabilidade da matriz e os indicadores de extração de fatores para a análise fatorial; em seguida, os resultados da análise fatorial exploratória e das análises de confiabilidade para a Escala de Transferência de Aprendizagem, tanto a de domínio quanto a de freqüência de uso. Na seqüência, serão apresentados os mesmos resultados para a Escala de Impacto.

Em relação à Escala de Transferência de Aprendizagem, o KMO, para a escala de domínio, foi de 0,92 e, para a escala de freqüência de uso, foi de 0,92. O teste de esfericidade de Bartlett foi significativo, e a matriz anti-imagem, em ambas as escalas, apresentou correlações baixas, o que aponta para a fatorabilidade das matrizes.

A partir da análise dos componentes principais, do gráfico de sedimentação e da análise paralela, houve indicação da presença de um fator para ambas as escalas. Realizou-se, então, a análise fatorial por meio do método de fatoração dos eixos principais, com extração de um fator em cada uma das escalas. Os resultados indicaram que, na escala de domínio, o fator explicou 59,42% da variância, enquanto que, na escala de freqüência de uso, a solução unifatorial explicou 56,62%. As cargas fatoriais foram superiores a 0,40 para todos os itens das escalas, e podem ser visualizadas na Tabela 1. As comunalidades (h²) também foram superiores a 0,40 para todos os itens das escalas, exceto os itens "Coordenar equipes de trabalho" e "Proporcionar a interação entre a organização e a comunidade", na escala de freqüência de uso, que obtiveram índices inferiores a 0,40. A análise de confiabilidade por meio do alpha de Cronbach indicou alpha de 0,96 para a escala de domínio e 0,95 para a escala de freqüência de uso.

Para a Escala de Impacto em Amplitude, o KMO foi de 0,77, o teste de esfericidade de Bartlett foi significativo, e a matriz anti-imagem indicou correlações baixas. A partir da análise dos componentes principais do gráfico de sedimentação e da análise paralela, houve indicação da presença de um fator. Dessa forma, foi realizada a análise fatorial por meio do método de fatoração dos eixos principais, forçando em 1 fator, o que explicou 38,46% da variância.

As cargas fatoriais bem como a comunalidade dos itens foram superiores a 0,40. A comunalidade foi superior a 0,30 para todos os itens, exceto "A qualidade do meu trabalho melhorou mesmo naquelas atividades que pareciam não estar relacionadas à minha pós-graduação" e "Após minha pós-graduação, tenho mantido bom relacionamento interpessoal com colegas de trabalho". O alpha de Cronbach para a escala foi de 0,81.

 

4. Discussão

O objetivo deste trabalho foi o de desenvolver e validar duas escalas de avaliação do impacto no trabalho de cursos de mestrado e doutorado. Essa avaliação é relativa ao contexto de uma ação educacional organizacional e, portanto, está situada teórica e conceitualmente no ambiente de trabalho posterior à ação educacional. O objetivo do trabalho foi alcançado.

O desenvolvimento de medidas para aferição dos resultados, no trabalho, de ações educacionais organizacionais é atividade relevante para a produção de tecnologias em avaliação de treinamento nas organizações . Não foi observado, na literatura da área de avaliação de TD&E, nenhum trabalho precedente que apresentasse medidas psicossociais para avaliação do impacto de ações educacionais de mestrado e doutorado. Por esse motivo, considera-se relevante o presente trabalho, que apresentou evidências de validade de construto e bons indicadores de precisão de tais medidas.

A escala de transferência de aprendizagem está alicerçada nos pressupostos teóricos de avaliação da eficiência de um treinamento por meio da aferição do grau de uso no trabalho das competências resultantes da ação educacional. Segundo Pilati e Abbad , a mensuração de transferência de aprendizagem pode ser feita por meio da auto-avaliação dos egressos do uso, no trabalho, das competências desenvolvidas em ações educacionais. Como pode ser observado no presente artigo, as competências listadas na escala de transferência de aprendizagem são relativas àquelas desenvolvidas em situação de capacitação em nível de mestrado e doutorado. Como não era factível a descrição de competências específicas para cada área do conhecimento e considerando-se que o núcleo central de competências, na formação em mestrado e doutorado em qualquer área do conhecimento, diz respeito ao uso, desenvolvimento e aplicação do método científico, foi desenvolvida uma lista de competências aplicáveis às diversas áreas de formação dos egressos do programa organizacional. Essa característica permitiu o desenvolvimento de uma escala de avaliação geral, passível de aferição da transferência de aprendizagem em diferentes áreas substantivas de formação. Os resultados indicam que há um excelente grau de validade de construto, o que corrobora a idéia de que a formação em nível de pós-graduação possui um conjunto de competências centrais almejadas como foco da formação de mestres e doutores.

Outro elemento de relevância teórica e metodológica do presente trabalho diz respeito à aferição do grau de domínio e utilidade das competências, tal como é percebido pelos egressos, o que é característica comum de instrumentos de medida em outras áreas de estudos sobre educação nas organizações, como é o caso de métodos de avaliação de necessidades de treinamento . Os resultados da presente validação indicam que as duas facetas perceptuais são validamente mensuradas pelas subescalas. Esse tipo de recurso permite a avaliação da discrepância entre o ideal e o percebido, o que possibilita o uso diagnóstico e avaliativo apropriado. O índice de correlação entre os dois escores é 0,38 com alto nível de significância (p < 0,001), que indica um baixo compartilhamento de variância. Isso pode ser explicado pelo fato de que os egressos percebem maior retenção das competências do que relatam, com a freqüência de uso no ambiente laboral, em decorrência da demanda, não muito elevada, de uso das competências no trabalho, o que deve estar relacionado às condições situacionais do ambiente organizacional como determinantes do uso das competências.

Como denotado nas reflexões teóricas sobre a construção de medidas de impacto do treinamento no trabalho , o impacto em amplitude afere o efeito do treinamento no desempenho geral do egresso da capacitação. A escala apresentada no presente artigo é constituída de indicadores dessa natureza e obteve ótimo índice de validade de construto, corroborando esta premissa teórica. É interessante ressaltar que a característica do trabalho de um pós-graduado neste programa de capacitação é de produção de inovações. A maioria dos indicadores da escala aqui apresentada também foram utilizados em outros instrumentos para aferição de impacto em amplitude na área . Seus indicadores de validade e fidedignidade apontam sua adequação para o uso da aferição do impacto de ações educacionais mais complexas, como é o caso de cursos de mestrado e doutorado.

Cabe ressaltar que é necessário que essas escalas sejam aplicadas em contextos organizacionais diferenciados, visando à aferição de transferência de aprendizagem e de impacto no trabalho de programas de mestrado e doutorado de outras organizações. Isso permitiria generalização dos achados deste trabalho, tendo em vista que ele foi desenvolvido em apenas uma realidade organizacional, com suas devidas peculiaridades de formação em nível de pós-graduação, bem como com demandas específicas para os egressos do programa educacional. Além disso, cabe ressaltar que a amostra utilizada não foi aleatória, já que foi composta por aquelas pessoas que quiseram participar do estudo, podendo ser composta por pessoas mais interessadas no assunto. Dessa forma, recomenda-se o teste de validade de construto das escalas em outras organizações, o que permitirá, assim, o aprimoramento e o desenvolvimento das escalas de medida aqui apresentadas.

De uma forma geral, os resultados do presente trabalho permitem dois tipos de contribuição. O primeiro é relativo à produção tecnológica, pelo valor heurístico em processos de tomada de decisão, em pesquisas de avaliação que escalas dessa natureza possibilitam. O segundo é de natureza teórico-metodológica, pois ainda não haviam sido observadas, na literatura especializada da área, escalas de avaliação de transferência de aprendizagem e impacto em amplitude, que aferissem o nível de efetividade no trabalho dos egressos de programas de pós-graduação stricto sensu em contexto organizacional. Dessa forma, espera-se que o presente trabalho tenha oferecido soluções práticas para a avaliação da efetividade no trabalho de programas de capacitação dessa natureza, permitindo também a pesquisa de avaliação com essa clientela específica.

 

Referências

ABBAD, G. d. S. (1999 ). Um modelo integrado de avaliação de impacto de treinamento no trabalho. Doutorado, Universidade de Brasília, Brasília.         [ Links ]

ABBAD, G. d. S., Pilati, R. & Pantoja, M. J. (2003). Avaliação de treinamento: análise da literatura e agenda de pesquisa. Revista de Adminstração da USP, 38 (3), 205-218.         [ Links ]

ALLIGER, G. M. & Janak, E. A. (1989). Kirkpatrik's levels of training criteria: Thirty years later. Personnel Psychology, 42, 331-342.         [ Links ]

BAHRY, C. P., Brandão, H. P. & Freitas, I. (2006). Efeitos da Percepção de Suporte à Transferência sobre a Aplicação de Competências no Trabalho: o Caso dos Mestres e Doutores do Banco do Brasil. Em ANPAD (Org.), XXX Encontro Nacional da Associação Nacional de Pesquisa e Pós-Graduação em Administração Salvador: ANPAD.         [ Links ]

BALDWIN, T. T. & Ford, J. K. (1988). Transfer of training: a review and directions for future research. Personnel Psychology, 41 (1), 63-105.         [ Links ]

BIRDI, K. (2000). Bigger and smaller pictures: Identifying the factors influencing training effectiveness. Doctoral Thesis, University of Sheffield, Sheffield.         [ Links ]

BORGES-ANDRADE, J. E. (2006). Modelo de avaliação integrado e somativo - MAIS. Em J. E. Borges-Andrade, G. d. S. Abbad & L. Mourão (Orgs.), Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: Fundamentos para a Gestão de Pessoas. Porto Alegre: Artmed.         [ Links ]

BORGES-ANDRADE, J. E., Abbad, G. d. S. & Mourão, L. (2006). Treinamento, desenvolvimento e educação em organizações e trabalho: Fundamentos para gestão de pessoas (1 ed. Vol. 1). Porto Alegre: Artmed.         [ Links ]

BORGES-ANDRADE, J. E. & Lima, S. M. V. (1983). Avaliação de necessidades de treinamento: um método de análise do papel ocupacional. Tecnologia Educacional, 7(54), 6-22.         [ Links ]

FREITAS, I., Borges-Andrade, J. E., Abbad, G. d. S. & Pilati, R. (2006). Medidas de impacto de TD&E no trabalho e nas organizações. Em J. E. Borges-Andrade, G. d. S. Abbad & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas (Vol. 1, pp. 15). Porto Alegre: Artmed.         [ Links ]

GOLDSTEIN, I. L. (1993). Training in organizations. Los Angeles: Pacific Grove.         [ Links ]

HAIR, J. F., Anderson, R. E., Tatham, R. L. & Black, W. C. (2005). Análise Multivariada de Dados (A. S. Sant'Anna, Trans. 5 ed.). Porto Alegre: Bookman.         [ Links ]

HAMBLIN, A. C. (1974). Evaluation and Control of Training. London: McGraw-Hill.         [ Links ]

HORN, J. L. (1965). A rationale and test for the number of factors in factor analysis. Psychometrika, 30, 179-185.         [ Links ]

KIRKPATRICK, D. L. (1976). Evaluation of training. Em R. L. Craig (Org.), Training and development handbook (2ª ed.). New York: McGraw-Hill.         [ Links ]

PILATI, R. & Abbad, G. d. S. (2005). Análise fatorial confirmatória da escala de impacto do treinamento no trabalho [Electronic Version]. Psicologia: Teoria. e Pesquisa, 21, 43-51. Retrieved 06/04/2006 from http://www.scielo.br/scielo.php?script =sci_arttext&pid=S0102-37722005000100007&lng=pt&nrm=iso.         [ Links ]

PILATI, R. & Borges-Andrade, J. E. (2004). Estudo empírico dos antecedentes de medidas de impacto do treinamento no trabalho. Psicologia: Teoria. e Pesquisa, 20(1), 31-38.         [ Links ]

PILATI, R. & Borges-Andrade, J. E. (2006). Construção de medidas e delineamentos em avaliação de TD&E. Em J. E. Borges-Andrade, G. d. S. Abbad & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizações e trabalho (Vol. 1, pp. 20). Porto Alegre: Artmed.         [ Links ]

QUIRINO, T., Borges-Andrade, J. E. & Pereira, W. (1980). Recursos Humanos, Conhecimento e Tecnologia: Avaliação do Programa de Pós-Graduação da EMBRAPA no Brasil e sugestões de melhoria (pp. 74): Embrapa.         [ Links ]

RODRIGUES, A. G. (2000). A Natureza da participação e suas implicações no impacto do treinamento no trabalho. Dissertação de Mestrado, Universidade de Brasília, Brasília.         [ Links ]

ROUILLER, J. Z. & Goldstein, I. L. (1993). The relationship between organizational transfer climate and positive transfer of training. Human Resource Development Quarterly, 4(4), 377-390.         [ Links ]

SALAS, E. & Cannon-Bowers, J. A. (2001). The science of training. Annual Review of Psychology, 52(471-499).         [ Links ]

TABACHNICK, B. & Fidell, L. S. (2001). Using multivariate statistics (4ª ed.). San Francisco: Allyn & Bacon.         [ Links ]

ZERBINI, T. & Abbad, G. d. S. (2005). Impacto do treinamento no trabalho via internet. RAE Eletrônica, 4(3), 0-0.         [ Links ]

ZWICK, W. R. & Velicer, W. F. (1986). Comparison of five rules for determining the number of components to retain. Psychological Bulletin, 3, 432-442.         [ Links ]

 

 

1 Este trabalho recebeu apoio do fundo de pesquisa do Instituto de Ciências do Trabalho - ICTr