ARTIGOS

 

Construção e validação de uma escala de transferência de treinamento

 

Construction and validatio of a training transfer scale

 

Construcción y validación de una escala de transferencia de entrenamiento

 

 

Thaís Zerbini^*,I; Gardênia Abbad^**,II

^I Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto, Universidade de São Paulo
^II Universidade de Brasília

Endereço para correspondência

 

 

---

RESUMO

O artigo objetiva descrever o processo de construção e validação de um instrumento de transferência de treinamento. A coleta de dados foi realizada ao final do curso-alvo por meio de questionário digitalizado. Os itens do instrumento estão associados a uma escala que mede a frequência com que os participantes utilizaram os comportamentos descritos nos objetivos instrucionais após o término do curso em seu ambiente de trabalho. Foram realizadas análises de componentes principais, fatoriais e de consistência interna. A estrutura unifatorial obtida apresentou 24 itens (α=0,96). A estrutura bidimensional obtida é composta pelos fatores planejamento estratégico do negócio (17 itens, α=0,94) e planejamento financeiro do negócio (7 itens, α=0,95). Os resultados indicam que a escala é estatisticamente válida e confiável.

Palavras-chave: Avaliação de curso, Capacitação em serviço, Treinamento, Ambiente de trabalho.

---

ABSTRACT

The goal of the article is to describe the process of construction and validation of a training transfer instrument. The data was collected at the end of the course by a digitalized questionnaire. The items of the questionnaire were associated to a scale that measures the frequency that the participants utilized to describe behaviors in the instructional objectives after finishing the course in their place of work. Analyses of principal components, factors and internal consistency have been made. The unifactorial structure obtained had 24 questions (α=0,96). The bifactorial structure obtained was composed by factors such as strategic business planning (17 questions, α=0,94) and finance business planning (7 questions, α=0,95). The results indicate that the scale is statistically valid and reliable.

Keywords: Course evaluation, Inservice training, Training, Working environment.

---

RESUMEN

El artículo objetiva describir el proceso de construcción y validación de un instrumento de transferencia de entrenamiento. La colecta de datos fue realizada al final del curso objetivo por medio de cuestionario digitalizado. Los ítems del instrumento están asociados a una escala que mide la frecuencia con que los participantes utilizaron los comportamientos descritos en los objetivos de instrucciones tras el término del curso en su ambiente de trabajo. Fueron realizados análisis de componentes principales, factoriales y de consistencia interna. La estructura unifactorial obtenida presentó 24 ítems (α=0,96). La estructura bidimensional obtenida es compuesta por los factores planificación estratégica del negocio (17 ítems, α=0,94) y planificación financiera del negocio (7 ítems, α=0,95). Los resultados indican que la escala es estadísticamente válida y confiable.

Palavras clave: Evaluación de curso, Capacitación en servicio, Entrenamiento, Ambiente de trabajo.

---

 

 

As organizações investem cada vez mais recursos em ações formais de treinamento, desenvolvimento e educação (TD&E) com a intenção de que os participantes aprendam e transfiram novos conhecimentos, habilidades e atitudes (CHAs) para o ambiente de trabalho. Os programas de TD&E em organizações e em cursos de qualificação profissional e formação em ambientes de trabalho diversos visam, portanto, a produzir resultados expressos sob a forma de novas competências, as quais, se aplicadas eficazmente, podem vir a provocar impactos em seus processos e resultados de trabalho. Avaliações de reações dos participantes aos cursos e avaliações de aprendizagem não são suficientes para aferir efeitos de longa duração no desempenho dos indivíduos, tampouco indicam o quanto esses efeitos são duradouros ou fugazes (Abbad, Gama, & Borges-Andrade, 2000).

A importância da avaliação dos efeitos das ações de TD&E transcende o contexto corporativo. Instituições e organizações que ofertam programas de qualificação profissional e formação também precisam avaliar os resultados de suas ações. No Brasil, esses programas vêm adquirindo importância cada vez maior no processo de desenvolvimento de uma economia e sociedade sustentáveis (Zerbini & Abbad, 2007).

A construção de medidas de avaliação do efeito de ações de TD&E é feita com base em objetivos educacionais. Há dois tipos de medida de avaliação nesse nível: em profundidade e em largura (ou amplitude). As primeiras são específicas e avaliam os efeitos diretos de uma ação específica de TD&E sobre o desempenho posterior do egresso, e as últimas, os efeitos indiretos e mais gerais do treinamento sobre o seu desempenho global. Este artigo pretende contribuir com a área de avaliação de sistemas instrucionais ofertados a distância ao descrever o processo de construção e validação estatística de uma escala de transferência de treinamento (ou de impacto do treinamento em profundidade) de um curso de qualificação profissional ofertado a distância. Apesar da variável de interesse do presente artigo consistir na transferência de treinamento, são, a seguir, apresentadas discussões sobre conceitos, definições e pesquisas de impacto do treinamento no trabalho visando a enriquecer as discussões sobre os aspectos metodológicos e sobre os resultados dos estudos que utilizam as duas medidas para avaliar os efeitos de eventos instrucionais no nível do indivíduo. Na seção subsequente, são apresentados o método, os resultados e as discussões do estudo.

 

Transferência de treinamento: conceitos, definições e características de pesquisa

Um dos principais objetivos das pesquisas em TD&E consiste em identificar as condições necessárias para o indivíduo adquirir determinados conhecimentos, habilidades e atitudes (CHAs) exigidos pelo trabalho (Abbad, Nogueira, & Walter, 2006). As organizações atuais, preocupadas com a manutenção da competitividade no mercado, mostram-se interessadas em entender como ocorrem os processos de aprendizagem e, principalmente, os processos de transferência dessa aprendizagem para os diferentes níveis da organização.

Outra questão relacionada às pesquisas de TD&E consiste na diferença existente entre a aprendizagem natural ou espontânea e a aprendizagem induzida. A aprendizagem natural não necessita de procedimentos sistemáticos para ocorrer; ao contrário, esse processo pode se dar por meio de observação, de conversas informais e/ou formais em reuniões e encontros e de consulta a fontes de informação diversas, entre outros (Abbad & Borges-Andrade, 2004). Já a aprendizagem induzida ocorre mediante planejamento sistemático de procedimentos e estratégias instrucionais visando ao alcance de determinados CHAs, também previamente delineados. Essas situações de aprendizagem são conhecidas como as ações formais de TD&E.

O termo aprendizagem possui grande variedade de definições, dependendo da teoria adotada pelo autor (Pantoja & Borges- Andrade, 2002). De forma geral, os estudiosos da área caracterizam aprendizagem como um processo de mudanças que ocorre no indivíduo e que não é resultante da maturação ou de outro conceito que está associado à idade ou a fases da vida. O indivíduo demonstra que aprendeu algo novo ao executar, após um evento instrucional, os comportamentos descritos nos objetivos instrucionais inicialmente propostos (Gagné, 1985). De modo similar a essa definição, Pantoja e Borges-Andrade definem aprendizagem como o processo pelo qual o indivíduo, em interação com o ambiente, adquire e retém um novo conhecimento, habilidade e/ou atitude que, posteriormente, pode ser observada em uma mudança de comportamento.

Pilati e Abbad (2005) discutem os componentes do conceito aprendizagem (aquisição, retenção, generalização) relacionados aos conceitos de transferência de aprendizagem e impacto do treinamento no trabalho. A relação entre os conceitos foi utilizada pelos autores para descrever o processo de mudança comportamental como resultado de ações instrucionais. A transferência de aprendizagem pode ser definida como a aplicação efetiva no trabalho dos CHAs adquiridos em ação instrucional. Abbad e Borges-Andrade (2004) definem transferência de aprendizagem como as mudanças no indivíduo verificadas em atividades e situações diferentes daquelas em que ocorreu a aquisição, podendo variar em sentido (lateral e vertical) e direção (positiva e negativa). A transferência lateral refere-se a um tipo de generalização que inclui desempenhos não diretamente aprendidos, mas que são semelhantes aos aprendidos, ou seja, que apresentam o mesmo grau de complexidade. A transferência vertical envolve aprendizagem de capacidades mais complexas a partir de capacidades mais simples. A transferência é positiva quando os CHAs adquiridos facilitam o desempenho do indivíduo no ambiente de transferência, e negativa quando o prejudicam (Abbad, 1999).

O conceito de transferência de aprendizagem descrito anteriormente foi denominado por Hamblin (1978) de impacto do treinamento em profundidade para distinguir os efeitos diretos e específicos de um evento instrucional de outros, mais gerais e não extraídos diretamente dos objetivos de ensino, por ele denominados impacto em amplitude. A transferência de aprendizagem é o indicador mais utilizado em pesquisas de TD&E para verificar a aplicação de CHAs no trabalho (Pilati & Abbad, 2005). Entretanto, esses autores alertam que, caso o objetivo do profissional de treinamento seja medir os efeitos da ação instrucional no desempenho global, nas atitudes e na motivação do indivíduo, a medida de transferência de aprendizagem (ou de impacto do treinamento em profundidade) não é suficiente. O indivíduo que aplica os CHAs no trabalho não apresentará, necessariamente, mudanças globais em seu comportamento. Como citado anteriormente, esse fenômeno é nomeado por Hamblin (1978) de impacto em amplitude.

Outra expressão muito usada em Psicologia organizacional é a medida de interesse do presente artigo, transferência de treinamento.

Segundo análise conceitual realizada por Abbad (1999), os termos transferência de treinamento, transferência de aprendizagem e impacto no cargo são vistos como sinônimos. A autora ressalta ainda que transferência de treinamento e transferência de aprendizagem são expressões utilizadas em pesquisas que avaliam os resultados de ações de treinamento sobre o desempenho dos participantes em atividades similares às adquiridas ao longo do curso.

O termo transferência de treinamento consiste na aplicação eficaz, no contexto de trabalho, dos conhecimentos, habilidades e atitudes (CHAs) adquiridos ao longo da ação instrucional (Baldwin & Ford, 1988; Ford & Kraiger, 1995). Entretanto, Abbad (1999) ressalta que nem todas as situações que geram aprendizagem em organizações constituem ações formais de TD&E. O processo de aprendizagem natural, como discutido no início desta seção, não necessita de procedimentos sistemáticos para ocorrer, e, diante disso, a Psicologia organizacional também busca investigar outras formas de transmissão de conhecimento e aprendizagem. As expressões usadas com mais frequência para avaliar os efeitos de atividades informais que promovem a transmissão de conhecimentos e tecnologias de trabalho são transferência de aprendizagem ou transferência de conhecimentos. Para a autora, nesses casos, o uso do conceito de transferência não contempla o efeito de eventos instrucionais planejados e formais sobre o desempenho subsequente do indivíduo no trabalho.

A expressão transferência de aprendizagem, segundo a autora supracitada, tem origem na Psicologia experimental, área na qual o termo adquire um uso mais genérico. Por outro lado, na área de avaliação de treinamento, contexto do presente estudo, o termo transferência de treinamento assume um uso mais específico, que se refere à aplicação eficaz, no ambiente de trabalho, dos CHAs adquiridos em situações de treinamento. No presente artigo, portanto, será adotado o conceito de transferência de treinamento.

O conceito adotado neste estudo pode ser visto como sinônimo do conceito de impacto do treinamento em profundidade descrito por Hamblin (1978). No entanto, o termo mais adequado continua sendo transferência de treinamento, pois Hamblin restringe a utilização do termo impacto do treinamento em profundidade ao terceiro nível de avaliação proposto por ele, comportamento no cargo. O curso avaliado no presente estudo consiste em um evento de qualificação profissional aberto a todos os indivíduos que tenham interesse em adquirir conhecimentos e habilidades para a abertura de um negócio, mas os participantes não mantêm vínculos empregatícios com a organização que oferta o curso, portanto, não é possível observar os efeitos da ação instrucional no comportamento subsequente do indivíduo em seu cargo dentro da organização.

Grande parte das pesquisas brasileiras adota instrumentos de avaliação de impacto em amplitude em função da dificuldade e dos custos associados à construção e à validação de escalas de impacto em profundidade. Segundo Zerbini e Abbad (2007), a partir de uma análise das principais pesquisas que envolvem as variáveis discutidas neste artigo, há muitos autores que utilizaram medidas de impacto em amplitude (Abbad, 1999; Alvim, 2008; Borges-Andrade, Morandini, & Machado, 1999; Borges-Andrade, Azevedo, Pereira, Rocha, & Puente, 1999; Carvalho & Abbad, 2006; Lacerda & Abbad, 2003; Martins, Pinto Jr., & Borges-Andrade, 1999; Meneses & Abbad, 2003; Mourão, 2004; Pantoja, 1999; Pilati, Borges-Andrade, & Azevedo, 1999; Rodrigues, 2000; Sallorenzo, 2000; Tamayo & Abbad, 2006). Por outro lado, há um número menor de pesquisadores que estudaram impacto em profundidade ou transferência de treinamento como variávelcritério (Alvim, 2008; Borges-Andrade et al., 1999; Coelho Jr., 2004; Martins et al., 1999; Pilati, 2004; Pilati et al., 1999; Zerbini & Abbad, 2005, 2007).

Esse fato, provavelmente, ocorre por três razões principais: (a) a inexistência de planejamento instrucional com objetivos claros, precisos e bem sequenciados em grande parte das organizações de trabalho, o que dificulta a construção de medidas de impacto em profundidade e de transferência de treinamento; (b) a dificuldade em se estabelecer a transposição de objetivos de aprendizagem em objetivos de desempenho, e (c) a avaliação de programas de treinamento que contêm grande número de cursos, o que exigiria a criação de um número muito diversificado de instrumentos de coleta de dados.

Segundo Zerbini (2007), assim como apontado por Abbad, Pilati e Pantoja (2003), a amostra das pesquisas científicas nacionais sobre impacto de treinamento é predominantemente composta por funcionários de organizações formais de natureza pública e privada. A exceção fica por conta das pesquisas de Mourão (2004), que envolveu pais de alunos com deficiência mental e os próprios alunos, de Carvalho e Abbad (2006), de Zerbini e Abbad (2005, 2007), que avaliaram a opinião de alunos de um curso de qualificação profissional aberto a todos os indivíduos que desejavam adquirir competências necessárias para elaborar um plano de negócios, e de Alvim (2008), que avaliou a opinião de participantes de um curso não corporativo voltado para o desenvolvimento de competências empreendedoras. Quanto à modalidade das ações educacionais avaliadas, há uma clara predominância de cursos presenciais, embora os cursos a distância venham se consolidando em algumas organizações.

As fontes de informação das pesquisas também são pouco diversificadas. A maioria usa apenas uma fonte de informação (o aluno) para mensurar os efeitos das ações instrucionais. Merece destaque a pesquisa de Mourão, que utilizou múltiplas fontes de pesquisa, a saber: treinados, chefias dos treinados, pares dos treinados, familiares dos beneficiários finais (pais das pessoas com deficiência mental), beneficiários finais, coordenadores estaduais das APAES e avaliadores institucionais do programa.

Este artigo apresenta um processo de construção e validação de um instrumento especialmente desenvolvido para avaliar o impacto direto de treinamentos específicos sobre o desempenho posterior do egresso. Esse tipo de instrumento precisa ser construído de maneira customizada para cada curso, seja ele realizado em uma organização ou em um ambiente de aprendizagem aberta, como no caso dos cursos que visam à formação profissional. Os itens de avaliação de transferência de treinamento são dependentes dos objetivos educacionais específicos almejados por um curso ou programa de TD&E, por isso não podem ser aplicados para avaliar o efeito de outro curso cujos objetivos sejam distintos.

 

Método

Características da organização, do curso, da população e da amostra

A pesquisa compreendeu a avaliação do curso Iniciando um Pequeno Grande Negócio (IPGN), ofertado pelo SEBRAE nacional. O IPGN é gratuito, realizado totalmente a distância via Internet, com tutoria ativa e com duração prevista de 40 horas, e visa a ensinar a elaboração de um plano de negócios. A população do estudo consistiu no total de inscritos no IPGN no período de 3 de fevereiro a 12 de maio de 2006, que foi de 4.719 alunos. O SEBRAE forneceu os dados socio-demográficos e as informações sobre o número de acessos feitos pelos alunos ao ambiente eletrônico do curso. O questionário foi enviado a todos os 4.719 alunos após 25 a 30 dias do término do curso, porém, por alguns motivos técnicos, nem todos os participantes receberam a carta enviada por meio eletrônico que continha o link para acesso aos questionários. Dentre eles, estão falhas na identificação do e-mail fornecido aos pesquisadores, caixa de mensagens do participante cheia ou e-mail não reconhecido pelo provedor. O índice de retorno dos questionários, que constitui a amostra deste estudo, foi de 31,9% (1.506 questionários).

Os dados demográficos da amostra de validação do instrumento (n=1.506) possuem distribuição semelhante à da população de inscritos no IPGN. A maioria dos participantes na população e na amostra é do sexo masculino (52,9% e 50,3%, respectivamente), possui idade média de 32 anos, para a população, e de 33 anos, para a amostra (desvio-padrão de aproximadamente 10 anos), nível superior incompleto (33,3% e 32,7%, respectivamente) e reside majoritariamente na Região Sudeste (50,6% e 52,5%, respectivamente). Quanto ao número de concluintes (66% para a população e 91,6% para a amostra), a diferença é explicada pelo fato de que, em sua grande maioria, os evadidos não responderiam ao questionário.

Em relação ao uso de algumas ferramentas de ensino a distância (lista de discussão, acesso ao mural e ao ambiente do curso), houve menor taxa de uso da população relativa à amostra, o que é possivelmente explicada pela inclusão dos não concluintes na descrição dos participantes. Para testar essa hipótese, foram comparados apenas os concluintes da população (3.115 casos) e a amostra. Nesse momento, não se percebe grande diferença em nenhuma das características, o que indica que as divergências se devem à influência dos alunos inscritos que não concluíram o curso nos sessenta dias programados. A amostra, portanto, é semelhante à população de concluintes do IPGN.

É importante ressaltar que a privacidade das pessoas envolvidas no trabalho foi respeitada, já que não foi solicitada, em momento algum da coleta de dados, a identificação dos participantes. Além disso, a organização-alvo do estudo consentiu na publicação dos dados agrupados.

 

Instrumento de medida

Os itens do instrumento de transferência de treinamento foram construídos a partir da análise dos objetivos instrucionais do IPGN e descrevem os CHAs que os participantes devem apresentar após terminarem o curso. Tais objetivos instrucionais foram, posteriormente, transformados em objetivos de desempenho. A diferença entre objetivos instrucionais e objetivos de desempenho consiste, principalmente, em sua possível utilização no dia a dia de trabalho dos indivíduos. Isso significa que, muitas vezes, um objetivo instrucional se caracteriza como intermediário para que se desenvolva uma habilidade mais complexa durante o curso. Assim, nem todos os objetivos instrucionais devem ser transformados em objetivos de desempenho.

Na prática, os objetivos instrucionais devem ser selecionados com base em sua relevância para a concretização das atividades de ensino. Tais objetivos precisam ser aprimorados de forma a traduzir ações desejadas na efetivação das atividades dos colaboradores ou participantes das ações instrucionais. Essa adaptação é complexa e exige informações acerca do cotidiano de trabalho. Em função disso, torna-se necessário, no momento de validação, recorrer à equipe de planejadores instrucionais que elaborou o curso para a organização ou às pessoas envolvidas no ambiente de trabalho em que as competências adquiridas em treinamento serão aplicadas, tais como gestores ou supervisores de área. Nessa etapa, o instrumento apresentou 24 itens associados a uma escala do tipo Likert, de 11 pontos, em que 0 (zero) corresponde a nunca e 10 (dez) a sempre, que mede a frequência com que os participantes utilizaram os comportamentos descritos nos objetivos instrucionais do curso, após o término, em seu ambiente de trabalho.

Após essa primeira etapa, o questionário foi submetido à análise semântica para identificação e correção de possíveis falhas. Os itens do instrumento foram avaliados quanto à precisão, clareza e objetividade. Para viabilizar essa análise, foi realizada uma oficina de trabalho com duração de 4 horas, na qual os integrantes de um grupo de pesquisa de uma universidade federal, após a leitura de cada item, opinavam e criticavam, visando ao aprimoramento dos instrumentos. Após os ajustes sugeridos, procedeu-se à sua validação por juízes, cujo objetivo foi analisar a representatividade, a clareza e a precisão dos itens. A validação por juízes contou com a participação de duas funcionárias do SEBRAE, coordenadoras do IPGN, que puderam analisar se a transformação dos objetivos instrucionais em objetivos de desempenho havia sido adequada. As funcionárias sugeriram não modificar item algum do questionário. Após essa fase, o instrumento foi digitalizado e inserido em uma página da internet.

 

Procedimentos de coleta e análise de dados

As instruções de preenchimento do questionário foram enviadas por e-mail de 25 a 30 dias após o término do curso. O índice de retorno foi de 31,9%. As respostas dos participantes ao questionário foram automaticamente registradas em um arquivo de dados eletrônico no programa Excel e, em seguida, importados pelo SPSS For Windows, versão 13.0, para que pudessem ser analisadas.

Foram realizadas análises exploratórias para a identificação de casos omissos, de casos extremos univariados e multivariados, de multicolinearidade, singularidade e linearidade, de acordo com as orientações de Tabachnick e Fidell (2001). Não foram feitos testes de normalidade das distribuições de frequência, já que, segundo Pasquali (2004), a normalidade não é um problema grave na análise fatorial exploratória. Essa técnica é robusta à violação desse pressuposto, já que suporta desvios da normalidade.

Após a verificação dos casos omissos, uma vez que nenhuma variável apresentava mais do que 5% dos mesmos, optou-se pela utilização do método pairwise. Para a identificação dos casos extremos univariados, todas as variáveis foram transformadas em escores Z. Foram excluídas todas as respostas cujos escores padronizados eram iguais ou superiores a 3,29 (p<0,001, two-tailed). Os casos extremos multivariados foram identificados a partir da distância Mahalanobis (a=0,001) e, posteriormente, excluídos.

Em seguida, iniciou-se a análise fatorial exploratória dos dados coletados pelo instrumento. Para elaborar a matriz de covariância, algumas características desejáveis destacadas por Pasquali foram levadas em conta, tais como: (a) a utilização de correlações bivariadas paramétricas de Pearson; (b) a utilização de cerca de 10 casos para cada variável observável, e (c) a existência de correlações superiores a 0,90 para analisar a multicolinearidade e a singularidade.

Para realizar a análise da matriz de covariância em termos de fatorabilidade e do número de fatores, foram dados os seguintes passos: (a) análise do tamanho das correlações – foi considerada uma correlação importante quando o valor obtido estava acima de 0,30, positivo ou negativo; quando os valores de correlações acima de 0,30 ultrapassavam 50% dos casos, a matriz podia ser fatorizável; (b) análise do teste de adequação da amostra de Kaiser-Meyer-Olkin (KMO).

A análise realizada para obter a extração inicial dos fatores foi a dos componentes principais (principal components – PC). Na PC, foram utilizados três tipos de critérios para definir o número de componentes: (a) critérios convencionais – foram considerados apenas os valores próprios (eigenvalues) superiores a 1 (um), e foi analisada a distribuição visual dos valores próprios, o scree plot; (b) critérios estatísticos – foi realizada a análise paralela de Horn, que apresenta índice de precisão de 92% de indicação correta do número de fatores, sendo esse o melhor método para definição de número de fatores de uma matriz de respostas a questionários. Essa análise compara valores próprios empíricos, obtidos pela análise da PC, com valores próprios aleatórios, obtidos com o auxílio do software RanEign, em função da quantidade de variáveis e do tamanho da amostra; (c) critérios de relevância do fator – foram feitas análises de interpretabilidade, de importância e de consistência dos fatores após a rotação destes. A importância do fator é definida pela variância que consegue explicar após a rotação da matriz fatorial. O critério de Harman considera um fator irrelevante aquele que explica menos de 3% da variância total das variáveis. A validade do fator é expressa pelo tamanho das cargas fatoriais, ou seja, quanto maiores elas forem, mais a variável é representativa do fator. Entretanto, um fator pode ser válido, porém pode não ser consistente, por isso, também foram feitas análises de consistência dos fatores, por meio da análise de Alfa de Cronbach.

O passo seguinte foi obter e confirmar estruturas fatoriais por meio de análises fatoriais e utilizando o método de fatoração dos eixos principais (principal axis factoring – PAF). A vantagem de realizar a PC antes da PAF, com todos os seus critérios, é definir os números mínimos de fatores a serem inicialmente extraídos.

Foi utilizado o método de rotação oblíqua (direct oblimin), já que ele permite que apareçam fatores ortogonais quando estes existem, e, ao mesmo tempo, não força a dependência entre os fatores, ao passo que a rotação ortogonal só permite fatores independentes. Finalmente, após a extração dos fatores, para que os mesmos possam ser usados nas análises seguintes e em futuras pesquisas, verificaram-se a estabilidade e a interpretabilidade dos mesmos, além de terem sido produzidos escores fatoriais. Para analisar a estabilidade, verificou-se o quanto os itens eram bons representantes do fator, pelo tamanho da carga fatorial, que é a correlação entre o item e o conjunto dos outros itens do fator. Para analisar a interpretabilidade, identificou-se o traço latente que é considerado a causa do agrupamento das variáveis, por meio da análise da literatura da área.

 

Resultados

As respostas dos 1.506 participantes aos 24 itens do questionário apresentaram 117 casos extremos univariados e 147 casos extremos multivariados, os quais foram retirados do arquivo de dados, totalizando 1.242 casos. Foram encontrados, em todos os casos, valores de correlação superiores a 0,30 e um KMO de 0,97. A análise dos componentes principais, com tratamento pairwise para os casos omissos, sugere uma estrutura empírica com 4 componentes que explicam, em conjunto, 69,21% da variância total das respostas dos participantes aos itens do questionário. A análise do scree plot confirmou a existência de 4 componentes, com maior destaque para os 3 primeiros. Pela análise paralela de Horn, observaramse apenas dois fatores para essa escala. Diante disso, foram realizadas análises para a extração final dos fatores com 3, 2 e 1 fatores para comparação. Na PAF com 3 fatores, dois itens obtiveram cargas acima do critério de 0,30 em dois fatores, sendo baixas as cargas fatoriais no terceiro fator. Já a PAF com dois fatores não apresentou compartilhamento de variância entre os itens, e as cargas fatoriais apresentaram valores mais altos, portanto, optou-se pela estrutura com dois fatores, assim como indicado na análise paralela de Horn.

Dessa análise, foram extraídos 2 fatores que explicam: 52,07% (1o. fator) e 5,15% (2o. fator) da variância total das respostas aos itens do instrumento. A correlação entre os fatores 1 e 2 é de 0,77, o que indica a presença de um fator geral, de segunda ordem, que agrupa todos os itens do instrumento. Foi feita nova análise PAF, forçando-se a solução unifatorial. A estrutura empírica pareceu consistente: os 24 itens apresentaram cargas fatoriais superiores a 0,30, entre 0,58 a 0,80, explicação de 51,82% da variância total de respostas, e índice de consistência interna de 0,96. Sugere-se a utilização da estrutura unifatorial para pesquisas de relacionamento entre variáveis por ser mais parcimoniosa. A Tabela 1 apresenta a estrutura empírica da escala, as cargas fatoriais, as comunalidades dos itens (h2), as médias e desvios-padrão, os índices de consistência interna das escalas e os valores próprios e percentuais de variância explicada de cada fator.

 

 

O Fator 1, planejamento estratégico do negócio, é composto por 17 itens que coletam informações sobre autoavaliações da transferência de treinamento nas habilidades relacionadas à preocupação com os clientes, análise dos produtos/serviços oferecidos, objetivos, missão da empresa, preocupação com os colaboradores bem como à análise e à obtenção de informações sobre o mercado consumidor, concorrente e fornecedor. Esse fator apresentou um alto índice de consistência interna (α=0,94) e itens com cargas fatoriais que variam entre 0,41 e 0,82.

O Fator 2, planejamento financeiro do negócio, composto por 7 itens, coleta informações sobre autoavaliações da transferência de treinamento nos desempenhos referentes ao cálculo da lucratividade, da receita anual, dos custos fixos, do prazo de retorno de investimento e do ponto de equilíbrio. O fator apresentou um alto índice de consistência interna (a=0,95) e itens com cargas fatoriais entre -0,58 e -0,92.

A estrutura unidimensional apresentou um fator geral denominado transferência de treinamento. Composto por 24 itens, esse fator apresentou um alto índice de confiabilidade de 0,96 e cargas fatoriais que variavam entre 0,58 e 0,80. Não foi excluído item algum nas duas estruturas propostas.

 

Discussão e considerações finais

A opção por descrever um processo de construção e validação de uma escala de transferência de treinamento ocorreu em função de, nos dias atuais, ser fundamental o desenvolvimento de medidas que avaliem a efetividade de eventos de qualificação profissional, tais como o IPGN. Na introdução, foi possível constatar que o uso do conceito transferência de treinamento é mais adequado na presente pesquisa do que o termo impacto do treinamento no trabalho em profundidade, proposto por Hamblin (1978), já que não é possível observar os efeitos da ação instrucional no comportamento subsequente do indivíduo em seu cargo dentro de uma organização, pois trata-se de um curso aberto em que os alunos não pertencem à mesma empresa.

No presente artigo, foram obtidas uma estrutura empírica unifatorial e uma estrutura bidimensional, composta pelos fatores planejamento estratégico do negócio e planejamento financeiro do negócio, com itens que representavam os níveis de complexidade intermediários da taxonomia do domínio cognitivo de Bloom, Engelhart, Furst, Hill e Krathwohl (1972). Ambas as estruturas são confiáveis e válidas, podendo ser aplicadas nos dois formatos, conforme os objetivos e características da pesquisa. Entretanto, a estrutura unifatorial permite a utilização de modelos mais parcimoniosos de avaliação, já que há a possibilidade de agrupar as respostas a todos os itens em um só fator.

Como destacado nas pesquisas de Carvalho e Abbad (2006) e Zerbini e Abbad (2005), uma das contribuições do presente estudo foi a validação estatística de um instrumento de transferência de treinamento. Segundo Borges-Andrade (2002), a validação de um instrumento de transferência de treinamento é fato raro na área, por serem poucos os treinamentos oferecidos a um número suficiente de participantes que permitam análise exploratória da estrutura empírica do instrumento. Outras pesquisas apresentaram instrumentos de mensuração da transferência de treinamento, porém não foi possível a realização de validação estatística por insuficiência no tamanho da amostra (Alvim, 2008; Borges-Andrade et al., 1999; Martins et al., 1999; Pilati et al., 1999).

Entre as limitações do estudo, destaca-se o índice de retorno dos questionários aplicados (31,9%). Contudo, quando comparado com outros índices obtidos em pesquisas que utilizaram a mesma estratégia de coleta de dados, pode-se afirmar que é um bom resultado; mesmo assim, não foi alto a ponto de se qualificá-lo de excelente. Esse resultado pode ter sofrido influência de alguns aspectos, tais como: perda de dados ocasionada por quedas de conexão dos computadores dos participantes com a internet durante o preenchimento da escala, alta porcentagem de evadidos do curso, gratuidade do curso do SEBRAE, ausência de vínculo do participante com a instituição e intervalo entre o final do curso e a data de envio do questionário de transferência de treinamento. Outra verificação no processo de coleta de dados consiste no fato de os participantes de cursos a distância parecerem mais sensíveis ao tamanho dos questionários do que os de cursos presenciais, portanto, é importante ressaltar que, quanto mais reduzidos os instrumentos, mantendo-se a qualidade psicométrica, mais adequados são para se avaliar cursos a distância.

Outra limitação refere-se à impossibilidade de generalizar os resultados encontrados para outros contextos e participantes, já que se trata de um curso aberto, gratuito e não corporativo. Além disso, a pesquisa foi realizada apenas em uma organização. Por outro lado, a amostra é semelhante à população de inscritos no curso, o que possibilita, até certo ponto, a generalização dos resultados para a população do IPGN.

Diante de estudos como este, verifica-se a importância de se desenvolver uma cultura de avaliação dos efeitos de cursos a distância, visando ao aprimoramento do planejamento instrucional utilizado. Além disso, a melhoria da qualidade dos cursos a distância pode estimular planejadores instrucionais a elaborarem objetivos de aprendizagem mais complexos e a delinearem estratégias de ensino e avaliações de aprendizagem mais compatíveis com os mesmos. Poucas organizações oferecem cursos que desenvolvem habilidades complexas, dificultando o desenvolvimento de pesquisas e o consequente aprimoramento de metodologia de avaliação. Os cursos a distância ofertados pelo SEBRAE, por exemplo, não passam do nível intermediário. Os cursos caracterizados como avançados são ofertados na modalidade presencial.

Sabe-se que, para os indivíduos serem capazes de atender às novas exigências do mercado de trabalho, é preciso que garantam a aquisição de novas competências continuamente e ainda que sejam capazes de mobilizá-las em resposta a determinada demanda organizacional. Diante desse cenário, torna-se fundamental garantir a efetividade de ações educacionais, e é por esse motivo que os profissionais envolvidos nesse processo precisam estar bem capacitados para desenvolver e implementar medidas de avaliação que forneçam respostas rápidas e fidedignas às organizações. Espera-se que o exemplo de construção e de validação de uma medida de transferência de treinamento apresentado neste artigo contribua para a consolidação metodológica do subsistema avaliação, no contexto de organizações e trabalho, culminando com a validação de novas medidas de transferência e de impacto de treinamento em profundidade no trabalho.

Por fim, vale ressaltar que a escala validada no presente estudo mostrou-se psicometricamente confiável e válida. Em estudos futuros, entretanto, tal instrumento deverá ser aplicado em outras amostras e em diferentes contextos para a realização de análises fatoriais confirmatórias.

 

Referências

Abbad, G. (1999). Um modelo integrado de avaliação do impacto do treinamento no trabalho –IMPACT. Tese de Doutorado, Instituto de Psicologia, Universidade de Brasília, Brasília, DF.         [ Links ]

Abbad, G., & Borges-Andrade, J. E. (2004). Aprendizagem humana em organizações de trabalho. In J. C. Zanelli, J. E. Borges-Andrade & A. V. B. Bastos (Orgs.), Psicologia, organizações e trabalho no Brasil (pp. 237-275). Porto Alegre: Artmed.         [ Links ]

Abbad, G., Gama, A. L. G., & Borges-Andrade, J. E. (2000). Treinamento: análise do relacionamento da avaliação nos níveis de reação, aprendizagem e impacto do treinamento no trabalho. Revista de Administração Contemporânea –AC, 4(3), 25-45.         [ Links ]

Abbad, G., Nogueira, R., & Walter, A. M. (2006). Abordagens instrucionais em planejamento de TD&E. In J. E. Borges- Andrade, G. Abbad & L. Mourão (Orgs.), Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas (pp. 255-281). Porto Alegre: Artmed.         [ Links ]

Abbad, G., Pilati, R., & Pantoja, M. J. (2003). Avaliação de treinamento: análise da literatura e agenda de pesquisa. Revista de Administração da USP, 38(3), 205-218.         [ Links ]

Alvim, S. (2008). Impacto em profundidade e amplitude: avaliando um treinamento extra-organizacional com foco em empreendedorismo. Dissertação de Mestrado, Universidade Federal da Bahia, Salvador, BA.         [ Links ]

Baldwin, T. T., & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel Psychology, 41(1), 63-105.         [ Links ]

Bloom, B., Engelhart, M. D., Furst, E. J., Hill, W. H., & Krathwohl, D. R. (1972). Taxonomia dos objetivos educacionais – domínio cognitivo. Porto Alegre: Globo.         [ Links ]

Borges-Andrade, J. E. (2002). Desenvolvimento de medidas em avaliação de treinamento. Estudos de Psicologia, 7(número especial), 31-43.         [ Links ]

Borges-Andrade, J. E., Morandini, D. C., & Machado, M. S. (1999). Impacto de treinamento gerencial e efetividade de equipes em ambiente de inovação tecnológica. In Resumos de Comunicações Científicas, XXIX Reunião Anual de Psicologia (p. 53d). Ribeirão Preto, SP: Sociedade Brasileira de Psicologia.         [ Links ]

Borges-Andrade, J. E., Azevedo, L. P. S., Pereira, M. H. G. G., Rocha, K. C. P., & Puente, K. (1999). Impacto de treinamento no trabalho: o caso do Banco do Brasil. In Resumos de Comunicações Científicas, XXIX Reunião Anual de Psicologia (pp. 53c-53d). Ribeirão Preto, SP: Sociedade Brasileira de Psicologia.         [ Links ]

Carvalho, R. S., & Abbad, G. S. (2006). Avaliação de treinamento a distância: reação, suporte à transferência e impactos no trabalho. Revista de Administração Contemporânea, 10(1), 95-116.         [ Links ]

Coelho Jr., F. A. (2004). Avaliação de treinamento a distância: suporte à aprendizagem e impacto do treinamento no trabalho. Dissertação de Mestrado, Instituto de Psicologia, Universidade de Brasília, Brasília, DF.         [ Links ]

Ford, J. K., & Kraiger, K. (1995). The application of cognitive constructs and principles to the instructional systems design model of training: Implications for needs assessment, design, and transfer. International Review of Industrial and Organizational Psychology, 10, 1-48.         [ Links ]

Gagné, R. M. (1985). The conditions of learning and theory of instruction. New York: Holt, Rinchardt and Winston.         [ Links ]

Hamblin, A. C. (1978). Avaliação e controle do treinamento. São Paulo: McGraw-Hill do Brasil.         [ Links ]

Lacerda, E. R. M., & Abbad, G. (2003). Impacto do treinamento no trabalho: investigando variáveis motivacionais e organizacionais como suas preditoras. Revista de Administração Contemporânea, 7(4), 77-96.         [ Links ]

Martins, M. C., Pinto Jr., H., & Borges-Andrade, J. E. (1999). Impacto do treinamento numa empresa de transporte de passageiros. In Resumos de Comunicações Científicas, XXIX Reunião Anual de Psicologia (p. 53a). Ribeirão Preto, SP: Sociedade Brasileira de Psicologia.         [ Links ]

Meneses, P. P. M., & Abbad, G. (2003). Preditores individuais e situacionais de auto e heteroavaliação de impacto do treinamento no trabalho. Revista de Administração Contemporânea, 7(número especial).         [ Links ]

Mourão, L. (2004). Avaliação de programas públicos de treinamento: um estudo sobre o impacto no trabalho e na geração de emprego. Tese de Doutorado, Instituto de Psicologia, Universidade de Brasília, Brasília, DF.         [ Links ]

Pantoja, M. J. (1999). Avaliação de impacto de treinamento na área de reabilitação: preditores individuais e situacionais. Dissertação de Mestrado, Instituto de Psicologia, Universidade de Brasília, Brasília, DF.         [ Links ]

Pantoja, M. J., & Borges-Andrade, J. E. (2002). Uma abordagem multinível para o estudo da aprendizagem e transferência nas organizações. In Resumos de Comunicações Científicas, XXVI ENANPAD. Salvador, BA: Associação Nacional de Pós- Graduação e Pesquisa em Administração.         [ Links ]

Pasquali, L. (2004). Análise fatorial para pesquisadores. Petrópolis, RJ: Vozes.         [ Links ]

Pilati, R. (2004). Modelo de efetividade do treinamento no trabalho: aspectos dos treinandos e moderação do tipo de treinamento. Tese de Doutorado, Instituto de Psicologia, Universidade de Brasília, Brasília, DF.         [ Links ]

Pilati, R., & Abbad, G. (2005). Análise fatorial confirmatória da escala de impacto do treinamento no trabalho. Psicologia: Teoria e Pesquisa, 21(1), 43-51.         [ Links ]

Pilati, R., Borges-Andrade, J. E., & Azevedo, L. P. S. (1999). Impacto de treinamento em amplitude e profundidade: relações de suporte à transferência, gestão do desempenho e liberdade decisória. In Resumos de Comunicações Científicas, XXIX Reunião Anual de Psicologia, (p. 53a-53b). Ribeirão Preto, SP: Sociedade Brasileira de Psicologia.         [ Links ]

Rodrigues, A. G. (2000). A natureza da participação e suas implicações no impacto do treinamento no trabalho. Dissertação de Mestrado, Instituto de Psicologia, Universidade de Brasília, Brasília, DF.         [ Links ]

Sallorenzo, L. H. (2000). Avaliação de impacto de treinamento no trabalho: analisando e comparando modelos de predição.Dissertação de Mestrado, Instituto de Psicologia, Universidade de Brasília, Brasília, DF.         [ Links ]

Tabachnick, B. G., & Fidell, L. S. (2001). Using multivariate statistics. New York: Harper-Collins College Publishers.         [ Links ]

Tamayo, N., & Abbad, G. (2006). Autoconceito profissional e suporte à transferência e impacto do treinamento no trabalho. Revista de Administração Contemporânea, 10(3), 9-28.         [ Links ]

Zerbini, T. (2007). Avaliação da transferência de treinamento em curso a distância. Tese de Doutorado, Instituto de Psicologia, Universidade de Brasília, Brasília, DF.         [ Links ]

Zerbini, T., & Abbad, G. (2005). Impacto de treinamento no trabalho via internet. Revista de Administração de Empresas Eletrônica, 4(2). Recuperado em 20 de janeiro de 2006, da http://www.rae.com.br/redirect.cfm?ID=3575        [ Links ]

Zerbini, T., & Abbad, G. (2007). Variáveis preditoras da transferência de treinamento em curso a distância. Trabalho apresentado no 5th International Conference of the Iberoamerican Academy of Management IAM, Santo Domingo, República Dominicana.         [ Links ]

 

 

Endereço para correspondência
Thaís Zerbini
Departamento de Psicologia e Educação, Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto, Universidade de São Paulo.
Av. Bandeirantes, 3900
CEP 14040-901, Ribeirão Preto, SP, Brasil
E-mail: thais.zerbini@gmail.com

Rebido 15/6/2009
1ª Reformolaçãoo 3/4/2010
Aprovado 10/5/2010

 

 

^* Doutora. Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto. Universidade de São Paulo, São Paulo, SP – Brasil. E-mail: thais.zerbini@gmail.com
^** Doutora. Instituto de Psicologia. Universidade de Brasília, Brasília, DF – Brasil. E-mail: gardenia.abbad@gmail.com