Avaliação de necessidades de treinamento como preditora do impacto do treinamento no trabalho

 

Training needs assessment as a predictor of the impact of training at work

 

 

Luciana Mourão^I; Sônia Maria Guedes Gondim^II; Martha Elizabeth Carvalho de Macêdo^III; André de Figueiredo Luna^IV

^IUniversidade Salgado de Oliveira - UNIVERSO
^IIUniversidade Federal da Bahia - UFBA
^IIIUniversidade Federal da Bahia - UFBA
^IVUniversidade Federal da Bahia - UFBA

Endereço para correspondência

 

 

---

RESUMO

O avanço tecnológico e o incremento da educação a distância ampliaram o potencial de alcance das ações de treinamento, aumentando a preocupação com a avaliação de resultados. Este estudo avaliou a primeira ação de capacitação da Rede de Colaboração e Aprendizagem das Instituições Federais de Ensino, pesquisando 685 participantes que responderam questionários antes e depois do curso Qualidade no Atendimento. Os instrumentos aplicados foram quatro escalas tipo Likert, a saber: expectativas, instrumentalidade, percepção de importância e percepção de domínio. A análise fatorial indicou bons indicadores psicométricos para todas as escalas. Foi calculado o Índice de Necessidade de Treinamento a partir do método que leva em conta os escores das escalas de importância das competências a serem desenvolvidas durante o curso avaliado e a escala de domínio prévio de tais competências. A análise de regressão mostrou que os aspectos da qualidade de atendimento encontrados na avaliação de necessidades de treinamento ANT, a instrumentalidade e a expectativa de melhoria de desempenho no atendimento explicaram 13% do impacto do treinamento em profundidade. Esses resultados permitem discutir o quanto a avaliação de necessidades de treinamento precisa ser realizada com um olhar que vá além do individual, considerando grupos, equipes e indicadores organizacionais.

Palavras-chave: Educação a Distância, Análise de Necessidades de Treinamento, Impacto de Treinamento.

---

ABSTRACT

With technological advances and the increase of distance education, training activities have increased their potential range, raising concern about the evaluation of their results. This study evaluated the first action of a Learning Collaboration Network of Federal Universities. The sample consisted of 685 participants who completed questionnaires before and after the Quality Service course. Four Likert scales were used: a) Expectations, b) Instrumentality, c) Perceived importance, and d) Perceived mastery. Factor analysis yielded good psychometric indicators for all scales. We calculated the Index of Training Needs using a formula that included the scores from the scale of importance of the skills being developed in the course and the scale of prior mastery of these skills. Regression analysis showed that the aspects of quality of service found in Training Needs Analysis (TNA), instrumentality, and expectation of improved service performance explained 13% of the impact of training in depth. These results allow us to discuss how TNA should be carried out with a vision that goes beyond the individual, considering groups, teams, and organizational indicators.

Keywords: Distance Education, Training Needs Analysis, Training Impact.

---

 

 

A área de Treinamento, Desenvolvimento e Educação (TD&E) cresceu nos últimos anos, tanto em pesquisas quanto na produção de conhecimentos, gerando uma produção teórica consistente. Na revisão de literatura realizada por Aguinis e Kraiger (2009), os autores confirmam o crescimento do campo de treinamento e também a evolução da educação a distância (EAD). Uma das razões para o crescimento da área é o fato de o atual cenário mundial pressionar as organizações a investirem permanentemente em capacitação. Silva e Silva (2008) afirmam que, nesse contexto de constantes mudanças socioeconômicas, científicas e tecnológicas, o componente intelectual de uma parcela expressiva das atividades econômicas cresceu consideravelmente. Além disso, é cada vez maior o número de trabalhadores que assumem funções demandantes de maior qualificação, competência e múltiplas habilidades, o que exige um contínuo e permanente aperfeiçoamento para a assimilação de novos valores e um desempenho satisfatório dos novos papéis e responsabilidades.

Para responder a essas demandas atuais de aprendizagem para o trabalho e acompanhar a velocidade das mudanças, a modalidade EAD apresenta-se como uma alternativa para ampliar o alcance dos objetivos de capacitação (Zerbini & Abbad, 2010b). Torres e Fialho (2009) revisaram o desenvolvimento da educação a distância no Brasil e constataram que as primeiras experiências brasileiras aconteceram a partir de 1950 e tinham sua base metodológica centrada na mídia impressa e no ensino por correspondência. A segunda geração caracterizou-se pelo uso de diferentes mídias de comunicação, como rádio, televisão, fitas de áudio, conferências por telefone e tutorias presenciais, aumentando a interação entre aprendizes e instrutores. Foi a partir da década de 1980, no início da terceira geração, marcada pelo uso do computador e das novas tecnologias da informação e comunicação (TICs), que começou a se esboçar um contexto mais semelhante ao atual.

A importância do uso de novas tecnologias para realizar ações globais de capacitação já vem sendo abordada por especialistas da área de treinamento (Abbad, Zerbini & Souza, 2010). Tal iniciativa vê-se potencializada pela possibilidade de ampliar o alcance dos programas de capacitação de servidores por meio do ensino a distância e da interligação de várias instituições distantes geograficamente.

As vantagens de ações de capacitação mediadas por novas tecnologias são potencializadas pelas redes organizacionais (Castells, 2005), que ampliam a comunicação e as oportunidades de aprendizagem colaborativa. Além disso, a internet facilita o ensino a distância e a própria formação de redes.

Escolas do governo na Europa, no Canadá e no Brasil adotam a educação a distância, oferecendo cursos para servidores públicos e para a comunidade (Abbad 2007; Jesus & Mourão, 2012). Se, por um lado, a adoção da EAD é recente ou uma novidade para muitas organizações brasileiras, por outro, ainda é pequeno o número de pesquisas sobre o avanço da modalidade no Serviço Público Brasileiro, ainda que seja crescente o número de programas baseados nessa modalidade.

O presente artigo aborda a avaliação da primeira ação de capacitação da Rede de Colaboração e Aprendizagem das Instituições Federais de Ensino (RCI), que é pioneira em uso do ambiente virtual de aprendizagem na capacitação dos servidores técnico-administrativos das Instituições Federais de Ensino (IFEs).

 

ANÁLISE DE NECESSIDADES DE TREINAMENTO E IMPACTO DO TREINAMENTO NO TRABALHO

A avaliação de treinamento identifica falhas no planejamento de procedimentos instrucionais, indica se o treinamento foi positivo para os indivíduos e organizações em termos de aplicabilidade e utilidade, além de informar sobre a aplicação no trabalho das habilidades aprendidas (Borges-Andrade, 2006). Pesquisas também têm mostrado que o impacto do treinamento apresenta relação com a satisfação no trabalho (Santos & Mourão, 2011) e com o comprometimento organizacional (Santos-Filho & Mourão, 2011), o que fortalece a importância de mensuração dos resultados de pesquisa.

O modelo de avaliação, com a abordagem tradicional de Kirkpatrick (1977), ainda é um modelo de avaliação muito utilizado (Aguinis & Kraiger, 2009; Salas & Cannon-Bowers, 2001) e indica quatro níveis para a avaliação da eficácia de cursos: reação, aprendizagem, comportamento no cargo e resultados. O modelo sugere que a satisfação com o curso (nível de reação) resultaria em melhor assimilação de conteúdos ou aprendizagem (nível de aprendizagem), o que, por sua vez, exigiria aplicação dos conhecimentos adquiridos no trabalho do indivíduo (nível de comportamento no cargo ou impacto no desempenho). Essa aplicação produziria efeitos positivos nos grupos e na organização (resultados).

Outro modelo utilizado internacionalmente e que apresenta uma contribuição maior que o de Kirkpatrick (1977) é o de Alvarez, Salas e Garofano (2004). Os autores desenvolveram um modelo genérico a partir de 73 artigos encontrados em uma revisão de uma década da produção científica nas principais revistas da área de TD&E. O Modelo Integrado de Avaliação e Efetividade de Treinamento (IMTEE), conforme denominado por eles, incorpora todas as variáveis dos modelos de investigação que possuíam suporte empírico, refletindo o estado do campo de avaliação em TD&E.

Esse modelo é composto por quatro níveis, começando pela avaliação de necessidades, a qual poderia contribuir nas três dimensões gerais de avaliação: conteúdo e desenho do treinamento, mudanças no aprendiz e resultados organizacionais. Nesse sentido, o IMTEE, de Alvarez et al. (2004), foi o modelo que embasou a presente pesquisa, a qual considerou uma versão simplificada testando a predição da análise de necessidades de treinamento sobre as mudanças no aprendiz (impacto do treinamento no trabalho).

De acordo com Zerbini et al. (2012), existem dois tipos de medida de impacto de treinamento no trabalho no nível individual: o impacto em largura ou amplitude, que avalia "os efeitos indiretos e mais gerais do treinamento sobre o desempenho global do egresso" (p. 128) e o impacto em profundidade que avalia "efeitos diretos de uma avaliação específica de TD&E sobre o desempenho posterior do egresso" (p. 128). No caso da presente pesquisa, optou-se por avaliar o impacto em profundidade, no qual os itens de avaliação são construídos com base nos objetivos instrucionais do curso.

Numa revisão da literatura nacional das duas últimas décadas, Zerbini e Abbad (2010b) mostram que, na maioria das pesquisas, as variáveis antecedentes ao impacto do treinamento no trabalho são variáveis de "suporte ambiental", tais como: clima organizacional, suporte material e psicossocial à transferência, falta de suporte à transferência, suporte organizacional e suporte à aprendizagem. Outro conjunto de variáveis antecedentes que também são frequentes é o que agrupa as variáveis relativas às características da clientela (com variáveis como valores, autoeficácia, motivação para o treinamento, lócus de controle, idade e estratégias de aprendizagem). As variáveis relativas às características do treinamento são muito menos frequentes.

Vale também destacar que as pesquisas de impacto de treinamento com alguma frequência incluem como antecedentes os níveis anteriores de resultado, isto é, reação e aprendizagem (Zerbini & Abbad, 2010b), porém, não foram encontradas pesquisas nacionais em que a variável análise de necessidade de treinamento figurasse como preditora do impacto do treinamento no trabalho, quer seja do impacto em amplitude, quer seja do impacto em profundidade.

Verifica-se também que as variáveis de contexto são as que apresentam maior poder de explicação da ocorrência de impacto de treinamento no trabalho medido em profundidade (transferência de treinamento) e em amplitude. Tais resultados vêm se repetindo nas pesquisas de avaliação dos efeitos de eventos instrucionais no desempenho do indivíduo dos últimos anos em TD&E (Abbad, Pilati & Pantoja, 2003; Salas & Cannon-Bowers, 2001). Características da clientela e do treinamento, reações e aprendizagem apresentam poder de explicação da ocorrência de transferência de treinamento e impacto no trabalho menor do que as variáveis de suporte ambiental. Baldwin e Ford (1988), ao testarem o modelo de avaliação de treinamento, observaram que variáveis do ambiente de trabalho exercem influência direta sobre resultados de treinamento e transferência de treinamento.

No que diz respeito especificamente à EAD, tem havido um esforço de mensuração da avaliação dos seus resultados em diferentes níveis. É possível identificar aumento das publicações na área de treinamento a distância e também o desenvolvimento de diferentes medidas para avaliar cursos a distância (Varanda, Zerbini & Abbad, 2010; Zerbini & Abbad, 2008; Zerbini & Abbad, 2010a).

Se por um lado é fato que a área de avaliação de treinamento desenvolveu-se muito nos últimos anos, por outro, a área de análise de necessidades de treinamento ainda apresenta muitas lacunas (Aguinis & Kraiger, 2009; Ferreira, 2009; Meneses & Zerbini, 2009; Salas & Cannon-Bowers, 2001). Não há dúvida de que a realização de uma adequada análise de necessidades de treinamento contribui para atingir os objetivos da ação de capacitação e também para compor uma turma que realmente necessite daqueles conteúdos (Blanchard & Thacker, 2007). Mas, apesar do consenso sobre a importância da análise de necessidades de treinamento (ANT), sua utilização ainda é muito restrita.

Nesse sentido, algumas perguntas precisam ser feitas. Como são mensuradas as necessidades de ações de treinamento? As pessoas que estão sendo capacitadas na EAD são, de fato, as que necessitam das competências focadas em cada curso, ou a facilidade de acesso a tais treinamentos tem expandido a clientela sem o devido cuidado com a análise de necessidades de treinamento?

A ANT consiste em um conjunto de atividades de coleta, avaliação e análise de dados que objetiva identificar necessidades de treinamento em organizações. Segundo Taylor e O'Driscoll (1998), há dois tipos de abordagens de ANT na literatura: a abordagem organização-tarefas-pessoas (OTP) e a abordagem de análise de desempenho (AD), sendo a primeira muito mais utilizada nas pesquisas da área. Porém, apesar de a abordagem OTP, concebida por McGehee e Thayer (1961), apresentar atualmente uma necessidade de atualização para contemplar as mudanças nas organizações modernas, é apenas moderadamente utilizada na prática, uma vez que os níveis da tarefa e da organização são muito menos contemplados do que o nível das pessoas ou nível individual (Meneses & Zerbini, 2009).

Para subsidiar as pesquisas sobre ANT, têm sido empreendidos esforços tanto na literatura nacional como na estrangeira para desenvolver esse subsistema. Baranzini, Bacchi e Cacciabue (2001) desenvolveram e validaram uma ferramenta de avaliação das necessidades de treinamento para a indústria de manutenção aeronáutica, e Fowlkes et al. (2000) desenvolveram um modelo baseado na opinião de especialistas que contribuíam para a eficácia do processo de análise de necessidades de treinamento. Ferreira (2009), por sua vez, discute a temática e propõe a aplicação de um modelo teórico-metodológico nos níveis macro e meso organizacionais, como alternativa ao nível individual predominante nos modelos de ANT.

Um aspecto interessante acerca da literatura de TD&E é que, embora haja uma concepção do treinamento como um sistema composto por três subsistemas- análise de necessidades de treinamento, planejamento e implementação e avaliação de treinamento (Borges-Andrade, Abbad & Mourão, 2012)-, não se encontram na literatura nacional estudos sobre a predição da ANT sobre os resultados de TD&E. Os estudos normalmente focam em um desses dois outros subconjuntos, sendo mais comuns aqueles voltados para a avaliação dos resultados de treinamento.

O objetivo deste artigo consiste, portanto, em analisar se a percepção de necessidades do treinamento, as expectativas em relação ao curso e a percepção de instrumentalidade do curso Qualidade de Atendimento oferecido pela RCI atuam como variáveis preditoras do impacto do treinamento em profundidade.

 

DELIMITAÇÃO DO OBJETO DE ESTUDO

A gestão de pessoas nas IFEs está passando por transformações a partir das recentes mudanças na legislação que define o novo plano de carreira para os servidores. Tal plano responsabiliza as universidades públicas por criar programas de dimensionamento, capacitação e avaliação de desempenho do seu quadro de servidores, de acordo com a nova legislação da gestão universitária.

De acordo com a nova legislação, o novo plano de carreira para os servidores técnico-administrativos das IFEs passa a ser composto de três programas interdependentes: Dimensionamento das Necessidades Institucionais (objetiva a revisão e a realocação de servidores e funções), Programa de Capacitação (agora obrigatória e indispensável para a progressão de carreira do servidor) e Programa de Avaliação de Desempenho (o servidor, além de ser avaliado pela chefia, passa também a se autoavaliar e a ser avaliado por sua equipe de trabalho).

A criação da RCI em 2008 inclui-se no conjunto de esforços para fazer frente às diretrizes emanadas da lei e a uma gradual mudança de cultura institucional. As instituições de ensino superior integrantes dessa rede de cooperação técnica que participaram da coleta de dados foram: as universidades federais da Bahia, de Alagoas, do Rio Grande do Norte, de Sergipe, do Pará, do Recôncavo da Bahia, do Pampa e do Rio de Janeiro, além do Instituto Federal de Educação, Ciência e Tecnologia da Bahia. A primeira ação de capacitação foi denominada Qualidade no Atendimento.

O curso Qualidade no Atendimento foi programado para ser realizado num período máximo de três meses (carga horária total máxima de 120 horas), mas os participantes podiam realizá-lo em menos tempo de acordo com sua conveniência e estudo de apostilas disponibilizadas no ambiente virtual do curso. De acordo com o documento de sua criação, o curso teve o objetivo de fornecer subsídios para a formação do servidor técnico-administrativo no que se refere à ética no contexto de atuação pública, perspicácia, autoconfiança e habilidade no trato com os usuários dos serviços prestados. O curso foi dividido em três módulos: a excelência e a organização pública, ética no serviço público e produção textual.

Os módulos eram acessíveis no ambiente virtual por meio delinks e, caso o aluno não quisesse acompanhar o curso por esse método, ele poderia fazer odownload dosslides e estudá-los para responder às questões de avaliação que constavam no final de cada módulo, com perguntas de múltipla escolha. O curso não explorou a possibilidade de interação entre os participantes, nem recursos comochats, postagem de textos, pesquisa ou esclarecimento de dúvidas relacionadas aos conteúdos, tampouco outros recursos de comunicação, como áudio ou vídeo. Os tutores tiveram apenas a função de acompanhamento do processo, ou seja, de informar aos alunos, pore-mail, os prazos para a realização das avaliações, as falhas e atualizações da Plataforma Moodle, onde estava hospedado o ambiente virtual, e enviar periodicamente mensagens de incentivo.

Foram detectadas confusões de formatação, como dicas em caixa de "conceitos", ou conceitos em caixa de "sugestões", além de erros ortográficos e de concordância. Em alguns casos, faltou um encadeamento mais lógico de ideias e o cuidado em publicar informações coerentes entre si e com o propósito do curso. Tais falhas foram percebidas por muitos alunos e reportadas aos tutores e à coordenação geral da RCI. Apesar de tais avisos, não houve mudanças no curso e o mesmo foi oferecido três vezes com esse mesmo conteúdo deficiente. As turmas que foram objeto deste estudo são a primeira- que forneceu a amostra para o piloto- e a segunda, na qual foi realizada a coleta de dados propriamente dita.

 

MÉTODO

Participantes

Para a amostra deste estudo, somente foram considerados participantes do curso que responderam ao questionário antes e depois do curso, o que totaliza 685 alunos. Na Tabela 1, pode-se observar um predomínio de mulheres (62,9%), de servidores com nível superior (66,3%) e com pós-graduação completa (17,8%), caracterizando um grupo de elevada escolaridade. Com relação aos cargos, eles foram bastante diversificados. Cerca de um terço da amostra era de assistentes, sendo também expressivo o percentual de técnicos (24,5%). Os auxiliares e secretários totalizaram conjuntamente 14,9% da amostra e outros cargos corresponderam a pouco mais de um quarto da amostra. Dentre estes, houve predomínio de profissionais de nível superior como pedagogos, administradores, analistas de sistemas, arquitetos, psicólogos, enfermeiros, médicos, engenheiros, economistas, nutricionistas, entre outros. Também foram identificados diversos ocupantes de funções consideradas mais simples como cozinheiros, motoristas, telefonistas, vigilantes, recepcionistas, encadernadores, etc. Essa diversidade de cargos permite identificar o grau de heterogeneidade da turma.

 

 

No que diz respeito à idade, os participantes tinham entre 19 e 68 anos, com maior concentração entre 23 e 55 anos (M = 38,8; DP = 11,0). O tempo médio de serviço foi de quase dez anos (M = 114,4 meses; DP= 132,8), indicando amostra heterogênea em termos do tempo de serviço, com indivíduos que ingressaram recentemente nas instituições e indivíduos com 40 anos de serviço.

Em termos da distribuição por regiões, percebe-se maior concentração de respondentes na Região Sudeste, por efeito da participação de servidores da UFRJ, seguida pela Região Nordeste. A baixa frequência verificada na Região Sul pode-se dever, em primeiro lugar, à presença de apenas uma IFE conveniada à RCI nessa região, e também pelo fato de essa IFE ser, na ocasião, recém-ingressa na Rede. Observa-se que não houve instituições participantes na Região Centro-Oeste.

Quanto à familiaridade com tecnologias de EAD, 28,6% declararam ter muita, ao passo que 44,2% declararam pouca e 27,2% nenhuma familiaridade. A maior parte dos participantes (54,5%) indicou não ter experiência prévia com curso na modalidade de EAD com uso de TICs. Em contrapartida, 88,6% acessam a internet diariamente, 25,7% acessam a internet nos finais de semana por mais de quatro horas e 27% fazem esse uso fora da semana de trabalho por um período entre duas e quatro horas.

Instrumentos

Foi aplicado um questionário aos servidores inscritos no curso Qualidade no Atendimento, que continha quatro escalas, a saber: expectativas, instrumentalidade, percepção de importância e percepção de domínio. Os instrumentos foram respondidos com escalas tipo Likert, sendo as duas primeiras de cinco pontos, e as duas últimas de três pontos. As quatro escalas foram aplicadas em dois momentos, antes e após o curso, tendo-se alterado o tempo verbal dos enunciados. Para a caracterização da amostra, também foram incluídas questões relativas a dados pessoais e de mensuração da familiaridade com tecnologia da informação.

O primeiro instrumento, expectativas pré e pós-curso, foi baseado na Escala de Expectativas Pós-Treinamento de Meira (2004) que possuía 23 itens, organizados em três dimensões: de-sempenho (α=0,88)- contemplando as expectativas relacionadas à melhoria de desempenho no ambiente de trabalho após o treinamento; visão estratégica (α=0,85)- contemplando expectativas relacionadas a mudanças nos indivíduos, que transcendem os objetivos do conteúdo abordado no treinamento; e conhecimento (α=0,84)- contemplando expectativas relacionadas ao acúmulo e transmissão dos conhecimentos apreendidos no treinamento. A escala de expectativas possui todos os itens iniciados pela expressão "O curso irá me proporcionar... ", a qual é complementada por um conjunto de itens tais como "Novos conhecimentos", "Maior agilidade" ou "Melhoria na relação com o usuário".

A segunda escala referia-se a aspectos de instrumentalidade e também foi inspirada em Meira (2004), composta de sete itens que descrevem características do curso, a saber: "Útil", "Motivador", "Dinâmico", "Prático", "Voltado para a realidade", "Não exaustivo" e "Composto de teoria e prática".

A terceira e a quarta escalas aplicadas diziam respeito à avaliação da importância e percepção de domínio de uma lista de competências baseadas nos conteúdos e objetivos do curso. São exemplos de itens dessas escalas: "Utilizar recursos de comunicação mediada por tecnologia de informação para responder com eficácia às demandas do usuário"; "Ter equilíbrio emocional para lidar com o público em situações de conflito"; "Conhecer os procedimentos institucionais". A diferença entre as duas escalas estava no enunciado, já que, em uma, solicitava-se aos participantes que avaliassem a importância de cada um daqueles itens e, na outra, solicitava-se que indicassem a percepção que tinham de seu próprio domínio em cada um deles.

A partir da terceira e quarta escalas foi criado um indicador de necessidade de treinamento, aplicando-se a fórmula proposta por Borges-Andrade e Lima (1983) e apresentada por Meneses, Zerbini e Abbad (2010): N = i x (e - d), onde: N = necessidade; i = importância; d = domínio; e = valor extremo ou máximo da escala utilizada. Assim, a partir da fórmula, as necessidades de capacitação são definidas operacionalmente como produto da percepção de importância das competências pela percepção de ausência de domínio das mesmas. Ou seja, define-se a necessidade de treinamento a partir de um indicador que abrange ao mesmo tempo a avaliação de importância e a de domínio prévio de cada competência profissional. Assim, quanto menor o domínio prévio e maior a importância da competência, maior a necessidade de treinamento. Em sentido inverso, também é válido dizer que avaliações de alto domínio e baixa importância resultam na ausência de necessidade de capacitação.

A medida de impacto em profundidade do curso foi calculada a partir do produto da percepção de domínio e de importância pós-curso das competências que compunham os objetivos instrucionais. Esse cálculo gerava uma possibilidade de impacto que variava de 1 a 9.

Uma discussão a ser feita é se tal medida seria de aprendizagem ou de impacto. Embora o mero domínio pudesse configurar uma medida de impacto, a redação dos itens foi focada em comportamentos no trabalho, tais como: "Utilizar recursos de comunicação mediada por Tecnologia da Informação para responder com eficácia às demandas do usuário"; "Identificar com clareza as demandas do usuário"; "Acompanhar os encaminhamentos dados ao usuário" e "Utilizar técnicas de comunicação que minimizem ruídos na interação com o usuário". Nesse sentido, para que a pessoa apontasse que ela tinha domínio pleno, estaria implícita a transferência de conhecimentos do treinamento para o comportamento no cargo.

Procedimento de coleta de dados

O procedimento de coleta de dados foi iniciado em março de 2010 com um estudo-piloto cujo objetivo era testar os instrumentos utilizados na coleta dos dados. A preocupação recaiu principalmente sobre os itens elaborados com base nas metas do curso e nas competências que o embasavam. Outra preocupação foi quanto à funcionalidade do instrumento em um ambiente virtual, ou seja, verificar se os participantes do curso teriam alguma dificuldade em acessar o questionário e em respondê-lo, se as questões estavam compreensíveis e se a navegação no ambiente virtual era fácil. Foram identificados problemas relativos ao acesso ao questionário, falhas no funcionamento do sistema e aspectos a serem melhorados no planejamento da pesquisa, tendo sido solucionados tais problemas antes da fase de coleta de dados.

A coleta de dados propriamente dita ocorreu em dois momentos, antes e depois da realização da segunda turma do curso, respectivamente nos meses de agosto e novembro de 2010. Como o curso era realizado a distância com carga horária diária reduzida, os participantes mantiveram, ao longo dos três meses de capacitação, suas atividades laborais normais. Portanto, após o término do curso já foi possível avaliar o quanto a aprendizagem proporcionada pelo mesmo foi transferida para o ambiente de trabalho, caracterizando o impacto do treinamento no comportamento no cargo.

Para acessar o questionário, hospedado na Plataforma Moodle, os participantes utilizavam o login e senha de acesso. O processo contou com a colaboração de tutores que cobravam resposta aos questionários e esclareciam dúvidas sobre navegação. Após a coleta, os dados foram exportados para planilha Excel e, em seguida, para o software SPSS (Statistics Package for Social Science), versão 19.

Procedimentos de análise de dados

Foram constituídos dois bancos de dados oriundos das duas coletas de dados- antes e depois da capacitação. Posteriormente os bancos de dados foram pareados a partir de um dado de caracterização de amostra (nome do participante) comum aos dois bancos, totalizando uma amostra de 685 questionários válidos. Tendo em vista as metas definidas para a presente investigação, foram utilizadas estatísticas descritivas e inferenciais univariadas e multivariadas, buscando-se relações de dependência e de interdependência. Para análises descritivas, foram utilizadas análises de frequência, média e desvio padrão. Foram realizadas análises de correlação e regressão, a fim de testar o modelo proposto, bem como testes t para amostras pareadas, para comparar os resultados antes e depois da realização do curso.

Foram realizadas análises fatoriais exploratórias (AFE) como etapa preliminar no processo de investigação das qualidades psicométricas das escalas, seguindo-se os passos estabelecidos por Pasquali (2009). A confiabilidade das medidas foi observada tomando-se como referência o Alpha de Cronbach de 0,60 (mínimo aceitável para as ciências sociais).

 

RESULTADOS E DISCUSSÃO

As análises de validação psicométrica mostraram condições favoráveis à análise fatorial em todas as escalas utilizadas. Para a escala de expectativas em relação ao curso, o primeiro fator abrange aspectos relacionados com o desempenho no trabalho, e o segundo, aspectos que repercutem indiretamente no desempenho profissional, caracterizando-se como desenvolvimento geral. Em relação à escala de instrumentalidade, assim como em Meira (2004), a solução foi unifatorial nas duas fases de coleta de dados. Em relação à Escala de Percepção de Importância, obteve-se uma solução de dois fatores no pré-curso (Aspectos da qualidade no atendimento e Uso de TICs no atendimento) e um único fator no pós-curso (Aspectos da qualidade no atendimento). A escala sobre percepção de domínio das competências a serem trabalhadas no curso apresentou a medida inicial com solução de dois fatores, enquanto a medida após o curso teve a indicação de estrutura unifatorial. Em ambos os casos os fatores foram os mesmos da Escala de Percepção de Importância. A Tabela 2 resume os resultados obtidos no processo de validação psicométrica das quatro escalas.

Os resultados da distribuição de frequência mostram uma expectativa alta em relação ao curso (médias de 4,0 e 4,3 e desvios padrão de 0,49 e 0,41, respectivamente para os fatores 1 e 2 de expectativas pré-treinamento). Após a realização do curso, a avaliação do alcance dessas expectativas permaneceu alta no curso (médias de 3,9 e 4,3 e desvios padrão de 0,58 e 0,46, respectivamente, para os fatores 1 e 2, em uma escala que variava de 1 a 5). Contudo, observa-se que as médias mantiveram-se praticamente as mesmas na coleta antes do curso e depois da realização do mesmo.

Quanto à percepção de instrumentalidade, as médias foram mais altas antes do curso (M=4,4; DP=0,46) do que após a realização do mesmo (M=3,9; DP=0,63), com diferença significativa entre pré e pós-teste (t₍₆₃₅₎=17,6; p<0,001). Tal resultado indica que, após o curso, os participantes tenderam a perceber menor valor instrumental em relação ao mesmo. Este é um resultado negativo para o curso, na medida em que reduziu um pouco a percepção de que o mesmo era útil, motivador, dinâmico, prático, voltado para a realidade, não exaustivo e composto de teoria e prática. Um aspecto que merece ser discutido a esse respeito refere-se ao fato de a participação no curso ser condição para progressão salarial dos servidores, o que pode significar que ele foi percebido por alguns como um meio de atingir esse fim, sem que o foco dos participantes tenha sido a melhoria do desempenho no trabalho.

Por fim, a percepção de aprendizagem foi mensurada a partir do escore de ganho entre o domínio pós-curso e o domínio pré-curso. Como a validação psicométrica da medida de domínio pós-curso indicou uma solução de fator único, o domínio geral foi calculado a partir da média aritmética dos 13 itens da escala de percepção de domínio. Os resultados relativos à aprendizagem indicam que 32,7% dos participantes diminuíram a percepção de domínio comparando antes e depois do curso, e 11,5% tiveram uma percepção nula de ga-nho, ou seja, a percepção de domínio final foi igual à percepção de domínio antes do curso. Isso significa que 44,2% dos participantes não perceberam nenhum ganho de domínio de competências a partir da participação no curso, enquanto 55,8% perceberam mais domínio após do que antes da realização do mesmo. Em relação à comparação das médias do domínio antes e depois do curso, foi feito um teste t para amostras pareadas que indicou diferenças significativas entre as médias (t₍₆₈₂₎=7,9; p<0,001), o que sinaliza a existência de um ganho de aprendizagem com o curso, ainda que tal ganho tenha ocorrido apenas para um grupo de participantes.

Os resultados do impacto do treinamento em profundidade (calculado a partir do produto da percepção de domínio e de importância pós-curso) indicaram uma média de impacto de 7,16 (DP=1,56), o que sinaliza uma percepção de impacto relativamente alta, considerando a escala de variação de 1 a 9.

Em relação aos preditores do impacto do treinamento no trabalho, a pesquisa mostrou baixo poder de predição da percepção de necessidade de capacitação, seja ela medida a partir da metodologia de análise de necessidade de treinamento (ANT) desenvolvida por Borges-Andrade e Lima (1983), seja ela medida a partir das expectativas em relação ao treinamento ou da percepção de instrumentalidade da capacitação (ambos propostos por Meira, 2004).

O conjunto das variáveis ANT, expectativa de melhoria de desempenho no atendimento e valor instrumental do curso (instrumentalidade), conseguiram explicar apenas 14% da variância do impacto do treinamento no trabalho, conforme mostra a Tabela 3. Um aspecto relevante dessa análise de regressão refere-se ao fato de a expectativa de desenvolvimento geral e da percepção de necessidade de capacitação relativa ao uso das TICs no atendimento não terem figurado como preditoras do impacto do treinamento.

 

 

Em relação às expectativas de treinamento, o estudo realizado por Gonçalves e Mourão (2011), com funcionários públicos de uma autarquia federal, também encontrou predição entre as expectativas de treinamento e o impacto do treinamento no trabalho. Contudo, a pesquisa de Rowold (2007) apontou que as expectativas pré-treinamento não explicam o conhecimento declarado após o curso. Ou seja, para o autor, expectativa pré-treinamento não explicaria a aprendizagem, embora a motivação para aprender tenha sobre essa variável algum poder de predição.

O fato de o valor instrumental do curso ser preditor do impacto do treinamento no trabalho confirma os achados de Lacerda e Abbad (2003) que encontraram como preditoras do impacto do treinamento no trabalho as variáveis suporte psicossocial, valor instrumental do treinamento e reação do participante ao instrutor. Da mesma forma, esses resultados também corroboram os achados das pesquisas de Colquitt, LePine e Noe (2000), Law, Lee e Yu (2010) e Mourão e Marins (2010), que encontraram relação positiva entre motivação e resultados do treinamento.

Por fim, a predição da percepção de necessidade de treinamento, considerando a importância e o domínio de cada competência, é um resultado inédito na literatura, sendo recomendado por pesquisadores como Meneses et al. (2010) e Silva (2011). Sobre este resultado, é preciso observar que a relação com o impacto foi inversa, ou seja, quanto menos a pessoa avaliava que precisava do curso, mais ela percebeu depois que o curso teve um impacto positivo. Isso pode ser explicado pelo fato de pessoas com uma expectativa menor sobre o evento terem se surpreendido positivamente com a capacitação. Outra possibilidade é o fato de a percepção inicial de necessidade de capacitação ser distorcida, o que pode ter sido modificado a partir da participação no curso que pode ter evidenciado a importância das competências de atendimento ao público. Em outras palavras, alguns participantes poderiam considerar que já dominavam tais competências e, ao realizar o curso, descobriram novos aspectos que ainda eram desconhecidos pelos mesmos.

Esses resultados sugerem que nem sempre a avaliação de necessidades de treinamento feita pelo futuro participante é a melhor forma de medir as necessidades de treinamento e que as mesmas precisam ser complementadas por outros tipos de medida que levem em conta aspectos relativos à tarefa, ao desempenho no trabalho e a indicadores organizacionais (Ferreira, 2009). Este é um aspecto que merece atenção, pois grande parte das análises de necessidade de treinamento ainda é feita com o foco no indivíduo e, conforme ressaltam Meneses e Zerbini (2009), é preciso estender o nível de análise para além do individual, considerando equipes de trabalho e a própria organização.

Essa observação não significa que o nível individual deve ser abolido ou mesmo que sua importância deve ser reduzida nas ações de análise de necessidades de treinamento. Contudo, considera-se que precisa ser modificada a forma como as necessidades individuais estão sendo levantadas, pois ainda é frequente a aplicação de "cardápios" contendo listas de nomes de cursos ou de conteúdos, nos quais os indivíduos escolhem os cursos que querem fazer. Além disso, raramente a análise dos resultados de levantamento de necessidades no nível individual são compatibilizadas com os demais níveis, como o das equipes de trabalho e o das organizações, além da necessária análise relativa à tarefa desempenhada pela pessoa (McGehee & Thayer, 1961; Meneses & Zerbini, 2009).

Por um lado, a iniciativa de considerar ações de capacitação como condição para a progressão funcional (como determina a legislação dos servidores técnico-administrativos das Instituições Federais de Ensino- objeto deste estudo- e como ocorre em tantas outras organizações) é uma estratégia que pode contribuir para manter a atualização dos funcionários. Por outro lado, é preciso tomar cuidado para que essa determinação não resulte em uma busca pelos cursos mais fáceis ou mais rápidos, como forma única de garantir a progressão funcional, sem a devida preocupação com as lacunas nos repertórios de conhecimentos, habilidades e atitudes das pessoas.

 

CONSIDERAÇÕES FINAIS

O presente estudo cumpre com uma agenda de pesquisa que vem demandando a avaliação da efetividade de programas de EAD (Abbad, 2007; Borges-Ferreira & Abbad, 2009; Cook et al. , 2010). O objetivo deste artigo- de analisar se a percepção de necessidades do treinamento, as expectativas e a percepção de instrumentalidade do curso Qualidade de Atendimento eram variáveis antecedentes do impacto do treinamento em profundidade- foi atingido.

O estudo permitiu identificar que os aspectos da qualidade de atendimento encontrados na ANT, a instrumentalidade e a expectativa de melhoria de desempenho no atendimento explicaram 14% do impacto do treinamento em profundidade. O resultado também mostrou que o fator de Uso das TICs no atendimento ao público encontrado na ANT é um fator muito específico e que não contribui para explicar o impacto do treinamento no trabalho, tendo figurado, inclusive, apenas na escala de ANT pré-curso e desaparecido como fator na escala pós-curso.

Em relação à predição das expectativas em relação ao curso, é interessante o fato que somente o fator de expectativas de desempenho de melhoria de atendimento tenha figurado como preditor, enquanto o fator de expectativas de desempenho geral ficou fora do modelo. Isso pode sinalizar que o curso foi bastante focado para o atendimento ao público e que, portanto, expectativas mais gerais em relação ao mesmo não apresentaram contribuição para o impacto do treinamento.

Um aspecto que merece destaque é o fato de a percepção de domínio de competências ao final do curso ser maior que a percepção inicial de domínio para pouco mais da metade dos participantes e ser menor para um terço dos pesquisados. Embora tenha se encontrado diferença significativa entre as médias do domínio antes do curso e após a realização do mesmo, a diferença entre as médias obtidas foi baixa, sinalizando para uma percepção reduzida de ganho de domínio de competências.

Há três possibilidades principais e não excludentes para explicar tal fato: (a) baixa aprendizagem devido a problemas com a qualidade do curso; (b) a presença de participantes que não necessitavam da capacitação e que somente aderiram ao curso devido a interesses de progressão funcional na carreira; (c) uma percepção diferenciada de domínio de competências de qualidade de atendimento ao público após a realização do curso que pode ter levado os participantes a serem mais rigorosos em sua autoavaliação do domínio de tais competências. De qualquer forma, esse resultado aponta para um baixo aproveitamento do curso avaliado, o que precisa ser discutido tendo em vista os altos investimentos feitos na capacitação e a origem pública dos recursos disponibilizados para tal ação.

Diante do exposto, é fundamental que as próximas ações de capacitação da RCI sejam alvo de avaliação sistemática para serem mensurados os benefícios do investimento nessas ações de treinamento. Da mesma forma, sugere-se que a estratégia de escolha dos participantes dos cursos seja revista para que de fato participem das ações aqueles que dela poderão tirar melhor proveito, evitando desperdício de recursos públicos e um processo de descrédito em ações de capacitação a distância.

Para a agenda da pesquisa na área, sugere-se que sejam feitos estudos para verificar se a atitude em relação ao computador influencia a aprendizagem em e-learning, conforme encontrado nos estudos de Ho e Kuo (2010) em empresas de Taiwan, se o desenho do curso e das ferramentas de discussão (abertas ou fechadas) influencia nos resultados de aprendizagem em cursos a distância (Ke & Xie, 2009) ou se a interface utilizada pode ser a mesma para participantes mais jovens e mais velhos (Riviera-Nivar & Pomales-Garcia, 2010). Também é importante que sejam realizadas mais pesquisas que mensurem não apenas a aquisição de novas competências, mas também indicadores de transferência de treinamentos realizados a distância (Zerbini & Abbad, 2010b).

 

REFERÊNCIAS

Abbad, G. S. (2007). Educação a distância: o estado da arte e o futuro necessário. Revista do Serviço Público. Brasília-DF: ENAP.         [ Links ]

Abbad, G. S. , Pilati, R. , & Pantoja, M. J. (2003). Avaliação e treinamento: análise da literatura e agenda de pesquisa. Revista de Administração, 38(3),205-218.         [ Links ]

Abbad, G. , Zerbini, T. , & Souza, D. B. L. (2010). Panorama das pesquisas em Educação a Distância no Brasil. Estudos de Psicologia (UFRN), 15,291-298.         [ Links ]

Aguinis, H. , & Kraiger, K. (2009). Benefits of Training and Development for Individuals and Teams, Organizations, and Society. Annual Review of Psychology, 60,451-474.         [ Links ]

Alvarez, K. ; Salas, E. , & Garofano, C. M. (2004). An integrated model of training evaluation and effectiveness. Human Resource Development Review, 3(4),385-416.         [ Links ]

Baldwin, T. T. & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel Psychology, 41(1),63-105.         [ Links ]

Baranzini, D. , Bacchi M. , & Cacciabue P. C. (2001). A tool for evaluation and identification of training needs in aircraft. Human Factors Aerospace Safety,1,167-193.         [ Links ]

Blanchard, P. N. , & Thacker, J. W. (2007). Effective Training: Systems, Strategies, and Practices. 3rd ed. Upper Saddle River, NJ: Pearson Prentice Hall.         [ Links ]

Borges-Andrade, J. E. (2006). Avaliação Integrada e Somativa em TD&E. Em J. E. Borges-Andrade, G. Abbad, & L. Mourão (Orgs. ),Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: fundamentos para a gestão de pessoas (pp. 343-358). Porto Alegre: Artmed.         [ Links ]

Borges-Andrade, J. E. , Abbad, G. S. , & Mourão, L. (2012). Modelos de avaliação e aplicação em TD&E. Em G. Abbad et al. (Orgs. ),Medidas de Avaliação em Treinamento, Desenvolvimento e Educação (pp. 20-35). Porto Alegre: Artmed.         [ Links ]

Borges-Andrade, J. E. & Lima, S. M. V. (1983). Avaliação de necessidades de treinamento: um método de análise do papel ocupacional. Tecnologia Educacional, 12(54),6-22.         [ Links ]

Borges-Ferreira, M. F. , & Abbad, G. (2009). Avaliação de Aprendizagem em disciplinas de curso técnico a distância. Revista Estudos de Psicologia, 14(2),141-149.         [ Links ]

Castells, M. (2005). A Sociedade em Rede- a era da informação: economia, sociedade e cultura. (V. 1) (6ª ed). São Paulo: Paz e Terra.         [ Links ]

Colquitt, J. A. , LePine, J. A. , & Noe, R. N. (2000). Toward an integrative theory of training motivation: a meta-analytic path analysis of 20 years of research. Journal of Applied Psychology, 85(5),678-707.         [ Links ]

Cook, D. A, Garside, S, Levinson, A. J, Dupras, D. M. , & Montori, V. M. (2010). What do we mean by web-based learning? A systematic review of the variability of interventions. Medical Education, 44,765-774.         [ Links ]

Ferreira, R. R. (2009). Avaliação de necessidades de treinamento: proposição e aplicação de um modelo teórico-metodológico nos níveis macro e meso organizacionais. Dissertação de mestrado. Brasília: Universidade de Brasília.         [ Links ]

Fowlkes J. E. , Salas E. , Baker D. P. , Cannon-Bowers J. A. , & Stout R. J. (2000). The utility of event-based know-ledge elicitation. Human Factors, 42,24-35.         [ Links ]

Gonçalves, A. & Mourão, L. (2011). A expectativa em relação ao treinamento influencia o impacto das ações de capacitação?. Revista de Administração Pública, 45(2),483-513.         [ Links ]

Ho, L. , & Kuo, T. (2010). How can one amplify the effect of e-learning? An examination of high-tech employees' computer attitude and flow experience. Computers in Human Behavior, 26,23-31.         [ Links ]

Ke, F. , & Xie, K. (2009). Toward deep learning for adult students in online courses. Internet and higher education,12,136-145.         [ Links ]

Kirkpatrick, D. L. (1977). Evaluating training programs evidence vs. proof. Training and Development Journal, 31(11)09-12.         [ Links ]

Lacerda, E. R. M. , & Abbad, G. (2003). Impacto do treinamento no trabalho: investigando variáveis motivacionais e organizacionais como suas preditoras. Revista de Administração Contemporânea, 7(4),77-96.         [ Links ]

Law, K. M. Y. , Lee, V. C. S. , & Yu, Y. T. (2010). Learning Motivation in e-learning facilited computer programming courses. Computers & Education, 55,218-228.         [ Links ]

Jesus, A. M. , & Mourão, L. (2012). Conhecimento Organizacional em Escolas de Governo: um estudo comparado. Revista de Administração Pública- RAP, 46(4),939-968.         [ Links ]

McGehee, W. & Thayer, P. W. (1961). Training in business and industry. New York: Wiley.         [ Links ]

Meira, M. (2004). Disseminação de informações sobre treinamento: construção e validação de um instrumento de medida. Dissertação (mestrado) - Universidade de Brasília, Brasília.         [ Links ]

Meneses, P. P. M. , Zerbini, T. , & Abbad, G. (2010). Manual de Treinamento Organizacional. Porto Alegre: Artmed.         [ Links ]

Meneses, P. P. M. , & Zerbini, T. (2009) Levantamento das análises de treinamento: reflexões atuais. Análise, 2(20),50-64.         [ Links ]

Mourão, L. , & Marins, J. (2010). Quem está motivado para aprender com as ações de treinamentos empresariais?. Paidéia, 20,187-196.         [ Links ]

Pasquali, L. (2009). Psicometria: Teoria dos testes na psicologia e na educação. Petrópolis: Vozes.         [ Links ]

Rivera-Nivar, M. , & Pomales-Garcia, C. (2010). E-training: Can young and older users be accomodated with the same interface? Computers & Education, 55,949-960.         [ Links ]

Rowold, J. (2007). Individual influences on knowledge acquisition in a call center training context in Germany. International Journal of Training and Development, 11(1),21-34.         [ Links ]

Salas, E. & Cannon-Bowers, J. (2001). The Science of Training: a decade of progress. Annual Review of Psychology, 52,471-499.         [ Links ]

Santos, J. R. V. S. dos & Mourão, L. (2011). Impacto do treinamento como variável preditora da satisfação com o trabalho. Revista de Administração (FEA-USP), 46,305-318.         [ Links ]

Santos-Filho, G. M. & Mourão, L. (2011). A Relação entre Comprometimento Organizacional e Impacto do Treinamento no Trabalho. Revista Psicologia: Organizações e Trabalho, 11(1),75-89.         [ Links ]

Silva, I. A. , & Silva M. C. A. (2008). E-learning corporativo: modalidade multimétodo de avaliação de cursos de capacitação a distância. Produtos & Produção, 9(2),21-32.         [ Links ]

Silva, S. C. G. (2011). Análise de necessidades e impacto do treinamento no trabalho: um estudo em umcall center. Dissertação de Mestrado. Universidade Salgado de Oliveira- UNIVERSO.         [ Links ]

Taylor, P. & O'Driscoll, M. P. (1998). A new integrated framework for training needs analysis. Human Resource Management Journal, 8(2),29-50.         [ Links ]

Torres, P. L. & Fialho, F. A. P. (2009). Educação a distância: presente, passado e futuro. Em F. M. Litto & M. M. Formiga (orgs. ). Educação a distância: o estado da arte. (pp. 456-461). São Paulo: Pearson Education do Brasil.         [ Links ]

Varanda, R. C, Zerbini, T. , & Abbad, G. (2010). Construção e Validação da Escala de Reações à Interface Gráfica para cursos de Educação a Distância. Psicologia: Teoria e Pesquisa, 26(2),371-380.         [ Links ]

Zerbini, T. & Abbad, G. (2008). Estratégias de Aprendizagem em curso a distância: validação de uma escala. Psico-USF, 3(2),177-187.         [ Links ]

Zerbini, T. & Abbad, G. (2010a). Reações aos procedimentos instrucionais de um curso via internet: validação de uma escala. Estudos de Psicologia, 26(3),363-371.         [ Links ]

Zerbini, T. & Abbad, G. (2010b). Transferência de treinamento e Impacto do treinamento no trabalho: análise crítica da literatura. Revista Psicologia: Organizações e Trabalho, 10, p. 97-111.         [ Links ]

Zerbini, T. , Coelho Jr. , F. A. , Abbad, G. , Mourão, L. , Alvim, S. , & Loiola, E. (2012). Transferência de treinamento e impacto do treinamento em profundidade. Em G. Abbad et al. (Orgs. ), Medidas de Avaliação em Treinamento, Desenvolvimento e Educação (pp. 127-146). Porto Alegre: Artmed.         [ Links ]

 

 

Endereço para correspondência:
Luciana Mourão
Universidade Salgado de Oliveira- UNIVERSO
Rua Marechal Deodoro, 217 - 2º andar
CEP 24030-060 Niterói/RJ
E-mail: mourao.luciana@gmail.com

Recebido em: 28.12.2011
Aprovado em: 31.01.2012 203