ARTIGO

 

Construção e validação de escala de impacto em profundidade: o caso do Empretec

 

Construction and validation of an impact in depth scale: the case of Empretec

 

 

Silvana Alvim^I; Elisabeth Loiola^II

^IPrograma de Pós-Graduação em Psicologia - UFBA. Rod. Admar Gonzaga, 1407/202 - Itacorubi, Florianópolis (SC), CEP 88034-001 . silvana.alvim@gmail.com. lattes http://lattes.cnpq.br/6985529482413633
^IINúcleo de Pós-Graduação da EAUFBA e Programa de Pós-Graduação em Psicologia - UFBA. beloi@ufba.br. lattes http://lattes.cnpq.br/9281554339654244

 

 

---

RESUMO

O objetivo deste artigo foi desenvolver e validar instrumento de avaliação de impacto em profundidade de treinamento não-corporativo voltado para o desenvolvimento de competências empreendedoras. A escala, denominada Escala de Impacto em Profundidade do Empretec (EIPE), foi elaborada de forma customizada a partir de levantamento exploratório do material didático e posterior definição dos objetivos de desempenho em termos de CHAs (competências, habilidades e atitudes), cuja aquisição se esperava dos aprendizes do Empretec. O instrumento foi aplicado presencialmente a uma amostra de 752 participantes. As respostas foram submetidas a análises exploratórias dos componentes principais e análise fatorial. Os resultados apresentaram índices psicométricos satisfatórios com cargas fatoriais que oscilaram entre - 0,64 e 0,83. Foram encontrados dois tipos de estruturas igualmente confiáveis e válidas para esse instrumento: uma escala geral e uma tridimensional. A escala geral, originalmente com 24 itens, ficou com 22 itens e apresenta alto índice de confiabilidade (α = 0,93). Quanto aos fatores da estrutura tridimensional, foram denominados: Realização e Poder (14 itens, α = 0,91); Planejamento (5 itens, α = 0,85) e Pró-Atividade (3 itens, α = 0,80).

Palavras-chave: impacto em profundidade, construção de escala, validação de escala, treinamento não-corporativo.

---

ABSTRACT

The goal of this paper was to develop and validate an evaluation instrument for impact in depth of non-corporate training focused on the development of entrepreneurial skills. The scale, called Scale of Impact in Depth of Empretec Training (SIDE), was custom-prepared from an exploratory analysis of the teaching material and further definition of the performance goals in terms of the skills, abilities, and attitudes that Empretec learners were expected to acquire. The instrument was administered in person with a sample of 752 participants. The answers were submitted to exploratory analysis by principal components and factor analysis. The results showed satisfactory psychometrics with factor loadings ranging from 0.64 to 0.83. Two types of structures, equally reliable and valid for this instrument, were found: a general scale and a three-dimensional one. The general scale, originally 24 items, retained 22 items, and results in high reliability (α = 0.93). As for the three-dimensional structure, the factors were as follows: Performance and Power (14 items, α = 0.91); Planning (5 items, α = 0.85); and Pro-activity (3 items, α = 0.80).

Keywords: impact in depth, construction of scale, validation of scale, non-corporate training.

---

 

 

Práticas de Treinamento, Desenvolvimento e Educação (TD&E) vêm ocupando posição estratégica no mundo do trabalho. Abbad (1999) destaca a necessidade de os treinamentos tornarem-se rapidamente instrumentos eficazes para formação de perfil profissional que corresponda às exigências impostas por transformações vivenciadas por organizações e pelo mercado de trabalho. Porém, como assinala a autora, para que tal eficácia seja atingida, é necessário um esforço conjunto e bem articulado de pesquisadores e de outros profissionais da área de TD&E para desenvolver novas tecnologias de avaliação de treinamento e novos conhecimentos a respeito das variáveis explicativas da eficácia dos sistemas instrucionais.

Questões ainda não devidamente equacionadas, relacionadas à construção de medidas e delineamentos das pesquisas em avaliação de treinamento, parecem ser algumas das principais fontes de explicação para a relativamente baixa taxa de difusão de práticas de avaliação de TD&E. A complexidade em captar o fenômeno em sua totalidade, a ausência de cultura propícia a esse tipo de esforço e falta de recursos financeiros para esse fim também justificam a negligência com processos avaliativos. Conforme assinala Zerbini(2007), importantes segmentos da sociedade como as instituições e organizações, que ofertam, de forma aberta ou fechada, programas de qualificação e formação, estão à espera de avaliações de efetividade. Tratando-se especificamente de treinamentos não-corporativos voltados para o empreendedorismo, como o Empretec (desenvolvido originalmente pela Agência Internacional para o Desenvolvimento dos Estados Unidos - USAID e ofertado no Brasil pelo Serviço de Apoio às Micro e Pequenas Empresas - SEBRAE), entre as dificuldades encontradas, ressalta-se a carência de modelos e de escalas validadas para medir sua efetividade, o que certamente repercute negativamente sobre a aprendizagem, o treinamento e a educação empreendedora e, consequentemente, sobre o campo por inteiro (Henry, Hill & Leitch, 2005; Fiet, 2000).

O Entrepreneur Training Workshop (ETW), conhecido no Brasil como "Treinamento ou Seminário Empretec", objetiva, em linhas gerais, desenvolver 10 competências individuais relacionadas ao sucesso empreendedor: busca de oportunidade e iniciativa, persistência, correr riscos calculados, comprometimento, exigência de qualidade e eficiência, planejamento e monitoramento sistemático, busca de informações e estabelecimento de metas, persuasão e rede de contatos, independência e autoconfiança (McClelland, 1972, 1982; Colley, 1990). É importante destacar que, embora tenham sido feitas revisões e reestruturações no desenho do treinamento ao longo dos seus 18 anos de aplicação, as 10 competências iniciais sofreram poucas alterações. Todavia vale enfatizar uma mudança fundamental: a tentativa de reforçar a atitude voltada para a atribuição da responsabilidade pelo sucesso ou fracasso pessoal também conhecida como "lócus de controle" (Rotter, 1971) por meio da inclusão de conteúdo teórico e atividades transversais focadas em autoresponsabilização ao longo de todo o treinamento.

Desde que o Empretec foi implantado no País até 2007¹, cerca de cem mil pessoas já tinham sido treinadas e, além das avaliações de reação obtidas ao final do treinamento, sobressaem três: a primeira, realizada por Cooley (1990), concentrou-se na avaliação de impacto após dois anos de treinamento; a segunda, de Lopes (1999), realizada como parte de sua dissertação de mestrado em psicologia na Universidade de São Paulo (USP), focou os efeitos do treinamento nos níveis comportamental e de desempenho econômico dos negócios; e, em 2002, uma pesquisa encomendada pelo SEBRAE Nacional ao Instituto Brasileiro de Produtividade e Qualidade - Paraná (IBPQ-PR) avaliou o impacto do programa no Brasil. Tais pesquisas não foram conduzidas com base em escalas validadas.

Em recente artigo apresentado na "Entrepreneurship Research Conference Babson-Kauffman", comparando os resultados de Lopes (1999) e de IBQP-PR (2002), Lopes (2004) afirma que, apesar do uso de diferentes metodologias, ambas as pesquisas sugeriram que o Empretec impacta positivamente nos níveis pessoal e empresarial dos indivíduos egressos. Contudo, faz algumas ressalvas. Entre elas, uma diz respeito à necessidade de novos estudos sobre treinabilidade das competências.

Além das avaliações do Empretec, foram apenas três as pesquisas na área de avaliação de treinamento, no contexto do empreendedorismo, encontradas na literatura de TD&E brasileira revisada, e todas ressaltam a importância dos fatores do macro ambiente, do ambiente interno e do nível de suporte oferecido pós-treinamento para que o indivíduo possa aplicar as novas competências no trabalho (Carvalho, 2003; Zerbini, 2003, 2007). Embora Carvalho (2003) e Zerbini (2003 e 2007) tenham encontrado resultados de avaliação em profundidade, o curso-alvo avaliado pelas referidas autoras, "Iniciando um Pequeno Grande Negócio - IPGN", também ofertado pelo SEBRAE, possui objetivos e estratégias de aprendizagem totalmente diferentes do Empretec, o que impossibilita a replicação da escala validada. Já na literatura de empreendedorismo, mesmo tendo crescido o número de artigos que consideram a estrutura de oportunidades e a influência do contexto como fundamentais para o desempenho empreendedor, ainda são escassos os esforços de pesquisa empreendidos para a investigação dessas importantes variáveis nas avaliações de treinamento (Busenitz, 2003).

Dadas as lacunas relatadas até aqui e valendo-se dos modelos teóricos e achados de pesquisa da área de TD&E, neste artigo, descrevem-se os processos de desenvolvimento e de validação de instrumento de medida de avaliação de impacto em profundidade de treinamento não-corporativo para empreendedores, o Empretec.

A seguir apresenta-se uma breve análise de conceitos relacionados à avaliação de impacto e suas dimensões e, logo após, descrevem-se os procedimentos de construção e validação da escala de impacto em profundidade para o treinamento avaliado.

Avaliação de Impacto do Treinamento no Trabalho

Avaliar treinamento é o ato de julgar se ele valeu ou não a pena em termos de algum critério de valor, à luz da informação disponível (Hamblin, 1978). Trata-se de processo sistemático que visa à coleta e à análise de informações sobre treinamento específico, as quais podem ser úteis para planejar e orientar decisões, assim como para mensurar a relevância, efetividade e impacto de vários de seus componentes (Raab, Swanson, Wentling, 1991; Goldstein, 1991). No Brasil, autores como Abbad (1999) e Borges-Andrade (1982, 1996, 2006) tratam a avaliação de treinamento como um subsistema de um sistema maior, o sistema instrucional, que envolve o levantamento de necessidades, planejamento e execução, e avaliação (Figura 1). Como se depreende da Figura 1, a avaliação fornece elementos que retroalimentam todo o sistema, indicando os pontos positivos que devem permanecer nos treinamentos futuros, bem como sinalizando aspectos a serem modificados ou retirados do planejamento.

Philips (1996) elencou as seguintes funções da avaliação de treinamento: determinar se a realização da ação está ou não de acordo com seus objetivos; identificar as forças e fraquezas de uma ação de recursos humanos; determinar a razão custo/benefício de uma ação; decidir quem deve participar de futuras ações; identificar os participantes que se beneficiam mais ou menos de uma ação; reunir dados para suportar futuras ofertas de ações educacionais; determinar que ação se mostra mais apropriada para atender a uma demanda específica.

Diante do exposto até aqui, percebe-se o papel essencial da avaliação no sistema instrucional, já que, nessa etapa, geram-se informações que retroalimentam e contribuem para seu aperfeiçoamento constante, identificandose aspectos negativos e positivos. No entanto, a revisão de bibliografia realizada aponta desafios a serem vencidos para que as avaliações de treinamento possam cumprir seu papel, uma vez que há muitas sobreposições e até mesmo imprecisões conceituais no subsistema "avaliação". No que tange a avaliações de treinamentos na área de empreendedorismo, os desafios tendem a ser ainda maiores, tendo em vista a grande fragmentação conceitual e persistentes indagações no campo, como, por exemplo, sobre os resultados esperados de um treinamento para desenvolvimento de empreendedores, ou a que esferas das atividades humanas se aplica a função empreendedora, além da prática de negócios (Katz, 2007; Filion, 2001). Alguns desses desafios são enfocados a seguir.

Vasta literatura discute e analisa de maneira aprofundada distinções entre diferentes tipos de avaliações (de impacto, de necessidade, de efetividade), assim como particularidades dos conceitos "transferência de aprendizagem", "transferência de treinamento" e "impacto de treinamento em profundidade e amplitude", dentre outros. Para efeito deste artigo, definições do conceito complexo "Impacto do treinamento no trabalho", diferenciando suas duas dimensões em amplitude e em profundidade, são estratégicas.

A noção de impacto do treinamento está associada ao efeito do treinamento no âmbito do indivíduo e é muito próxima da ideia de transferência apresentada por Hamblin (1978), que se refere às consequências esperadas de um treinamento incluindo a aplicação dos CHAs (competências, habilidades e atitudes) no trabalho. Já o conceito "impacto do treinamento em situações de trabalho" é correlato ao de "Impacto do treinamento no trabalho", tendo sido esse último aqui cunhado com vistas a englobar as mais diversas situações de trabalho possíveis para egressos de treinamentos nãocorporativos ou extra-organizacionais. No caso do presente estudo, é importante ressaltar que os resultados esperados voltam-se para a função empreendedora, no lugar do indivíduo empreendedor, função essa que pode ser exercida em diferentes ambientes de trabalho juntamente com uma equipe ou individualmente. O desempenho desse empreendedor, portanto, está também associado a equipes, processos, atividades e contextos (macro e micro), além de expressar suas competências empreendedoras.

Sobre as fronteiras entre "impacto do treinamento no trabalho", "transferência de aprendizagem" e "transferência de treinamento", elas ainda não foram claramente estabelecidas. Abbad, Pilati e Pantoja (2003) indicam que os três são conceitos similares, mas não podem ser adotados como sinônimos. Segundo os autores, a expressão mais utilizada em pesquisas nacionais é impacto do treinamento no trabalho, que compreende noções de transferência e desempenho no trabalho, enquanto em pesquisas estrangeiras a expressão transferência de aprendizagem é mais utilizada. Acrescentam que o termo "transferência de aprendizagem" tem sido muito utilizado para contextos informais de aprendizagem, enquanto o termo "transferência de treinamento" é o mais adequado para ambientes formais ou induzidos de aprendizagem. Para Zerbini (2007), o termo "transferência de treinamento" seria o mais apropriado para investigar treinamentos em ambientes abertos de trabalho, ou seja, em treinamentos não-corporativos, enquanto que "impacto de treinamento no trabalho" se aplica a treinamentos em ambientes corporativos, como foi proposto por Hamblin (1978).

Em caso de treinamento voltado ao desenvolvimento de competências empreendedoras, como o Empretec, outras questões tornam-se relevantes nesse debate conceitual, como a grande variedade de ambientes e de possibilidades de aplicação do aprendido. O ato de empreender é dinâmico, contingencial e complexo. A função empreendedora, por sua vez, é descontínua no tempo e, por isso, o indivíduo pode desempenhá-la ao lado de outras funções e competências (Schumpeter, 2002). Além disso, o resultado da aprendizagem de competências empreendedoras pode ser revelado no alcance do autossustento, na habilidade de o indivíduo inserir-se no mercado de trabalho assalariado, ocupar cargos ou funções mais complexas em organizações, dentre outras. Daí a necessidade de adaptação de conceitos da área de TD&E, cuja produção concentra-se principalmente em ambientes corporativos, para ambientes não-corporativos.

Assim, neste trabalho, define-se "Impacto do treinamento no trabalho" como a influência que o evento instrucional exerce sobre o desempenho subsequente do participante, que reflete, por sua vez, os CHAs adquiridos ou reforçados ao longo do evento instrucional. Pode ser medido em dois níveis de complexidade: em profundidade e em amplitude, em conformidade com os objetivos da avaliação.

Constatou-se, não só em estudos de Hamblin (1978), mas em muitas pesquisas em TD&E (Freitas, Borges-Andrade, Abbad & Pilati, 2006), a prevalência do uso do termo impacto do treinamento no trabalho para a avaliação de eventos educacionais em ambientes corporativos onde o público-alvo é formado por funcionários, gerentes ou supervisores de uma mesma organização e exerce cargos ou funções específicas. No caso do treinamento focado neste artigo, não é possível observar os efeitos da ação instrucional no comportamento subsequente do indivíduo em seu cargo ou função em uma determinada organização. Conforme já assinalado, são diversos os ambientes de trabalho em que os egressos do Empretec podem aplicar os CHAs aprendidos (e.g. criação de empresa, expansão de empresa existente, aperfeiçoamento de uma função numa organização pública ou privada na qual é funcionário, função no terceiro setor, autônomo). Portanto, entende-se que para treinamentos não-corporativos voltados a empreendedores, como o caso do treinamento Empretec, a expressão "situações de trabalho" é a que melhor traduz as possibilidades de aplicação do aprendido, por ser suficientemente ampla para abrigar a maioria das possibilidades vivenciadas pelos seus egressos.

Segundo Pilati e Abbad (2005), caso o objetivo do profissional de treinamento seja avaliar os efeitos diretos do treinamento, obtidos por meio da observação dos objetivos instrucionais específicos, então impacto em profundidade é a medida mais adequada. Por outro lado, se o que se deseja medir são os efeitos da ação instrucional no desempenho global, atitudes e motivação do indivíduo, a medida de impacto do treinamento em profundidade não é suficiente. O indivíduo que aplica os CHAs no trabalho não apresenta, necessariamente, mudanças globais em seu comportamento. Portanto, nesse caso, a medida apropriada é de impacto em amplitude.

Conforme Zerbini (2007), há muitos autores que trabalharam com medidas de impacto em amplitude. Por outro lado, há um número bem menor de pesquisadores que estudaram impacto em profundidade. Esse fato pode ser explicado em razão das inúmeras dificuldades para realizar avaliações de impacto em profundidade, sobretudo por ser avaliação customizada, o que implica elevado custo financeiro e de tempo, exigindo profissional qualificado para desenvolvimento de instrumentos de medida com base no levantamento exploratório e análise do material didático do treinamento. Além disso, quando o número de treinandos é pequeno, torna-se inviável a verificação da precisão e validade psicométrica do instrumento. Por outro lado, a avaliação de impacto em amplitude é mais facilmente viabilizada, por se amparar em objetivos genéricos. Em função disso, é possível aplicar a mesma escala, com pequenas adaptações, para avaliar diferentes treinamentos.

A revisão de bibliografia realizada até aqui especifica conceitos-chave a serem utilizados assim como evidencia a necessidade de realização de mais pesquisas que avaliem os efeitos diretos de ações educacionais sobre os desempenhos específicos relacionados aos CHAs desenvolvidos por meio do Empretec, propósito maior deste trabalho. Importante ressaltar que os resultados aqui apresentados fazem parte de uma pesquisa mais ampla, na qual foram aplicadas também escala de impacto em amplitude, além de outras. Portanto, alguns critérios foram utilizados para adoção do termo "Escala de Impacto em Profundidade", em lugar de "Escala de Transferência de Treinamento". Prioritariamente, foram considerados critérios relativos às decisões estratégicas, para facilitar o entendimento dos questionários pelos pesquisados no momento da coleta dos dados. Somado a isso, entende-se que a discussão conceitual entre "Escala de Impacto em Profundidade" e de "Escala de Transferência de Treinamento" ainda está em processo, havendo muito a ser ponderado e discutido no âmbito científico, especialmente no que tange a treinamentos não-coorporativos. Adicionalmente, o termo mais usado no Brasil é, como já foi registrado, "Escala de Impacto em Profundidade". Assim a maior difusão da denominação "Escala de Impacto em Profundidade" foi outro fator que pesou na escolha realizada. Por fim, registre-se que essa denominação põe mais em relevo a natureza customizada desse tipo de escala.

 

MÉTODO

Nesta seção, são apresentados uma breve descrição do treinamento-alvo e os procedimentos metodológicos adotados para o desenvolvimento e testes de validação da Escala de Impacto em Profundidade do Empretec (EIPE).

Treinamento-Alvo

O Empretec é um treinamento voltado, em sua origem, a empresários e futuros empreendedores, cuja execução no Brasil, inicialmente coordenada pelos bancos Badesc e Badesul, desde 1993, está a cargo, atualmente, do SEBRAE em parceria com o Programa das Nações Unidas para o Desenvolvimento (PNUD) e com a Agência Brasileira de Cooperação (ABC) do Ministério das Relações Exteriores (MRE) (SEBRAE/IBPQ-PR, 2002).

Em aplicação no Brasil há 18 anos, o Empretec visa a estimular e desenvolver características individuais do empreendedor, de forma a propiciar sua empregabilidade e permanência no mercado, por meio de metodologia de aprendizagem experiencial. Visa a favorecer a aquisição ou o fortalecimento de 10 competências empreendedoras, identificadas a partir de uma extensa pesquisa, cujos resultados foram apresentados por Cooley (1990): busca de oportunidade e iniciativa; persistência; correr riscos calculados; comprometimento; exigência de qualidade e eficiência; planejamento e monitoramento sistemático; busca de informações e estabelecimento de metas; persuasão e rede de contatos; independência e autoconfiança.

Possui base cognitivo-comportamental e também fortes componentes afetivos, que sempre emergem em avaliações de reação aplicadas pelo próprio SEBRAE no último dia de cada treinamento. É ministrado por instrutores credenciados pelo SEBRAE em parceria com a ONU, em regime intensivo e carga horária diária de oito horas-aula presenciais, totalizando 60 horas de treinamento.

O formato atual do Empretec compreende 22 módulos, fundamentalmente focados no ensino das 10 competências empreendedoras acima mencionadas, as quais foram agrupadas em três bases motivacionais: realização (busca de oportunidade e iniciativa; persistência; correr riscos calculados; comprometimento; exigência de qualidade e eficiência); planejamento (planejamento e monitoramento sistemático, busca de informações e estabelecimento de metas); e poder (persuasão e rede de contatos, independência e autoconfiança).

Para participar, o candidato inicialmente preenche um questionário com seus dados pessoais e proposta empresarial e, em seguida, submete-se à entrevista individual. O objetivo principal da entrevista é traçar o perfil empreendedor do candidato com base nas 10 competências empreendedoras. Os participantes recebem o seu perfil no primeiro dia do treinamento, obtendo, com isso, um repertório de entrada em relação a seu perfil empreendedor.

Desenvolvimento e Validação de Juízes e Semântica do Instrumento

O desenvolvimento do instrumento de medida foi feito em quatro etapas. Na primeira etapa, realizou-se análise documental do Manual do Empretec (2002), visando à sistematização das estratégias de ensino e formulação dos objetivos instrucionais. Tomando-se como base os critérios para descrição de objetivos instrucionais ou de desempenho estabelecidos por Mager (1979), segundo o qual cada objetivo deve conter os componentes de desempenho, condição e critério, 103 objetivos foram inicialmente elaborados. Com o suporte de um instrutor sênior, foram eliminadas duplicidades e irrelevâncias, chegando-se a 37 objetivos instrucionais.

Na segunda etapa, com o intuito de verificar a clareza, objetividade e representatividade dos objetivos instrucionais formulados na etapa 1, os 37 objetivos instrucionais e as orientações para suas avaliações foram submetidos, por meio eletrônico, à avaliação de nove instrutoreslíderes do treinamento, residentes em diferentes regiões do Brasil. Após análises das respostas dos instrutores, mais junções, eliminações e redefinições foram realizadas, obtendo-se 15 objetivos instrucionais finais.

O próximo passo foi verificar se os objetivos instrucionais, de fato, representavam CHAs cujo desenvolvimento ou consolidação se objetivava para os aprendizes. Assim, foi realizado um mapeamento minucioso de cada objetivo instrucional descrito em termos de competências (CHAs), decompondo-os em suas três dimensões constituintes (conhecimentos, habilidades e atitudes), conforme o exemplo constante do Quadro 1. Em seguida, após eliminação dos objetivos considerados intermediários e acréscimo dos objetivos relevantes, foram extraídos os itens do instrumento.

Na quarta etapa, o instrumento com 23 itens foi submetido à avaliação de especialistas acadêmicos para avaliação semântica. Participaram da oficina de três horas professores, estudantes de graduação e pós-graduação em Psicologia e Administração, que analisaram e criticaram o instrumento quanto à clareza, objetividade, precisão e adequação dos itens e instruções. Os ajustes sugeridos pelo referido grupo foram, em sua maioria, aproveitados, o que resultou na versão final do instrumento com 24 itens, vinculados a uma escala Likert de 11 pontos, com variação entre 0 (zero), não aplico, e 10 (dez), aplico totalmente, com estrutura originalmente unifatorial. O quadro 2 apresenta alguns itens que compõem o instrumento proposto, assim como a escala utilizada.

Participantes e Procedimentos de Coleta de Dados

Os questionários foram remetidos para os instrutores pelo correio juntamente com uma correspondência com as orientações de aplicação. As turmas foram escolhidas com base na agenda de treinamentos dos Estados e na disponibilidade do instrutor para aplicação dos questionários. Após serem aplicados, os questionários foram devolvidos pelos instrutores ou pela agência Sebrae (através do correio), e os dados foram inseridos num banco de dados do Statistical Package for the Social Science (SPSS) versão 13.0.

Compuseram o estudo 752 participantes do treinamento Empretec de turmas oferecidas em diferentes regiões do Brasil no período de outubro de 2007 a março de 2008. A amostra foi definida por acessibilidade, condicionada ao acesso obtido através dos instrutores e do SEBRAE para aplicação dos questionários no período proposto. A maioria dos respondentes é do sexo masculino (60,8%), com faixa etária entre 21 e 30 anos (35,5%), reside na região Sudeste (45,3%), possui 3o grau completo (27,4%) e são empresários (43,0%). Nessa amostra, a maioria participou do Empretec no mês de novembro de 2007 (37,9%).

 

RESULTADOS E DISCUSSÃO

Antes do início das análises de validação, os dados foram submetidos a análises descritivas e exploratórias, com a finalidade de obter frequências absolutas e relativas das respostas, verificar a exatidão da entrada dos dados, a distribuição dos dados omissos, a identificação de outliers, e a distribuição das variáveis, assim como os pressupostos para a realização das análises posteriores.

A partir das análises exploratórias do banco de dados completo, as respostas dos 752 participantes aos 24 itens do questionário apresentaram 1 caso extremo univariado e 72 casos extremos multivariados, os quais foram retirados do arquivo de dados, que passou a contar com 679 casos válidos. Foram identificados valores omissos entre 0,1 a 0,4%, não sendo necessário estimar valores para substituí-los, conforme sugerido por Hair, Babin, Money, e Samouel (2005).

Para realizar a análise da matriz de covariância em termos de fatorabilidade, foram analisados o tamanho das correlações e a adequação da amostra. A matriz apresentou um valor de correlação inferior a 0,30, enquanto todos os outros valores encontrados na matriz apresentaram correlações superiores a 0,30, indicando que a matriz é fatorizável. Quanto ao teste de Kaiser-Meyer-Olkin (KMO), obteve-se um valor de 0,93, considerado por Pasquali (2005) um excelente índice de adequação da amostra.

A análise dos componentes principais, com tratamento pairwise para os casos omissos, sugere uma estrutura empírica com oito componentes, de acordo com o critério dos eigenvalues (valores próprios) maiores ou iguais a um, e o critério de Harman, no qual cada componente deveria explicar no mínimo 3% da variância total. A análise do scree plot apresentou a existência de quatro componentes, como pode ser observado na Figura 2.

 

 

Pela análise paralela de Horn, entretanto, observaram-se apenas três fatores para essa escala. O Quadro 3 apresenta os valores próprios, empíricos e aleatórios para cada componente, de acordo com a análise paralela de Horn.

Como apresentado no Quadro 3, os três primeiros componentes da estrutura apresentam valor próprio empírico maior que o fornecido pela análise paralela, indicando uma estrutura composta por três fatores. Na análise dos valores próprios e variância explicada, oito componentes foram indicados; na análise do scree plot, verificou-se maior ênfase para uma estrutura com quatro componentes; e, na análise paralela de Horn, obtiveram-se três fatores. Diante disso, foram realizadas análises para a extração final dos fatores com quatro e três fatores para comparação.

As análises foram realizadas por meio da PAF, com método de rotação oblíqua e tratamento pairwise para casos omissos. Na PAF com quatro fatores, dois itens não permaneceram na escala (EPI 4 - Reconheço fontes de oportunidades e atuo sobre elas para abrir um novo negócio ou oferecer um novo serviço - e EPI 24 - Atribuo a mim mesmo(a) as causas dos meus sucessos e fracassos); três itens compartilhavam variância em dois fatores e apenas dois itens (EIP 15 - Identifico com clareza os pontos fortes do meu comportamento empreendedor e EIP16 - Identifico com clareza os pontos fracos do meu comportamento empreendedor) agruparam-se, formando o quarto fator. Já na PAF com três fatores, dois itens obtiveram cargas abaixo do critério de 0,30 (EIP 22 - Realizo compras, vendas, investimentos ou outras transações financeiras levando em conta o meu planejamento financeiro - e EIP 24 - Atribuo a mim mesmo(a) as causas dos meus sucessos e fracassos), porém houve apenas um compartilhamento de variância entre os itens, e as cargas fatoriais, de uma maneira geral, apresentaram valores mais altos.

Os resultados mencionados no parágrafo anterior indicam a possibilidade de soluções para três ou quatro fatores. Assim, optou-se pela estrutura com três fatores, escolha reforçada pelos resultados obtidos na análise paralela de Horn e também por encontrar amparo nas bases de aplicação do treinamento encontradas no Manual do Instrutor do Empretec (Manual do Instrutor, 2002).

O Quadro 4 apresenta a estrutura empírica da escala, as cargas fatoriais, as comunalidades (h²) dos itens, as médias e desvios padrão, os índices de consistência interna e os valores próprios e percentuais de variância explicada de cada fator.

O fator 1, denominado Realização e Poder, é composto por 14 itens que coletam informações sobre autoavaliações do impacto do treinamento nas competências de iniciativa, relacionamento interpessoal e persistência e autoconhecimento. Os CHAs avaliados pelos itens que compõem esse fator são ensinados primordialmente nos módulos relativos aos conjuntos de Realização e Poder do Empretec, com exceção dos dois itens referentes a autoconhecimento (EIP 15 - Identifico com clareza os pontos fortes do meu comportamento empreendedor - e EIP16 - Identifico com clareza os pontos fracos do meu comportamento empreendedor), que são conteúdos transversais. Esse fator apresentou alto índice de consistência interna (α = 0,91) e itens com cargas fatoriais que variaram entre 0,31 e 0,79.

O fator 2, Planejamento, composto por cinco itens, coleta informações sobre autoavaliações do impacto do treinamento nos desempenhos referentes a estabelecimento de metas e planejamento. Os CHAs avaliados por esse fator são ensinados nos módulo 3 e 14 (Estabelecimento de Metas e Planejamento e Monitoramento Sistemáticos), respectivamente. Esse fator apresentou bom índice de consistência interna (α = 0,85) e itens com cargas fatoriais entre 0,40 e 0,81.

O fator 3, denominado Pró-Atividade, coleta informações sobre autoavaliações do impacto do treinamento no que se refere a análises de informações e critérios antes da tomada de decisão. Os CHAs avaliados por esse fator são ensinados principalmente nos módulo 6 e 8 (Correr riscos calculados e Busca de informações). O fator apresentou um índice de consistência interna de 0,80 e itens com cargas fatoriais entre -0,64 e -0,73. Seus três itens obtiveram cargas negativas, indicando que atuam na mesma direção.

Para analisar a estabilidade, verificou-se o quanto os itens eram bons representantes do fator pelo tamanho das cargas fatoriais. Tomando como referência o ponto de corte de 0,40, apenas dois itens obtiveram cargas inferiores: EPI 4 - Reconheço fontes de oportunidades e atuo sobre elas para abrir um novo negócio ou oferecer um novo serviço - que obteve carga fatorial de 0,36, e EPI 9 - Consulto especialistas antes de tomar uma decisão que envolva conhecimentos técnicos sobre um determinado assunto - com carga fatorial de 0,31. Os resultados apresentados demonstram estabilidade da estrutura empírica da escala (Hair e cols., 2005). Para nomear os fatores, os agrupamentos foram interpretados com apoio na análise do material didático.

As correlações bivariadas entre os fatores foram relativamente altas (r 1,2 = 0,53; r 1,3 = -0,61; r 2,3 = 0,38), indicando a possibilidade do agrupamento dos fatores. Como essa indicação também faz sentido teórico, foi feita uma nova análise PAF, forçando uma solução unifatorial. A estrutura empírica pareceu consistente em 679 casos válidos. Os itens apresentaram cargas fatoriais acima de 0,30 (de 0,57 a 0,73), explicação de 41,37 % da variância total da resposta e alpha Cronbach de 0,93, considerado excelente de acordo com Hair e cols. (2005). Os mesmos itens excluídos para análise com três fatores novamente apresentaram cargas fatoriais abaixo de 0,30 (EPI 22 - Realizo compras, vendas, investimentos e (ou) outras transações financeiras levando em conta o meu planejamento financeiro - e EPI 24 - Atribuo a mim mesmo (a) as causas dos meus sucessos e fracassos), sendo, portanto, retirados da matriz final, que se configurou mais confiável com 22 itens. Em síntese, foram encontrados dois tipos de estruturas igualmente confiáveis e válidas para esse instrumento: uma escala geral e uma tridimensional. A escala geral, denominada Impacto em Profundidade do Empretec (EIPE), originalmente com 24 itens, ficou com 22 itens e apresenta o alto índice de confiabilidade de 0,93. Quanto aos fatores da estrutura tridimensional, foram denominados: Realização e Poder (14 itens, α = 0,91); Planejamento (5 itens, α = 0,85) e Pró-Atividade (3 itens, α = 0,80). Do instrumento originalmente proposto, foram excluídos os itens EPI 22 (Realizo compras, vendas, investimentos e (ou) outras transações financeiras levando em conta o meu planejamento financeiro) e EPI 24 (Atribuo a mim mesmo as causas dos meus sucessos e fracassos). A escala validada corresponde à apresentada no Quadro 4.

Além das indicações estatísticas, algumas razões teóricas e práticas justificam a exclusão desses itens. O item EIP 22 trata do planejamento financeiro, que vem sendo muito pouco trabalhado em comparação com os demais conteúdos da grade curricular do treinamento, sobretudo nos últimos anos de aplicação do Empretec. O conteúdo de planejamento financeiro no Empretec, no Brasil, é trabalhado no sentido apenas de sensibilizar o participante a buscar um treinamento específico sobre tal matéria. Portanto, já se esperava que tal item pudesse ser eliminado da escala original.

O outro item excluído (EIP 24 - Assumo responsabilidade pessoal pelas minhas decisões e ações) refere-se ao conteúdo de autorresponsabilização, um dos componentes de escalas de lócus de controle, que originalmente era trabalhado de forma transversal no Empretec e posteriormente passou a ter conteúdos relacionados abordados também de forma pontual. A exclusão do item confirma o que já se previa: dada a sua importância, tanto para a previsão de impacto de TD&E (Meneses, Abbad, Zerbini & Lacerda, 2006) quanto como competência empreendedora essencial, segundo vários autores (MCclelland, 1982; Cooley, 1990), a variável lócus de controle necessita ser avaliada a partir de uma escala própria. Além disso, sua exclusão parece sinalizar a necessidade de mudanças na grade curricular e na proposta metodológica do Empretec, tendo em vista que o lócus de controle vem sendo apontado com um dos principais fatores no desenvolvimento de competência empreendedora, conforma assinalado anteriormente.

Abordagens mais recentes (Baron & Shane, 2007; Busenitz & Arthurs, 2007) em empreendedorismo retomam a discussão sobre lócus de controle de uma perspectiva cognitivista mais ampla, focada em reconhecimento de oportunidades e tomada de decisão com base em informações do ambiente. No entanto, a relação entre lócus de controle e empreendedorismo ainda não foi adequadamente explorada em pesquisas na área de empreendedorismo. Sob o ponto de vista da área de TD&E, Meneses e cols. ( 2006) apontam para a necessidade de mais pesquisas que explorem a relação entre a variável lócus de controle e impacto de treinamento, supondo que essa característica psicossocial, juntamente com autoeficácia, possam ter influência importante nos resultados de treinamento.

 

CONCLUSÕES

Este estudo procurou tomar como referência as ferramentas e o escopo teórico sobre avaliação de treinamento advindos da área de TD&E para construir e validar uma escala de avaliação de impacto em profundidade do Empretec - treinamento não-corporativo em empreendedorismo. Os resultados encontrados evidenciam a pertinência de duas soluções válidas e confiáveis, sendo uma unifatorial, denominada Escala de Impacto em Profundidade do Empretec (EIPE), e outra composta de três fatores denominados: "Realização e Poder", "Planejamento" e "Pró-Atividade".

Por ser um instrumento específico para o Empretec, a Escala de Impacto em Profundidade do Empretec não pode ser aplicada a treinamentos com outros focos. No entanto, com base no que já foi destacado em pesquisas anteriores, já mencionadas no corpo deste trabalho, a validação de escalas de medida de impacto em profundidade é um avanço para a área de TD&E. A validação de um instrumento para mensurar impacto de treinamento em profundidade é fato raro na área, por serem poucos os treinamentos oferecidos a um número suficiente de participantes (Zerbini, 2007), que permitam análises exploratórias da estrutura empírica do instrumento, além do tempo e recursos humanos e financeiros necessários para viabilizá-la. Ainda como já mencionado, algumas pesquisas apresentam instrumentos de mensuração da transferência de treinamento ou impacto em profundidade, mas que não foram validados estatisticamente por insuficiência do tamanho da amostra.

Em vista disso, a validação da Escala de Impacto em Profundidade do Empretec (EIPE) é relevante na medida em que contribui para preencher importantes lacunas da área de avaliação de TD&E em geral, promovendo o avanço do conhecimento necessário para o desenvolvimento desse tipo específico de escala, evidenciando que os objetivos instrucionais e sua descrição na forma de competências - decompostas em conhecimentos, habilidades e atitudes - são insumos estratégicos para a construção do instrumento a ser testado e validado. Tal procedimento mostrou-se muito adequado ao objetivo de desenvolvimento da escala, cuja versão original só teve dois itens descartados, em um conjunto de 24, após a aplicação das técnicas de validação.

Em relação ao campo de pesquisa em empreendedorismo, o desenvolvimento e validação da Escala de Impacto em Profundidade do Empretec mostram-se relevantes, tendo em vista que o programa Empretec já treinou mais de 100 mil pessoas no Brasil, envolvendo uma elevada soma de recursos e difundindo muitas promessas de ampliação das possibilidades de ocupação produtiva e de geração de renda para seus participantes. Suas promessas são tão ambiciosas, que transcendem o campo particular da empregabilidade de seus treinandos e ligam-se à potencialização das possibilidades de desenvolvimento do País. A validação da escala de Avaliação de Impacto do Empretec (EIPE) viabiliza a realização de avaliação mais precisa e com desenho de pesquisa mais consistente para identificar a efetividade do referido treinamento. Seus resultados podem indicar necessidades de ajuste tanto de seus conteúdos programáticos quanto das metodologias adotadas, no sentido de favorecer o alcance de seus objetivos instrucionais e, consequentemente, a aquisição ou reforço das competências, desdobradas em conhecimentos, habilidades e atitudes, por seus participantes.

Para prosseguir no esforço de acumular evidências empíricas sobre a percepção dos treinandos acerca dos impactos de tais treinamentos, sugere-se, para estudos futuros, que haja a reaplicação do instrumento validado com outras amostras oriundas das turmas do mesmo treinamento, que permanece sendo oferecido em todo o Brasil e internacionalmente, para, assim, investigar a estabilidade das soluções identificadas. Ressalta-se que essa escala pode ser aplicada tanto presencialmente como via Web, o que facilita a realização da pesquisa em diferentes países. Além disso, também se recomenda aproveitar o roteiro de procedimentos para desenvolvimento do instrumento como modelo para a concepção de novas escalas de impacto em profundidade, seja para treinamentos corporativos ou abertos.

 

REFERÊNCIAS

Abbad, G. (1999) Um modelo integrado de avaliação do impacto do treinamento no trabalho - IMPACT. Tese de doutorado não-publicada, Universidade de Brasília, Brasília.         [ Links ]

Abbad, G.; Pilati, R. & Pantoja, M. J. (2003). Avaliação de treinamento: análise da literatura e agenda de pesquisa. Revista de Administração da USP. 38, 3, 205-218.         [ Links ]

Baron, R.A. & Shane, S.A. (2007). Empreendedorismo: uma visão do processo (1ª ed). São Paulo: Thompson.         [ Links ]

Borges-Andrade, J. E. (2006). Avaliação integrada e somativa em TD&E. Em J.E. Borges-Andrade, G.S. Abbad, & L. Mourão (Orgs.), Treinamento, Desenvolvimento e Educação em Organizações e Trabalho: fundamentos para a gestão de pessoas. (pp. 469-488). Porto Alegre: Artmed        [ Links ]

______. (1982). Avaliação somativa de sistemas instrucionais: integração de três propostas. Tecnologia Educacional, 11, 46, 29-39.         [ Links ]

______. (1996). Treinamento de pessoal: em busca de conhecimento e tecnologia relevantes para as organizações. Em Tamayo, A.; Borges-Andrade, J.E. & Codo, W.(orgs.), Trabalho, organizações e cultura. São Paulo: Cooperativa de Autores Associados, 1996. Coletâneas da ANPEPP.         [ Links ]

Busenitz, L. W.; West, I. G. P.; Shepherd, D.; Nelson, T.; Chandler, G.N. & Zacharakis, A. (2003). Entrepreneurship Research in Emergence: Past trends and Future Directions. Journal of Management, 3, 29, 285-308.         [ Links ]

Busenitz, L.W & Arthurs, J.D. (2007). Cognition and Capabilities in Entrepreneurial Venture. Em R.J Baum; M. Frese; R.A. Baron (Orgs). The Psychology of Entrepreneurship. (pp.131-149). London: LEA.         [ Links ]

Carvalho, R.S. (2003). Avaliação de Treinamento a Distância: Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho. Dissertação de Mestrado não-publicada. Instituto de Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Cooley, L. (1990). Entrepreneurship Training and the Strengthening of Entrepreneurial Performance. Final Report. Contract No. DAN5314-C-00-3074-00. Washington: USAID.         [ Links ]

Fiet, J. (2000). The Pedagogical Side of Teaching Entrepreneurship. Journal of Business Venturing, 1, 5, 101-117.         [ Links ]

Filion, L.J. (2001). O Empreendedorismo como Tema de Estudos Superiores. Em CNI.IEL Nacional, Empreendedorismo, Ciência, Técnica e Arte. (pp.15-42). Brasília: CNI. IEL Nacional.         [ Links ]

Freitas, I. A; Borges-Andrade, J.E.; Abbad, G. & Pilati, R. (2006). Medidas de impacto de TD&E no trabalho e nas organizações. Em Borges-Andrade, J.E; Abbad, G. & Mourão, L. (orgs.) Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para gestão de pessoas. (pp. 489-504). Porto Alegre: Artmed.         [ Links ]

Goldestein, I, L. (1991). Training in work organizations. Em Dunnette & Houg (Orgs.) Handbook of industrial and organizational psychology, 2. ed. (pp. 507-619). California: consulting Psychology Press.         [ Links ]

Hair, J. F.; Babin, B.; Money, A.H & Samouel, P. (2005). Fundamentos de Métodos de Pesquisa em administração. Porto Alegre: Bookman.         [ Links ]

Hamblin, A.C. (1978). Avaliação e controle do treinamento. São Paulo: McGraw-Hill.         [ Links ]

Henry, C.; Hill, F. & Leitch, C. (2005). Entrepreneurship Education and Training: Can Entrepreneuship be Thaught? Part I. Journal Education and Training, 47, 2, 98-111.         [ Links ]

Katz, J. A. (2007). Education and Training in Entrepreneurship. Em Baum, R.J.; Frese, M.; Baron, A. (Orgs). The Psychology of Entrepreneurship. (pp. 209-235). London: LEA.         [ Links ]

Lopes, R. (1999). Avaliação de Resultados de um Programa de Treinamento Comportamental para Empreendedores -EMPRETEC. Dissertação de Mestrado não-publicada, Instituto de Psicologia, USP, São Paulo.         [ Links ]

Mager, F.R. (1979). A formulação de objetivos de ensino. Porto Alegre: Editora Globo.         [ Links ]

McClelland, D.C. (1972). A Sociedade Competitiva. Rio de Janeiro: Expressão e Cultura. (Original publicado em 1961).         [ Links ]

______. (1982). Estudio de la Motivacion Humana. Madrid: Narcea.         [ Links ]

Meneses, P.P.M.; Abbad, G.; Zerbini, T. & Lacerda, E.R.M. (2006) Medidas de características da clientela em avaliação de TD&E. Em Borges, J.E; Abbad, G. & MOURÃO, L. (orgs.). Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para gestão de pessoas. (pp. 422-442). Porto Alegre: Artmed.         [ Links ]

Pasquali, L. (2005). Análise fatorial para pesquisadores. Petrópolis: Vozes.         [ Links ]

Phillips, J.J.R (1996). The search for best practices. Training & Development, 50, 2, 42 -55.         [ Links ]

Pilalti, R. & Abbad, G. (2005). Análise Fatorial Confirmatória da Escala de Impacto do Treinamento no Trabalho. Piscologia: Teoria e Pesquisa, 21, 1, 43-51.         [ Links ]

Raab, R.T., Swanson, B.E. & Wentling, T.L. (1991). Improving Training Quality. Rome: Food and Agriculture Organization of the United Nations.         [ Links ]

Rotter, J. B. (1971) External Control and Internal Control. Psychology Today, June, 37-59.         [ Links ]

Schumpeter, J. A. (2002). Economic Theory and Entrepreneurial History. Revista Brasileira de Inovação, 1, 2.         [ Links ]

SEBRAE (2002). Manual do Instrutor do Programa Empretec. Brasília: SEBRAE.         [ Links ]

SEBRAE/IBPQ-PR (2002). Pesquisa de Impacto do Empretec no Brasil - Sumário Executivo TOT (Training Of Trainers). Brasília: SEBRAE.         [ Links ]

Zerbini, T. (2003). Estratégias de Aprendizagem, Reações aos Procedimentos de um Curso via Internet, Reações ao Tutor e Impacto do Treinamento no Trabalho. Dissertação de Mestrado não publicada, Instituto de Psicologia, Universidade de Brasília, Brasília.         [ Links ]

______. (2007). Avaliação da Transferência de Treinamento em curso à distância. Tese de Doutorado não publicada, Instituto de Psicologia, Universidade de Brasília, Brasília.         [ Links ]

 

 

Recebido em: 02.03.2010
Aprovado em: 27.05.2010
Publicado em: 17.09.2010

 

 

1 Dados obtidos junto ao Sebrae/NA.