ARTIGOS

 

Qualificação profissional a distância: preditores da elaboração de um plano de negócios

 

Distance professional qualification: predictors of a business plan elaboration

 

Cualificación profesional a distancia: predictores de la elaboración de un plan de negocios

 

 

Thaís Zerbini ^*; Gardênia Abbad ^**

 

 

---

Resumo

O objetivo do artigo é identificar variáveis preditoras de transferência de treinamento, medida em termos da proporção de participantes que elaboraram o plano de negócios ao final do curso-alvo. A coleta de dados foi realizada por meio de questionários digitalizados em três momentos: a) no meio do curso, com a aplicação do questionário "Ambiente de estudo e procedimentos de interação"; b) ao final, com os questionários "Estratégias de aprendizagem", "Reação aos procedimentos instrucionais" e "Reação ao desempenho do tutor"; c) após seu término, momento no qual foi perguntado ao participante se ele havia ou não elaborado o plano de negócios. Foram realizadas análises de regressão logística. Os resultados indicaram que o participante que relatou o uso mais frequente da estratégia de aprendizagem comportamental busca de ajuda interpessoal e percebeu menor dificuldade quanto ao uso de ferramentas de interação foi também o que mais relatou ter elaborado o plano de negócios.

Palavras Chave: avaliação de treinamento; reações; estratégias de aprendizagem; ambiente de estudo; plano de negócios.

---

Abstract

This article aims to identify predictor variables of Training Transfer, measured in terms of the proportion of participants who elaborated the business plan at the end of the target course. The data were collected by webpage questionnaires on three occasions: a) during the course, with the application of the questionnaire Study Environment and Interaction Procedures; b) at the end, with questionnaires Learning Strategies, Reaction to Instruction Procedures and Reaction to Tutor’s Performance; c) after the course conclusion, when participants were asked whether they had prepared the business plan. Logistic regression analyses were performed. Results revealed that the participant who reported having used most frequently the Behavior Learning Strategy of Interpersonal Help-Seeking and had less difficulty in the use of Interaction Tools was also the one who most related having elaborated the Business Plan.

key-words: training evaluation; reactions; learning strategies; learning environment; business plan.

---

Resumen

Este artículo tiene como objetivo identificar predictores de la Transferencia de Entrenamiento, medida como la proporción de participantes que desarrollaron el plan de empresa al final del curso. La recopilación de datos se realizó mediante cuestionarios escaneados en tres ocasiones: a) en la mitad del curso, con la aplicación del cuestionario de Ambiente de Estudio y Procedimientos de Interacción, b) al final, el cuestionario de Estrategias de Aprendizaje, Reacción a los Procedimientos de Instrucción, Reacción al Desempeño del Tutor; c) después de su terminación, momento en el que el participante se preguntó si no había preparado el plan de negocios. Se realizaron análisis de regresión logística. Los resultados indicaron que los participantes que informaron de un uso más frecuente de la Estrategia para el Aprendizaje de Asistencia de la Búsqueda de Comportamiento Interpersonal y menor percepción de dificultad con el uso de Herramientas de Interacción es el más informado de haber preparado el Plan de Negocios.

Palabras claves: evaluación de entrenamiento; reacciones; estrategias de aprendizaje; ambiente de estudio.

---

 

 

Apresentação

Os cursos a distância têm crescido rapidamente no Brasil pelo fato de, aparentemente, terem menor custo, atingirem mais indivíduos de uma só vez e envolverem menos profissionais e materiais, entre instrutores, monitores, salas de aula, deslocamento de pessoal. No entanto, Abbad, Carvalho e Zerbini (2006), em uma análise um pouco mais minuciosa da oferta de tais cursos, percebem, por exemplo, que o treinamento da tutoria, o planejamento instrucional, a logística de funcionamento do treinamento e a manutenção do sistema exigem recursos distintos dos usados em treinamentos presenciais e ainda não são estudados. Do mesmo modo, na análise da literatura estrangeira, Salas e Cannon-Bowers (2001) destacam a ocorrência de um deslumbramento com as novas mídias e alertam que ainda há pouco embasamento teórico e pouca preocupação em produzir conhecimento científico em treinamento a distância. Justifica-se, portanto, a necessidade de desenvolvimento de estudos que visem a produzir conhecimentos na área de avaliação de sistemas instrucionais, bem como desenvolver soluções técnicas para a busca de sistemas que ofereçam maior competitividade para as organizações e indivíduos.

Diante desse cenário, este estudo pretende contribuir com a área de avaliação de sistemas instrucionais ao testar um modelo de avaliação de treinamento a distância em contexto de qualificação profissional. O objetivo deste estudo consiste em identificar variáveis preditoras de transferência de treinamento, medida em termos da elaboração de um plano de negócios, entre as variáveis de características da clientela (estratégias de aprendizagem), de reações ao curso (procedimentos instrucionais e desempenho do tutor) e de contexto (ambiente de estudo do aluno e procedimentos de interação do curso). O curso avaliado é denominado "Iniciando um Pequeno Grande Negócio pela Internet" (IPGN), ofertado pelo Sebrae Nacional (Serviço de Apoio às Micro e Pequenas Empresas), cujo objetivo principal é ensinar os participantes a elaborar um plano de negócios. O IPGN é um curso gratuito e aberto aos cidadãos brasileiros que desejam desenvolver habilidades de empreendedorismo. Consiste em um evento de qualificação profissional, ofertado a distância, via Internet, com características de aprendizagem aberta.

 

Transferência de treinamento: variável critério

O conceito de transferência de aprendizagem foi denominado por Hamblin (1978) de impacto do treinamento em profundidade, para distinguir efeitos diretos e específicos de um evento instrucional de outros, mais gerais e não extraídos diretamente dos objetivos de ensino, por ele denominado impacto em amplitude. Segundo Pilati e Abbad (2005), a transferência de aprendizagem é o indicador mais usado em pesquisas de TD&E para verificar a aplicação de conhecimentos, habilidades e atitudes (CHAs) no trabalho. Entretanto os autores alertam que, caso o objetivo do profissional de treinamento seja medir os efeitos da ação instrucional no desempenho global, atitudes e motivação do indivíduo, a medida de transferência de aprendizagem (ou impacto do treinamento em profundidade) não é suficiente. O indivíduo que aplica os CHAs no trabalho não apresentará, necessariamente, mudanças globais em seu comportamento.

Outra expressão muito usada em ambientes organizacionais é transferência de treinamento. Segundo análise conceitual realizada por Abbad (1999), os termos transferência de treinamento, transferência de aprendizagem e impacto no cargo são vistos como sinônimos pela área de Psicologia organizacional. A autora ressalta ainda que transferência de treinamento e transferência de aprendizagem são expressões usadas em pesquisas que avaliam os resultados de ações de treinamento sobre o desempenho dos participantes em atividades similares às adquiridas ao longo do curso. Entretanto Abbad (1999) ressalta que nem todas as situações que geram aprendizagem em organizações são ações formais de TD&E. O processo de aprendizagem natural, por exemplo, não necessita de procedimentos sistemáticos para ocorrer. Diante disso, a Psicologia organizacional também busca investigar outras formas de transmissão de conhecimento e aprendizagem.

Segundo Abbad (1999), a expressão transferência de aprendizagem tem origem na Psicologia experimental, área na qual o termo adquire um uso mais genérico. Por outro lado, na área de avaliação de treinamento, o termo transferência de treinamento assume um uso mais específico, que se refere à aplicação eficaz, no ambiente de trabalho, dos CHAs adquiridos em situações de treinamento. Para Baldwin & Ford (1988) e Ford & Kraiger (1995), o termo transferência de treinamento consiste na aplicação eficaz, no contexto de trabalho, dos conhecimentos, habilidades e atitudes (CHAs) adquiridos ao longo da ação instrucional.

Diante do exposto, verifica-se que o conceito de transferência de aprendizagem, descrito por Pilati e Abbad (2005), é similar ao conceito de transferência de treinamento apresentado por Abbad (1999). Entretanto, em razão da análise conceitual de Abbad (1999) apontar o fato de que o conceito de transferência de aprendizagem também vem sendo usado para avaliar os efeitos de atividades informais em ambientes de trabalho e por ser um conceito com origem na Psicologia experimental, neste estudo adotase o conceito transferência de treinamento como variável critério, já que o mesmo assume um uso mais específico na área de avaliação de treinamento ao se referir à aplicação eficaz, no ambiente de trabalho, dos CHAs adquiridos em situações de treinamento. Além disso, Hamblin (1978) restringe o uso do termo impacto do treinamento em profundidade ao terceiro nível de avaliação proposto por ele, comportamento no cargo. Como mencionado anteriormente, o curso avaliado nesta pesquisa consiste em um evento de qualificação profissional, aberto a todos os indivíduos que tenham interesse em adquirir conhecimentos e habilidades para abertura de um negócio, e os participantes não mantêm vínculos empregatícios com a organização que oferta o curso. Portanto não é possível observar os efeitos da ação instrucional no comportamento subsequente do indivíduo em seu cargo dentro da organização.

Faz-se necessária uma última observação sobre a medida de transferência de treinamento usada neste artigo: elaboração do plano de negócios. Tal medida não deve ser considerada uma medida de aprendizagem (aquisição, retenção e generalização), tampouco de impacto do treinamento no trabalho. Elaboração do plano de negócios é uma medida de transferência de treinamento, pois o indivíduo precisa adquirir, reter e generalizar os CHAs ensinados ao longo do curso para planejar um negócio, porém, apesar de necessárias, tais ações não são suficientes para que o plano de negócios seja consistente, inovador e criativo. É preciso que o indivíduo aplique os CHAs adquiridos no curso, de acordo com o contexto em que o negócio irá estabelecer-se, ou seja, para cada plano de negócios existem diversas demandas e condições impostas pelas diferentes regiões do País. Para ser considerada medida de impacto do treinamento no trabalho, seria necessária a ocorrência de mudanças globais no desempenho subsequente do indivíduo, não necessariamente relacionadas aos objetivos instrucionais do curso.

 

Breve revisão da literatura: variáveis de interesse

A análise da literatura mostra que grande parte das pesquisas sobre características da clientela e a influência que exercem sobre resultados de treinamentos enfoca variáveis psicossociais, motivacionais e sociodemográficas. Características cognitivo-comportamentais de clientelas de cursos a distância têm sido pouco estudadas, apesar da importância desse tipo de característica pessoal na compreensão das variáveis que explicam ou interferem na efetividade de eventos instrucionais (Borges-Ferreira, 2005; Brauer, 2005; Jegede, 1999; Pilati, 2004; Warr & Allan, 1998; Warr & Bunce, 1995; Warr & Downing, 2000; Zerbini & Abbad, 2005). Neste artigo, pretende-se estudar a influência das variáveis cognitivo-comportamentais, denominadas estratégias de aprendizagem. Em cursos a distância pela Internet, as características individuais podem ter maior influência nos efeitos do treinamento por se tratar de uma aprendizagem que depende muito mais do esforço do próprio indivíduo (autogerenciamento da aprendizagem) do que os recursos instrucionais. Além disso, o indivíduo provavelmente empregará diferentes estratégias usadas nos cursos presenciais em razão dos procedimentos instrucionais específicos de treinamentos realizados a distância via Internet.

Quanto às medidas de reações, definidas como percepções ou satisfação dos participantes com o evento instrucional, foram identificados muitos avanços metodológicos no processo da construção de medidas, embora as soluções desenvolvidas tenham, elas próprias, produzido outros desafios, como é o caso das medidas específicas em ações educacionais a distância (Pilati & Borges-Andrade, 2006). É importante ressaltar que, no contexto de curso a distância, a escolha das estratégias e meios instrucionais demanda mais tempo do profissional, por se tratar de procedimentos específicos e por demandar um planejamento prévio mais detalhado do que ocorre em cursos tradicionais presenciais. Além disso, o processo de tutoria exige novas habilidades e competências do instrutor. Em função das diferenças as modalidades de ensino, novos instrumentos de avaliação de reações tiveram que ser construídos e validados para o contexto de cursos a distância. A literatura nacional e estrangeira tem mostrado resultados que indicam relacionamento positivo entre reações e impacto de treinamentos no trabalho (Abbad, 1999; Alvim, 2008; Alliger & Janak, 1989; Borges-Ferreira, 2005; Carvalho & Abbad, 2006; Coelho Junior, 2004; Meneses & Abbad, 2003; Pilati, 2004; Warr & Bunce, 1995; Zerbini & Abbad, 2005). Neste estudo, avaliam-se as reações dos participantes aos procedimentos instrucionais e ao desempenho do tutor ao longo do curso.

Segundo Abbad et al. (2006), ainda são raros estudos sobre a influência que aspectos relacionados ao ambiente de estudo do aluno e aos procedimentos de interação podem apresentar no processo de transferência de treinamento em cursos a distância. Na análise da literatura, foi verificado que a maior parte dos estudos encontrados é realizada em contexto de treinamento presencial (Abbad, 1999; Meneses & Abbad, 2003; Peters & O’connor, 1980; Pilati, 2004; Tamayo & Abbad, 2006; Tannenbaum & Yukl, 1992). Outra constatação é a localização de poucos instrumentos de medida validados estatisticamente, entre eles estão os de Brauer (2005) e Vargas (2004). Verifica-se a necessidade de investigar se tais aspectos influenciam negativamente o processo de transferência de treinamento ou se o fato de o aluno superar os obstáculos encontrados ao longo do curso aumenta a ocorrência dessa transferência para o ambiente de trabalho. Portanto este artigo pretende investigar quais são os aspectos contextuais de estudo do aluno e quais são os aspectos do próprio curso que podem dificultar a permanência do aluno.

Por fim, verifica-se que há uma clara predominância de cursos presenciais avaliados em pesquisas nacionais e estrangeiras (Abbad, Pilati & Pantoja, 2003; Salas & Cannon-Bowers, 2001) e que a amostra das pesquisas nacionais científicas sobre impacto do treinamento no trabalho e transferência de treinamento é predominantemente composta por funcionários de organizações de natureza pública e privada. Portanto, justifica-se a necessidade do desenvolvimento de pesquisas que avaliem ações instrucionais na modalidade a distância em contextos diferentes do ambiente corporativo, já que a oferta de programas de qualificação profissional vem aumentando em função da necessidade de promover o desenvolvimento do País.

 

Método de pesquisa

Objetivo da pesquisa e modelo de investigação

O objetivo deste estudo, como apresentado anteriormente, consiste identificar variáveis preditoras de transferência de treinamento, medida em termos da elaboração de um plano de negócios. As definições das variáveis envolvidas no modelo de investigação são apresentadas a seguir:

1. Ambiente de estudo e procedimentos: aspectos do contexto pessoal de estudo do aluno e do próprio curso que podem dificultar a permanência do aluno no curso. Contexto de estudo (Amb1): aspectos relacionados à regularidade proposta de acesso e de estudo, à disponibilidade do computador e à conciliação do curso com outras atividades de estudos, profissionais e compromissos familiares, que podem dificultar a permanência do aluno no curso. Custos pessoais e profissionais (Amb2): aspectos relacionados a problemas de saúde e aos custos financeiros envolvidos com manutenção do computador, acesso à Internet e impressão do material, que podem dificultar a permanência do aluno no curso. Ferramentas de interação (Inter3): aspectos relacionados ao curso, como utilização de e-mails, chats, fórum, quantidade de mensagens administrativas enviadas por e-mails e volume de leitura na tela do computador que podem dificultar a permanência do aluno no curso. Agrupa aspectos ligados aos procedimentos instrucionais do curso (recursos tecnológicos e estratégias e métodos instrucionais).

2. Estratégias de aprendizagem: capacidades cognitivas complexas aprendidas pelo indivíduo ao longo da vida. Controle da emoção (Est1): são estratégias de aprendizagem autorregulatórias de controle da ansiedade e de prevenção de dispersões de concentração, causadas por sentimentos de ansiedade. Busca de ajuda interpessoal (Est2): estratégias comportamentais que representam a obtenção de auxílio de outras pessoas, como pares e professores, para tirar dúvidas sobre o conteúdo do curso; Repetição e Organização (Est3): correspondem às estratégias cognitivas de repetição mental da informação contida nos materiais na forma em que foi apresentada e às estratégias cognitivas de organização, que se referem à identificação de ideias centrais do material e criação de esquemas mentais que agrupam e relacionam elementos que foram aprendidos. Controle da motivação (Est4): são estratégias de aprendizagem autorregulatórias de controle da motivação e da atenção, apesar de existência de um interesse limitado em relação ao conteúdo a ser aprendido. Elaboração (Est5): corresponde a estratégias cognitivas de aprendizagem relativas aos procedimentos adotados pelo aprendiz para analisar e refletir sobre implicações e conexões possíveis entre o material aprendido e os conhecimentos que ele já tem sobre os assuntos contidos nos materiais. Busca de ajuda do material (Est6): refere-se às estratégias de obtenção de informações em documentos escritos, manuais de instruções, programas de computador e outras fontes de estudo que não envolvem contato social. Monitoramento da compreensão (Est7): são estratégias autorregulatórias de monitoramento da compreensão do processo de aquisição de aprendizagem.

3. Reações ao curso: satisfação dos participantes com características instrucionais do curso e com o desempenho do tutor. Procedimentos tradicionais (Proc1): satisfação dos participantes com a qualidade dos objetivos de ensino, conteúdos, sequência, avaliações de aprendizagem, estratégias e meios. Procedimentos baseados na web (Proc2): satisfação dos participantes com a qualidade das ferramentas da web, links, FAQ, mural, chats. Reações ao desempenho do tutor (tutor): percepção do treinando sobre a qualidade da interação do tutor com os alunos, domínio do conteúdo e uso de estratégias de ensino.

4. Transferência de treinamento (Planeg), refere-se à aplicação dos CHAs aprendidos no curso no contexto de trabalho do participante, medido em termos das respostas dos participantes à pergunta "você elaborou o plano de negócios ao final do curso?".

 

População e amostra

A pesquisa foi realizada no período de abril de 2003 a fevereiro de 2007 e consistiu na avaliação do curso IPGN, ofertado pelo Sebrae Nacional. O total de inscritos no IPGN, no período de coleta de dados (3 de fevereiro a 12 de maio de 2006), foi de 4 719 alunos. O Sebrae forneceu os dados sociodemográficos e informações sobre o número de acessos feitos pelos alunos ao ambiente eletrônico do curso. A amostra é composta pelas respostas pareadas dos participantes, que responderam a todos os questionários nos três momentos de coleta de dados, totalizando 722 respondentes.

Os dados mostram que a amostra é muito semelhante à população de inscritos no curso, no que diz respeito à região de residência (50,6% da população e 54,4% da amostra residem na Região Sudeste) e escolaridade (33,3% da população e 29,9% da amostra têm terceiro grau incompleto). Já em relação ao sexo dos participantes, há mais participantes do sexo feminino na amostra (50,3%) do que na população (47,1%). O mesmo ocorre em relação à idade. Na amostra, a média de idade é um pouco mais alta (M=33 anos e DP=10,9) do que na população (M=31 anos e DP=9,5). Em todos os casos, houve predominância de participantes que concluíram o curso, porém em proporção mais elevada na amostra (95,2%) do que na população (66%).

Em relação ao uso de ferramentas eletrônicas ao longo do curso, há diferença entre população e amostra. Isso se deve, provavelmente, à inclusão dos não concluintes na descrição da população, já que o uso de algumas ferramentas (lista de discussão, participação em chats, acesso ao mural de notícias, acesso ao ambiente do curso e número de dúvidas para o tutor) teve frequência mais baixa na população do que na amostra. A amostra, portanto, é semelhante à população de concluintes do IPGN, o que facilita a análise de generalidade dos resultados encontrados. Porém não foram aplicados testes inferenciais para verificação das diferenças estatisticamente significativas entre as amostras e entre as amostras e população estudadas.

 

Instrumentos de medida

Os itens do instrumento "Ambiente de estudo e procedimentos de interação", desenvolvido por Zerbini e Abbad (2008a), são associados a uma escala do tipo Likert, de 11 pontos (0: dificultou muito minha participação no curso; e 10: não dificultou minha permanência no curso), que mede a opinião do participante sobre o quanto os aspectos descritos dificultaram a permanência no curso. Após a validação estatística, o instrumento apresentou três fatores: contexto de estudo, 8 itens (a=0,85), cargas fatoriais variando de 0,44 a 0,84; custos pessoais e profissionais associados à participação de cursos a distância, com 5 itens, a=0,84, e cargas fatoriais variando de -0,35 a -0,95; ferramentas de interação, 5 itens (a=0,83), com cargas fatoriais variando de -0,31 a -0,92.

Os itens do questionário "Estratégias de aprendizagem", de Zerbini e Abbad (2008b), são associados a uma escala do tipo Likert, de 11 pontos (0: nunca e 10: sempre), que mede a frequência com que os participantes usam as estratégias de aprendizagem ao longo do curso. Após a validação estatística, o instrumento apresentou sete fatores: controle da emoção, 5 itens, a=0,89, cargas fatoriais variando de 0,48 a 0,91; busca de ajuda interpessoal, 6 itens, a=0,89, cargas fatoriais variando de 0,66 a 0,83; repetição e organização, 5 itens, a=0,77, cargas fatoriais variando de -0,35 a -0,77; controle da motivação, 4 itens, a=0,84, cargas fatoriais entre 0,69 e 0,86; Elaboração, 3 itens, a=0,83, e cargas fatoriais variando de 0,54 a 0,91; busca de ajuda ao material didático, 2 itens, a=0,75, e cargas fatoriais de 0,68 e 0,82; monitoramento da compreensão, 3 itens, a=0,82, e cargas fatoriais entre -0,49 e -0,75.

Os itens de "Reação aos procedimentos instrucionais", de Zerbini e Abbad (no prelo), estão associados a uma escala do tipo Likert, de 11 pontos, em que 0 (zero) corresponde a péssimo, e 10 a excelente, e mede a satisfação dos participantes sobre os aspectos instrucionais do curso. O instrumento apresentou estrutura bifatorial: procedimentos tradicionais, 12 itens, a=0,91, cargas fatoriais variando de 0,53 e 0,79; recursos da web, 3 itens, a=0,76, com cargas fatoriais 0,40, 0,76 e 0,88.

Os itens de "Reação ao desempenho do tutor" de Zerbini e Abbad (no prelo) estão associados uma escala do tipo Likert, de 11 pontos (0: nunca e 10: sempre), que mede a frequência com que o tutor usa os comportamentos descritos ao longo do curso. A escala apresentou estrutura unifatorial: desempenho do tutor, com 27 itens, a=0,98, e cargas fatoriais variando de 0,69 e 0,88.

 

Procedimentos de coleta e análise de dados

A coleta de dados ocorreu em três momentos distintos. No primeiro (metade do curso), foram coletados dados referentes ao ambiente de estudo e procedimentos de interação. No segundo (último dia de curso), foram coletados dados de estratégias de aprendizagem, reação aos procedimentos instrucionais e reação ao desempenho do tutor. No terceiro momento (após o término do curso - 25 a 30 dias), foram coletados dados de transferência de treinamento. Os índices de retorno foram bons (34,64% no momento 1; 21,48% no momento 2; e 32,49% no momento 3), levando-se em conta o fato de a coleta de dados ter ocorrido totalmente a distância. As respostas dos participantes aos questionários foram automaticamente registradas em um arquivo de dados eletrônico no programa Excel e, em seguida, importados pelo o SPSS For Windows, versão 14.0, para que pudessem ser analisadas.

Foram realizadas análises descritivas e exploratórias para investigar a exatidão da entrada dos dados, a presença de casos extremos, a distribuição dos casos omissos, a distribuição de frequência, o tamanho das amostras, normalidade univariada, multicolinearidade, singularidade e linearidade, de acordo com as orientações de Hair, Anderson, Tatham e Black (2005) e Tabachnick e Fidell (2001). Para tanto, foi usado o arquivo de dados completo (N=722), contendo o modelo multivariado, com variáveis pareadas de ambiente e procedimentos, estratégias de aprendizagem, reação aos procedimentos instrucionais, reação ao tutor, transferência de treinamento. Após a análise dos pressupostos estatísticos e a retirada dos casos extremos uni e multivariados, o arquivo de dados permaneceu com 470 casos.

Após as análises descritivas e exploratórias, foram produzidos os escores fatoriais com base na média das variáveis originais dos fatores e foi usada a variável critério dicotômica "elaboração de um plano de negócios" (1: sim e 2: não). Em seguida, foram realizadas análises de regressão logística, que consiste em uma análise estatística multivariada que visa a identificar variáveis independentes, teoricamente preditoras de uma variável dependente dicotomizada, do tipo sim e não, por exemplo.

Segundo Hair et al. (2005), as análises de regressão logística devem respeitar os seguintes critérios de inclusão para análise: proporção de 20 casos para cada variável preditora e mínimo de 5 casos. No caso do modelo completo para testagem nesta pesquisa, há 3 variáveis de ambiente de estudo e procedimentos de interação, 7 de estratégias de aprendizagem, 3 variáveis de reação ao curso (2 fatores do instrumento reação aos procedimentos instrucionais e 1 fator de reação desempenho do tutor), totalizando 13 variáveis (N=470 > 13x20=260), o que possibilita a testagem do modelo completo quanto ao tamanho da amostra. Quanto ao tamanho da amostra de cada grupo, no mínimo, o menor grupo deve exceder ao número de variáveis independentes (N=13) e se os grupos variam muito em tamanho deve-se extrair uma amostra aleatoriamente desde o grupo maior, reduzindo seu tamanho a um nível comparável ao grupo menor para evitar influência na classificação de observações. Como no grupo "elaborou o plano de negócios" há 331 casos válidos e, no outro grupo, "não elaborou o plano de negócios", há 136 casos válidos, optou-se por extrair uma amostra aleatória do maior grupo de maneira que apresentasse o mesmo número de casos do grupo menor para comparar os resultados. Após a redução do grupo maior para 136 casos, o arquivo de dados ficou com 272 casos. Dessa maneira, foi usada uma proporção de aproximadamente 11 casos por variável, respeitando o critério de 5 casos por variável, no mínimo. As 13 variáveis citadas anteriormente entraram na análise de regressão logística, como variáveis antecedentes ou explicativas de elaboração de um plano de negócios (1: elaborou e 2: não elaborou).

Os resultados demonstraram que o modelo composto pelas variáveis antecedentes foi significativo (p<0,01) para a explicação da variável critério "transferência de treinamento", medida em termos de proporção de respostas à pergunta sobre "elaboração do plano de negócios". As variáveis foram melhores para explicar aqueles que elaboraram o plano de negócios do que aqueles que não elaboraram o plano de negócios. O ajuste do modelo foi expressivo, com 70,8% de pessoas que elaboraram o plano de negócios e 60,2% de pessoas que não elaboraram o plano de negócios classificados corretamente. No total, o modelo classificou corretamente 65,5% de participantes. Foram classificados corretamente pelo modelo 92 sujeitos do grupo que elaborou o plano de negócios e 77 sujeitos do grupo que não elaborou o plano de negócios; 89 sujeitos foram classificados incorretamente pelo modelo. A tabela 1 apresenta os resultados da análise de regressão logística para o arquivo com 258 casos válidos. Os coeficientes de regressão não padronizados (B), o nível de significância (sig.), o Exp(B) e o intercepto (constante), estão nela disponibilizados. São apresentadas também as estatísticas Cox & Snell R², Nagelkerke R² e a probabilidade dos resultados observados (-2LL).

 

Tabela 1: Regressão logística para elaboração do plano de negócios

 

O Exp(B) é o fator pelo qual a chance de elaborar ou não elaborar o plano de negócios muda quando a variável antecedente aumenta uma unidade. Segundo Tróccoli (2004), se esse valor é positivo, a chance aumenta. Se B é negativo, a chance diminui. Quando B é igual a zero, a chance não muda quando o valor da variável antecedente aumenta em uma unidade. Por exemplo, quando a unidade proc1 aumenta em uma unidade, caso seja significativo, as chances são aumentadas por um fator de 0,85. Isso significa que a mudança de 1 para 2 na variável proc1 implica uma diminuição (B=- 0,17) de quase uma vez na chance do participante não elaborar o plano de negócios. Ou é possível interpretar de outra forma: a mudança de 1 para 2 na variável proc1 implica um aumento (B=-0,17) de quase uma vez na chance de o participante elaborar o plano de negócios (1: elaborou o plano e 2: não elaborou o plano ou, no caso das análises de regressão logística, os valores entram como 0: elaborou e 1: não elaborou).

Segundo Hair et al. (2005), a medida geral do quão bem o modelo se ajusta é dada pelo valor de verossimilhança, conhecida como likelihood. Segundo Tróccoli (2004), como o likelihood é um número pequeno, costumase multiplicar o log da likelihood por -2 (-2LL). Um modelo bem ajustado terá um valor pequeno para -2LL (um ajuste perfeito tem uma verossimilhança de 1 e, portanto, -2LL é zero). O teste do modelo completo com as 13 variáveis antecedentes apresentou um –2LL igual a 328,641, menor do que o -2LL para o modelo que só tem a constante (-2LL=357,648).

As estatísticas Cox & Snell R² e Nagelkerke R² são semelhantes ao R² do modelo de regressão múltipla linear. Segundo Tróccoli (2004), o problema do Cox & Snell R² é que não pode alcançar o valor máximo de 1, e Nagelkerke propôs uma modificação Cox & Snell R², de tal forma que o valor 1 possa ser alcançado. Segundo os resultados apresentados na tabela 3, pode-se dizer que 14,2% da variação no resultado (VD) é explicada pelo modelo de regressão logística. O teste do modelo completo, comparado com o modelo da constante, apresentou diferença significativa para um 2; (13, N=258) = 29,007, p<0,01, indicando que apenas uma das 13 variáveis antecedentes, a variável "estratégia de aprendizagem - busca de ajuda interpessoal" é significativamente diferente entre quem elaborou o plano de negócios e quem não elaborou o plano de negócios (p<0,05). Ou seja, quem usa com mais frequência a estratégia de aprendizagem "busca de ajuda interpessoal" relata ter elaborado o plano de negócio.

Além desse modelo completo, foram testados outros modelos de regressão logística com diferentes conjuntos de variáveis antecedentes. Foram testados separadamente como variáveis antecedentes os seguintes blocos de variáveis: os 3 fatores relacionados a ambiente de estudo e procedimentos de interação, os 7 fatores de estratégias de aprendizagem, e os 3 fatores de reações ao curso. Foram obtidos resultados significativos quando inseridas como variáveis antecedentes o bloco de fatores de estratégias de aprendizagem, obtendo-se o mesmo resultado da análise anterior. Além desses resultados significativos, ao inserir o bloco com variáveis de ambiente de estudo e procedimentos de interação, também foram obtidos resultados significativos, como descrito a seguir.

Quando as variáveis antecedentes de "ambiente de estudo e procedimentos de interação" foram inseridas, foram melhores para explicar aqueles que elaboraram o plano de negócios do que aqueles que não elaboraram o plano de negócios. O ajuste do modelo foi razoável, com 63,2% de pessoas que elaboraram o plano de negócios e 55,1% de pessoas que não elaboraram o plano de negócios classificados corretamente. No total, o modelo classificou corretamente 59,2% de participantes. Foram classificados corretamente pelo modelo 86 sujeitos do grupo que elaborou o plano de negócios e 75 sujeitos do grupo que não elaborou o plano de negócios; 111 sujeitos foram classificados incorretamente pelo modelo. O teste do modelo completo com as três variáveis antecedentes apresentou um –2LL igual a 361,494, menor do que o -2LL para o modelo que só tem a constante (-2LL=377,072). Pode-se dizer que 7% da variação no resultado (VD) é explicada pelo modelo de regressão logística, um valor muito pequeno. O teste do modelo completo, comparado com o modelo da constante, apresentou diferença significativa para um 2 (3, N=272) = 15,578, p<0,01, indicando que as variáveis antecedentes, "custos pessoais e profissionais" e "ferramentas de interação", são significativamente diferentes entre quem elaborou o plano de negócios e quem não elaborou o plano de negócios (p<0,05). Ou seja, quem percebe pouca dificuldade quanto aos custos pessoais e profissionais relata não ter elaborado o plano de negócios e quem percebe pouca dificuldade quanto às ferramentas de interação relata ter elaborado o plano de negócio.

Por último, realizou-se análise de regressão logística apenas com as três variáveis que apresentaram poder preditivo em alguma análise: estratégias de aprendizagem de busca de ajuda interpessoal, custos pessoais e profissionais e ferramentas de interação. Quando as variáveis antecedentes de maior predição foram inseridas, foram melhores para explicar aqueles que elaboraram o plano de negócios do que aqueles que não elaboraram o plano de negócios. O ajuste do modelo foi razoável, com 63,0% de pessoas que elaboraram o plano de negócios e 60,4% de pessoas que não elaboraram o plano de negócios classificados corretamente. No total, o modelo classificou corretamente 61,7% de participantes. Foram classificados corretamente pelo modelo 85 sujeitos do grupo que elaborou o plano de negócios e 81 sujeitos do grupo que não elaborou o plano de negócios; 103 sujeitos foram classificados incorretamente pelo modelo. O teste do modelo completo com as três variáveis antecedentes apresentou um –2LL igual a 351,213, menor do que o -2LL para o modelo que só tem a constante (-2LL=372,909). Segundo os resultados, pode-se dizer que 10% da variação no resultado (VD) é explicada pelo modelo de regressão logística, um valor muito pequeno. O teste do modelo completo, comparado com o modelo da constante, apresentou diferença significativa para um 2 (3, N=269) = 21,697, p<0,01, indicando que as variáveis antecedentes, "busca de ajuda interpessoal" e "ferramentas de interação", são significativamente diferentes entre quem elaborou o plano de negócios e quem não elaborou o plano de negócios (p<0,05). Ou seja, o resultado confirmou, em parte, os resultados anteriores: quem usa com mais frequência a estratégia de aprendizagem "busca de ajuda interpessoal" e percebe pouca dificuldade quanto às "ferramentas de interação" relata ter elaborado o plano de negócio.

Em suma, o participante que elabora o plano de negócios utiliza com mais frequência a estratégia de aprendizagem de busca de ajuda interpessoal e percebe menos dificuldades quanto às ferramentas de interação em educação a distância.

 

Discussão dos resultados

É importante comentar algumas características da variável "elaboração do plano de negócios". Tal variável é medida de forma dicotômica pelas respostas sim e não. Não se sabe, contudo, se a medida é fidedigna, pois não existem medidas objetivas fornecidas pelo gerenciador do Sebrae que comprove a veracidade da informação dada pelos alunos. Isso ocorre porque a atividade de elaborar o plano de negócios, apesar de ser o objetivo principal do curso IPGN, não tem caráter obrigatório, ou seja, o aluno elabora o plano se quiser, e quando o faz, o tutor não tem obrigação de oferecer feedbacks ao aluno. A decisão por essa estratégia se justifica em razão da proporção de alunos por tutor, que chega a 200 alunos, o que, realmente, torna a tarefa de correção de 200 planos de negócios, em um curto prazo, praticamente impossível. Entretanto, o Sebrae desenvolve outras estratégias de incentivo à elaboração do plano, já que a tarefa é de suma importância para aquele indivíduo que pretende abrir seu próprio negócio. O desenho do curso é elaborado de forma que o aluno seja capaz de elaborar o plano, por etapas, em um período de 60 dias. A cada final de módulo, há uma atividade complementar que relaciona os conhecimentos aprendidos no módulo às etapas do roteiro de elaboração final do plano de negócios. Ao final dos módulos (45 dias), ainda há 15 dias destinados apenas para o aluno concluir o plano de negócios. No final dos 60 dias de curso, o aluno tem a opção de emitir e imprimir o relatório produzido ao longo do curso, que consiste no plano de negócios. Dessa maneira, o tutor tem mais chances de orientar seus alunos na elaboração do plano ao longo do curso, sem precisar acumular a correção de 200 atividades ao final. Além disso, em reuniões com os planejadores instrucionais do IPGN, observouse que muitos tutores usam a correção do plano como incentivo aos alunos permanecerem no curso até o final. Os tutores, entre outras estratégias, se oferecem para corrigir os planos de negócios dos primeiros 50 alunos que terminarem o curso.

Quanto à explicação dos resultados obtidos nas análises de regressão logística, o participante que percebe as ferramentas de interação como fatores que pouco dificultam a sua permanência no curso, e que usa com mais frequência a estratégia de aprendizagem de busca de ajuda interpessoal é também aquele que relatou ter elaborado o plano de negócio. Tal resultado comprova que a estratégia do Sebrae em incentivar a elaboração do plano de negócio ao longo dos módulos com o auxílio do tutor, por meio das ferramentas de interação, é eficaz. Entre as estratégias de aprendizagem cognitivas, comportamentais e autorregulatórias, a única que explicou a ocorrência da elaboração do plano de negócios foi a de busca de ajuda interpessoal. As variáveis de "reações" também não entraram na equação de regressão como preditores de transferência de treinamento, tampouco as variáveis do ambiente de estudo "contexto de estudo" e "custos pessoais e profissionais". Além disso, a explicação do modelo foi baixa (10%).

Esse resultado indica que outras variáveis não contempladas no modelo explicam a ocorrência de elaboração do plano de negócios. Ou também, a medida dicotômica (sim e não) pode não ter sido sensível para avaliar se o indivíduo, de fato, elaborou o plano de negócios. Pode-se pensar, como alternativa a essa medida dicotômica, a avaliação do esforço do indivíduo para realizar a tarefa, bem como, a qualidade do plano de negócios elaborado.

 

Considerações finais

Os baixos coeficientes de determinação dos modelos de regressão logística indicam a existência de outras variáveis, não abordadas neste estudo, que podem explicar grande parcela da variabilidade de transferência de treinamento. Em estudos futuros, é fundamental ampliar a revisão de literatura. Os baixos coeficientes também podem ser justificados por se tratar de um estudo exploratório, um dos poucos em Psicologia instrucional e organizacional que testaram modelos multivariados de curso a distância via Internet, desenvolvido em ambiente não corporativo.

Em pesquisas recentes, a variável "reação ao desempenho do tutor" não se constituiu em variável explicativa de efetividade em cursos a distância (Alvim, 2008; Borges-Ferreira, 2005; Carvalho & Abbad, 2006; Zerbini & Abbad, 2005). No caso do curso avaliado nesta pesquisa, que pode ser caracterizado como autoinstrucional, o tutor foi pouco acessado ao longo do curso. De qualquer maneira, em outros contextos e em outros cursos a distância com diferentes características instrucionais, faz-se necessário desenvolver mais pesquisas sobre a influência do tutor nos resultados de cursos a distância. É preciso obter resultados mais consistentes, já que as organizações e as instituições de ensino investem na contratação e preparação desses profissionais no intuito de ofertar bons eventos instrucionais à clientela-alvo.

Outra consideração consiste nas variáveis de ambiente utilizadas nesta pesquisa. Foram usadas medidas do ambiente de estudo do aluno, incluindo os procedimentos de interação presentes no desenho do curso. Entretanto, os participantes do IPGN não mantêm vínculo institucional com o Sebrae e, talvez por isso, não transferem as habilidades e conhecimentos adquiridos no curso para um só ambiente. Além disso, o ambiente de estudo de aluno é extremamente amplo e diversificado.

Entre as limitações desta pesquisa estão: perda de dados ocasionada por quedas de conexão dos computadores dos participantes com a Internet durante o preenchimento das escalas; falta de informações fidedignas sobre a elaboração do plano de negócios; impossibilidade de generalizar os resultados encontrados para outros contextos e participantes, já que se trata de um curso aberto, gratuito e não corporativo; ausência de informações objetivas sobre quantos e quais eram os ambientes de transferência do egresso do IPGN; uso de apenas uma fonte de informação: o participante do curso IPGN.

Quanto às implicações práticas dos resultados obtidos, torna-se necessário disseminar o uso das medidas de avaliação de cursos a distância nas organizações de trabalho e instituições de ensino que ofertam cursos dessa natureza. É preciso desenvolver uma cultura de avaliação dos efeitos desses cursos, visando ao aprimoramento do planejamento instrucional utilizado. A melhoria de cursos a distância pode estimular planejadores instrucionais a elaborarem objetivos de aprendizagem mais complexos e delinearem estratégias de ensino e avaliações de aprendizagem mais compatíveis com essa modalidade. Poucas organizações oferecem cursos que desenvolvem habilidades complexas, dificultando o desenvolvimento de pesquisas e consequente aprimoramento de metodologia de avaliação. Do ponto de vista teórico, como já discutido anteriormente, é necessário continuar a busca de preditores de resultados de treinamento a distância.

 

Referências

Abbad, G. (1999). Um modelo integrado de avaliação do impacto do treinamento no trabalho – IMPACT. Tese de doutorado, Programa de Pós-graduação em Psicologia, Universidade de Brasília, Brasília.

Abbad, G., Carvalho, R. S. & Zerbini, T. (2006). Evasão em curso via Internet: explorando variáveis explicativas. RAE Eletrônica [on-line]. 2006, 5 (2), Disponível em: <www.rae.com.br/redirect.cfm?ID=3652>. Acesso em: 10 jan. 2007.

Abbad, G.; Pilati, R. & Pantoja, M. J. (2003). Avaliação de treinamento: análise da literatura e agenda de pesquisa. Revista de Administração da USP, 38 (3), 205-218.         [ Links ]

Alliger. G. M. & Janak, E. A. (1989). Kirkpatrick’s levels of training criteria: thirty years later. Personnel Psychology, 42 (2), 331-342.

Alvim, S. (2008). Impacto em profundidade e amplitude: avaliando um treinamento extra-organizacional com foco em empreendedorismo. Dissertação de mestrado, Programa de Pós-graduação em Psicologia, Universidade Federal da Bahia, Salvador.         [ Links ]

Baldwin, T. T. & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personnel Psychology, 41 (1), 63-105.         [ Links ]

Borges-Ferreira, M. F. (2005). Avaliação de reações e aprendizagem em disciplinas de curso técnico profissionalizante oferecidas a distância. Dissertação de mestrado, Programa de Pós-graduação em Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Brauer, S. (2005). Avaliação de um curso a distância: valor instrumental do treinamento, barreiras pessoais à conclusão e evasão. Dissertação de mestrado, Programa de Pós-graduação em Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Carvalho, R. S. & Abbad, G. S. (2006). Avaliação de treinamento a distância: reação, suporte à transferência e impactos no trabalho. Revista de Administração Contemporânea, 10 (1), 95-116.         [ Links ]

Coelho Junior, F. A. (2004). Avaliação de treinamento a distância: suporte à aprendizagem e impacto do treinamento no trabalho. Dissertação de mestrado, Programa de Pós-graduação em Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Ford, J. K. & Kraiger, K. (1995). The application of cognitive constructs and principles to the instructional systems design model of training: implications for needs assessment, design, and transfer. International Review of Industrial and Organizational Psychology, 10, 1-48.         [ Links ]

Hair, J. F.; Anderson, R. L.; Tatham, R. L. & Black, W. C. (2005). Análise multivariada de dados. 5. ed. Porto Alegre: Bookman.         [ Links ]

Hamblin, A. C. (1978). Avaliação e controle do treinamento. São Paulo: McGraw-Hill do Brasil.         [ Links ]

Jegede, O. (1999). Differences between low and high achieving distance learners in locus of control and metacognition. Distance Education. 20 (2), 255-263.         [ Links ]

Meneses, P. P. M. & Abbad, G. (2003). Preditores individuais e situacionais de auto e heteroavaliação de impacto do treinamento no trabalho. Revista de Adminstração Contemporânea, 7, ed. especial.         [ Links ]

Peters, L. H. & O’Connor, E. J. (1980). Situational constraints and work outcomes: the influence of frequently overlooked construct. Academy of Management Review, 5 (3), 391-397.

Pilati, R. (2004). Modelo de efetividade do treinamento no trabalho: aspectos dos treinandos e moderação do tipo de treinamento. Tese de doutorado, Programa de Pós-graduação em Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Pilati, R. & Abbad, G. (2005). Análise fatorial confirmatória da escala de impacto do treinamento no trabalho. Psicologia: Teoria e Pesquisa, 21 (1), 43- 51.         [ Links ]

Pilati, R. & Borges-Andrade, J. E. (2006). Construção de medidas e delineamentos em avaliação de TD&E. In: J. E. Borges-Andrade, G. Abbad & L. Mourão (orgs.). Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas. (pp. 359-384). Porto Alegre: Artmed.         [ Links ]

Salas, E. & Cannon-Bowers, J. (2001). The science of training: a decade of progress. Annual Review of Psychology, 52, 471-499.         [ Links ]

Tabachnick, B. G. & Fidell, L. S. (2001). Using multivariate statistics. New York: Harper-Collins College Publishers.         [ Links ]

Tamayo, N. & Abbad, G. (2006). Autoconceito profissional e suporte à transferência e impacto do treinamento no trabalho. Revista de Administração Contemporânea, 10 (3), 9-28.         [ Links ]

Tannenbaum, S. I. & Yukl, G. (1992). Training and development in work organizations. Annual Review of Psychology, 43, 399-441.         [ Links ]

Tróccoli, B. (2004). Regressão logística. Manuscrito não publicado. Laboratório de Pesquisa e Avaliação em Medidas, Instituto de Psicologia, Universidade de Brasília.         [ Links ]

Vargas, M. R. M. (2004). Barreiras à implantação de programas de educação e treinamento a distância. Tese de doutorado, Programa de Pós-graduação em Psicologia, Universidade de Brasília, Brasília.         [ Links ]

Warr, P. & Allan, C. (1998). Learning strategies and occupational training. Internacional Review of Industrial and Organizational Psychology, 13, 83-121.         [ Links ]

Warr, P. & Bunce D. (1995). Trainee characteristics and outcomes of open learning. Personnel Psychology. 48, 347-375.         [ Links ]

Warr, P. & Downing, J. (2000). Learning strategies, learning anxiety and knowledge acquisition. British Journal Psychology, 91, 311-333.         [ Links ]

Zerbini, T. & Abbad, G. (2005). Impacto de treinamento no trabalho via Internet. RAE Eletrônica [on-line]. 2005, 4 (2), Disponível em: <www.rae. com.br/redirect.cfm?ID=3575>. Acesso em: 20 jan. 2006.

Zerbini, T. & Abbad, G. (2008b). Estratégias de Aprendizagem em curso a distância: validação de uma escala. Psico-USF, 13 (2), 177-187.         [ Links ]

Zerbini, T. & Abbad, G. (2008a). Qualificação profissional: ambiente de estudo e procedimentos de interação - validação de uma escala. Análise, 19 (1), 148-172.         [ Links ]

Zerbini, T. & Abbad, G. (no prelo). Reação ao desempenho do tutor em um curso a distância: validação de uma escala. Revista Estudos e Pesquisa em Psicologia.         [ Links ]

Zerbini, T. & Abbad, G. (no prelo). Reação aos procedimentos instrucionais de um curso via internet: validação de uma escala. Revista Estudos de Psicologia (Campinas).         [ Links ]

 

 

Recebido: junho de 2009
Aprovado: abril de 2010

 

 

^* Doutora em Psicologia pela Universidade de Brasília, professora da Universidade de São Paulo (USP). E-mail: thais.zerbini@gmail.com.

^** Doutora em Psicologia pela Universidade de Brasília e bolsista de produtividade do CNPQ, atualmente nível 1D (promovida para o nível 1C a partir de março 2010) – UNB. E-mail: gardenia@unb.br.