ARTIGOS

 

Reação ao desempenho do tutor em um curso a distância: validação de uma escala

 

Reaction to tutor performance of distance course: validation of a scale

 

 

Thaís Zerbini ^I; Gardênia Abbad ^II

^I Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto da Universidade de São Paulo - FFCLRP/ USP, Ribeirão Preto, São Paulo, Brasil
^II Universidade de Brasília – UnB, Brasília, Distrito Federal, Brasil

Endereço para correspondência

 

 

---

RESUMO

Pesquisas em avaliação de treinamentos a distância ainda são incipientes. O artigo pretende contribuir com a área ao validar estatisticamente o instrumento de Reação ao Desempenho do Tutor. O curso-alvo foi oferecido pelo SEBRAE para alunos do Brasil inteiro. A coleta de dados foi realizada ao final do curso por meio de questionário digitalizado. Os itens do instrumento estão associados uma escala do tipo Likert, de 11 pontos (0 - Nunca e 10 – Sempre), que mede a freqüência com que o tutor utiliza os comportamentos descritos ao longo do curso. Foram realizadas análises de Componentes Principais (PC) e Fatoriais (PAF) e de consistência interna (Alpha de Cronbach). A escala apresentou estrutura unifatorial: Desempenho do Tutor, com 27 itens, α=0,98, e cargas fatoriais variando de 0,69 e 0,88. Os resultados indicam que a escala é estatisticamente válida e confiável.

Palavras-chave: Treinamento a distância, Avaliação de treinamento, Reação ao curso, Desempenho do tutor.

---

ABSTRACT

Researches on evaluation of distance training are still growing. This article intends to contribute on this area when statistically validate the instrument of Reaction to Tutor Performance. The evaluated curse was offered by SEBRAE to Brazilian students. The data collect was made at the end of the curse by questionnaires localized on web pages. The itens of questionnaire are associated to Likert scale of 11 points (0 – Never and 10 – Always), that measure the frequency with the tutor to use the described behaviors during the course. Have been made analyses of Principal Components (PC) and Factors (PAF) and Internal Consistency (Coefficient Alpha). After the statistical validate, the questionnaire present one factor: Tutor Performance, 27 questions, α=0,98, and factorial’s loads ranging 0,69 and 0,88. The results indicated that the scale is statistically valid and confiable.

Keywords: Distance training, Training evaluation, Curse´s reaction, Tutor performance.

---

 

 

1. Introdução

Em função do aumento da demanda por ações que desenvolvam estratégias de atualização contínua de competências organizacionais e individuais, as organizações que compõem o sistema produtivo passaram a desenvolver e oferecer programas de educação corporativa, formação e qualificação profissional mediante a utilização de novas tecnologias de comunicação e informação que possibilitam um alcance maior de pessoas do que cursos presenciais. Diante desse quadro, é fundamental promover a avaliação constante da qualidade e da eficácia das ações educacionais ofertadas para um grande número de pessoas, visando garantir que os objetivos inicialmente propostos sejam alcançados. Entretanto, ainda são raros os estudos sistemáticos sobre construção e validação de instrumentos avaliativos de tais ações na área de psicologia instrucional e organizacional, mais especificamente, em Treinamento, Desenvolvimento e Educação (TD&E). Em análise da produção nacional e estrangeira no período de 1990 e 2006, poucos relatos de pesquisas empíricas ou teste de modelos similares aos utilizados pelos pesquisadores da área de TD&E foram localizados. Foram utilizadas as bases eletrônicas de dados e as referências consideradas importantes em revisões de TD&E, tais como: Web of Science, Proquest, EBSCO, SCIELO, OVID, CAPES, Biblioteca Virtual da Universidade de São Paulo/USP. Os critérios de seleção do material seguiram os padrões de revistas científicas com corpo editorial. Foram selecionados, aproximadamente, 150 artigos sobre avaliação de treinamentos a distância, os quais revelam pequena produção científica e tecnológica na área de psicologia instrucional e de psicologia organizacional.

O presente artigo pretende contribuir com a área de avaliação de sistemas instrucionais ao propor a revalidação estatística da escala de “Reação ao Desempenho do Tutor” de Zerbini (2003). A seguir, discute-se a variável de interesse referente ao nível de avaliação “Reações” proposto por Hamblin (1978) para mensurar efeitos de ações de treinamento, desenvolvimento e educação (TD&E). Na seqüência, são discutidos alguns instrumentos de reações ao desempenho do tutor existentes na literatura da área. E, finalmente, nas seções finais do artigo, são apresentados o método, os resultados, as considerações finais e conclusão do estudo.

Segundo Abbad (1999), em um sentido ideal, um evento instrucional deveria produzir reações favoráveis nos participantes. O nível de avaliação “Reação” mensura as opiniões dos treinandos sobre os diversos aspectos do treinamento, ou sua satisfação com o mesmo (HAMBLIN, 1978). Borges-Andrade (2002) sugere que avaliações neste nível devem considerar múltiplas variáveis para conferir maior confiabilidade aos resultados, tais como: insumos, procedimentos, processos, resultados e ambiente. Pilati e Borges-Andrade (2006) sugerem que a construção de itens para mensuração das reações deve ser feita com base no conjunto de referências do Modelo de Avaliação Integrado e Somativo - MAIS de Borges-Andrade (2006), pois sua base teórica privilegia os aspectos instrucionais e administrativos que geralmente produzem reações nos treinandos. O modelo é formado por cinco componentes: (1) insumo, (2) procedimentos, (3) processo, (4) resultados e (5) ambiente, que se subdivide em: necessidades, suporte, disseminação e efeitos em longo prazo.

O componente Insumo refere-se aos fatores físicos e sociais e aos estados comportamentais e cognitivos, anteriores à instrução, que podem influenciar os seus resultados (variáveis motivacionais, sócio-demográficas, psicossociais, cognitivo-comportamentais). Procedimentos são operações necessárias para facilitar ou produzir os resultados instrucionais como, por exemplo, seqüência de objetivos, meios e estratégias instrucionais, exercícios propostos. Processo refere-se a resultados intermediários ou efeitos parciais do treinamento ocorridos no comportamento dos treinandos à medida que os procedimentos são apresentados durante o treinamento. Resultados são os efeitos imediatos produzidos pelo treinamento, ou seja, são os desempenhos dos treinandos adquiridos logo após os treinamentos. O Ambiente representa o contexto em que se insere a ação de TD&E. É dividido em quatro subcomponentes, a saber: Necessidades - competências necessárias que uma organização precisa desenvolver para alcançar seus objetivos, conhecimentos, habilidades e atitudes (CHAs) que um indivíduo deve apresentar para desempenhar bem sua função, e quais indivíduos não têm esses CHAs desenvolvidos e necessitam de treinamento; Disseminação - variáveis relacionadas às informações disponíveis na organização sobre o treinamento, como programa, material, divulgação; Suporte - variáveis do lar, comunidade, organização que facilitam ou dificultam as ações de treinamento; Efeitos em longo prazo - conseqüências ambientais das ações educacionais, medidas após o evento de TD&E. Segundo o autor, esses componentes podem ser estruturados de forma a supor que necessidades, insumos, procedimentos, processos, disseminação e suporte, predizem resultados e efeitos em longo prazo.

Carvalho e Abbad (2006) e Zerbini e Abbad (2005) construíram e validaram questionários de avaliação de reações, específicos para ações educacionais ofertadas pela internet, posteriormente revalidados por Borges-Ferreira (2004) e De Paula e Silva (2004). Segundo Maggio (2001), os meios utilizados na educação a distância apresentam-se cada vez mais sofisticados e conseqüentemente, os tutores devem adquirir novas habilidades para desenvolver seu trabalho. Para a autora, o tutor deve saber orientar seus alunos adequadamente de acordo com os objetivos do curso. Se o curso propõe a aplicação de conhecimentos, o tutor precisa desenvolver estratégias que promovam a aquisição de habilidades coerentes para tal. No mesmo sentido, Laaser (1997) concorda que o tutor deve participar da avaliação dos materiais de ensino, bem como corrigir tarefas, esclarecer dúvidas dos alunos referentes ao conteúdo do curso e a instituição e aconselhar os alunos sobre como aproveitar melhor as estratégias e meios oferecidos pelo curso a distância.

Outra questão relevante consiste no ambiente virtual utilizado em cursos mediados pela internet, o qual apresenta características que podem influenciar os efeitos das ações de TD&E e de qualificação profissional no desempenho subseqüente dos participantes. As formas de navegação na página e a quantidade de informações disponíveis são alguns exemplos de fatores que vêm sendo apontados como influentes na produtividade e no conforto dos usuários de sistemas eletrônicos (CARVALHO; ABBAD, 2006).

Em função das características supracitadas referentes às habilidades de tutoria e ao ambiente virtual utilizado em cursos mediados pela internet, Carvalho e Abbad (2006) e Zerbini e Abbad (2005) propuseram medidas de reação, específicas para cursos a distância, via internet, a saber: a) Reações aos procedimentos tradicionais:satisfação dos participantes com a qualidade dos objetivos de ensino, conteúdos, seqüência, avaliações de aprendizagem, estratégias e meios; b) Reação aos procedimentos web: satisfação dos participantes com a qualidade das ferramentas da web, tais como, links, fóruns, banco de perguntas mais freqüentes (FAQ), mural de notícias virtual, chats; c) Reação ao desempenho do tutor:percepção do treinando sobre a qualidade da interação do tutor com os alunos, domínio do conteúdo e uso de estratégias de ensino; d) Reação à interface gráfica: satisfação do treinando quanto à ergonomia do software e quanto à navegabilidade e usabilidade do ambiente na internet; e) Reação aos resultados e aplicabilidade:auto-avaliação sobre a capacidade de transmitir os conhecimentos adquiridos a outras pessoas, aplicar o aprendido em diferentes situações e trabalhar em conjunto com outros profissionais, além da percepção sobre o enfrentamento de dificuldades a partir do aprendido no curso.

Pilati e Borges-Andrade (2006) relatam que muitos avanços metodológicos ocorreram no processo da construção de medidas de reações, embora as soluções desenvolvidas tenham, elas próprias, produzido outros desafios. É o caso das medidas específicas em ações educacionais a distância. A seguir são apresentados instrumentos de medida do nível de reações, com foco em reações ao desempenho do tutor, identificados na literatura nacional e estrangeira.

Segundo Pilati e Borges-Andrade (2006), a validação psicométrica de questionários de reação no contexto de organização e trabalho é um desafio, já que é necessária uma grande quantidade de treinamentos ou treinamentos com um número elevado de participantes, além da necessidade de uma equipe qualificada para realizar a validação estatística. Instrumentos de reação compostos por diferentes dimensões referentes às características de cursos presenciais e a distância foram elaborados e validados estatisticamente entre 1998 e 2006, a saber: Abbad, Gama e Borges-Andrade (2000) - Reação ao Curso; Alves, Pasquali e Pereira (1999) - Reação ao Curso; Carvalho e Abbad (2006) - Reação à Interface Gráfica e Reação aos Resultados e Aplicabilidade; Cheung (1998 e 2000) - Avaliação da qualidade de ensino em cursos a distância; Dean e Webster, (2000) - Reação aos recursos instrucionais em cursos a distância; Zerbini e Abbad (2005) - Reação aos Procedimentos Instrucionais e Reação ao Desempenho do Tutor.

Dos 8 (oito) instrumentos apresentados, seis foram aplicados em participantes de cursos a distância (CARVALHO; ABBAD, 2006; CHEUNG, 1998 e 2000; DEAN; WEBSTER, 2000; ZERBINI; ABBAD, 2005). A amostra foi diversificada, incluindo estudantes de bacharelado (CHEUNG, 1998,2000), funcionários de organizações públicas (ABBAD et al, 2000; ALVES et al, 1999), e participantes de programas de qualificação profissional (CARVALHO; ABBAD, 2006; DEAN; WEBSTER, 2000; ZERBINI; ABBAD, 2005).

Entre os instrumentos de reação existentes, estatisticamente validados, destacam-se diferentes medidas, tais como: reação multidimensional; reação ao desempenho do instrutor e tutor; reação à interface gráfica do curso; reação aos resultados e aplicabilidade; e reação aos procedimentos instrucionais. Vale ressaltar que nos estudos de Morgan e Casper (apud BROWN, 2005), há evidências que “reações” pode ser medida com apenas uma estrutura empírica de seis fatores, confirmada em uma modelagem por equações estruturais, a saber: instrutor, gerenciamento e administração, materiais, estrutura do curso, provas e utilidade do treinamento. Os autores defendem que essa forma de descrever empiricamente o construto de “reações” é mais adequada, pois mensura diferentes aspectos das reações. Neste artigo, o foco será em reações ao desempenho do instrutor e tutor.

Em estudos de Carvalho e Abbad (2006) e Zerbini e Abbad (2005) foram encontrados dois tipos de estruturas igualmente confiáveis e válidas: uma escala unifatorial e uma tridimensional. A escala unifatorial, denominada Reação ao Desempenho do Tutor, inclui 44 itens, e apresenta um índice de confiabilidade de 0,98. Os fatores da estrutura tridimensional foram: Desempenho Didático e Domínio do Conteúdo (27 itens, α=0,98); Uso de Estratégias Motivacionais (12 itens, α=0,95); e Respeito aos Participantes (5 itens, α=0,92).

Abbad, Gama e Borges-Andrade (2000) obtiveram um fator “reação ao desempenho do instrutor”, em seu instrumento de reação ao curso, com itens similares à estrutura unifatorial obtida por Carvalho e Abbad (2006) e Zerbini e Abbad (2005), entretanto, os resultados não podem ser tão facilmente comparáveis, já que o fator de Abbad e cols. (2000) foi aplicado em cursos presenciais e a estrutura unifatorial obtida pelas autoras foi aplicada em curso ofertado a distância.

De Paula e Silva (2004) revalidou o instrumento de Reação ao Desempenho do Tutor de Carvalho e Abbad (2006) e Zerbini e Abbad (2005) e encontrou uma estrutura empírica unifatorial com 33 itens e índice de confiabilidade de 0,97. A estrutura unifatorial das autoras apresentou 44 itens e índice de confiabilidade igual a 0,98. Entretanto, Zerbini (2003) identificou 12 pares de itens altamente correlacionados e, com a retirada dos itens que apresentaram cargas fatoriais menores, encontrou uma estrutura unifatorial com 33 itens (α=0,98), apresentando, segundo a autora, melhores índices psicométricos do que a estrutura com três fatores. Segundo De Paula e Silva (2004), um dos motivos que explicam diferenças nas análises fatoriais nos estudos é que, em seu estudo, foi possível constatar que o atendimento dispensado aos alunos pelos professores e tutores foi predominantemente de monitoria, e não de um sistema de tutoria como no curso avaliado por Carvalho e Abbad (2006) e Zerbini e Abbad (2005).

Borges-Ferreira (2004) também revalidou a escala de Reação ao Desempenho do Tutor de Carvalho e Abbad (2006) e Zerbini e Abbad (2005). A autora fez alterações na redação de alguns itens e excluiu outros, apresentando uma versão final com 28 itens e um ótimo índice de consistência interna (a= 0,97), com cargas fatoriais variando entre 0,50 e 0,85.

Outros autores desenvolveram instrumentos em avaliação de cursos a distância, porém, não os validaram estatisticamente. Visto alguns instrumentos de reação ao desempenho do tutor existentes na literatura, apresenta-se o método utilizado na pesquisa.

 

2. Método

Nesta seção, apresenta-se a organização-alvo, o curso avaliado, uma breve descrição da população e amostra, as características do instrumento, e o procedimento de coleta e análise estatística dos dados.

2.1. Características da Organização, do Curso, da População e da Amostra

A pesquisa compreendeu a avaliação do curso Iniciando um Pequeno Grande Negócio (IPGN), ofertado pelo SEBRAE Nacional. O IPGN é gratuito, realizado totalmente a distância via internet com tutoria ativa e com duração prevista de 40 horas, que visa ensinar, passo a passo, a elaboração um Plano de Negócios. A população do estudo consistiu no total de inscritos no IPGN no período de 03 de fevereiro a 12 de maio de 2006. Foram inscritos 4.719 alunos, divididos em 23 turmas de, aproximadamente, 200 alunos cada uma. O SEBRAE forneceu os dados sócio-demográficos (conclusão do curso, sexo, região geográfica, escolaridade, idade), além de informações sobre o número de acessos feitos pelos alunos ao ambiente eletrônico do curso (número de mensagens enviadas para a lista de discussão, freqüência de participação em chats, número de acessos ao mural de notícias, número de acessos ao ambiente eletrônico do curso e número de dúvidas registradas no tira-dúvidas).

No que se refere às características sócio-demográficas da população, constata-se que a maioria dos respondentes concluiu o curso (66%), é do sexo masculino (52,9%) e reside na região sudeste (50,6%). Grande parte da população possui 3º. grau incompleto (33,3%), 3º. grau completo (21,1%) e apresenta idade entre 24 e 34 anos (44,1%). A população possui, em média, 31 anos de idade (DP = 9,54), sendo 24 anos a idade mais freqüente, 13 anos a mínima e 71 anos, a máxima. Quanto à freqüência de acessos aos recursos eletrônicos do curso, percebe-se que os participantes pouco usaram essas ferramentas da web. A maioria dos participantes não enviou mensagem para a lista de discussão (57,7%), não freqüentou o chat em momento algum do curso (63,5%), tampouco usou o atendimento da tutoria no tira-dúvidas (84,2%). Além disto, grande parte dos participantes acessou apenas de 1 a 10 vezes o mural de notícias (45,2%) e o ambiente eletrônico do curso (32,8%).

Quanto à amostra utilizada, o presente trabalho compreendeu o envio da escala de Reação ao Desempenho do Tutor para todos os inscritos no curso IPGN no período anteriormente citado. O índice de retorno dos questionários foi de 21,04% (993 questionários), o que viabilizou a pesquisa de validação da referida escala.  A maioria dos 993 respondentes concluiu o curso (90,7%), é do sexo feminino (50,7%) e reside na região sudeste (51,4%). Grande parte da amostra possui 3º. grau incompleto (29,9%) e 3º. grau completo (26,7%), e apresenta idade entre 24 e 34 anos (40,3%). Os participantes possuem, em média, 33 anos de idade (DP = 10,51), sendo 24 anos a idade mais freqüente, 14 anos a mínima e 71 anos, a máxima. Quanto à freqüência de acessos aos recursos eletrônicos do curso, observa-se que os participantes pouco usaram as ferramentas da web: a maioria deles enviou de 1 a 10 mensagens para a lista de discussão (53,5%), freqüentou o chat de 1 a 13 vezes ao longo do curso (58,3%), acessou de 1 a 10 vezes o mural de notícias (54,6%) e não usou o atendimento da tutoria no tira-dúvidas (77,7%). Grande parte dos participantes acessou de 11 a 20 vezes (28,9%) e de 21 a 30 vezes o ambiente eletrônico do curso (25,7%).

Verificou-se que a amostra é muito semelhante à população de inscritos no curso. Na amostra e na população houve um equilíbrio na proporção entre pessoas do sexo masculino e feminino. A maioria reside na região Sudeste, possui nível superior incompleto e possui média de idade de 31 a 33 anos (desvio padrão de aproximadamente 10 anos). Quanto à conclusão do curso, na população, pouco mais da metade o concluiu (66%), enquanto que nas amostras, o índice de conclusão foi mais alto (90,7%). Tanto na população quanto na amostra, foi pouco freqüente o uso das ferramentas da web.

2.2. Características do Instrumento

O instrumento de Reação ao Desempenho do Tutor foi desenvolvido e validado em estudo anterior por Zerbini (2003) e apresentou 33 itens (α=0,98), com cargas fatoriais variando de 0,60 e 0,82. Os itens do instrumento estão associados a uma escala do tipo Likert, de 11 pontos, em que 0 (zero) corresponde a Nunca, e 10 a Sempre, e mede a freqüência com que o tutor utiliza os comportamentos descritos ao longo do curso.

2.3. Procedimentos de Coleta e Análise de Dados

O instrumento foi hospedado em uma página da internet para a coleta eletrônica de dados. As instruções de preenchimento do questionário foram enviadas por e-mail no último dia de curso. O índice de retorno foi de 21,04%. As respostas dos participantes ao questionário foram automaticamente registradas em um arquivo de dados eletrônico no programa Excel e, em seguida, importados pelo o SPSS For Windows, versão 13.0, para que pudessem ser analisadas. Foram realizadas análises descritivas e exploratórias para investigar a exatidão da entrada dos dados, a presença de casos extremos, a distribuição dos casos omissos, a distribuição de freqüência e o tamanho das amostras de acordo com as orientações de Tabachnick e Fidell (2001). Em seguida, iniciou-se a validação estatística do instrumento. A análise realizada para obter a extração inicial dos fatores foi a dos componentes principais (Principal Components - PC), e logo após, foi realizada análise fatorial (AF).

É importante registrar que a privacidade das pessoas envolvidas no trabalho foi respeitada, já que não foi solicitada em momento algum da coleta de dados, a identificação dos participantes. Vale ressaltar também que a organização-alvo do estudo consentiu a publicação dos dados agrupados.

 

3. Resultados

As respostas dos 993 participantes aos 33 itens do questionário apresentaram 123 casos extremos univariados e 172 casos extremos multivariados, os quais foram retirados do arquivo de dados, totalizando 698 casos. Foram identificados valores omissos entre 1,9 e 4,1%, e a opção foi não estimar valores para substituir os dados omissos. Após a verificação de algumas características já descritas anteriormente, foram identificados 25 pares de itens altamente correlacionados entre si, com valores entre 0,80 e 0,84, são eles:

• Par 1: 3 “Envia mensagens de incentivo aos participantes” e 13 “Comunica-se de modo educado com os participantes” (r=0,83, p<0,001);
• Par 2: 8 “Demonstra alegria com o sucesso e os resultados dos participantes” e 10 “Dispõe-se a prestar auxílio” (r=0,81, p<0,001);
• Par 3: 8 “Demonstra alegria com o sucesso e os resultados dos participantes” e 13 “Comunica-se de modo educado com os participantes” (r=0,82, p<0,001);
• Par 4: 8 “Demonstra alegria com o sucesso e os resultados dos participantes” e 14 “Demonstra bom humor durante a sua participação no curso” (r=0,82, p<0,001);
• Par 5: 8 “Demonstra alegria com o sucesso e os resultados dos participantes” e 15 “Elogia os participantes pelo desempenho no decorrer do curso” (r=0,82, p<0,001);
• Par 6: 8 “Demonstra alegria com o sucesso e os resultados dos participantes” e 17 “Demonstra segurança ao abordar os tópicos do curso” (r=0,85, p<0,001);
• Par 7: 9 “Está disponível nas horas marcadas” e 10 “Dispõe-se a prestar auxílio” (r=0,84, p<0,001);
• Par 8: 10 “Dispõe-se a prestar auxílio” e 13 “Comunica-se de modo educado com os participantes” (r=0,81, p<0,001);
• Par 9: 10 “Dispõe-se a prestar auxílio” e 14 “Demonstra bom humor durante a sua participação no curso” (r=0,80, p<0,001);
• Par 10: 13 “Comunica-se de modo educado com os participantes” e 14 “Demonstra bom humor durante a sua participação no curso” (r=0,85, p<0,001);
• Par 11: 13 “Comunica-se de modo educado com os participantes” e 15 “Elogia os participantes pelo desempenho no decorrer do curso” (r=0,82, p<0,001);
• Par 12: 13 “Comunica-se de modo educado com os participantes” e 19 “Utiliza linguagem de fácil compreensão” (r=0,80, p<0,001);
• Par 13: 13 “Comunica-se de modo educado com os participantes” e 24 “Tem facilidade para expor os temas do curso” (r=0,81, p<0,001);
• Par 14: 14 “Demonstra bom humor durante a sua participação no curso” e 15 “Elogia os participantes pelo desempenho no decorrer do curso” (r=0,83, p<0,001);
• Par 15: 14 “Demonstra bom humor durante a sua participação no curso” e 17 “Demonstra segurança ao abordar os tópicos do curso” (r=0,80, p<0,001);
• Par 16: 14 “Demonstra bom humor durante a sua participação no curso” e 19 “Utiliza linguagem de fácil compreensão” (r=0,83, p<0,001);
• Par 17: 17 “Demonstra segurança ao abordar os tópicos do curso” e 19 “Utiliza linguagem de fácil compreensão” (r=0,82, p<0,001);
• Par 18: 17 “Demonstra segurança ao abordar os tópicos do curso” e 24 “Tem facilidade para expor os temas do curso” (r=0,84, p<0,001);
• Par 19: 22 “Ressalta os benefícios práticos do curso nos contatos com os participantes” e 24 “Tem facilidade para expor os temas do curso” (r=0,80, p<0,001);
• Par 20: 23 “Indica caminhos ao invés de dar respostas prontas” e 24 “Tem facilidade para expor os temas do curso” (r=0,81, p<0,001);
• Par 21: 24 “Tem facilidade para expor os temas do curso” e 26 “Utiliza todos os recursos de interação disponibilizados pelo curso” (r=0,81, p<0,001);
• Par 22: 24 “Tem facilidade para expor os temas do curso” e 32 “Cria oportunidades para os participantes manifestarem suas idéias” (r=0,80, p<0,001);
• Par 23: 27 “Apresenta exemplos que ilustram bem o tema discutido” e 28 “Muda a forma de explicar até que os participantes compreendam” (r=0,80, p<0,001);
• Par 24: 28 “Muda a forma de explicar até que os participantes compreendam” e 29 “Aproveita os acertos dos participantes para enfatizar os aspectos mais importantes do curso” (r=0,81, p<0,001);
• Par 25: 29 “Aproveita os acertos dos participantes para enfatizar os aspectos mais importantes do curso” e 30 “Integra teoria e prática em suas explicações (r=0,81, p<0,001).

No caso dos pares identificados com alta correlação no instrumento de reação ao desempenho do tutor, não serão feitas análises par a par, já que alguns itens apareceram com freqüência em diferentes pares. Portanto, a análise será feita mediante discussão do conteúdo de alguns itens. Um dos critérios mais importantes no processo de elaboração de itens é o critério comportamental, que consiste no fato de um item expressar um comportamento e não uma abstração ou construto. Caso sejam construídos itens abstratos, corre-se o risco dos participantes avaliarem o item de maneiras diferentes de acordo com as definições que cada um possui sobre o aspecto em questão, bem como, dos itens apresentarem sobreposição com outros itens mais específicos.

Ao analisar os 25 pares com alta correlação, verificou-se que alguns itens representam um aspecto abstrato e talvez em função disso tenha ocorrido um elevado número de sobreposições. São eles: 8 “Demonstra alegria com o sucesso e os resultados dos participantes”; 13 “Comunica-se de modo educado com os participantes”; 14 “Demonstra bom humor durante a sua participação no curso”; 17 “Demonstra segurança ao abordar os tópicos do curso”; 24 “Tem facilidade para expor os temas do curso”. Demonstrar alegria, comunicar-se de modo educado, demonstrar bom humor, demonstrar segurança e apresentar facilidade para expor os temas do curso, são aspectos extremamente subjetivos que podem ser representados por comportamentos observáveis mais específicos, tal como é feito em outros itens.

Desta maneira, optou-se por retirar os itens 8, 13, 14, 17 e 24 do instrumento de desempenho do tutor. Em relação aos pares 23, 24 e 25, a decisão foi manter os itens envolvidos (itens 27, 28, 29 e 30), já que representavam diferentes comportamentos observáveis e específicos referentes a estratégias de ensino de um tutor. Quanto ao par número 9, de fato estar disponível nas horas marcadas é uma forma de prestar auxílio, portanto, decidiu-se manter o item 9 “Está disponível nas horas marcadas” e excluir o item 10 “Dispõe-se a prestar auxílio”, já que este último pode ser manifestado por diferentes comportamentos mais específicos. Visando, portanto, atender a premissa da ausência de multicolinearidade, foram excluídos os itens 8, 10, 13, 14, 17 e 24 do questionário de Reação ao Desempenho do Tutor.

Todos os valores de correlação da matriz foram superiores a 0,30, indicando que a matriz é fatorizável e foi obtido um valor de KMO de 0,98, considerado por Pasquali (2004), um excelente índice de adequação da amostra. A análise dos componentes principais, com tratamento pairwise para os casos omissos, sugere uma estrutura empírica com 2 componentes que explicam, em conjunto, 72,18% da variância total das respostas dos participantes aos itens do questionário. Tal análise seguiu o critério dos eigenvalues (valores próprios) maiores ou iguais a um e mínimo de explicação de 3% da variância total de cada componente. Assim, poderiam ser extraídos dois fatores, no máximo. A análise do scree plot, indicou a existência de 2 componentes, com maior probabilidade de 1 componente, como pode ser observado na Figura 1.

 

Figura 1. Distribuição dos valores próprios (scree plot) da escala de Reação ao Desempenho do Tutor.

 

Portanto, a decisão final foi por uma estrutura unifatorial. A extração final dos fatores foi realizada por meio da PAF, com tratamento pairwise para casos omissos. Foram incluídos na escala apenas os itens com conteúdos semânticos similares e cargas fatoriais superiores ou iguais a 0,30. Desta análise foi extraído 1 fator que explica 67,20% da variância total das respostas aos itens do instrumento. A Tabela 1 apresenta a estrutura empírica da escala, as cargas fatoriais, as comunalidades (h2) dos itens, as médias e desvios-padrão, os índices de consistência interna das escalas e os valores próprios e percentuais de variância explicada de cada fator.

 

 

Para analisar a estabilidade, verificou-se o quanto os itens eram bons representantes do fator, pelo tamanho das cargas fatoriais, as quais apresentaram ótimos valores, entre 0,69 e 0,88. Para analisar a interpretabilidade, ao denominar o fator e associá-lo ao agrupamento de itens, recorreu-se à análise da literatura da área. Também foi realizada análise de consistência interna. Não foi excluído item algum na estrutura proposta.

O Fator Único, denominado Desempenho do Tutor, é composto por 27 itens que avaliam a satisfação dos participantes com a atuação profissional do tutor, incluindo o desempenho didático e o domínio do conteúdo, o incentivo dado pelo tutor aos participantes para concluírem o curso e a utilizarem com mais freqüência e eficiência os recursos instrucionais, bem como, o respeito demonstrado aos participantes. Este fator apresentou um alto índice de consistência interna (α=0,98), com itens cujas cargas fatoriais variaram entre 0,69 e 0,88.

 

4. Discussão

A escala obtida é consistente e válida. O instrumento de Reação ao Desempenho do Tutor de Zerbini (2003) foi revalidado na presente pesquisa sem modificações porque a escala original parecia adequada para avaliar o desempenho de um tutor em curso a distância. Outro aspecto que motivou a reaplicação da escala de Zerbini (2003) neste estudo foi o fato de que, em cursos a distância, o comportamento do tutor precisa adequar-se às características das novas tecnologias de comunicação e informação, o que foi contemplado em tal questionário.

No presente estudo, a estrutura empírica se mostrou unifatorial, denominada Desempenho do Tutor, com 27 itens, α=0,98, e cargas fatoriais variando de 0,69 e 0,88. No estudo de Zerbini (2003), a estrutura unifatorial apresentou 33 itens (α=0,98), com cargas fatoriais variando de 0,60 a 0,82. Nos estudos de Zerbini e Abbad (2005) e Carvalho e Abbad (2006) foram encontrados dois tipos de estruturas igualmente confiáveis e válidas: uma escala unifatorial e uma tridimensional. A escala unifatorial apresentou 44 itens e um índice de confiabilidade de 0,98. Os fatores da estrutura tridimensional foram: Desempenho Didático e Domínio do Conteúdo (27 itens, α=0,98); Uso de Estratégias Motivacionais (12 itens, α=0,95); e Respeito aos Participantes (5 itens, α=0,92). Borges-Ferreira (2004) revalidou a escala de Reação ao Desempenho do Tutor de Zerbini e Abbad (2005) e Carvalho e Abbad (2006) e obteve uma versão final com 28 itens e índice de consistência interna 0,97, com cargas fatoriais variando entre 0,50 e 0,85.

Verifica-se que a estrutura obtida nesta pesquisa se mostrou mais parcimoniosa do que as validadas nos estudos de Zerbini (2003), Zerbini e Abbad (2005), Carvalho e Abbad (2006) e Borges-Ferreira (2004), além de apresentar valores de cargas fatoriais mais altas do que nos estudos das referidas autoras.

Abbad, Gama e Borges-Andrade (2000) obtiveram um fator “reação ao desempenho do instrutor”, em seu instrumento de reação multidimensional ao curso, com itens similares à estrutura unifatorial obtida por Zerbini (2003), Zerbini e Abbad (2005) e Carvalho e Abbad (2006). Entretanto, os resultados não podem ser diretamente comparados com os obtidos no presente estudo, já que o fator encontrado por Abbad, Gama e Borges-Andrade (2000) foi aplicado em cursos presenciais, o que exclui os itens que representam o comportamento do tutor quanto ao incentivo dado aos participantes para utilizarem com mais freqüência e eficiência os recursos instrucionais eletrônicos do curso.

Diante dos resultados apresentados, verifica-se que a escala obtida na presente pesquisa apresenta melhores índices psicométricos, além de atender melhor às especificidades do comportamento do tutor no curso avaliado. Diante do exposto, verifica-se que a escala obtida na presente pesquisa atende melhor às especificidades do curso avaliado, bem como às características dos programas de educação a distância ofertados pelo SEBRAE. Sugere-se que a escala de Reação Desempenho do Tutor, revalidada no presente estudo, seja aplicada em outras organizações e em diferentes cursos para a realização de uma análise fatorial confirmatória.

 

Referências Bibliográficas

ABBAD, G. Um modelo integrado de avaliação do impacto do treinamento no trabalho – IMPACT. 1999. 262 f. Tese (Doutorado em Psicologia) - Instituto de Psicologia, Universidade de Brasília, Brasília.        [ Links ]

ABBAD, G., GAMA, A.L.G.; BORGES-ANDRADE, J.E. Treinamento: Análise do relacionamento da avaliação nos níveis de reação, aprendizagem e impacto do treinamento no trabalho. Revista de Administração Contemporânea - RAC, Rio de Janeiro, v. 4, n. 3, p. 25-45, 2000.         [ Links ]

ALVES, A. R., PASQUALI, L.; PEREIRA, M. A. M. Escala de Satisfação com o Treinamento – ESAST/ TELEBRÁS/ UnB. Revista de Administração de Empresas, São Paulo, v. 39, n. 1, p. 25-30, 1999.         [ Links ]

BORGES-ANDRADE, J. E. Desenvolvimento de medidas em avaliação de treinamento. Estudos de Psicologia, Natal, n. 7 (Número especial), p. 31-43, 2002.         [ Links ]

BORGES-ANDRADE, J. E. Avaliação integrada e somativa em TD&E. In: Borges-Andrade, J. E.; ABBAD, G.; Mourão, L. e col. Treinamento, desenvolvimento e educação em organizações e trabalho:fundamentos para a gestão de pessoas. Porto Alegre: Artmed, 2006. p. 343–358.        [ Links ]

BORGES-FERREIRA, M. F. Avaliação de Reações e Aprendizagem em disciplinas de curso técnico profissionalizante oferecidas a distância. 2004. 151 f. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília, Brasília.        [ Links ]

BROWN, K. G. What Does Recent Research Tell Us About “Training Satisfaction?” In: C. Saul; B. Sugrue (Ed.). American Society for Training & Development: Research-to-Practice Conference Proceedings. United States of America, 2005.p. 27-35.

CARVALHO, R. S.; ABBAD, G. S. Avaliação de treinamento a distância: reação, suporte à transferência e impactos no trabalho. Revista de Administração Contemporânea, Rio de Janeiro, v. 10, n. 1, p. 95-116, 2006.        [ Links ]

CHEUNG, D. Developing a student evaluation instrument for distance teaching. Distance Education, Filadélfia, v. 19, n. 1, p. 23-34, 1998.         [ Links ]

CHEUNG, D. Evidence of a single second-order factor in student ratings of teaching effectiveness. Structural Equation Modeling, Filadélfia, v. 7, n. 3, p. 442-460, 2000.        [ Links ]

DEAN, A.; WEBSTER, L. Simulations in distance education-progress towards an evaluation instrument. Distance Education, Filadélfia, v. 21, n. 2, p. 344-360, 2000.        [ Links ]

DE PAULA E SILVA, A. Avaliação de uma disciplina semipresencial de graduação ofertada por meio da internet pela Universidade de Brasília. 2004. 150 f. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília, Brasília.        [ Links ]

HAMBLIN, A.C. Avaliação e controle do treinamento. São Paulo: McGraw-Hill do Brasil, 1978.        [ Links ]

LAASER, W. Manual de criação e elaboração de materiais para educação a distância. Brasília: CEAD, Editora Universidade de Brasília, 1997.        [ Links ]

MAGGIO, M. O Tutor na Educação a Distancia. In: E. Litwin (Org.). Educação a distância: temas para o debate de uma nova agenda educativa. Porto Alegre: Artmed, 2001. p. 93 – 110.         [ Links ]

PASQUALI, L. Análise fatorial para pesquisadores. Petrópolis: Vozes, 2004.        [ Links ]

PILATI, R.; BORGES-ANDRADE, J. E. Construção de medidas e delineamentos em avaliação de TD&E. In: Borges-Andrade, J.E.;  Abbad, G; Mourão, L. e colaboradores. Treinamento, desenvolvimento e educação em organizações e trabalho:fundamentos para a gestão de pessoas. Porto Alegre: Artmed, 2006. p. 359 - 384.        [ Links ]

TABACHNICK, B.G.; FIDELL, L.S. Using multivariate statistics. New York: Harper-Collins College Publishers, 2001.        [ Links ]

ZERBINI, T. Estratégias de aprendizagem, reações aos procedimentos de um curso via internet, reações ao tutor e impacto do treinamento no trabalho. 2003. 161 f. Dissertação (Mestrado em Psicologia) - Instituto de Psicologia, Universidade de Brasília, Brasília.        [ Links ]

ZERBINI, T.; ABBAD, G. Impacto de treinamento no trabalho via internet.  Revista de Administração de Empresas Eletrônica, São Paulo, v. 4, n. 2, 2005.         [ Links ]

 

 

Endereço para correspondência
Thaís Zerbini
Departamento de Psicologia e Educação, Faculdade de Filosofia, Ciências e Letras da Universidade de São Paulo, Av. Bandeirantes, 3900, Ribeirão Preto, SP, Brasil. CEP: 14040-901
Endereço eletrônico: thais.zerbini@gmail.com
Gardênia Abbad
Instituto de Psicologia, Universidade de Brasília, Campus Darcy Ribeiro, Brasília, DF. CEP: 70910-900
Endereço eletrônico: gardênia.abbad@gmail.com

Recebido em: 11/06/2008
Aceito para publicação em: 05/05/2009
Acompanhamento do processo editorial: Ariane Patrícia Ewald