Evidências de validade de instrumentos de reações no ensino superior à distância

Validity evidences of instruments of reaction in distance higher education

Evidencias de validez de instrumentos de reacciones en enseñanza superior a distancia

Lara Barros Martins^*; Thaís Zerbini^**

Universidade de São Paulo - USP, Ribeirão Preto, São Paulo, Brasil

RESUMO

Com a crescente implantação de cursos superiores oferecidos via internet, os estudos na área de avaliação de ações educacionais a distância assumem grande relevância, ao propor instrumentos de medida para atestar a eficácia e a qualidade de cursos desta natureza. Nesse sentido, objetivou-se verificar as evidências de validade de dois instrumentos de medida: Reação aos Procedimentos Instrucionais e Reação ao Desempenho do Tutor. Alunos de graduação de uma universidade particular no interior paulista, que realizavam cursos a distância ou disciplinas híbridas, responderam a questionários que avaliaram o nível de satisfação com os procedimentos instrucionais adotados e a atuação profissional do tutor. Foram realizadas Análises Fatoriais Exploratórias e de consistência interna. Os escores analisados apontam para as evidências de validade estrutural em ambas escalas, que apresentam estruturas empíricas unifatoriais: 1) "Procedimentos Instrucionais em EAD" (17 itens, α=0,96 e cargas fatoriais entre 0,60 e 0,86); e 2) "Desempenho do Tutor" (27 itens, α=0,98 e cargas fatoriais entre 0,67 e 0,88). As estruturas de fator único já foram encontradas em estudos existentes com as medidas, que devem ser aplicadas em contextos e amostras diferentes, em futuras pesquisas.

Palavras-chave: avaliação de curso a distância, instrumento de avaliação, educação à distância.

ABSTRACT

Increasing implantation of higher education courses offered by Internet put the assessment studies on distance learning, that propose measuring instruments to attest the effectiveness and quality of these courses, at a relevant level. This study aimed to verify the validity evidences of two instruments: Satisfaction to the Instructional Procedures and Satisfaction to the Tutor's Performance. Undergraduated students from a private university in the State of Sao Paulo, who attended distance learning courses or blended disciplines, answered questionnaires that evaluated their satisfaction with the instructional procedures and tutors' professional performance. Exploratory Factor Analyzes and internal consistency were performed. The analyzed scores indicate for evidences of structural validity of both scales, which present one-factor empirical structures: 1) "Instructional Procedures in Distance Learning" (17 items, α=0.96 and factor loadings between 0.60 and 0.86), and 2) "Tutor's Performance" (27 items, α=0.98 and factor loadings between 0.67 and 0.88). Others studies with the scales found the one-factor structures as well. Future research should use them in different contexts and samples.

Keywords: distance course evaluation, assessment instrument, distance learning.

RESUMEN

Palabras clave: evaluación de curso a distancia, instrumento de evaluación, enseñanza virtual.

1 Introdução

No cenário nacional e internacional, as Instituições de Ensino Superior (IES) passam a utilizar, em larga escala, processos educacionais assentados na internet e nas Novas Tecnologias da Informação e Comunicação (NTICs). No Brasil, a temática da Educação a Distância (EAD) tem assumido destaque no âmbito das políticas públicas, através de ações e programas de governo para democratização e ampliação do acesso ao ensino por meio da modalidade, acompanhadas por alterações substanciais em legislações educacionais (Martins & Zerbini, 2014). A crescente oferta de cursos de graduação a distância no país e no mundo ocorre concomitantemente aos questionamentos sobre a qualidade dos mesmos, sendo importantes discussões sobre as possibilidades e os desafios colocados pelas inovações em práticas de ensino-aprendizagem (Garrison & Vaughan, 2008; Özkan, Köseler, & Baykal, 2009).

Além de promoverem a aprendizagem, os cursos a distância ou híbridos acompanham as transformações ocorridas no campo social e tecnológico, sendo uma alternativa que permite atender a um maior número de pessoas, otimizar o tempo e reduzir gastos a médio e longo prazo (Vaughan, 2007; Zerbini, 2007). Tais mudanças recentes no campo da educação mostram a necessidade pela busca de medidas educacionais alternativas e mais eficientes, pois o atual sistema de educação formal apresenta-se insuficiente para atender às novas demandas sociais de qualificação e profissionalização (Martins, 2012).

Apesar da crescente implantação da EAD, a área de avaliação de cursos no nível superior de ensino, especificadamente, cursos de graduação ofertados a distância é bastante incipiente. Por se tratar de um campo de conhecimento ainda em fase de exploração, são necessários estudos que auxiliem na proposição de instrumentos de medida para cursos desta natureza. Nesse sentido, o presente artigo pretende contribuir com a área de avaliação de sistemas instrucionais a distância ao propor a verificação de evidências de validade dos instrumentos de Reação ao Desempenho do Tutor (Zerbini & Abbad, 2009a) e de Reação aos Procedimentos Instrucionais (Zerbini & Abbad, 2009b), em contexto de IES.

A decisão por verificar novamente as evidências de validade das escalas deveu-se ao fato de que os instrumentos em questão foram aplicados pela primeira vez em contexto e amostra diferentes de suas aplicações anteriores: cursos de graduação a distância ou híbridos. Os estudos nacionais citados aplicaram a escala em participantes de cursos técnicos e profissionalizantes ofertados a distância.  Além disso, outro aspecto que motivou a reaplicação das escalas é que no Brasil, os cursos de graduação a distância vêm crescendo exponencialmente, sendo imperativo nesse contexto, esforços despendidos por pesquisas científicas para atestar sua eficácia e qualidade, considerando a satisfação de um dos principais atores dos serviços, ou seja, os alunos.

O nível de avaliação "Reação" pretende mensurar as opiniões dos participantes sobre diversos aspectos de um dado evento educacional (Hamblin, 1978), ou seja, permite aferir a satisfação com relação à qualidade do plano instrucional ou de sua programação (objetivos, sequência, estratégias, meios, duração), à qualidade de sua execução (desempenho do tutor) e ao apoio oferecido para a sua implantação (instalações e materiais didáticos) (Abbad, 1999; Borges-Andrade, 1982).

Acompanhando as novas tendências de oferecimento de programas educacionais a distância, Carvalho e Abbad (2006) e Zerbini e Abbad (2005, 2009a, 2009b, 2010b) propuseram medidas específicas de reação para cursos dessa natureza – posteriormente revalidadas por Silva (2004) e Borges-Ferreira (2005) –, considerando as novas competências e habilidades por parte do tutor e o ambiente virtual envolvido.

Tais medidas avaliam a satisfação dos participantes com relação à: a) qualidade dos objetivos de ensino, conteúdos, sequência, avaliações de aprendizagem, estratégias e meios (reações aos procedimentos tradicionais); b) qualidade das ferramentas da web, tais como,links, fóruns, banco de perguntas mais frequentes (FAQ), mural de notícias virtual, chats (reação aos procedimentos web); c) qualidade da interação do tutor com os alunos, domínio do conteúdo e uso de estratégias de ensino(reação ao desempenho do tutor); d) ergonomia do software e quanto à navegabilidade e usabilidade do ambiente na internet (reação à interface gráfica) e; e) autoavaliação sobre a capacidade de transmitir os conhecimentos adquiridos a outras pessoas, aplicar o aprendido em diferentes situações e trabalhar em conjunto com outros profissionais, além da percepção sobre o enfrentamento de dificuldades a partir do aprendido no curso (reação aos resultados e aplicabilidade).

Quanto ao instrumento de reação aos procedimentos instrucionais, validado primeiramente por Zerbini e Abbad (2005) em uma amostra de alunos de um curso de qualificação aberto brasileiro oferecido via internet– "Iniciando um Pequeno Grande Negócio" (IPGN) do Serviço Brasileiro de Apoio às Micro e Pequenas Empresas (SEBRAE), três fatores foram encontrados: Procedimentos Tradicionais (9 itens, α=0,91); Recursos da Web (7 itens, α=0,89); e Atividades e Exercícios (7 itens, α=0,85).

A estrutura unifatorial da mesma escala foi encontrada por Zerbini e Abbad (2005) (19 itens, α=0,93) e Borges-Ferreira (2005) (12 itens, α=0,89), tendo sido o fator único denominado de Procedimentos Instrucionais nesses estudos. Em Zerbini e Abbad (2009b, 2010b), dois fatores foram encontrados: Procedimentos Tradicionais (12 itens, α=0,91) e Recursos da Web (3 itens, α=0,76).

Uma consulta ao Anuário Brasileiro Estatístico de Educação Aberta e a Distância (ABRAEAD, 2008) mostra que em ambientes universitários brasileiros, a educação a distância é considerada melhor que a presencial por quase metade dos alunos formados (46%), e para 33% não há diferença entre ambas. Apenas 16% a consideram pior. Resultados de pesquisas nacionais que avaliaram reações corroboram esses dados ao indicar um predomínio de percepções favoráveis à modalidade a distância. Tais estudos são caracterizados por proposição de modelos e uso de escalas estatisticamente validadas para apreender a satisfação dos alunos em cursos a distância.

Há também um grande número de pesquisas internacionais que se dedicam a medir a satisfação de alunos e instrutores com cursos assentados na internet em ambientes universitários (Beqiri, Chase, & Bishka, 2010; Bolliger & Wasilik, 2009; Cao, Griffin, & Bai, 2009; Freeze, Alshare, Lane, & Wen, 2010; Hussin, Bunyarit, & Hussein, 2009; Lee, Tseng, Liu, & Liu, 2007; Lewis, 2010; Lu & Chiou, 2010; Paechter, Maier, & Macher, 2010; Sahin & Shelley, 2008; Womble, 2008).

O interesse dessas pesquisas estrangeiras converge na busca por informações que indiquem a satisfação dos alunos com aspectos do próprio curso, com relação aos tutores, quanto às formas de comunicação entre os envolvidos (alunos e instrutores) e no relacionamento da medida de reação com outras variáveis (motivação, autoeficácia, resultados de aprendizagem, utilidade do curso, experiência anterior no uso da web, etc.). As análises são feitas por meio de estatísticas descritivas e inferenciais. Nota-se a utilização de análise fatorial exploratória e o predomínio de trabalhos com procedimentos de análise mais robustos, fazendo uso de análise fatorial confirmatória e modelagem por equações estruturais (Freeze et al., 2010; Lee et al., 2007; Lu & Chiou, 2010; Sahin & Shelley, 2008; Siritongthaworn & Krairit, 2006).

Zerbini e Abbad (2010c), em revisão de literatura sobre reações em cursos a distância, argumentam que a mensuração e a coleta de informações sobre a satisfação dos participantes com o curso visam aprimorar métodos e estratégias instrucionais, para facilitar o alcance de resultados de aprendizagem e de desempenho. Ao identificar e analisar quais são os fatores que influenciam a (in)satisfação dos alunos com a experiência em EAD, os resultados de pesquisa podem otimizar o impacto desses programas e oferecer subsídios para intervenções, além de aumentar a retenção de aprendizagem dos alunos (Chyung & Vachon, 2005).

Nas seções subsequentes, são apresentados a metodologia, os resultados e a discussão.

2 Método

2.1 Participantes

A instituição particular de ensino superior participante, localizada no interior do Estado de São Paulo, possui forte tradição acadêmica e é considerada referência local e regional no ensino, oferecendo cursos presenciais e a distância, sendo os cursos em EAD ofertados desde 2008 via internet.

Os cursos de Gestão da Produção Industrial (GPI) e Pedagogia foram os escolhidos para compor a amostra por serem os mais antigos ofertados a distância na instituição; e as disciplinas semipresenciais "Metodologia Científica" e "Economia", por serem obrigatórias, compondo a grade curricular de todos os cursos de graduação da universidade, inclusive os presenciais.

A instituição participante não forneceu dados da população de alunos matriculados na universidade que estudam na modalidade a distância ou híbrida, impossibilitando afirmar se as características da amostra são semelhantes à da população. Em decorrência da participação ínfima dos alunos que realizavam os cursos 100% a distância (GPI e Pedagogia) na coleta de dados, a caracterização da amostra considerou apenas os dados demográficos dos 343 alunos que responderam ao questionário, participantes das disciplinas Metodologia Científica e Economia.

A maioria dos alunos é do sexo feminino (62,7%), solteira (87,5%), sem filhos (91,3%) e residente da região sudeste (89,5%). Possuem, em média, 23 anos de idade (DP=7,26) – faixa etária preponderante entre 17 e 24 anos (65,3%) – e Ensino Superior Incompleto (65,9%). Muitos alunos apenas estudam (62,1%) e outros, além dos estudos, se dedicam a atividades profissionais (35,3%), estando a renda concentrada entre dois e três salários mínimos (40,5%). Grande parte dos alunos (87,5%) possui experiência anterior no uso da internet, indicando uma preparação anterior para utilizar ferramentas e recursos da web.

2.2 Instrumentos

As informações sobre os instrumentos de Reação aos Procedimentos Instrucionais e de Reação ao Desempenho do Tutor, que são respondidos segundo uma Escala Likert de 11 pontos que variam de 0 (Péssimo) a 10 (Excelente), utilizados na presente investigação podem ser visualizadas na Tabela 1.

Para a adaptação dos instrumentos, foram analisadas as características dos cursos avaliados, bem como os termos e as nomenclaturas utilizadas no ambiente virtual de aprendizagem e pelos participantes dos cursos (tutores, alunos, coordenação, etc.). Exemplos das modificações das terminologias: "ambiente do curso" foi substituído por "ambiente virtual de aprendizagem (AVA)"; no lugar de "chats" e "comunidade de aprendizagem", foram incluídos itens que contemplassem os diversos fóruns existentes; foram incluídos um item referente aos "Guias das disciplinas" e outros que dizem respeito às formas de interação entre os alunos, que são feitas por meio de "mensagens" e não por "e-mails".

Após a adequação das terminologias, o instrumento de Reação aos Procedimentos Instrucionais que continha 15 itens, ficou com 17, e o de Reação ao Desempenho do Tutor permaneceu com o mesmo número de itens, igual a 27.

2.3 Procedimentos de coleta e de análise de dados

Respeitadas as considerações éticas envolvidas e mediante aprovação do trabalho pelo Comitê de Ética em Pesquisa da FFCLRP-USP (Processo nº 495/2010 - 2010.1.583.59.8) os instrumentos foram aplicados virtual e presencialmente, sendo necessários três momentos diferentes para a coleta de dados, visando o aumento das taxas de respostas.

Os questionários estavam disponíveis no AVA a uma amostra potencial de 1.694 alunos. Mas, como houve uma participação muito baixa dos respondentes nos dois primeiros momentos em que a coleta foi feita a distância – Reação aos Procedimentos Instrucionais (n=105) e Reação ao Desempenho do Tutor (n=87) –, a coleta de dados teve que ser diversificada no terceiro momento, incluindo a aplicação em papel dos questionários.

Os índices de retorno totais foram de 19% (N=321) e 17,5% (N=296), respectivamente, para os questionários de Reação aos Procedimentos Instrucionais e de Reação ao Desempenho do Tutor. Devido ao número insuficiente de respondentes dos cursos de GPI e Pedagogia aos questionários, optou-se por não incluir suas respostas na caracterização da amostra e nas Análises Fatoriais Exploratórias dos instrumentos.

Foram feitas análises descritivas e exploratórias para investigar a exatidão da entrada dos dados, a presença de casos extremos, a distribuição dos casos omissos, a distribuição de frequência das variáveis e o tamanho das amostras – conforme orientações de Tabachnick e Fidell (2007). Para verificar a fidedignidade e as evidências de validade da estrutura dos instrumentos foram realizados, respectivamente, o cálculo do índice de consistência interna (Alfa de Cronbach) e Análises Fatoriais Exploratórias, por meio da Análise dos Componentes Principais e do Método de Fatoração dos Eixos Principais. Todas as análises estatísticas foram feitas no SPSS 17.0.

3 Resultados

O questionário de Reação aos Procedimentos Instrucionais apresentou 288 casos válidos e 55 casos omissos em todos os 17 itens – casos em que os participantes não responderam ao questionário inteiro, portanto não foram estimados valores para substituí-los. As respostas não apresentaram casos extremos univariados, mas 41 casos extremos multivariados foram identificados a partir da distância Mahalanobise retirados do arquivo de dados, totalizando 247 casos submetidos à análise.

Anteriormente à realização das análises exploratórias fatoriais, foi elaborada e examinada a matriz de correlação, a partir da qual foram identificados quatro pares de itens altamente correlacionados entre si: par 1: 6 "Novidades e lembretes divulgados no ambiente virtual de aprendizagem (AVA)" e 7 "Links disponibilizados no ambiente virtual de aprendizagem (AVA)" (r=0,87, p<0,01); par 2: 12 "Fóruns de apresentação" e 13 "Fóruns de dúvidas" (r=0,80, p<0,01); par 3: 13 "Fóruns de dúvidas" e 14 "Fóruns de notícias" (r=0,86, p<0,01); e par 4: 14 "Fóruns de notícias" e 15 "Fóruns de discussão" (r=0,81, p<0,01).

Para realizar a análise da matriz de covariância em termos de fatorabilidade, foram analisados o tamanho das correlações e a adequação da amostra. Em mais de 50% dos casos foram encontrados valores de correlação superiores a 0,30, indicando que a matriz provavelmente é fatorizável. Quanto ao teste de Kaiser-Meyer-Olkin (KMO), obteve-se um valor de 0,95, considerado um excelente índice de adequação da amostra; além do teste de esfericidade de Bartlett que obteve um valor de 3977, 498 (df=136; sig=0,00). A extração inicial de fatores foi feita mediante Análise dos Componentes Principais (ACP), seguindo os critérios convencionais – valores próprios maiores ou iguais a um e análise da distribuição visual dos valores próprios, por meio do gráfico scree plot.

A ACP, com tratamento listwise para os casos omissos, sugere uma estrutura empírica com dois componentes que explicam, em conjunto, 70,98% da variância total das respostas dos participantes aos itens do questionário. Quanto à importância do fator, cada componente deveria explicar no mínimo 3% da variância total das variáveis, sendo considerados irrelevantes os que explicassem menos.  Assim, poderiam ser extraídos dois fatores, no máximo.  A análise do scree plot (distribuição visual dos valores próprios) confirmou a existência de dois componentes; já a análise paralela de Horn, que compara valores próprios empíricos, obtidos pela análise da ACP, com valores próprios aleatórios, em função da quantidade de variáveis e do tamanho da amostra (Laros, 2004), admite uma estrutura unifatorial, pois somente o primeiro fator explicou maior variância do que o fator correspondente nos dados aleatórios, como mostra a Tabela 2.

O método de rotação oblíqua e tratamento listwise para casos omissos foram utilizados para a Fatoração dos Eixos Principais (FEP). Em um primeiro momento, a ACP visa reduzir o número de variáveis em componentes, que expliquem a maior parte da variância original das variáveis, além de analisar os componentes mais importantes, definindo o número mínimo de fatores a serem inicialmente extraídos. Em seguida, a FEP leva em conta os componentes previamente apontados pela ACP e verifica a covariância entre as variáveis, ou seja, a variabilidade que as variáveis possuem em comum, indicando o número de fatores existentes.  Foram incluídos na escala apenas os itens com conteúdos semânticos similares e cargas fatoriais superiores ou iguais a 0,30.  Dessa análise foi extraído um fator único que explica 61,92% da variância total das respostas aos itens do instrumento. A opção pela solução unifatorial faz sentido empírico e também teórico.

A Tabela 3 apresenta a estrutura empírica da Escala de Reação aos Procedimentos Instrucionais.

O fator único denominado "Procedimentos Instrucionais em EAD" é composto por 17 itens que tratam dos procedimentos instrucionais e dos recursos de interação. Tal conjunto de itens avalia a satisfação dos alunos com os aspectos instrucionais da disciplina, com as trocas de informações, discussões nos fóruns e informações disponíveis para auxílio na organização e planejamento das atividades (links, lembretes e guias).

O questionário de Reação ao Desempenho do Tutor apresentou 271 casos válidos e 72 casos omissos em todos os 27 itens – também não foram estimados valores para substituí-los, pois foram casos em que os participantes não responderam a esse questionário. As respostas não apresentaram casos extremos univariados, mas 46 casos extremos multivariados foram identificados a partir da distância Mahalanobis e retirados do arquivo de dados, totalizando 225 casos submetidos à análise.

A elaboração e a análise da matriz de correlação indicaram 10 pares de itens altamente correlacionados entre si: par 1: 1 "Utiliza os fóruns para estimular a interação entre os participantes" e 2 "Encoraja os participantes a discutirem coletivamente suas dúvidas e questionamentos" (r=0,81, p<0,01); par 2: 6 "Elogia a participação nos fóruns" e 7 "Faz críticas construtivas" (r=0,84, p<0,01); par 3: 13 "Fornece respostas que esclarecem completamente as dúvidas dos participantes" e 24 "Integra teoria e prática em suas explicações" (r=0,81, p<0,01); par 4: 16 "Cria situações de aprendizagem em que os participantes sintam-se capazes de resolver" e 17 "Ressalta os benefícios práticos do curso nos contatos com os participantes" (r=0,83, p<0,01); par 5: 17 "Ressalta os benefícios práticos do curso nos contatos com os participantes" e 18 "Indica caminhos ao invés de dar respostas prontas" (r=0,81, p<0,01); par 6: 20 "Utiliza todos os recursos de interação disponibilizados pelo curso" e 21 "Apresenta exemplos que ilustram bem o tema discutido" (r=0,81, p<0,01); par 7: 21 "Apresenta exemplos que ilustram bem o tema discutido" e 22 "Muda a forma de explicar até que os participantes compreendam os conteúdos" (r=0,82, p<0,01); par 8: 17 "Ressalta os benefícios práticos do curso nos contatos com os participantes" e 24 "Integra teoria e prática em suas explicações" (r=0,80, p<0,01); par 9: 21 "Apresenta exemplos que ilustram bem o tema discutido" e 24 "Integra teoria e prática em suas explicações" (r=0,81, p<0,01); e par 10: 23 "Aproveita os acertos dos participantes para enfatizar os aspectos mais importantes do tema discutido" e 24 "Integra teoria e prática em suas explicações" (r=0,80, p<0,01).

Para realizar a análise da matriz de covariância em termos de fatorabilidade, foram analisados o tamanho das correlações e a adequação da amostra. Em mais de 50% dos casos foram encontrados valores de correlação superiores a 0,30, indicando que a matriz provavelmente é fatorizável. Quanto ao teste de KMO, obteve-se um valor de 0,97, considerado um excelente índice de adequação da amostra; além do teste de esfericidade de Bartlett que obteve um valor de 6722, 994 (df=351; sig=0,00).

A extração inicial de fatores foi feita mediante Análise dos Componentes Principais com tratamento listwise para os casos omissos, a qual sugeriu uma estrutura empírica com apenas um componente que explicou 68,44% da variância total das respostas dos participantes aos itens do questionário – segundo critério dos valores próprios maiores ou iguais a um. Quanto à importância do fator, cada componente deveria explicar no mínimo 3% da variância total das variáveis, sendo considerados irrelevantes os que explicassem menos; portanto, no máximo um fator poderia ser extraído. O scree plot e a análise paralela de Horn (ver Tabela 4) confirmaram a existência de apenas um componente para este instrumento.

O método de rotação oblíqua e tratamento listwise para casos omissos foram utilizados para a Fatoração dos Eixos Principais (FEP). Foram incluídos na escala apenas os itens com conteúdos semânticos similares e cargas fatoriais superiores ou iguais a 0,30. Dessa análise foi extraído um fator único que explica 67,27% da variância total das respostas aos itens do instrumento. A opção pela solução unifatorial tem sentido tanto empírico quanto teórico.

A Tabela 5 apresenta a estrutura empírica da Escala de Reação ao Desempenho do Tutor.

O fator único "Desempenho do Tutor" é composto por 27 itens que avaliam a satisfação dos alunos com a atuação profissional do tutor: desempenho didático, domínio do conteúdo, incentivo e respeito aos alunos.

4 Discussão

Os escores obtidos apresentaram evidências de validade estrutural em ambas escalas, da mesma forma que no estudo de Zerbini e Abbad (2005), no qual ocorreu a primeira aplicação dos instrumentos e, nos subsequentes, que os revalidaram estatisticamente (Borges-Ferreira, 2005; Carvalho & Abbad, 2006; Silva, 2004; Zerbini & Abbad, 2009a, 2009b, 2010b).

O instrumento de Reação aos Procedimentos Instrucionais passou por alterações de nomenclaturas para se adequar ao contexto e à amostra de aplicação. A escala possui um fator único denominado Procedimentos Instrucionais em EAD,que trata dos procedimentos instrucionais e dos recursos de interação. A solução unifatorial também foi encontrada por Zerbini e Abbad (2005) – 19 itens, α=0,93 e cargas fatoriais entre 0,56 e 0,77 – e Borges-Ferreira (2005) – 12 itens, α = 0,89 e cargas fatoriais entre 0,52 e 0,73. Em EAD, os recursos da web compõem os procedimentos instrucionais, portanto, é coerente o agrupamento dos itens em um mesmo fator para representar os procedimentos, em geral, utilizados durante o curso ou disciplina. Já nos estudos de Silva (2004) e de Zerbini e Abbad (2005, 2009b, 2010b) soluções com dois ou três fatores foram encontradas: Procedimentos Tradicionais, Recursos da Web e Atividades e Exercícios, devido às particularidades dos contextos e amostras estudadas, que diferenciaram os procedimentos tradicionais, típicos das instruções presenciais, dos recursos de interação, exclusivamente virtuais.

A solução unifatorial mostra que os alunos não diferenciaram os procedimentos instrucionais, ditos tradicionais, comuns tanto a cursos presenciais como a distância, tais quais: objetivos, planejamento e sequência de conteúdos, carga horária, linguagem utilizada, etc.; daqueles aspectos específicos do EAD, como: fóruns, informações disponibilizadas no AVA (links, lembretes, etc.) e troca de mensagens via internet. Talvez isso decorra do fato dos participantes serem de uma turma semipresencial e/ou indica que os limites entre planejamento instrucional e recursos da web são tênues, quando se trata de cursos a distância. No EAD, não se faz necessário distinguir os procedimentos instrucionais em procedimentos convencionais, já que eles também fazem parte do planejamento do curso, mas são apenas acrescidos das ferramentas próprias de um ambiente virtual: mensagens, fóruns, guias. Ou seja, os recursos da web são característicos dos procedimentos instrucionais a distância, portanto, não é preciso dividi-los em classificações distintas.

O instrumento de Reação ao Desempenho do Tutor também sofreu algumas alterações para sua reaplicação no contexto específico deste estudo (nos itens que continham os termos chats e listas de discussão foram substituídos por fóruns). A avaliação da satisfação dos alunos com relação ao desempenho e apoio do tutor é de fundamental importância, pois seus comportamentos podem influenciar no rendimento dos participantes da ação educacional, em termos de comprometimento com as tarefas e na aquisição de aprendizagem. Ainda mais em contextos em que o contato aluno-professor será mediado por tecnologias.

Nas Análises Fatoriais Exploratórias da estrutura empírica do instrumento de Reação ao Desempenho do Tutor foram identificados 10 pares de itens altamente correlacionados entre si. Ao analisar esses pares com altos coeficientes de correlação, pôde-se observar a presença de temas comuns, ou os verbos/objetos de ação eram distintos. Alterações na redação dos itens e a aplicação em amostras que estudam essencialmente a distância podem diferenciá-los. Conclui-se que os itens não apresentavam redundância de conteúdos e, portanto, foram mantidos. Além disso, a decisão pela não exclusão de nenhum deles, justifica-se por ser a primeira aplicação e testagem do instrumento em contexto de IES.

O fator geral denominado Desempenho do Tutor avalia a satisfação dos alunos com a atuação profissional do tutor. Estudos realizados em diferentes contextos corroboram a solução unifatorial (Borges-Ferreira, 2005; Carvalho & Abbad, 2006; Silva, 2004; Zerbini & Abbad, 2005; Zerbini & Abbad, 2009a; Zerbini & Abbad, 2010b). Em todos eles, o instrumento apresentou excelentes índices de consistência interna, sendo igualmente confiável e válido. Logo, a escala de Reação ao Desempenho do Tutor pode ser reaplicada em variadas situações de ensino a distância (organizações, cursos, etc.), como uma ferramenta apropriada e fidedigna à finalidade de avaliar a satisfação dos participantes dessas ações quanto à qualidade da interação aluno-tutor, domínio do conteúdo e uso de estratégias de ensino pelo tutor.

A crescente oferta de cursos superiores a distância no país indica para a oportuna ocasião de discutir sua qualidade e efetividade por meio de investigações científicas, sendo a satisfação dos estudantes, um dos aspectos importantes a serem avaliados. Para auxiliar no levantamento dessas informações são necessários a construção e o uso de instrumentos de medida específicos à modalidade EAD.

Dessa forma, o presente trabalho contribui teórica e empiricamente com a área de avaliação de cursos no nível superior de ensino, propondo escalas que apresentam evidências de validade estrutural, portanto úteis ao alcance de informações relevantes à avaliação de reações de participantes de diversificados eventos instrucionais a distância, tanto de instituições de ensino, como de organizações de trabalho, que ofertam cursos EAD.

Referências

Abbad, G. (1999). Um modelo integrado de avaliação de impacto de treinamento no trabalho. Tese Doutorado não-publicada, Instituto de Psicologia, Universidade de Brasília, DF, Brasil.         [ Links ]

Anuário Brasileiro Estatístico de Educação Aberta e a Distância. ABRAEAD. Instituto Monitor. São Paulo: Autor, 2008.         [ Links ]

Belloni, M. L. (1999). Educação a distância. Campinas: Autores Associados.         [ Links ]

Beqiri, M. S., Chase, N. M., & Bishka, A. (2010). Online course delivery: An empirical investigation of factors affecting student satisfaction. Journal of Education for Business, 85(2), 95-100.         [ Links ]

Bolliger, D. U., & Wasilik, O. (2009).  Factors influencing faculty satisfaction with online teaching and learning in higher education. Distance Education, 30(1), 103-116.         [ Links ]

Borges-Andrade, J. E. (1982). Avaliação somativa de sistemas instrucionais: Integração de três propostas. Tecnologia Educacional, 11(46), 29-39.         [ Links ]

Borges-Ferreira, M. F. (2005). Avaliação de reações e aprendizagem em disciplinas de curso técnico profissionalizante oferecidas a distância. Dissertação de Mestrado não-publicada, Instituto de Psicologia, Universidade de Brasília, DF, Brasil.         [ Links ]

Cao, Q., Griffin, T. E., & Bai, X. (2009). The importance of synchronous interaction for student satisfaction with course web sites. Journal of Information Systems Education, 20(3), 331-338.         [ Links ]

Carvalho, R. S., & Abbad, G. (2006). Avaliação de treinamento a distância: Reação, suporte à transferência e impactos no trabalho. Revista de Administração Contemporânea, 10(1), 95-116.         [ Links ]

Chyung, S. Y., & Vachon, M. (2005). An investigation of the profiles of satisfying and dissatisfying factors in e-learning. Performance Improvement Quarterly, 18(2), 97-113.         [ Links ]

Freeze, R. D., Alshare, K. A., Lane, P. L., & Wen, H. J. (2010). Is success model in e-learning context based on students' perceptions?. Journal of Information Systems Education, 21(2), 173-184.         [ Links ]

Garrison, D. R., & Vaughan, N. D. (2008). Blended learning in higher education: Framework, principles and guidelines. São Francisco: Jossey-Bass.         [ Links ]

Hamblin, A. C. (1978). Avaliação e controle do treinamento. São Paulo: McGraw-Hill do Brasil.         [ Links ]

Hussin, H., Bunyarit, F., & Hussein, R. (2009). Instructional design and e-learning: Examining learners' perspective in Malaysian institutions of higher learning. Campus - Wide Information Systems, 26(1), 4-19.         [ Links ]

Laros, J. A. (2004). O uso da análise fatorial: Algumas diretrizes para pesquisadores. In: L. Pasquali (Org.). Análise fatorial para pesquisadores. Petrópolis: Vozes.         [ Links ]

Lee, Y., Tseng, S., Liu, F.,& Liu, S. (2007). Antecedents of learner satisfaction toward e-learning. Journal of American Academy of Business, 11(2), 161-168.         [ Links ]

Lewis, G. S. (2010). I would have had more success if...: Student reflections on their performance in online and blended courses. American Journal of Business Education, 3(11), 13-21.         [ Links ]

Lu, H. P., & Chiou, M. J. (2010). The impact of individual differences on e-learning system satisfaction: A contingency approach. British Journal of Educational Technology, 41(2), 307-323.         [ Links ]

Martins, L. B. (2012). Aprendizagem em ações educacionais a distância: Fatores influentes no desempenho acadêmico de universitários. Dissertação de Mestrado, Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto, Universidade de São Paulo, São Paulo, SP, Brasil.         [ Links ]

Martins, L. B., & Zerbini, T. (2014). Educação a distância em instituições de ensino superior: Uma revisão das pesquisas. Revista Psicologia: Organizações e Trabalho, 14(3), 271-282.         [ Links ]

Mauri, T., & Onrubia, J. (2010). O professor em ambientes virtuais: Perfil, condições e competências. In C. Coll, & C. Monereo (Orgs.). Psicologia da Educação virtual – Aprender e ensinar com as tecnologias da informação e da comunicação. (pp. 118-135). Porto Alegre: Artmed.

Meneses, P. P. M., Zerbini, T., & Abbad, G. (2010). Manual de treinamento organizacional. Porto Alegre: Artmed.         [ Links ]

Özkan, S., Köseler, R., & Baykal, N. (2009). Evaluating learning management systems: Adoption of hexagonal e-learning assessment model in higher education. Transforming Government: People, Process and Policy, 3(2), 111-130.         [ Links ]

Paechter, M., Maier, B., & Macher, D. (2010). Students' expectations of, and experiences in e-learning: Their relation to learning achievements and course satisfaction.  Computers & Education, 54(1), 222-229.         [ Links ]

Sahin, I., & Shelley, M. (2008). Considering students' perceptions: The distance education student satisfaction model. Educational Technology & Society, 11(3), 216-223.         [ Links ]

Silva, A. (2004). Avaliação de uma disciplina semipresencial de graduação ofertada por meio da internet pela Universidade de Brasília. Dissertação de Mestrado não-publicada,Instituto de Psicologia, Universidade de Brasília, DF, Brasil.         [ Links ]

Siritongthaworn, S., & Krairit, D. (2006). Satisfaction in e-learning: The context of supplementary instruction. Campus - Wide Information Systems, 23(2), 76-91.         [ Links ]

Tabachnick, B.G. & Fidell, L.S. (2007). Using multivariate statistics. New York: Harper-Collins College Publishers.         [ Links ]

Vaughan, N. (2007). Perspectives on blended learning in higher education. International Journal on E-learning, 6, (1), 81-94.         [ Links ]

Zerbini, T. (2007). Avaliação da transferência de treinamento em curso a distância. Tese de Doutorado, Instituto de Psicologia, Universidade de Brasília, DF, Brasil.         [ Links ]

Zerbini, T., & Abbad, G. (2005). Impacto de treinamento no trabalho via internet. Revista de Administração de Empresas – RAE- eletrônica, 4(2).

Zerbini, T., & Abbad, G. (2009a). Reação ao desempenho do tutor em um curso a distância – validação de uma escala. Estudos e Pesquisas em Psicologia, 9, 447-463.

Zerbini, T., & Abbad, G. (2009b). Reação aos procedimentos instrucionais de um curso via internet: Validação de uma escala. Estudos de Psicologia (Campinas), 26(3), 363-371.         [ Links ]

Zerbini, T., & Abbad, G. (2010b). Qualificação profissional a distância: Avaliação da transferência de treinamento. Paidéia (Ribeirão Preto), 20, 313-323.         [ Links ]

Zerbini, T., & Abbad, G. (2010c). Reações em cursos a distância: Revisão da literatura. Revista PSICO, 41, 192-200.         [ Links ]

Womble, J. (2008). E-learning: The relationship among learner satisfaction, self-efficacy, and usefulness. The Business Review, Cambridge, 10(1), 182-188.         [ Links ]

Endereço para correspondência
Lara Barros Martins
Universidade de São Paulo
Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto
Departamento de Psicologia
Av. Bandeirantes, 3900, Monte Alegre, CEP 14040-901, Ribeirão Preto – SP, Brasil ]]> Endereço eletrônico: lara_bmartins@hotmail.com
Thaís Zerbini
Universidade de São Paulo
Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto
Departamento de Psicologia
Av. Bandeirantes, 3900, Monte Alegre, CEP 14040-901, Ribeirão Preto – SP, Brasil
Endereço eletrônico: thais.zerbini@gmail.com

Recebido em: 21/08/2014
Reformulado em: 09/03/2015
Aceito para publicação em: 12/03/2015

Notas

^* Mestre em Psicologia e doutoranda do Programa de Pós-Graduação em Psicologia da Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto - Universidade de São Paulo, Ribeirão Preto, São Paulo, Brasil.
^** Doutora e mestre em Psicologia pela Universidade de Brasília. Professora Doutora em Psicologia Organizacional e do Trabalho da Faculdade de Filosofia, Ciências e Letras de Ribeirão Preto - Universidade de São Paulo, Ribeirão Preto, São Paulo, Brasil.