ARTIGOS

 

Evidências de validade de uma escala de desempenho docente em informática educacional

 

Validity evidences of an educational informatics performance scale

 

 

Maria Cristina Rodrigues Azevedo Joly¹

 

 

---

RESUMO

Objetivou-se, neste estudo, verificar a evidências de validade da Escala de Desempenho em Informática Educacional (EDIE). Participaram 344 sujeitos de 20 a 67 anos (M= 38,9 anos; DP= 8,1). 79,4% eram do sexo feminino. A maioria deles atuava no Ensino Básico (85,5%) e na Rede Pública de Ensino (57,8%). A EDIE, com 51 itens do tipo Likert com quatro alternativas de resposta, foi respondida individualmente. Verificou-se que EDIE apresentou uma boa consistência interna (aCronbach =0,97). A precisão interna do instrumento, verificada pelo método das metades, foi de 0,84 e revelou homogeneidade dos itens. A análise fatorial indicou a presença do fator de desempenho (22 itens) e do fator de gestão (18 itens). Foram eliminados 11 itens, contando a versão final da EDIE com 40 itens.

Palavras-chave: Avaliação educacional, Construção de instrumento, Psicometria, Escala Likert, Informática educacional.

---

ABSTRACT

This study aims to evaluate the psychometrics characteristics of the Escala de Desempenho em Informática Educacional (EDIE). The subjects were 344 public (57,8%) and private (42,2%) basic schoolteachers (85,5%) with 20 to 67 years (M=38,9; DP=8,1). 79,4% was female. EDIE, which had 51 Likert items with four answer choices each, was answered individually. The scale objective was to define teachers’ performance. The results showed a good internal consistency (aCronbach =0,97). The internal reliability, verified by the split-half method, was 0,84 and it showed that the items were homogenous. The factor analysis found the performance factor (21 items) and management factor (19 items). So 11 items were eliminated items and the latest EDIE version retained 40 items.

Keywords: Educational evaluation, Test construct, Psychometrics, Likert scale, Educational informatics.

---

 

 

O desenvolvimento da sociedade informatizada tem exigido das pessoas padrões de comportamento adaptados aos novos recursos informatizados. Isto implica em adquirir habilidades e conhecimentos necessários para operar um computador em qualquer situação funcional da vida diária, visando à aplicação, comunicação, busca de informação ou solução de problemas. Os estudiosos denominam este processo computer literacy, technology literacy ou alfabetização tecnológica. Tal necessidade tem causado grande impacto e preocupado tanto pesquisadores quanto psicólogos educacionais e professores quanto à melhor estratégia para adaptar as novas tecnologias ao processo de aprendizagem do aluno (Coburn e colaboradores, 1988; Anderson, 1991; Harris & Hodges, 1995; Bruce, 1998; Sampaio & Leite, 1999; Roblyer & Bennett, 2001; Niederhauser, 2001).

Segundo Bittar (2000) e Marinho (2002), instalar laboratórios com computadores nas escolas e treinar professores para o uso de um ou outro software não é suficiente para garantir mudanças nos papéis desempenhados pela informática na construção do conhecimento. É necessário mostrar-lhes como esta ferramenta pode ser valiosa enquanto estratégia de aprendizagem.

Embora o currículo dos cursos de licenciatura já esteja dando uma abertura para um treinamento em tecnologia educacional, isso não está garantindo que sejam ministradas aulas de informática aplicadas à educação no Brasil (Bittar, 2000). Segundo Ramal (2000), a formação tecnológica do professor apresenta algumas falhas. A primeira é a forma como a tecnologia é apresentada, sem identificar em que o computador pode contribuir para o ensino; outra está relacionada ao método seguido pelo curso, que deveria incluir estudos do desenvolvi-mento de estratégias metacognitivas que envolvam o computador como auxiliar da aprendizagem. Por último, a falha de significação, pela qual deveria ser feita a ligação do uso da tecnologia com a perspectiva do professor acerca de sua atuação como educador.

Para isso, além do domínio competente para promover ensino de qualidade, é preciso ter um razoável conhecimento de aprendizagem e das possibilidades de uso do computador, das redes e de demais suportes tecnológicos em diferentes atividades, uma vez que as tecnologias digitais possibilitam a geração de informações novas tanto no tocante ao conteúdo quanto na forma. Além disso, é preciso ter também novas maneiras de planejar, desenvolver e avaliar programas de ensino e a própria aprendizagem (Bittar, 2000; Dewert, 2000; Dirksen & Tharp, 2000).

A formação do professor para atender às novas exigências da informática na educação deve refletir a percepção de que educação permanente é condição fundamental para a profissão docente. A atuação de qualidade do professor brasileiro em um mundo em rede e informatizado vai depender da melhoria signifi-cativa da sua formação, adaptando-se às novas exigências sociais (Kenski, 2001).

Joly e Silveira (2003), em seu estudo sobre a opinião do professor a respeito do uso de recursos tecnológicos no ensino, destacam, por um lado, o reconhecimento, por parte destes, do computador no ensino como auxiliar para o desenvolvimento da autonomia do aluno na busca de conhecimentos, visando à solução de problemas do cotidiano, além de possibilitar uma maior organização das atividades a serem realizadas. Por outro lado, salientam a falta de experiência e contato do pro-fessor brasileiro com os recursos tecnológicos disponí-veis ao ensino–aprendizagem, e, portanto, a necessidade de treinamentos realizados por profissionais capacitados. Apesar dos professores saberem quais os recursos tecnológicos que podem ser utilizados em sala de aula, falta-lhes uma noção mais clara de como e em que momentos podem ser empregados.

Na realidade educacional americana, Ertmer e Addison (1999) constataram que os professores reco-nhecem a importância da tecnologia em seus currículos, mas a eficaz utilização desta é freqüentemente prejudicada por barreiras externas (número limitado de equipamentos e tempo destinado a treinamento, como exemplo) e internas (opiniões, crenças e valores atribuídos à tecnologia, autoconceito acerca de sua competência para aprender a usar os recursos tecnológicos, dentre outras) ao professor. É sabido que a integração é freqüentemente descrita como um processo de desenvolvimento, progredindo-se mediante uma série de estágios – de não usuário a especialistas em tecnologia. Conforme os professores avançam nestes estágios, seu uso de tecnologia se torna mais freqüente, mais sofisticado e criativo, com maior utilização de mais tipos de aplicativos e com mais flexibilidade.

Sob essa perspectiva, nos Estados Unidos, a International Society for Technology in Education (ISTE) descreveu as habilidades necessárias aos professores para inserirem a informática em sua prática. O professor deve ser capaz de usar e avaliar recursos informatizados como apoio ao processo instrucional, visando solucionar problemas, coletar dados, gerenciar informações e se comunicar. Além disso, ele precisa manter-se atualizado e capacitar-se continuamente.

Baseando-se no tipo de recurso tecnológico utilizado pelo professor em sua prática pedagógica e na sua habilidade técnica, a ISTE (2000) agrupou-os em três níveis de desempenho. O nível elementar é quando os recursos informatizados básicos, como editor de texto, correio eletrônico, internet, são utilizados para fins pessoais; intermediário é quando se utilizam os recursos informatizados no processo de ensino e também em projetos colaborativos; e avançado é quando o professor, além de utilizar os recursos, sabe selecionar, programar e resolver problemas técnicos elementares.

Tendo como referência esses padrões de desempenho, Zhao e colaboradores (2001) realizaram um estudo sobre as práticas, crenças, atitudes e estilos pedagógicos de professores que pretendiam integrar tecnologia em suas aulas. Observaram professores-modelo que já haviam feito uso inovador da tecnologia disponível em suas escolas, avaliados pelo impacto gerado no currículo e aprendizado dos alunos. Os resultados sugeriram que os professores eram usuários freqüentes de tecnologia e planejavam expandir este uso, com maior variedade de recursos tecnológicos. Eram competentes tecnicamente para aplicar os recursos tecnológicos nas atividades e também demonstraram atitudes positivas diante do uso do computador e de tecnologias educacionais. Como o estudo sugere, professores-modelo não só sabem como utilizar o computador e tecnologias educacionais como também manter atitudes positivas ante a integração entre o computador e a educação e são confiantes sobre suas habilidades tecnológicas.

Pode-se considerar, com base nos aspectos abordados anteriormente, a necessidade de avaliar-se o professor quanto aos seus padrões de desempenho diante do uso da informática na prática pedagógica. Tal tarefa requer instrumentos construídos especificamente para esse fim.

Joly, Franco e Nicolau (2004, no prelo) desenvolveram os primeiros estudos relativos à Escala de Desempenho em Informática Educacional (EDIE), cujo objetivo é avaliar o padrão de desempenho de docentes em informática. A composição dos itens da escala baseou-se nos critérios e indicadores de padrões de desempenho do professor, desenvolvidos pelo ISTE (2000), ao utilizar a informática como recurso educacional. Foi realizado um sorteio equiprobabilístico simples das afirmações para compor a escala com a organização das instruções. A primeira versão incluía 36 itens que contemplavam a tecnologia educacional em suas diferentes aplicações. Estas questões passaram por três juízes independentes para uma primeira avaliação relativa ao conteúdo e clareza, visando à análise dos itens. Com base nos resultados, identificou-se a necessidade de definirem-se itens envolvendo situações mais específicas de aplicação dos recursos tecnológicos. A versão dois passou a ter, então, 43 questões e foi apresentada aos três juízes e, das observações feitas, foi desenvolvido o formato atual, composto por 51 itens disponibilizados de modo eletrônico.

Um estudo piloto das qualidades psicométricas da EDIE foi realizado por Joly, Franco e Nicolau (2004, no prelo) com 82 professores que atuavam no ensino fundamental em escolas públicas e privadas da região metropolitana de Campinas/SP. Os resultados revelaram que a EDIE apresenta uma boa consistência interna (aCronbach=0,97) e uma correlação média entre os itens de 0,38. A precisão interna do instrumento, verificada pelo método das metades, revelou que a escala possuía homogeneidade dos itens. A análise fatorial indicou a presença de três fatores que explicavam 51,3% da variância total da escala.

Foram identificados oito itens cuja carga fatorial era inferior a 0,30, o que justificaria serem eliminados. Apesar disso, não foi excluído nenhum item da escala de desempenho em razão da falta de homogeneidade dos grupos de sujeitos pesquisados, não sendo a amostra considerada representativa da população, apesar de sua distribuição normal.

Joly e colaboradores (2004, no prelo) analisaram a eficácia da Escala de Desempenho em Informática Educacional (EDIE), com 51 itens, quando aplicada em formato informatizado em comparação ao impresso, considerando-se a idade, nível de instrução e rede de ensino em que atuavam os mesmos sujeitos do estudo de Joly, Franco e Nicolau (2004, no prelo). Os resultados revelaram que não existe diferença estatisticamente significativa entre a escala impressa e a informatizada (U=-0,981; p=0,3265). Não se observou, também, diferença estatisticamente significativa em relação à idade (H=3,00; p=0,2228) e ao nível de instrução dos sujeitos (H=4,99; p=0,0823). O teste de qui-quadrado indicou diferença significante entre os sujeitos da rede pública e privada de ensino (?2[2, N=82] = 16,36; p=0,00028). Constatou-se, pois, que a escala pode ser aplicada nos dois formatos para fins de validação, para sujeitos que atuam em qualquer nível de ensino, buscando-se evidência de quais aspectos são relevantes para determinar a diferença observada por rede de ensino.

Considerando-se os resultados dos estudos anteriores com a EDIE e a necessidade de verificarem-se as qualidades psicométricas com um grupo mais homogêneo de participantes, o presente estudo tem por objetivo identificar evidências de validade de construto da Escala de Padrões de Desempenho em Informática Educacional, considerada em sua versão impressa.

 

Método

Sujeitos
Participaram da presente pesquisa 344 sujeitos, dos quais 79,4% eram do sexo feminino e 20,6% do sexo masculino. O nível mais alto de escolarização apresentado por eles é a graduação na área que lecionam (43,3%). A maioria deles atua no Ensino Básico (85,5%) e na Rede Pública de Ensino (57,8%) como professor. A idade variou de 20,5 a 67 anos, com média de 38,9 anos e desvio padrão de 8,1.

Instrumento
Escala de Padrões de Desempenho em Informática Educacional
Tem a finalidade de possibilitar a definição de um perfil do sujeito quanto ao seu padrão de desempenho em informática educacional. É composta por 51 itens do tipo Likert com quatro pontos, podendo ser em formato impresso ou eletrônico. Os itens referem-se a atividades de ensino que usam recursos informatizados e a ações gestoras quanto ao uso da informática educacional. Foi elaborado um critério de pontuação das respostas dos sujeitos, atribuindo-se 0 para as respostas “nunca”, 1 para “algumas vezes”, 2 para “muitas vezes” e 3 para “sempre”. A pontuação máxima é de 153 pontos. É um instrumento de aplicação individual ou coletiva com tempo médio de 30 minutos. Um primeiro estudo sobre as qualidades psicométricas da escala foi realizado por Joly, Franco e Nicolau (2004, no prelo), revelando um ótimo índice de fidedignidade (a=0,97) e homogeneidade entre os itens.

Procedimento
Primeiramente, em cada escola realizou-se uma reunião na qual foi explicado aos sujeitos o objetivo da pesquisa, destacando-se que suas identidades seriam mantidas em sigilo. Em seguida, pediu-se que eles lessem o termo de consentimento livre e esclarecido e, se concordassem em participar da pesquisa, o assinassem. Os que concordaram receberam a EDIE no formato impresso e responderam individualmente, sem o auxílio do pesquisador.

 

Resultados e discussão

O teste de esfericidade de Bartlett indicou que a matriz de correlação não é uma matriz identidade; portanto, existe correlação entre os itens avaliados (?2 [1275, N=340] = 12790,087; p>0,001). A medida de adequação da amostra de Kaiser-Meyer-Olkin (KMO = 0,954) indicou que é muito adequada, pelo grau de variância apresentado, para avaliar o desempenho do professor na utilização de recursos tecnológicos na educação, conferindo validade aos resultados.

Figura 1 – Resultado da análise dos itens pelo método Scree Plot

Feita a primeira análise fatorial dos resultados obtidos usando-se o método de extração por fatores e o método Varimax de rotação, e considerando-se o critério da raiz latente para a constituição de fatores com os autovalores maiores que um, verificou-se a presença de três fatores (Tabela 1) que confirmavam a distribuição dos dados, como se observa pela análise do gráfico de Scree Plot (Figura 1). A porcentagem de variância explicada pelos três fatores foi de 52,62%, constatando-se que o fator 1 era o que mais explicava a variância da escala.

Tabela 1 – Autovalores e variação explicada por fator extraído para primeira análise fatorial

Nessa primeira análise fatorial, considerando-se os três fatores e os 51 itens (Tabela 2), 25 itens representavam o fator 1, itens esses com carga fatorial variando de 0,816 a 0,347. Esse fator teve o item 43 com a maior carga e o 26 com a menor. O fator 2 contou com 22 itens de carga fatorial entre 0,720 e 0,448. As questões 44, 10, 45 e 9 compuseram o fator 3 com cargas entre 0,692 e 0,619.

Tabela 2 – Questões ordenadas por cargas fatoriais e distribuídas em três fatores resultantes da primeira análise fatorial

Pode-se constatar que todos os itens possuíam carga fatorial acima de 0,30. Porém, observou-se a presença de apenas sete dos 51 itens com carga fatorial abaixo de 0,50 – os itens 2 (0,411), 4 (0,490), 19 (0,450), 20 (0,365), 21 (0,448), 26 (0,347) e 34 (0,470). Estes representavam apenas 27% dos itens e encontravam-se concentrados como os últimos componentes dos fatores 1 e 2. Buscando uma redução de itens para a melhor representatividade de cada um na escala e considerando que esses itens elencados referem-se mais ao uso pessoal da informática ou análise de viabilidade de uso, e não diretamente ao desempenho do docente, optou-se por realizar-se uma nova análise fatorial com a retirada desses itens.

Tabela 3 – Questões ordenadas por cargas fatoriais e distribuídas em três fatores depois de retirada dos itens 2, 4, 19, 20, 21, 26, 34

A distribuição dos itens pelos fatores permaneceu a mesma nessa segunda análise fatorial (Tabela 3). Houve apenas uma alteração das cargas fatoriais entre os itens, determinando uma nova ordenação entre eles em cada fator. As cargas fatoriais variaram entre 0,847 (Q43-fator 1) e 0,509 (Q50-fator 1), mantendo-se o item 43 como o de maior carga.

A análise de conteúdo dos itens 9, 10, 44 e 45 que compunham o fator 3 revelou que eles não se referiam aos padrões de desempenho, e sim representavam atitudes ou opiniões. Optou-se por realizar uma terceira análise fatorial sem esses itens, apesar de suas cargas fatoriais altas, a fim de verificar como se comportavam os demais itens na escala.

O teste de esfericidade de Bartlett (Tabela 4), sem os itens 9, 10, 44 e 45 e sem os já retirados anteriormente (2, 4, 19, 20, 21, 26 e 34) revelou que há correlação entre os demais itens avaliados (?2 [780, N=340] = 10613,881; p>0,001) e a medida de adequação da amostra de Kaiser-Meyer-Olkin (KMO = 0,957) aumentou.

Tabela 4 – Autovalores e variação explicada por fator extraído para terceira análise fatorial

Houve um aumento de todos os indicadores de variância da escala e uma distribuição dos itens em dois fatores que passaram a explicar 54,03% da variância. Essa variância era observada com a presença de três fatores, o que indicou que a retirada dos quatro itens (9, 10, 44 e 45) não implicou em prejuízo à dimensionalidade da escala, a despeito de suas cargas fatoriais.

Tabela 5 – Questões ordenadas por cargas fatoriais e distribuídas em dois fatores depois de retirada dos itens 2, 4, 9, 10, 19, 20, 21, 26, 34, 44, 45

Os itens distribuídos em dois fatores permaneceram com carga fatorial alta (0,507 – Q29 a 0,819 –Q43) e mantiveram-se no mesmo fator indicado pelas análises fatoriais anteriores (Tabela 5). O fator 1 concentrou os itens relativos ao desempenho do professor em informática educacional aplicada à prática docente, sendo, pois, denominado fator de desempenho. Este fator conta com 21 itens (1, 3, 4, 7, 8, 9, 12, 14, 16, 24, 27, 28, 29, 30, 31, 32, 34, 36, 37, 38, 40). No que se refere aos itens do fator 2, estes correspondem à atuação do docente como gestor dos recursos e aplicações educacionais, passando a ser chamado de fator de gestão. Esse fator ficou com 19 itens (2, 5, 6, 10, 11, 13, 15, 17, 18, 19, 20, 21, 22, 25, 26, 33, 35, 37, 39). Essa classificação visa caracterizar e explicitar o desempenho docente em informática educacional. Esta corresponde ao critério estabelecido pela ISTE (2000). A EDIE ficou com 40 itens no total, os quais foram seqüenciados na escala por sorteio aleatório (Anexo I).

Cabe destacar que foi identificada uma diferença de médias por meio do teste t de Student, entre gênero e nível de escolarização dos docentes (F= 8,367; p=0,004; a=0,05), e idade e nível de ensino em que atuam (F= 5,733; p=0,017; a=0,05).

 

Considerações finais

A avaliação das qualidades psicométricas da Escala de Padrões de Desempenho em Informática Educacional assinalou que esta apresenta evidências de validade de construto. Observou-se também um bom índice de precisão. Isso a coloca como um instrumento a ser utilizado para avaliar os docentes que tanto utilizam estratégias educacionais informatizadas quanto o desempenho daqueles que realizam cursos de capacitação na área.

Cabe destacar a importância da realização de outros estudos que possam ampliar as evidências de validade desse instrumento. Para tal, sugere-se que seja analisado o desempenho de professores que usam regularmente a informática como estratégia educacional comparado ao dos que a usam pouco freqüentemente. Também, verificar a opinião de psicólogos escolares, coordenadores ou tutores que orientam a atuação docente para o planejamento de atividades que utilizam a informática educacional sobre o desempenho destes professores, comparada aos resultados obtidos por meio da aplicação da EDIE.

É relevante também investigar as possíveis relações entre o desempenho com outras variáveis, como personalidade, inteligência, criatividade, por exemplo. Além disso, estudos devem ser realizados com maior homogeneidade de participantes quanto a idade, gênero nível de ensino e tipo de instituição (pública e privada), para se verificar o efeito destes aspectos em relação ao desempenho e gestão em informática educacional de docentes.

 

Referências

Anderson, J. (1991). Technology and adult literacy. NY: Routledge.        [ Links ]

Bittar, M. (2000) Informática na educação e formação de professores no Brasil. Série-Estudos, 10, 91-106.        [ Links ]

Bruce, B. (1998). New literacies. Journal of Adolescent & Adult Literacy, 42(1), 46-47.        [ Links ]

Coburn, P., Kelman, P., Roberts, N., Snyder, T. F. F.; Watt, D. & Weiner, C. (1988). Informática na educação. Rio de Janeiro: Livros Técnicos e Científicos Editora Limitada.        [ Links ]

Dewert, M. H. (2000). Preparing tomorrow’s teachers to use technology: Asking the right questions about essential conditions. Journal of Computing in Teacher Education, 16(3), 3-5.        [ Links ]

Dirksen, D. J. & Tharp, M. D. (2000). Moving beyond the crossroads: Teachers as agents for change.
NECC 2000 Research Proceedings “Connecting @ The Crossroads”. Eugene: ISTE.

Ertmer, P. & Addison, P. (1999). Examining teachers thoughts about technology in K1. Journal of Research on Computing in Education, 32(1), 54-72.        [ Links ]

Harris, T. L. & Hodges, R. E. (1995). The literacy dictionary: The vocabulary of reading and writing. Newark: IRA.         [ Links ]

International Society for Technology in Education (2000). National Educational Technology Standards for Teachers. Eugene: ISTE.        [ Links ]

Joly, M. C. R. A. & Silveira, M. A. (2003). Avaliação preliminar do Questionário de Informática Educacional (QIE) em formato eletrônico. Psicologia em Estudo, 8(1), 85-92.         [ Links ]

Joly, M. C. R. A., Franco, G. S. & Nicolau, A. F. (2004, no prelo). Avaliação de uma escala informatizada sobre uso de tecnologia educacional por professores. Estudos de Psicologia.        [ Links ]

Joly, M. C. R. A., Pereira, A. K. N., Vendramini, C. M. M, Franco, G. S. & Nicolau, A. F. (2003). Escala de padrões de desempenho em informática educacional: análise comparativa entre instrumento informatizado e impresso. II PsicoInfo. Conselho Regional de Psicologia, SP.         [ Links ]

Kenski, V. M. (2001). O papel do professor na sociedade digital. Em A. D. Castro & A M. P. (Org.). Ensinar a Ensinar (pp. 95-106). São Paulo: Pioneira.         [ Links ]

Marinho, S. P. (2002). Tecnologia, educação contemporânea e desafios ao professor. Em M. C. R. A Joly (Org.). A tecnologia no ensino: implicações para a aprendizagem (pp. 98-117). São Paulo: Casa do Psicólogo.        [ Links ]

Niederhauser, D. S. (2001). Technology and teacher education: Beyond preparing preservice teachers. Journal of Computing in Teacher Education, 17(2), 3.        [ Links ]

Ramal, A. C. (2000). Contemporaneidade, novas tecnologia e formação do professor a partir de três abordagens que se complementam. Tecnologia Educacional, 29(148), 44-51.        [ Links ]

Roblyer, M. D. & Bennett, E. K. (2001). The Fifth literacy: Research to support a mandate technology – based visual literacy in preservice teacher education. Journal of Computing in Teacher Education, 17(2), 8-15.        [ Links ]

Sampaio, M. N. & Leite, L. S. (1999). Alfabetização tecnológica do professor. São Paulo: Vozes.        [ Links ]

Zhao, Y., Beyers, J., Mishra, P., Topper, A., Chen, H., Enfield, M., Ferdig, R., Frank, K., Pugh, K. & Hueysantan, S. (2001). What do they know? A comprehensive portrait of exemplary technology-using teachers. Journal of Computing in Teacher Education, 17(2), 175-189.        [ Links ]

 

 

Recebido em agosto de 2004
Reformulado em novembro de 2004
Aprovado em dezembro de 2004

 

 

¹ Endereço para correspondência:

Rua Luiz Galdin, 106 –Village Visconde de Itamaracá – 13278-361 – Valinhos-SP

Fone: (19) 38693328 / Fax: (19) 32334233

E-mail: cristina@trtec.com.br

 

 

Sobre a autora:

Maria Cristina Rodrigues Azevedo Joly é psicóloga, doutora em Psicologia Escolar pela Universidade de São Paulo e docente na Universidade São Francisco, no Programa de Pós-Graduação Stricto Sensu em Psicologia.

 

 

Anexo