NOTA TÉCNICA

 

Processo de construção e busca de evidências de validade de conteúdo da equalis-OAS

 

The process of constructing and establishing content validity evidence for the equalis-OAS

 

Proceso de construcción y búsqueda de evidencias de validez de contenido de la equalis-OAS

 

 

Carolina Sturm Trindade; Sergio Kakuta Kato; Léia Gonçalves Gurgel; Caroline Tozzi Reppold

Universidade Federal de Ciências da Saúde de Porto Alegre, Porto Alegre

Endereço para correspondência

 

 

---

RESUMO

É apresentado o processo de construção e busca de evidências de validade de conteúdo de uma escala para avaliar a qualidade dos objetos de aprendizagem da área da saúde, sob os preceitos da Psicometria Clássica. Considerou-se, além da fundamentação teórica coerente e análise de juízes, o Índice de Validade de Conteúdo (IVC) e a Razão de Validade de Conteúdo (RVC), práticas pouco comuns nos artigos de psicologia que relatam a avaliação de instrumentos psicológicos. Foi definido, como critério de exclusão de um item, apresentar IVC menor ou igual a 0,85 e RVC menor que 0,54. De um total de 84 itens, obteve-se a eliminação de 38. Esse resultado é considerado satisfatório como evidência para a validade de conteúdo. Contribui-se, assim, para a proposição de novos instrumentos voltados para o ensino na área da saúde, adotando-se uma abordagem contextualizada e sistêmica.

Palavras-chave: psicometria; educação em saúde; medidas educacionais; formação dos profissionais de saúde; meios auxiliares de ensino.

---

ABSTRACT

The process of constructing and establishing content validity evidence for a scale that assesses the quality of learning objects in the health area is presented, under the assumptions of the Classical Psychometrics. In addition to theoretical and semantic analysis by judges, items were evaluated by using the Content Validity Index (CVI) and Content Validity Ratio (RVC), which are not common in psychology studies describing the evaluation of psychological instruments. Item exclusion criterion was IVC less than or equal to .85, and RVC less than .54. Thirty-eight out of a total of 84 items were eliminated. Results support the instrument's content validity. The study offers a new tool and contributes to teaching in the health area, by adopting a contextualized and systemic approach.

Keywords: psychometrics; health education; educacional evaluation; learning for healthcare professionals; teaching aids.

---

RESUMEN

Es presentado el proceso de construcción y búsqueda de evidencias de validez de contenido de una escala para evaluar la calidad de los objetos de aprendizaje del área de la salud, sobre los preceptos de la Psicometría Clásica. Se consideró, además de la fundamentación teórica coherente y análisis de jueces, el Índice de Validez de Contenido (IVC) y la Razón de Validez de Contenido (RVC), prácticas poco frecuentes en los artículos de psicología que describen la evaluación de instrumentos psicológicos. Fue definido como criterio de exclusión de un ítem, aquel que presentase IVC menor o igual a 0,85 y RVC menor que 0,54. De un total de 84 ítems, se obtuvo la eliminación de 38. Este resultado es considerado satisfactorio como evidencia para la validez de contenido. Se contribuye así para la proposición de nuevos instrumentos dirigidos para la enseñanza en el área de la salud adoptándose un enfoque contextualizado y sistémico.

Palabras clave: psicometría; educación en salud; evaluación del educación; formación del profesionales del salud; material de enseñanza.

---

 

 

A importância da inserção contínua das Tecnologias da Informação e Comunicação (TICs) em contextos educacionais é legítima, uma vez que se apresentam como importantes facilitadores da aprendizagem. Tais recursos promovem maior integração, interação, agilidade na recuperação da informação, distribuição e comunicação nos mais variados contextos educacionais, tais como o escolar e o universitário. Contudo, é reconhecida a escassez de instrumentos com adequadas evidências de validade e padronizados, voltados para a mensuração de estratégias de aprendizagem de estudantes brasileiros e para avaliação das ações educacionais a distância (Minervino et al., 2005; Trindade, Dahmer, & Reppold, 2014; Martins & Zerbini, 2015). De fato, um dos principais desafios da avaliação nesta área é obter medidas precisas, confiáveis e válidas (Coluci, Alexandre, & Milani, 2015).

Nesse contexto, um dos caminhos para que o instrumento de medida tenha segurança quanto aos seus resultados, isto é, para que se apresente como válido e fidedigno, é a utilização de técnicas psicométricas. Assim, assumem-se postulados da teoria da medida em ciências em geral, e estabelecem-se normas técnicas para a construção e validação de instrumentos (Pasquali, 2009). A presente nota tem como objetivo ilustrar a construção e busca de evidências de validade de conteúdo da Escala para Avaliação da Qualidade dos Objetos de Aprendizagem da Área da Saúde (da EQuali-OAS), a partir dos preceitos da Psicometria.¹ Este é um instrumento voltado para a sistematização e avaliação da qualidade dos objetos de aprendizagem desenvolvidos para a área da saúde.

Processo de construção de uma Escala para Avaliação da Qualidade dos Objetos de Aprendizagem da Área da Saúde - Equalis-OAS

O processo de construção da Equalis-OAS seguiu os princípios de construção de escalas psicométricas delineados por Reppold, Gurgel e Hutz (2014) e Pasquali (2009), considerando-se especialmente as fases de fundamentação teórica e busca de evidências de validade (procedimentos teóricos e analíticos). Em relação aos aspectos éticos, o estudo de desenvolvimento e validação de um instrumento deve iniciar pela aprovação em um Comitê de Ética em Pesquisa com Seres Humanos. O estudo com a Equalis-OAS iniciou-se a partir do parecer favorável do Comitê de Ética em Pesquisa de uma universidade brasileira especializada na área da saúde - Universidade Federal de Ciências da Saúde de Porto Alegre. A partir de sua aprovação, seguiu-se para os procedimentos teóricos relacionados com a construção do instrumento.

Procedimentos teóricos

Os procedimentos teóricos que guiaram a definição do que seria considerado qualidade para objetos de aprendizagem na área da saúde (conceito, dimensões e seus respectivos itens) e, posteriormente, a construção EQuali-OAS, foram baseados em uma revisão de literatura. Tal revisão incluiu pesquisas realizadas em bases de dados eletrônicas, como o Medline, (via PubMed), Scielo, Portal de Periódicos da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), incluindo o Banco de Teses da Capes, e o repositório Literatura Latino-americana e do Caribe em Ciências da Saúde (LILACS). Para essa revisão, foram também consideradas as publicações nos periódicos Interdisciplinary Journal of E-Learning and Learning Object (IJELLO), Learning Technology Newsletter, Informática na Educação: Teoria & Práticae Revista Renote: Novas Tecnologias na Educação, por serem periódicos especializados na área deste estudo. Literatura pertinente à área de objetos de aprendizagem encontrada em livros também serviu de fonte de informação para essa etapa do estudo (Brasil, 2007; Munhoz, 2013; Silva, 2011; Souza Jr., 2010; Tarouco, Costa, Ávila, Bez, & Santos, 2014).

O conceito proposto, ilustrado na Figura 1, possui três dimensões: "Conceitos Intrínsecos aos Objetos de Aprendizagem", "Educacional" e "Apresentação". Os instrumentos de avaliação de objetos de aprendizagem descritos na literatura e estudados para este trabalho foram os seguintes: LORI 1.5, aperfeiçoado por Nesbit e Li (2004); LOEM (Kay & Knaack, 2008); CCEAD/PUC-Rio (Campos, Martins, & Nunes, 2008) e o Formato de Avaliação de Objetos de Aprendizagem (Gonzáles, Rodrigues, & Artegas, 2006). Neste sentido, ao final do procedimento teórico, a Equalis-OAS, em sua primeira versão, apresentou 84 itens. Nesse momento, obteve-se o instrumento considerado piloto. A próxima etapa consistiu na busca de validade de conteúdo.

Busca de evidências de validade de conteúdo

Em relação às evidências de validade baseadas no conteúdo, tem-se como objetivo a determinação da adequação dos itens elaborados teoricamente e dos fatores do atributo coberto pelo teste, incluindo análise por meio de juízes e análise semântica dos itens (Cronbach, 1996; Pasquali, 2009). No caso do instrumento destacado na presente nota, aos sujeitos que colaboraram com o estudo foi enviado um convite online, via e-mail, contendo um link para o EQualis-OAS e um link para uma página da internet contendo a definição de "Qualidade para Objetos de Aprendizagem na Área da Saúde" (com suas dimensões e seus respectivos itens, bem como o link de dois sites que continham definição e exemplos de objetos de aprendizagem).

Para a Equalis-OAS, calculou-se o Índice de Validade de Conteúdo (IVC) (Alexandre & Coluci, 2011) e a Razão de Validade de Conteúdo (RVC) (Cohen, 2014; Lawshe, 1975; Pacico & Hutz, 2015). O IVC mede a proporção ou porcentagem de juízes que estão em concordância sobre determinados aspectos do instrumento e de seus itens. A RVC avalia a validade de conteúdo com base na concordância entre avaliadores ou juízes a respeito de quanto um determinado item pode ser "essencial ao teste", "útil ao teste, mas não essencial" ou "não necessário". Foi realizado o cálculo do IVC e do RVC para cada item da escala, e o IVC da escala como um todo (IVC Global). Como critério de exclusão, definiu-se que o item que apresentasse o IVC menor ou igual a 0,85 (Alexandre & Coluci, 2011) e ao mesmo tempo o RVC menor que 0,54 deveria ser revisto e/ou eliminado (Cohen, 2014; Pacico & Hutz, 2015). No texto que segue, apresenta-se uma descrição dos procedimentos adotados para obtenção dos dados para análise do IVC e RVC.

Cálculo do IVC

No estudo da EQuali-OAS, para o cálculo do IVC, contou-se com a participação de 139 voluntários (considerando-se somente as respostas válidas, ou seja, excluindo-se respostas duplas ou questionário com respostas incompletas), que eram professores conteudistas da área da saúde, pedagogos, tutores, designers, profissionais da área da saúde ou alunos de Curso de Especialização em Saúde da Família da UNA-SUS UFCSPA. Os itens da EQuali-OAS foram disponibilizados de acordo com sua dimensão. Os respondentes deveriam indicar se o item representava ou não a dimensão indicada, a partir de uma escala do tipo Likert de concordância, contendo cinco pontos: 1 correspondia a "discordo totalmente", 2 a "discordo", 3 a "nem concordo nem discordo", 4 a "concordo" e 5 a "concordo totalmente". Ao final da escala, um campo de texto era apresentado com a seguinte pergunta: "Por favor, você que está avaliando os critérios de avaliação criados, considera que algum aspecto deixou de ser abordado? Em caso afirmativo, descreva suas considerações". Importante ressaltar que nesta etapa não se avaliou objetos de aprendizagem. Procurou-se avaliar a redação dos itens, de forma a verificar se os conceitos estavam compreensíveis e se expressavam o que se esperava medir.

Cálculo do RVC

Participaram dessa etapa 13 docentes da UFCSPA que possuíam experiência com educação à distância e/ou desenvolvimento de objetos de aprendizagem: quatro enfermeiros, três médicos, dois pedagogos, um nutricionista, um fonoaudiólogo, um fisioterapeuta e um profissional da Ciência da Computação. Os itens da EQuali-OAS foram listados, sem indicação da dimensão à qual pertenciam. Os professores deveriam indicar qual a dimensão em que o item estaria mais bem enquadrado, de acordo com as definições propostas. Então, para cada item, deveria ser indicada uma das seguintes respostas: 1 para "dimensão Conceitos Intrínsecos aos Objetos de Aprendizagem"; 2 para "dimensão Educacional"; 3 para "dimensão Apresentação"; 4 para "Outro"; e 5 para "não se aplica ou desnecessário". Ao final da escala, havia espaço para registro de observações: "Com relação ao objeto de aprendizagem analisado, e considerando a sua atuação como profissional de saúde, registre a sua opinião, críticas e sugestões"; "Alguns tópicos que poderão ajudá-lo: pontos positivos que podem ser destacados; aspectos que podem ser melhorados; aspectos que poderiam ser acrescentados; aspectos que poderiam ser excluídos". Nessa etapa, não se avaliaram objetos de aprendizagem. Procurou-se avaliar a redação dos itens, de forma a verificar se os conceitos estavam compreensíveis, e se expressavam o que se esperava medir.

Exemplo de exclusão de itens, a partir do IVC e RVC

A partir da análise do IVC e RVC, obteve-se a indicação para exclusão de 38 itens, que apresentavam melhores evidências de validade de conteúdo. No Tabela 1, tem-se uma ilustração dos itens que foram excluídos. A partir dos cálculos descritos, obteve-se a segunda versão da EQuali-OAS, contendo 46 itens (Tabela 2).

 

Considerações finais

A presente nota cumpriu o propósito de ilustrar o processo de construção e validação de conteúdo de uma escala criada para avaliar a qualidade de objetos de aprendizagem na área da saúde, a Equalis-OAS, a partir dos preceitos da Psicometria. Sabe-se que o processo de avaliação não é uma tarefa trivial, considerando-se a multiplicidade de fatores técnicos e educacionais envolvidos. A literatura apresenta diversos estudos que relatam o uso de instrumentos próprios para proceder à avaliação de objetos de aprendizagem, os quais carecem de estudos que avaliem sua validade ou precisão. Essa condição impõe uma fragilidade metodológica a esses estudos e, em última instância, dificulta a interpretação dos resultados e a avaliação da eficiência do uso de objetos de aprendizagem. Nesse sentido, os pressupostos psicométricos são especialmente úteis para guiar o processo de construção e validação de escalas como esta, destinada à avaliação da qualidade de objetos de aprendizagem da área da saúde.

A busca por evidência de validade de conteúdo foi norteada pela rigorosa aplicação do cálculo de Validade de Conteúdo (IVC) e da Razão de Validade de Conteúdo (RVC). Considera-se que os elementos da escala proposta são relevantes e representativos em relação à qualidade de objetos de aprendizagem para a área da saúde. A reestruturação dos itens durante o processo de construção e validação de instrumentos foi necessária, pois se desejava eliminar itens que estavam ambíguos, incompreensíveis, com termos vagos, com duplas perguntas, entre outros. Inicialmente, a escala foi considerada extensa para alguns juízes que a avaliaram. Ocorre que não há um consenso acerca da quantidade de itens que um instrumento deve apresentar. Há uma vertente de estudiosos que apontam que no início da construção um instrumento deve possuir pelo menos o triplo de itens do instrumento final (Coluci et al., 2015).

Ressalta-se a importância do tema abordado, ilustrando o processo de criação e busca de validade de conteúdo de um instrumento no contexto do ensino e da saúde. É evidente a necessidade de estudos que adotem uma abordagem contextualizada e sistêmica, contribuindo para a elaboração de instrumentos validados e padronizados. A busca de evidências de validade para a Equalis-OAS terá continuidade, pois será submetida a testes de validade de estrutura interna e medidas de precisão.

 

Referências

Alexandre, N. M. C., & Coluci M. Z. O. (2011). Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, 16(7), 3061-3068. doi: 10.1590/S1413-81232011000800006        [ Links ]

Brasil, Ministério da Saúde. Portaria Nº 1996, de 20 de agosto de 2007. Dispõe sobre as diretrizes para a implementação da Política Nacional de Educação Permanente em Saúde. Brasília, DF. Recuperado de http://bvsms.saude.gov.br/bvs/saudelegis/gm/2007/prt1996_20_08_2007.html.         [ Links ]

Campos, G. H. B, Martins, I., & Nunes, B. P. (2008). Instrumento para a avaliação da qualidade de objetos de aprendizagem: Perspectiva do usuário. Rio de Janeiro: Coordenação Central de Educação a Distância PUC-RIO (CEEAD). Recuperado de http://web.ccead.puc-rio.br/condigital/portal/InstrAvaliacao.pdf.         [ Links ]

Cohen, R. J. (2014). Testagem e avaliação psicológica: Introdução a testes e medidas. 8ª edição. Porto Alegre, RS: AMGH.         [ Links ]

Coluci, M. Z. O., Alexandre, N. M. C., & Milani, D. (2015). Construção de instrumentos de medida na área da saúde. Ciência & Saúde Coletiva, 20(3), 925-936. doi:10.1590/1413-81232015203.04332013        [ Links ]

Cronbach, L. J. (1996). Fundamentos da testagem psicológica. 5ª edição. Porto Alegre: Artes Médicas.         [ Links ]

Gonzáles, R. R., Artega, J., & Rodrigues, F. A. (2006). Formato para la Determinación de la Calidad en los Objetos de Aprendizaje. Primera Conferencia Latinoamericana de Objetos de Aprendizaje. LACLO. Coordinan: Repositorio de Conocimiento Europeo (ARIADNE), Corporación Latinoamericana de Redes Avanzadas (CLARA). Guayaquil, Ecuador.         [ Links ]

Kay, R.H., & Knaack, L. (2008). A multi-component model for assessing learning objects: The learning object evaluation metric (LOEM). Australasian Journal of Educational Technology, 24(5), 574-591 .doi:10.14742/ajet.1192        [ Links ]

Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(4), 563-575. doi: 10.1111/j.1744-6570.1975.tb01393.x        [ Links ]

Martins, L. B., & Zerbini T. (2015) Evidências de validade de instrumentos de reações no ensino superior à distância. Estudos e Pesquisas em Psicologia, 15(1), 116-134. doi:10.12957/epp.2015.16064        [ Links ]

Minervino, C. A. S. M., Silveira, N. J. D., Figueiredo, A. A. F., Oliveira, K. A., Silva, E.R., & Rodrigues, S. G. (2005). Estudo de validação da escala de estratégias de estudo. Avaliação Psicológica, 4(2), 115-123. Recuperado de http://pepsic.bvsalud.org/pdf/avp/v4n2/v4n2a04.pdf.         [ Links ]

Munhoz, A. S. (2013). Objetos de aprendizagem. Curitiba, PR: InterSaberes.         [ Links ]

Nesbit, J. C., & Li, J. (2004) Web-based tools for learning object evaluation. Em Proceedings of the International Conference on Education and Information Systems: Technologies and Applications, 2, (pp.334-339). Orlando, FL.         [ Links ]

Pacico, J. C., & Hutz, C. S. (2015). Validade. Em C. S. Hutz, D. R. Bandeira & C. M. Trentini (Orgs.). Psicometria. (pp. 71-84) Porto Alegre, RS: Artmed.         [ Links ]

Pasquali, L. (2009) Psicometria. Revista da Escola de Enfermagem da USP, 43(spe), 992-999. doi:10.1590/S0080-62342009000500002        [ Links ]

Reppold, C. T., Gurgel, L. G., & Hutz, C. S. (2014) O processo de construção de escalas psicométricas. Avaliação Psicológica, 13(2), 307-310. Recuperado de http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712014000200018        [ Links ]

Silva, R. S. (2011). Objetos de aprendizagem para educação a distância: recursos educacionais abertos para ambientes virtuais de aprendizagem. São Paulo, SP: Novatec.         [ Links ]

Souza Jr., A. J. (2010). Objetos de aprendizagem: aspectos conceituais, empíricos e metodológicos. Uberlândia, MG: Edufu.         [ Links ]

Tarouco, L. M. R., Costa, V. M., Ávila. B. G., Bez, M. R., & Santos E. F. (2014) Objetos de aprendizagem: Teoria e prática (Orgs.). Porto Alegre, RS: Evagraf.         [ Links ]

Trindade, C. S., Dahmer, A., & Reppold, C. T. (2014). Objetos de aprendizagem: Uma revisão integrativa na área da saúde. Journal of Health Informatics, 6(1), 20-29. Recuperado de http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/viewFile/300/187        [ Links ]

 

 

Endereço para correspondência:
Carolina Sturm Trindade
Universidade Federal de Ciências da Saúde de Porto Alegre
Rua Sarmento Leite, 245
Porto Alegre, Rio Grande do Sul, Brasil
CEP 90050-170. Fone: + 55(51)3303-9000
E-mail: carolt@ufcspa.edu.br

Recebido em outubro de 2017
Aprovado em maio de 2018

 

 

Sobre os autores
Caroline Tozzi Reppold é Psicóloga, Professora Associada da Universidade Federal de Ciências da Saúde de Porto Alegre, docente dos PPGs Ciências da Saúde, Ciências de Reabilitação e Psicologia e Saúde da UFCSPA. Bolsista produtividade do CNPq.
Léia Gonçalves Gurgel é Fonoaudióloga, Mestre e Doutora em Ciências da Saúde pela UFCSPA. Pesquisadora do Laboratório de Pesquisa em Avaliação Psicológica da Universidade Federal de Ciências da Saúde de Porto Alegre.
Sergio Kakuta Kato possui graduação em Estatística pela Universidade Federal do Rio Grande do Sul e mestrado em Epidemiologia pela Universidade Federal do Rio Grande do Sul. Doutorando do PPG Ciências de Reabilitação da UFCSPA, Professor Assistente da Universidade Federal de Ciências da Saúde de Porto Alegre.
Carolina Sturm Trindade possui graduação em Informática pela Universidade Luterana do Brasil (Ulbra RS) e mestrado em Ciências da Computação pela Universidade Federal do Rio Grande do Sul. É Especialista em Educação a Distância (Serviço Nacional de Aprendizagem Comercial - SENAC-RS), Especialista em Informática em Saúde (UNIFESP). Doutoranda do PPG Ciências da Saúde da UFCSPA, Professora Adjunta da Universidade Federal de Ciências da Saúde de Porto Alegre.
1 Objetos de aprendizagem (OA) são recursos digitais de aprendizagem que podem ser entendidos como pequenos componentes educacionais, "autossuficientes", que podem ser combinados uns com os outros e, dessa forma, formando novos objetos educacionais. Os OA podem ser utilizados um número indefinido de vezes, por diversas pessoas e em circunstâncias diferentes, a fim de apoiar a aprendizagem. Os OA podem ser apresentados sob diferentes formas - exercício, simulações, sons, vídeos, questionário, diagrama, figura, gráfico, narração textual, enunciado de problema, etc. - a fim de promover atividades de aprendizagem para um estudante ou para um grupo de estudantes (Munhoz, 2013; Rozados, 2009; Wiley, 2000).