SciELO - Scientific Electronic Library Online

 
vol.22 issue2Gestão 2023-2025 do IBAP Instituto Brasileiro de Avaliação PsicológicaScale of Creative Potential at Work: evidence of validity through internal structure and reliability author indexsubject indexarticles search
Home Pagealphabetic serial listing  

Services on Demand

article

Indicators

Share


Avaliação Psicológica

Print version ISSN 1677-0471On-line version ISSN 2175-3431

Aval. psicol. vol.22 no.2 Campinas  2023  Epub Aug 23, 2024

https://doi.org/10.15689/ap.2023.2202.19668.01 

Artigo

Evidências de Validade Baseadas na Estrutura Interna do IHSE-PU-Aluno

Evidence of validity based on the internal structure of the IESS-UP-Student

Evidencias de validez basadas en la estructura interna de la IHSE-PU-Alumno

Joene Vieira-Santos1  1 

Joene Vieira-Santos é psicóloga (UFPA), doutora em Psicologia pela Universidade Federal de São Carlos (UFSCar). Atualmente, é professora no Centro Universitário Adventista de São Paulo, campus Hortolândia.

, conceitualização, investigação, visualização, revisão e edição, elaboração do manuscrito

Almir Del Prette2 

Almir Del Prette é psicólogo, doutor em Psicologia Experimental pela Universidade de São Paulo. Atualmente é Professor Titular Sênior (Voluntário) vinculado aos Programa de Pós-Graduação em Educação Especial e Pós-Graduação em Psicologia da Universidade Federal de São Carlos.

, conceitualização, investigação, visualização, revisão e edição, elaboração do manuscrito

Zilda Aparecida Pereira Del Prette2 

Zilda Aparecida Pereira Del Prette é psicóloga, com pós-doutorado em Psicologia das Habilidades Sociais na Universidade da Califórnia. Atualmente é pesquisadora nível IA do CNPq, Professora Titular Sênior vinculada ao Programa de Pós-Graduação em Psicologia da Universidade Federal de São Carlos e ao Instituto Nacional de Ciência e Tecnologia em Comportamento, Cognição e Ensino (INCT-ECCE).

, conceitualização, investigação, visualização, revisão e edição, elaboração do manuscrito

Leandro Silva Almeida3 

Leandro Silva Almeida é psicólogo, doutor em Psicologia Educacional pela Universidade do Porto (Portugal). Atualmente, é Professor Catedrático da Universidade do Minho.

, revisão e edição, elaboração do manuscrito

1Centro Universitário Adventista de São Paulo, Engenheiro Coelho-SP, Brasil

2Universidade Federal de São Carlos, São Carlos-SP, Brasil

3Universidade do Minho, Braga, Portugal


RESUMO

O Inventário de Habilidades Sociais Educativas do Professor Universitário – versão Aluno (IHSE-PU-Aluno) avalia as habilidades sociais educativas (HSE) de professores universitários na perspectiva de seus alunos. Este estudo examinou as evidências de validade do instrumento baseadas em sua estrutura interna. A análise das respostas fornecidas por 1.406 estudantes indicou uma estrutura hierárquica composta por em cinco dimensões de primeira ordem – Aprovar e valorizar os comportamentos dos alunos (AVC, 13 itens), Expor, explicar e avaliar de maneira interativa (EEA, 11 itens), Cultivar afetividade, apoio e bom humor (AAH, 10 itens), Reprovar comportamentos indesejáveis dos alunos (RCI, 9 itens) e Orientar atividades (OAt, 6 itens) – e um componente de segunda ordem denominado de HSE. Os índices demonstram um ajustamento adequado para a solução com cinco dimensões de primeira ordem (χ2=3645,23, p<0,001, df=941, χ2ajustado=3,87, RMSR=0,03) e para o modelo hierárquico (GoF=0,803).

Palavras-chave: habilidades sociais educativas; educação superior; desempenho docente; modelo compósito

ABSTRACT

The Inventory of Educational Social Skills of the University Professor - Student Version (IESS-UP-Student) assesses university teachers’ educational social skills (ESS) from the perspective of their students. This paper examined the validity evidence of the instrument based on its internal structure. Analysis of the responses provided by 1406 students indicated a hierarchical structure composed of five first-order dimensions - Approve and value student behavior (AVB, 13 items), Expose, explain and evaluate the interactive way (EEE, 11 items), Cultivate affectivity, support, and good mood (ASM, 10 items), Disapprove of students’ undesirable behavior (SUB, 9 items), and Guide activities (GAc, 6 items) - and a second-order component called ESS. The indices demonstrated an adequate fit for a first-order five-dimension solution (χ2=3645.23, p<.001, df=941, χ2adjusted=3.87, RMSR=0.03), and for the hierarchical model (GoF=.803).

Keywords: educational social skills; High Education; teaching performance; composite model

RESUMEN

El Inventario de Habilidades Sociales Educativas del Profesor Universitario – Versión Alumno (IHSE-PU- Alumno) evalúa las habilidades sociales educativas (HSE) de los docentes universitarios desde la perspectiva de sus estudiantes. Este estudio examinó las evidencias de validez del instrumento con base en su estructura interna. El análisis de las respuestas de 1406 estudiantes indicó una estructura jerárquica compuesta por cinco dimensiones de primer orden: Aprobar y valorar los comportamientos de los estudiantes (AVC, 13 ítems), Exhibir, explicar y evaluar interactivamente (EEE, 11 ítems), Cultivar el afecto, el apoyo y el buen humor (AAH, 10 ítems), Desaprobar el comportamiento indeseable de los estudiantes (DCI, 9 ítems) y Guiar las actividades (GAc, 6 ítems) junto con un componente de segundo orden denominado HSE. Los índices demuestran un ajuste adecuado para la solución de cinco dimensiones de primer orden (χ2=3645.23, p<0,001, df=941, χ2ajustado=3.87, RMSR=0.03) y para el modelo jerárquico (GoF=.803).

Palabras clave: habilidades sociales educativas; Educación Superior; desempeño docente; modelo compósito

O Inventário de Habilidades Sociais Educativas do Professor Universitário – versão Aluno (IHSE-PU-Aluno, Vieira-Santos et al., 2018a) é um instrumento para avaliar as habilidades sociais educativas (HSE) de professores universitários na perspectiva de seus alunos. Neste estudo, serão examinadas as evidências de validade do IHSE-PU-Aluno baseadas em sua estrutura interna. A literatura tem apontado que a relação professor-aluno no ensino superior é importante para o desenvolvimento do estudante em diferentes domínios (Mayhew et al., 2016). Portanto, instrumentos com evidências de validade que avaliem as HSE dos professores universitários podem ser ferramentas úteis para avaliar as condições de aprendizagem proporcionadas aos alunos. Nessa direção, três questões norteiam o presente estudo: (a) habilidades sociais educativas de professores do ensino superior; (b) modelos teóricos utilizados para estudar as habilidades sociais; e (c) avaliação da dimensionalidade do instrumento.

Habilidades Sociais Educativas e Professores do Ensino Superior

Diferentes estudos destacam a importância da qualidade da relação estabelecida entre professor e aluno para o processo de aprendizagem que ocorre no ensino superior (Bariani & Pavani, 2008; Carvalho, 1995; Hagenauer & Volet, 2014; Mayhew et al., 2016; Pascarella & Terenzini, 2005; Tinto, 1997; Zani & Nogueira, 2006). Pascarella e Terenzini (2005) verificaram que, quando o aluno estabelece uma relação mais próxima com o professor (ou seja, com interações que não se restrinjam apenas a questões acadêmicas e/ou ao contato em sala de aula), isso contribui para que o aluno desenvolva capacidade cognitiva, sentimentos de confiança e autoestima, habilidades profissionais relevantes, persistência e aspirações acadêmicas. Além disso, a forma como o professor interage com seus alunos, dentro e fora de sala, pode facilitar (ao atentar às dificuldades do aluno, contextualizar o conteúdo e incentivar a superar os desafios) ou dificultar (postura ríspida e autoritária) o processo de aprendizagem (Bariani & Pavani, 2008; Carvalho, 1995; Oliveira et al., 2014; Zani & Nogueira, 2006).

Apesar da importância da qualidade da relação professor-aluno para o processo de aprendizagem, Vieira-Santos e Henklain (2017) identificaram um conjunto de variáveis que podem dificultar o engajamento do professor universitário em relações de qualidade com os seus alunos. Uma das variáveis descritas é a presença de déficits de HSE. As habilidades sociais podem ser compreendidas como “comportamentos sociais valorizados em determinada cultura com alta probabilidade de resultados favoráveis para o indivíduo, seu grupo e comunidade que podem contribuir para um desempenho socialmente competente em tarefas interpessoais” (A. Del Prette & Del Prette, 2017, p. 24). Quando um agente educativo utiliza suas habilidades sociais para promover o desenvolvimento e a aprendizagem de outra(s) pessoa(s), tais habilidades são denominadas de HSE (A. Del Prette & Del Prette, 2010). A partir de pesquisas teóricas e empíricas relacionadas a atuação do agente educativo junto a crianças e adolescentes, Z. A. P. Del Prette e Del Prette (2008) propuseram um sistema de HSE cujas classes mais amplas são: (a) estabelecer contextos interativos potencialmente educativos, (b) transmitir ou expor conteúdos sobre habilidades sociais, (c) monitorar positivamente e (d) estabelecer limites e disciplina.

No intuito de compreender como as HSE de professores universitários têm sido investigadas, Vieira-Santos et al. (2018b) fizeram uma revisão sistemática sobre habilidades sociais relacionadas à atuação docente na educação superior em sala de aula e/ou na relação com o aluno. Os 23 artigos selecionados foram analisados, entre outros aspectos, em relação à perspectiva teórica adotada, às habilidades sociais estudadas, quem as avaliou (avaliador) e ao instrumento com evidências de validade utilizado. Em relação à perspectiva teórica, os autores identificaram que apenas um dos estudos estava pautado no campo teórico-prático das habilidades sociais; contudo, este tratava das habilidades sociais dos professores de diversos níveis de ensino, incluindo o nível superior, e não enfatizava as HSE. Aliado a isso, a análise das habilidades sociais abordadas em cada estudo permitiu verificar que as classes mais estudadas foram as de comunicação (82,6%), trabalho (52,1%) e expressão de sentimentos positivos (39,1%); e as menos abordadas foram as de empatia (17,4%) e de civilidade (8,7%).

Quanto ao avaliador, Vieira-Santos et al. (2018b) verificaram que as habilidades sociais foram avaliadas por três informantes distintos: aluno, professor e pesquisador, sendo que, em 47,9% dos casos, o desempenho do professor foi avaliado exclusivamente pelos alunos. Já em relação a forma como as habilidades sociais foram avaliadas, os autores observaram que 47,9% dos estudos usaram instrumentos com evidências de validade. Contudo, entre os sete instrumentos identificados, somente um deles encontrava-se baseado no campo teórico-prático das habilidades sociais: o Inventário de Habilidades Sociais (IHS-Del-Prette, Z. A. P. Del Prette & Del Prette, 2001), que avalia as habilidades sociais cotidianas e, provavelmente, não seria sensível para captar nuances importantes da relação professor-aluno.

Um segundo levantamento foi realizado por Vieira-Santos et al. (2017) com o objetivo de mapear a produção brasileira sobre HSE. Os autores verificaram que, apesar da existência de estudos que investigam tais habilidades junto a professores da educação básica, não existem pesquisas sobre HSE com docentes universitários. Além disso, não foram localizados instrumentos com evidências de validade que avaliem as HSE de professores universitários. Todavia, os autores sinalizaram a existência do Inventário de Habilidades Sociais Educativas para Professor Universitário (IHSE-PU, Z. A. P. Del Prette & Del Prette, 2013), instrumento de autorrelato que, na época, encontrava-se em fase de avaliação de suas propriedades psicométricas.

Dessas revisões, dois aspectos se destacam: (a) a escassez de estudos sobre as HSE de professores universitários, a partir da perspectiva do campo teórico-prático das habilidades sociais, e (b) a falta de instrumentos com evidências de validade que avaliem as HSE desses docentes. O IHSE-PU (Z. A. P. Del Prette & Del Prette, 2013) parece ser um primeiro passo nessa direção. No entanto, ele se refere a um instrumento de autorrelato e, como tal, pode ser mais sensível a distorções relacionadas a um repertório pouco acurado de discriminação do respondente e/ou ao desejo de responder de acordo com o padrão socialmente aceito (fenômeno da desejabilidade social).

Modelos Teóricos Utilizados para Estudar as Habilidades Sociais

O campo teórico-prático das habilidades sociais é uma área da Psicologia que investiga os comportamentos e as condições envolvidas no estabelecimento de interações sociais (A. Del Prette & Del Prette, 2010, 2017). Ao longo do tempo, de acordo com A. Del Prette e Del Prette (2011), esse campo tem recebido contribuições de diferentes teorias sobre aprendizagem e desenvolvimento, sendo que os enfoques que mais se destacam são: (a) o operante, baseado “nos pressupostos filosóficos do behaviorismo radical (…) e nos princípios e nas técnicas derivados da Análise Experimental do Comportamento” (p. 28); (b) o da aprendizagem social, fundamentado principalmente “nas formulações iniciais de Bandura (…) sobre aprendizagem social com base na observação” (p. 31); (c) e o eclético, o qual adiciona, aos enfoques anteriores, “os elementos cognitivos derivados de teorias de processamento cognitivo, percepção social, papéis etc.” (p. 34). A adoção de um enfoque ou outro interfere não apenas nos procedimentos e técnicas utilizadas em programas de intervenção voltados para promoção de habilidades sociais, mas também refletem a compreensão que o pesquisador tem sobre a natureza do fenômeno e como abordá-lo.

Nesse contexto, a adoção do enfoque operante implica em duas questões conceituais importantes: (a) o que é comportamento e (b) quais são os determinantes do comportamento. Este pode ser definido como toda ação ou reação do organismo (ações observáveis (movimentos), pensamentos e sentimentos) ao ambiente (físico e social) (Todorov, 2012). Ao agir sobre o mundo, o organismo produz mudanças em seu ambiente (consequências) que alteram a probabilidade de ocorrência dessa ação em uma próxima situação semelhante e fazem com que determinados aspectos do ambiente passem a funcionar, no futuro, como contexto para a ocorrência dessa ação (Skinner, 1998). Nessa perspectiva funcional e contextualista, os determinantes do comportamento são sempre produto de variáveis ambientais relacionadas aos níveis de seleção por contingências (Skinner, 2007). Portanto, as habilidades sociais são compreendidas como comportamentos apresentados na interação com o outro que (a) são valorizados em uma determinada cultura, (b) possuem alta probabilidade de produzir consequências favoráveis para os envolvidos (indivíduo, grupo e comunidade) e (c) contribuem para a competência social (A. Del Prette & Del Prette, 2017). Além disso, conforme destacam Z. A. Del Prette e Del Prette (2010), são produto da: (a) filogênese, que “propiciou ao indivíduo humano um conjunto de características anatômicas, fisiológicas e comportamentais favoráveis à aquisição e ao aperfeiçoamento de comportamentos sociais que se mostraram importantes na sobrevivência da espécie” (p. 108); (b) ontogênese, que refere-se às contingências ambientais as quais uma pessoa é exposta, fazendo com que determinados padrões comportamentais sejam aprendidos e alterados ao longo da vida; e (c) cultura, ou seja, às práticas culturais adotadas por membros de um grupo devido a sua efetividade.

Uma implicação importante de adotar o enfoque operante é que as habilidades sociais não são causadas por variáveis latentes. Ao contrário, são produto das condições ambientais as quais uma pessoa é exposta ao longo da vida e, portanto, podem ser aprendidas, mantidas ou enfraquecidas em função das diferentes experiências vividas. Aliado a isso, conforme destacam Z. A. Del Prette e Del Prette (2010), “as contingências atuais refletem os padrões desejáveis (mais prováveis de produzirem consequências reforçadoras), bem como os irrelevantes (que não produzem consequências) e reprováveis (consequências aversivas) para os diferentes momentos e contextos” (p. 110), enfatizando, assim, o caráter situacional-cultural das habilidades sociais.

Outra implicação relevante refere-se a definição de repertório de habilidades sociais, compreendido como o conjunto de habilidades sociais que uma pessoa aprende e consegue desempenhar, ainda que apenas eventualmente, nas interações com os outros (Z. A. P. Del Prette et al., 2017). Uma vez que uma determinada classe de habilidades sociais é composta por um conjunto de comportamentos que possuem uma mesma função, ter um repertório dessa classe significa apresentar os diferentes comportamentos que a compõe. Por exemplo, uma pessoa expressa solidariedade quando identifica necessidades do outro, oferece ajuda, expressa apoio, engaja-se em atividades sociais construtivas, compartilha alimentos ou objetos com pessoas deles necessitadas, coopera, expressa compaixão, participa de reuniões e campanhas de solidariedade, faz visitas a pessoas com necessidades, consola, motiva colegas a fazer doações (A. Del Prette & Del Prette, 2017, p. 29).

Quanto mais comportamentos de ajuda/apoio ao outro (função dessa classe de habilidades sociais) forem aprendidos e apresentados, mais elaborado será o repertório do indivíduo de expressar solidariedade, permitindo que o indivíduo apresente um desempenho competente frente a diferentes demandas interpessoais.

Avaliação da Dimensionalidade do Instrumento

A investigação na área passa pela construção de instrumentos com evidências de validade que permitam avaliar o repertório de habilidades sociais de uma pessoa. Umas das fontes de evidências de validade é a análise da estrutura interna do instrumento, a qual consiste em verificar o grau em que as relações entre itens e dimensões do instrumento estão de acordo com o construto no qual as interpretações do escore do instrumento estão baseadas (American Educational Research Association et al., 2014). Contudo, para realizar essa análise, o pesquisador deve ter clareza sobre a natureza do construto (fenômeno de interesse), pois isso determinará o modelo de medida que será utilizado e, consequentemente, as análises estatísticas mais adequadas (Grace & Bollen, 2008).

Três modelos de construtos são descritos na literatura (Coltman et al., 2008; Henseler et al., 2016; Petter et al., 2007; Schmittmann et al., 2013). No modelo de fator comum (ou modelo reflexivo), o construto avaliado é uma variável latente que existe independentemente das variáveis observadas (itens) e são as variações no construto que produzem mudanças nos itens, o que permite identificar o erro associado a cada item. No modelo de indicadores causais (ou modelo formativo), o construto avaliado é causado pela combinação dos indicadores (variáveis observadas) e as variações nos indicadores produzem mudanças no construto, por isso, há a presença de um único termo de erro que envolve todas as outras causas (indicadores) do construto que não foram incluídas no modelo. Por fim, no modelo compósito (ou modelo composto), os indicadores funcionem como contribuintes (e não causas) para uma variável composta, de tal forma que o construto é formado totalmente por meio de combinações lineares (sem o termo de erro). Segundo Henseler et al. (2016), o modelo compósito pode ser uma ferramenta útil tanto para criar novas entidades – permitindo capturar sistemas, compostos e outros construtos que compreendem vários componentes –, como para reduzir dados em dimensões que reflitam, de maneira adequada, as características mais relevantes do conceito.

A escolha do método para avaliar a dimensionalidade do instrumento estará diretamente relacionado ao modelo de construto adotado. Segundo Schmittmann et al. (2013), teoria de resposta ao item e fatores comuns são exemplos de técnicas de redução de dados baseadas no modelo reflexivo, visto que examinam a variância comum compartilhada pelos itens, o erro da medida e a variância específica do item. Já, conforme destacam Schmittmann et al. (2013), as técnicas de agrupamento (clusters) e a análise de componentes principais são exemplos de técnicas de redução de dados baseadas no modelo formativo e estão preocupadas em explicar a maior quantidade de variância possível com o menor número de construtos, sem diferenciar a variância comum da variância específica dos itens.

Na psicologia, há uma discussão sobre o uso da análise de componentes principais (ACP) ou da análise fatorial exploratória (AFE) como forma de avaliar as dimensões de um instrumento (Damásio, 2012; Lloret-Segura et al., 2014). Uma das críticas feita ao amplo uso da ACP – e, por conseguinte, aos modelos formativos – refere-se ao fato de que a maioria dos instrumentos psicológicos busca avaliar construtos latentes (tais como inteligência, personalidade, entre outros) e, portanto, deveria adotar técnicas de redução de dados que levassem em consideração a variância comum dos itens. No entanto, estudos, que compreendem o construto avaliado como produto da combinação de diferentes variáveis, deveriam adotar o modelo formativo ou o modelo compósito. Aliado a isso, erros de especificação do construto causam erros do Tipo I (aceitar um resultado como significativo quando não é realmente significativo) e do Tipo II (aceitar um resultado como não significativo, quando ele é significativo) (Petter et al., 2007).

Diante do exposto, parece adequado examinar a estrutura interna de instrumentos que avaliam as habilidades sociais, dentro do enfoque operante, utilizando o modelo compósito. Isso porque: (a) as habilidades sociais são determinadas pelas condições socioambientais às quais a pessoa foi exposta e não pela expressão de traços latentes (por exemplo, sociabilidade, amabilidade etc.), e (b) entende-se que uma pessoa apresenta um repertório elaborado quando apresenta diferentes comportamentos que compõem as classes de habilidades sociais (A. Del Prette & Del Prette, 2018). Assim sendo, o objetivo do presente estudo é examinar as evidências de validade do IHSE-PU-Aluno baseadas na estrutura interna do instrumento dentro do modelo compósito de medidas.

Método

Participantes

Participaram 1.557 estudantes universitários; no entanto, conforme será descrito na seção de procedimentos, só foram considerados como válidos os dados de 1.406 participantes. Os participantes tinham entre 18 e 55 anos (x̄=22,12, DP=5,19 anos). A amostra foi formada por 58,9% de mulheres; 66,1% de alunos de instituições particulares; 81,9% de participantes que estavam realizado sua primeira graduação e 70,8% estavam no início (1º ou 2º semestre) ou no meio (3º ao 6º semestre). Em relação a região do país, 63,7% estavam na região sudeste; 30,7% na região nordeste e 5,6% na região norte. E, quanto à área de conhecimento do curso que estavam realizando, 43,7% eram das ciências humanas; 32,4% das ciências biológicas e 23,8%. das ciências exatas.

Instrumento

Foi utilizada a versão experimental do IHSE-PU-Aluno (Vieira-Santos et al., 2018a), composta por duas partes. A primeira parte consistia na apresentação dos 62 itens relativos às HSE, mais um item que avaliava o nível de satisfação do participante em alguns aspectos da relação estabelecida com o professor avaliado. Cada item relacionado às HSE referia-se a uma única habilidade. A maioria dos itens envolvem um contexto e a ação do professor naquele contexto. As respostas aos itens foram dadas por meio de uma escala tipo Likert de frequência (0 = nunca, 1 = raramente, 2 = muitas vezes, 3 = quase sempre, e 4 = sempre). A segunda parte solicitava informações para caracterização da amostra, as quais envolviam aspectos pessoais, socioeconômicos e de formação.

Procedimentos

O acesso aos participantes foi realizado de maneira distinta entre alunos de Instituições de Educação Superior (IES) públicas e particulares. Nas IES particulares, após o diretor acadêmico autorizar a coleta, a pesquisadora entrava em contato com as coordenações de cursos para verificar quais os melhores dias e horários para abordar os alunos em sala de aula. Já nas IES públicas, o acesso aos alunos foi realizado mediante o contato direto da pesquisadora com professores de graduação. Nesse contato, a pesquisadora explicava, em linhas gerais, o objetivo da pesquisa e, caso o professor autorizasse realizar a coleta em sua turma, combinava o melhor dia e horário para aplicação do instrumento. Em ambos os casos, a amostragem foi por conveniência.

No dia e horário agendado, a aplicação era realizada de forma coletiva, sendo que cada participante respondia individualmente o IHSE-PU-Aluno e avaliava um único professor. Para gerar diversidade nos dados, a pesquisadora listava no quadro as disciplinas que a turma estava cursando naquele semestre letivo e atribuía uma letra para cada disciplina. Ao receber o IHSE-PU-Aluno, o participante verificava que, no campo “nome professor”, havia uma letra. Ele deveria responder ao instrumento pensando no professor que ministrava a disciplina representada por aquela letra (no quadro). Caso o aluno recebesse um questionário com uma letra que representava uma disciplina que não cursava, ele poderia, então, escolher outro professor do semestre vigente para avaliar.

A sequência de aplicação do instrumento envolvia os seguintes passos: (a) apresentação dos objetivos da pesquisa; (b) instrução para o preenchimento do instrumento; (c) garantia da confidencialidade das informações fornecidas pelos alunos; (d) elaboração da lista de disciplinas que os alunos estavam cursando naquele semestre, (e) distribuição do Termo de Consentimento Livre-Esclarecido (TCLE) e do IHSE-PU-Aluno; e (f) recolhimento dos instrumentos preenchidos e em branco (dos alunos que escolhiam não participar da pesquisa). A pesquisadora teve a colaboração de dois pesquisadores para coletar os dados em duas instituições, os quais receberam instruções específicas quanto a impressão e a aplicação do instrumento, com o objetivo de padronizar, dentro do possível, a coleta de dados.

A pesquisa foi autorizada pelo Comitê de Ética para Pesquisas com Seres Humanos da Universidade Federal de São Carlos (protocolo CAAE: 59553616.6.0000.5504). Os dados foram coletados entre abril e julho de 2017, e os participantes expressaram o consentimento em participar da pesquisa mediante a assinatura do TCLE.

Análises dos Dados

O procedimento de análise de dados envolveu seis etapas: (a) tabulação dos dados, (b) análise dos dados perdidos referentes aos 62 itens de HSE, (c) transformação dos dados em variáveis métricas, (d) identificação da estrutura com melhor ajuste, (e) exclusão de itens e (f) avaliação de um modelo hierárquico.

Etapa 1. Os dados foram digitados em uma planilha do Excel e, posteriormente, revisados para corrigir erros de digitação.

Etapa 2. Havia a presença de dados perdidos em todos os itens do instrumento relacionados às HSE, sendo que os itens 10, 59 e 60 foram aqueles que obtiveram maior quantidade de dados perdidos, respectivamente, 2,0%, 2,0% e 1,8% de casos perdidos. A análise do conteúdo dos itens que tiveram mais de 1,0% de dados perdidos demonstrou que todos estavam relacionados ao manejo que o professor faz em sala e/ou na relação com o(s) aluno(s) quando existem situações de conflito. Ao analisar a porcentagem de dados perdidos por caso, verificou-se que 26 participantes tinham mais de 8% ou mais de dados perdidos. Estes foram excluídos da amostra, o que fez com que 43,5% (n=27) dos itens relacionados a HSE se tornassem dados completos (sem perdas) e os demais itens ficaram com no máximo 0,6% de dados perdidos (o que correspondeu a, no máximo, nove casos com dados perdidos por item). Além disso, optou-se pela exclusão dos respondentes menores de 18 anos, visto que não foi solicitado o consentimento dos pais para sua participação.

Após a exclusão dos menores de 18 anos, uma nova análise dos dados perdidos foi realizada e os padrões de dados perdidos identificados após a exclusão dos 26 participantes (descrito acima) se mantiveram. O teste MCAR de Little indicou que os dados não foram perdidos completamente ao acaso (χ2(5077)=5306.041 e p=0,012), sugerindo o melhor método de atribuição para os dados perdidos seria o método de imputação múltipla (Li, 2013). Uma vez que era possível identificar os casos em que o mesmo professor havia sido avaliado por mais de um aluno, a atribuição de valores para os dados perdidos envolveu os seguintes passos: (a) identificar os casos com dados perdidos para cada item; (b) verificar o valor atribuído ao item pelos demais participantes que avaliaram aquele professor; (c) calcular a média dos valores atribuídos àquele professor pelo participante nos demais itens; (d) arredondar a média para identificar o nível de frequência correspondente; (e) comparar com as respostas aquele item fornecidas pelos demais participantes que avaliaram aquele professor. Todo esse processo resultou na redução da amostra para 1406 participantes.

Etapa 3. Para examinar a estrutura interna do instrumento utilizou-se a ACP; contudo, uma vez que os itens do IHSE-PU-Aluno foram respondidos por meio de uma escala tipo Likert e que a ACP é baseada na pressuposição de que as relações entre as variáveis observadas são lineares (Mair, 2018), os dados foram transformados em vaiáveis métricas utilizando o sistema GIFI (Mair, 2018; Van Der Heijden & Van Buuren, 2016). Esse sistema gera, entre outros resultados, uma nova matriz de dados com as variáveis quantificadas que “pode substituir nossa matriz de dados original para análises subsequentes” (Mair, 2018, p. 241, tradução livre). Os dados dessa nova matriz foram inspecionados quanto à presença de outliers, por meio do valor da distância de Mahalanobis (D2) dividido divido pelo número de variáveis (gl) (Hair et al., 2010) e, casos com valores superiores a quatro, foram considerados como outliers.

Etapa 4. Para a definição de quantos componentes deveriam ser extraídos, foram utilizados diferentes critérios. Com base nas orientações de Mair (2018), foram examinados os critérios: Kaiser (autovalores maiores que 1), análises paralelas, VSS (Very Simple Struture criterion) e MAP (Minimum Average Partial criterion). Também foi utilizada a técnica EGA (exploratory graph analysis), proposta por Golino e Epskamp (2017), a qual demonstrou, em estudos de simulação, maior acurácia para determinar o número de dimensões de um conjunto de dados (Golino, 2018). Os resultados dessas análises apontaram quatro soluções possíveis, as quais foram comparadas em função da adequação teórica do agrupamento dos itens e de índices de ajuste: (a) variância explicada, (b) χ2, (c) χ2ajustado e (d) RMSR (Root Mean Square Residual). Os parâmetros utilizados para avaliar χ2ajustado foram: <5 – Ajustamento inaceitável, [2;5] – Ajustamento aceitável e [1;2] – Ajustamento bom (Marôco, 2014). Já para avaliar o RMSR foram utilizados os seguintes parâmetros: >0.1 – Ajustamento inaceitável, <0.1 – Ajustamento aceitável e <0.05 – Ajustamento muito bom (Marôco, 2007).

Não foram utilizados outros critérios paramétricos para avaliação do modelo, como normalmente se faz quando se utiliza AFE (tais como TLEI e RMSEA), pois, de acordo com Mair (2018), tais métodos são baseados diretamente nos resultados da estimação por Máximo Verossimilhança (maximum likelihood – ML) ou Mínimos quadrados (least squares – LS), os quais não são utilizados na ACP. As dimensões foram extraídas usando a ACP e rotação promax (Field, 2009).

Etapa 5. A exclusão de itens envolveu o exame de quatro aspectos: (a) carga (coeficientes de correlação entre o fator e o item), (b) pesos (coeficientes de regressão para cada item em cada fator), (c) multicolinearidade e (d) conteúdo. Apesar de cargas fatoriais no intervalo de ± 0,30 a ± 0,40 serem consideradas o nível mínimo para encontrar a estrutura de interpretação dos dados (Hair et al., 2010), adotou-se como ponto de corte cargas superiores a 0,45, de tal forma que os indicadores expliquem ao menos 20,0% da variância do componente. De acordo com Petter et al. (2007), na ACP para construtos formativos, além da carga fatorial, deve-se examinar também os pesos dos itens, os quais indicam o quanto o item impacta sobre a variável latente (não observada). Itens com pesos nulos (β=0) ou insignificantes (β<0,3) devem ser eliminados, pois tais indicadores não podem ser considerados como medidas válidas do construto que está sendo avaliado (Diamantopoulos & Winklhofer, 2001; Henseler et al., 2016). A presença de multicolinearidade foi avaliada por meio do cálculo do VIF (variance inflation fator). Itens com VIF superior a 3,33 foram considerados como indicadores cuja informação é redundante dentro do conjunto de dados avaliados (Petter et al., 2007). Por fim, o conteúdo do item foi levado em consideração, visto que, nas medidas formativas e compósitas, a remoção de indicadores pode implicar em alterações no domínio conceitual do construto, uma vez que variável latente é compreendida como uma combinação linear das variáveis que cobrem o construto avaliado (Coltman et al., 2008; Schmittmann et al., 2013). Com base nesse conjunto de informações, realizou-se a retirada gradual dos indicadores que apresentavam pesos insignificantes (β<0,3), cargas inferiores à .45, VIF > 3,33 e cujos conteúdos (ou seja, a HSE avaliada) já estivessem contemplados em outros itens.

Etapa 6. Foi avaliado se os dados se adequavam a um modelo hierárquico, ou seja, se os componentes identificados formavam um componente de ordem superior. Para tanto, utilizou-se a modelagem de caminho baseada nos mínimos quadrados parciais (partial least squares path modeling – PLS-PM), pois esse método é adequado para a análise modelos formativos (Wetzels et al., 2009). Conforme sugere Sanchez (2013), adotou-se a abordagem de duas etapas: (a) elaborar a matriz com os escores dos construtos de primeira ordem, obtidos por meio da ACP e (b) usar os escores das variáveis latentes de ordem inferior como indicadores do construto de ordem superior. Além disso, conforme sugere esse autor, utilizou-se o procedimento de bootstrap para avaliar a precisão das estimativas dos parâmetros do PLS, o qual consiste em criar n amostras para obter n estimativas para cada parâmetro do modelo. Foram utilizadas 5000 amostras para estimar os parâmetros do PLS. Para avaliar a adequação dos índices de ajuste do modelo foram considerados os seguintes critérios: (a) coeficiente de determinação (R2), (b) a redundância e (c) o índice de bondade do ajuste (GoF – Goodness of Fit) (Sanchez, 2013).

Os dados foram analisados por meio do software R versão 3.4 (R Development Core Team, 2017). Foram utilizados os seguintes pacotes: Gifi (Mair & Leeuw, 2017), para transformar os dados em indicadores métricos; psych (Revelle, 2017), para as análises psicométricas; EGA (Golino, 2016), para realizar verificar o número de dimensões por meio da análise gráfica exploratória; plspm (Sanchez et al., 2015) para analisar o componente de ordem superior e GPArotation (Bernaards & Jennrich, 2014).

Resultados

Para a análise da estrutura do IHSE-PU-Aluno de acordo com um modelo formativo, as respostas fornecidas por 1406 participantes foram submetidas à ACP, visto que, após os dados serem transformados em variáveis métricas, não foi identificada a presença de outliers. Os diferentes métodos utilizados para identificar o número de componentes que deveriam ser extraídos sugeriram soluções com um (VSS), quatro (análise paralela), cinco (MAP e EGA) e sete (Kaiser) componentes. Essas soluções foram comparadas em relação a diversos índices e ao conteúdo dos itens em cada componente. A solução com cinco componentes mostrou-se mais adequada tanto em função dos índices de ajuste (Tabela 1) como em função do conteúdo dos itens agrupados em cada fator.

Tabela 1 Índices de Ajuste das Soluções 

Solução Índices de ajuste
% da variância total explicada χ2(df) χ2ajustadoa RMSR
1 componente 43,00 18444,29b (1829) 1,01 0,06
4 componentes 53,63 5641,73b (1469) 3,84 0,03
5 componentes 55,72 5048,89b (1591) 3,17 0,03
7 componentes 59,00 4326,80b (1123) 3,85 0,03

Nota. a x2df; b nível de signifcância <0,001

Em seguida, foram examinados, na solução com cinco componentes, os pesos e as cargas de cada item, a presença de multicolinearidade e o conteúdo dos itens com carga inferior a 0,45 em todos os componentes. A análise dos pesos demonstrou que cinco itens (21, 27, 30, 42 e 52) apresentavam pesos menores que 0,3 em todos os componentes. A análise das cargas, tomando como ponto de corte valores superiores a 0,45, revelou que 12 itens (17, 18, 21, 27, 30, 39, 42, 43, 47, 52, 53 e 57) não carregaram em nenhum dos componentes. A análise de multicolinearidade indicou que o item 5 apresentava o VIF>3,33. E, por fim, a análise do conteúdo dos itens que não carregaram em nenhum dos componentes demonstrou que: (a) apenas o conteúdo do item 21 não era contemplado em outros itens; (b) os demais itens (17, 18, 27, 30, 39, 42, 43, 47, 52, 53 e 57) tinham seu conteúdo comtemplado de forma integral ou parcial por um ou dois dos itens com carga superior à 0,45; e (c) os itens 18, 21 e 57 envolviam aspectos que podiam dificultar sua compreensão, o que pode ter afetado as respostas dos participantes e, consequentemente, as cargas nos componentes. Por exemplo, no item 21 (como forma de estimular o envolvimento dos alunos na atividade, este professor valoriza nossas tentativas de participação), a expressão “tentativas de participação” pode ter dificultado a compreensão do aluno sobre o item, afetando a resposta dada ao mesmo.

A exclusão dos itens foi realizada de forma gradual, pois, nas medidas formativas e compósitas, a remoção de indicadores pode implicar em alterações no domínio conceitual do construto (Coltman et al., 2008; Schmittmann et al., 2013). Primeiramente, foi excluído o item 5 (os alunos, em geral, gostam deste professor) que, além de apresentar VIF>3,33, não descrevia de maneira explícita uma habilidade social do professor. Em seguida, foram retirados os itens 18, 21 e 57 que possuíam aspectos que dificultavam a compreensão de seu conteúdo. Por fim, os demais itens com cargas inferiores a 0,45 foram retirados um a um, adotando os seguintes critérios para escolher a ordem de retirada dos itens: (a) cargas menores nos componentes, (b) conteúdo ser contemplado de maneira integral em outro item mantido e (c) não comprometer a coerência do construto apresentado em cada componente. A cada exclusão, examinava-se as cargas dos demais itens mantidos. Esse procedimento levou a exclusão de nove itens, a saber: 5, 17, 18, 21, 27, 31, 42, 53 e 57.

A estrutura resultante foi então examinada e observou-se que quatro itens eram redundantes, ou seja, seus conteúdos eram contemplados por outros itens. Como a ACP está baseada na variância total compartilhada pelos itens ( Hair et al., 2010; Mair, 2018), a existência de itens redundantes pode afetar as cargas dos itens nos componentes. Assim sendo, optou-se por retirar gradualmente os itens 7, 10, 14 e 35, obedecendo aos mesmos critérios de exclusão descritos acima.

A estrutura final foi composta por 49 itens, agrupados nos seguintes componentes rotacionados: (a) Aprovar e valorizar os comportamentos dos alunos (AVC, 13 itens), (b) Expor, explicar e avaliar de maneira interativa (EEA, 11 itens), (c) Cultivar afetividade, apoio e bom humor (AAH, 10 itens), (d) Reprovar comportamentos indesejáveis dos alunos (RCI, 9 itens) e (e) Orientar atividades (OAt, 6 itens). Esses cinco componentes explicam 56,62% da variância total dos dados (ver Tabela 2) e os índices de ajuste da solução final (χ2=3645,23, p<0,001, df=941, χ2ajustado=3,87, RMSR=0.03) mostram-se adequados.

Tabela 2 Cargas dos Itens na Solução Final 

Itens* AVC EEA AAH RCI AOt
36. Promover o desenvolvimento de feedback positivo entre os alunos em situações de discussão em grupo. 0,73
24. Promover autoavaliação do desempenho do aluno. 0,73
41. Oferecer feedback aos alunos após a realização de uma atividade. 0,70
48. Descrever comportamentos esperados dos alunos quando os alunos atrapalham a aula. 0,67
40. Oferecer feedback imediato quando o aluno apresenta comportamentos adequados. 0,60
33. Promover o desenvolvimento de feedback positivo entre os alunos em situações contribuições relevantes. 0,60
54. Solicitar feedback positivo dos alunos sobre as atividades realizadas em sala. 0,58
23. Sondar o que os alunos conhecem sobre um determinado tema antes de apresentá-lo em sala. 0,53
25. Conversar com os alunos sobre seus projetos acadêmicos e/ou profssionais. 0,51
30. Conversar com alunos que tenham ideias ou ações que desrespeitem os direitos do outro. 0,44
43. Fazer perguntas ao invés de dar soluções quando um aluno está tentando resolver um problema. 0,44
52. Fazer perguntas para classe quando um aluno apresenta uma resposta incorreta no intuito de que as perguntas dos colegas auxiliem o aluno a identifcar sua difculdade. 0,41
29. Descrever, ao apresentar uma tarefa, os comportamentos necessários para realizá-la adequadamente. 0,39
46. Captar a atenção dos alunos durante as exposições orais. 0,75
01. Verifcar a aprendizagem dos alunos dos conteúdos ensinados por meio de perguntas. 0,74
11. Utilizar a comunicação de tal forma a manter a atenção dos alunos. 0,70
12. Promover a cooperação entre os alunos nas atividades realizadas em sala de aula. 0,65
22. Conduzir as atividades na sala de aula por meio de perguntas e diálogos. 0,63
08. Incentivar os alunos a refetir criticamente sobre os conteúdos abordados. 0,63
45. Empregar estratégias em sala que exigem análise e questionamento dos temas abordados. 0,61
04. Alterar a forma de abordar o conteúdo quando percebe que os alunos não estão atentos ou envolvidos. 0,53
06. Promover discussões em sala com questões que instigam os alunos. 0,52
13. Monitorar as tarefas em grupo para torná-las mais efetiva. 0,51
47. Demonstrar satisfação quando a classe colabora com o andamento da aula. 0,45
32. Estar disponível para conversar com os alunos sobre assuntos do dia a dia. 0,75
02. Apoiar alunos que estejam passando por algum problema. 0,68
03. Expressar empatia diante de acontecimentos positivos ou conquistas dos alunos. 0,67
16. Estar disponível para atender os alunos que o buscam para pedir ajuda ou conselhos para tomar decisões acadêmicas ou profssionais. 0,64
38. Promover momentos de descontração e brincadeiras durante a aula. 0,64
09. Estabelecer um relacionamento amistoso em sala com os alunos. 0,63
44. Estar disponível para atender os alunos que o procuram para resolver situações relacionadas à prática profssional. 0,63
19. Dar atenção aos alunos quando eles contam alguma coisa importante. 0,60
20. Incentivar os alunos a perseverarem quando sentem difculdades para realizar uma tarefa difícil. 0,50
39. Aproveitar os momentos de interação entre os alunos para abordar questões sobre relações interpessoais. 0,42
56. Expressar discordância com a opinião de um aluno sem ofendê-lo. 0,86

*Descrição apenas do comportamento (ação) do professor avaliada em cada item. Os itens não estão redigidos tal como aparecem no instrumento

Também é possível observar na Tabela 2 que alguns itens com cargas inferiores à 0,45 foram mantidos na solução final. Esses itens não foram excluídos pelos seguintes motivos: (a) o conteúdo deles não foi contemplado em outros itens e (b) referem-se a aspectos importantes das HSE de docentes da educação superior. Além disso, no estudo de elaboração do IHSE-PU-Aluno (Vieira-Santos et al., 2018a), esses itens foram considerados pertinentes e claros por especialistas. De acordo com Hair et al. (2011), “se a conceitualização teórica da medida apoiar fortemente a inclusão do indicador (por exemplo, por meio de validade de face, especialista e conteúdo), ele deve ser mantido no modelo de medição formativa” (p. 146, tradução livre).

Para verificar se os dados permitiam identificar a presença de um construto de ordem superior, utilizou-se a PLS-PM. O coeficiente de determinação (R2) – ou seja, “a quantidade de variância das variáveis latentes endógenas explicada por suas variáveis latentes independentes” (Sanchez, 2013, p. 68, tradução livre) – foi igual a um (R2=1.00), sugerindo que a variável latente endógena (ou dependente que, no caso, é o construto de ordem superior) é 100% explicada pelas variáveis independentes (ou exógenas, que, no caso, são os construtos de ordem inferior). O índice de bondade do ajuste (GoF – Goodness of Fit) – “que considera a qualidade do modelo tanto na medida quanto nos modelos estruturais” (Sanchez, 2013, p. 69, tradução livre) – foi de 0,803, indicando um bom ajuste do modelo (GoF > 0,7, Sanchez, 2013). Além disso, conforme pode ser observado na Figura 1, os coeficientes de predição são iguais para todos os componentes de ordem inferior (β=0,249, p<0,001) e as correlações entre cada componente de ordem inferior e o componente de ordem superior são fortes, isto é, r>0.7 (Dancey & Reidy, 2013).

Figura 1 Modelo hierárquico do IHSE-PU-Aluno. Em “A” estão apresentados os coeficientes de predição e em “B” as correlações entre os componentes de primeira ordem e o componente de ordem superior 

Também foi utilizado o procedimento de bootstrap para avaliar a precisão das estimativas dos parâmetros PLS (Sanchez, 2013). Conforme é possível observar na Tabela 3, os resultados desse procedimento sinalizam que as cargas (correlações), os coeficientes de caminho e os efeitos totais encontram-se dentro do intervalo de confiança de 95%, sugerindo a validade de tais resultados. Portanto, os dados indicam que os cinco componentes de primeira ordem formam um de ordem superior, o qual pode ser denominado de HSE envolvidas na atuação do professor universitário.

Tabela 3 Resultados do Procedimento de Bootstrap para Avaliar a Estrutura do IHSE-PU-Aluno 

Dimensões Original Média bootstrap Erro Padrão IC 95%
Cargas (Correlações)
HSE-EEA 0,834 0,834 8,28e-03 [0817, 0,850]
HSE-AAH 0,824 0,824 8,60e-03 [0,807, 0,840]
HSE-RCI 0,786 0,786 1,09e-02 [0,764, 0,807]
HSE-Oat 0,733 0,733 1,19e-02 [0,709, 0,756]
Coefcientes de caminho
AVC -> HSE 0,249 0,249 0,00202 [0,246, 0,253]
EEA -> HSE 0,249 0,249 0,00202 [0,246, 0,253]
AAH -> HSE 0,249 0,249 0,00202 [0,246, 0,253]
RCI -> HSE 0,249 0,249 0,00202 [0,246, 0,253]
OAt -> HSE 0,249 0,249 0,00202 [0,246, 0,253]
Efeitos totais
AVC -> HSE 0,249 0,249 0,00202 [0,246, 0,253]
EEA -> HSE 0,249 0,249 0,00202 [0,246, 0,253]
AAH -> HSE 0,249 0,249 0,00202 [0,246, 0,253]
RCI -> HSE 0,249 0,249 0,00202 [0,246, 0,253]
OAt -> HSE 0,249 0,249 0,00202 [0,246, 0,253]

Nota. IG=Intervalo de Confiança

Discussão

Estudos têm demonstrado que a relação estabelecida com o professor, no ensino superior, é importante para o desenvolvimento acadêmico, pessoal e profissional do aluno (Mayhew et al., 2016) e que discrepâncias entre a percepção que alunos e professores possuem sobre o desempenho docente podem interferir negativamente no processo de aprendizagem (Bariani & Pavani, 2008; Oliveira et al., 2014). A qualidade dessa relação é afetada, entre outros fatores, pelo repertório de HSE que o docente apresenta (Vieira-Santos & Henklain, 2017). A ausência de um repertório consistente de HSE pode estar relacionada à déficits de aquisição, de desempenho ou de fluência das HSE e, uma vez que as habilidades sociais são aprendidas ao longo da vida, podem ser solucionados a partir de programas de intervenção que promovam o desenvolvimento e/ou aperfeiçoamento de tais habilidades. Para avaliar a eficácia de programas destinados ao desenvolvimento de HSE de professores universitários, é importante que haja instrumentos, com evidências de validade, que permitam comparar o repertório de HSE antes e após a intervenção. Porém, uma vez que instrumentos de autorrelato estão mais susceptíveis a problemas relacionados a uma baixa capacidade de discriminação dos efeitos de suas ações sobre o outro, o ideal é contar com uma avaliação multimodal (Z. A. P. Del Prette & Del Prette, 2009). Nessa direção, uma possibilidade é complementar a avaliação por autorrelato com uma avaliação do repertório de HSE pelo relato de terceiros, os quais, no caso do professor universitário, poderiam ser seus alunos.

Diante do exposto, o presente estudo traz três contribuições relevantes. A primeira refere-se à apresentação de um instrumento com evidências de validade que permite avaliar as HSE do docente universitário a partir da perspectiva de seus alunos. O IHSE-PU-Aluno permite ao professor comparar sua autoavaliação a respeito de suas HSE com a avaliação realizada por seus alunos, identificando aspectos positivos do seu desempenho na relação com os discentes, bem como aspectos que precisam ser melhorados. Além disso, uma vez que a qualidade da relação professor-aluno interfere no processo de aprendizagem e que tal qualidade está relacionada, em parte, às HSE que o professor apresenta, um instrumento que avalie as HSE do professor na perspectiva dos alunos também pode ser uma ferramenta útil para avaliar as condições de aprendizagem que o professor proporciona a eles, permitindo identificar discrepâncias entre a percepção que alunos e professores possuem do desempenho docente

A segunda contribuição relevante diz respeito à ampliação da compreensão das HSE requeridas do professor universitário para promover condições para que o aluno assuma um papel ativo em sua própria aprendizagem. As análises demonstram que o IHSE-PU- Aluno é um instrumento multidimensional, no qual, 49 itens estão distribuídos em cinco dimensões de primeira ordem – (a) Aprovar e valorizar os comportamentos dos alunos (AVC, 13 itens), (b) Expor, explicar e avaliar de maneira interativa (EEA, 11 itens), (c) Cultivar afetividade, apoio e bom humor (AAH, 10 itens), (d) Reprovar comportamentos indesejáveis dos alunos (RCI, 9 itens) e (e) Orientar atividades (OAt, 6 itens) – e essas dimensões formaram um componente de segunda ordem denominado de HSE.

De acordo com a American Educational Research Association et al. (2014), as evidências de validade podem levar a revisões na estrutura conceitual do construto que está sendo avaliado, permitindo reconhecer novas nuances não identificadas anteriormente. Nessa direção, os dados do presente estudo parecem indicar que, considerando o contexto da educação superior, o sistema de HSE pode ser composto por cinco dimensões ou classes amplas. Essa diferença com o sistema anteriormente proposto por Z. A. P. Del Prette e Del Prette (2008) pode estar relacionado a três aspectos. Primeiro, o sistema proposto por Z. A. P. Del Prette e Del Prette foi elaborado, principalmente, a partir de pesquisas teóricas e empíricas relacionadas com a atuação do agente educativo junto a crianças e adolescentes. No entanto, na educação superior, o agente educativo, no caso o professor, está atuando junto a jovens-adultos e adultos, podendo algumas nuances da fase de desenvolvimento em que se encontram (tais como maior autonomia e independência dos indivíduos) requerer do professor habilidades diferentes daquelas requeridas por crianças e adolescentes. Segundo, os itens do IHSE-PU-Aluno foram adaptados a partir do itens do IHSE-PU-Prof (Vieira-Santos et al., 2018a). Os itens do IHSE-PU-Prof foram elaborados a partir de “ensaios e pesquisas prévias desses autores [Del Prette e Del Prette] sobre ensino e aprendizagem, habilidades sociais dos estudantes como parte da função social da escola e habilidades sociais educativas de professores como requisitos para a consecução de objetivos acadêmicos e socioemocionais da educação escolar” (Vieira-Santos et al., 2018a, p. 261), sobretudo no contexto de educação básica. Apenas mais recentemente o IHSE-PU-Prof tem sido utilizado para avaliar professores do ensino superior. Por fim, à medida que uma teoria vai se desenvolvendo, novos aspectos podem ser avaliados, contribuindo para a ampliação da compreensão sobre o fenômeno em distintos contextos.

Uma análise do conteúdo dos itens agrupados em cada dimensão permitiu verificar como as HSE foram agrupadas. O componente AVC envolve: auxiliar o aluno a identificar comportamentos adequados e/ou esperados, perguntar a opinião deles sobre um determinado assunto, solicitar que avaliem os aspectos que mais gostaram na aula e conversar com eles sobre as atividades que pretendem realizar ou sobre determinadas posturas.

O componente EEA está relacionado à uma forma interativa de conduzir a aula e/ou a classe, isso envolve: automonitoria (modificar seu desempenho com base na observação do efeito do seu comportamento sobre os alunos), fazer perguntas, estimular o aluno a refletir criticamente sobre os conteúdos, usar estratégias para que os alunos participem da aula e monitorar as atividades realizadas em sala. O componente AAH está relacionado ao suporte social que o professor fornece aos seus alunos, os itens incluem comportamentos relacionados à empatia, solidariedade e fazer amizade. O componente RCI inclui quatro classes de habilidades sociais necessárias para manejar situações de conflito: (a) expressar discordância sem ofender o aluno, (b) manter o autocontrole, (c) acalmar um aluno e (d) direcionar o aluno para uma solução construtiva. E, por fim, o componente OAt refere-se a maneira como o professor orienta as atividades e conduz suas aulas. Essa estrutura parece sugerir que, no contexto da educação superior, para o professor criar condições para que o estudante desenvolva habilidades instrumentais, analíticas e sociais (A. Del Prette & Del Prette, 2003), ele precisa (a) aprovar e valorizar os comportamentos dos alunos, (b) expor, explicar e avaliar de maneira interativa, (c) cultivar afetividade, apoio e bom humor, (d) reprovar comportamentos indesejáveis dos alunos e (e) orientar atividades.

Por fim, a terceira contribuição relevante está relacionada a questões metodológicas. De uma maneira geral, o uso de modelos formativos e compósitos no campo da Psicologia tem sido criticado, pois, a priori, medidas psicológicas estariam interessadas em avaliar traços latentes (Damásio, 2012; Lloret-Segura et al., 2014). No entanto, a adoção de um modelo de medida deve ser realizada em acordo com a compreensão que se tem sobre a natureza do fenômeno e sobre a direção da relação entre indicadores e construtos (Coltman et al., 2008; Franco et al., 2018; Petter et al., 2007; Schmittmann et al., 2013). Nesse sentido, dentro de um enfoque operante das habilidades sociais, no qual um repertório elaborado é visto como a combinação de diferentes comportamentos sociais apresentados na interação com o outro, os resultados do presente estudo parecem sugerir que é possível adotar um modelo compósito para examinar medidas que avaliam tais habilidades. Essa decisão permitiu uma análise dos dados com maior coerência teórica e estatística.

O uso de um modelo compósito impacta não apenas na forma como os dados são analisados, mas também influencia a forma como os resultados são interpretados. Dentro de um modelo compósito, os indicadores funcionam como contribuintes para a variável composta, de tal forma que o construto é formado totalmente por meio de combinações lineares dos indicadores que o compõe (Coltman et al., 2008; Henseler et al., 2016; Petter et al., 2007; Schmittmann et al., 2013). Além disso, esse modelo permite reduzir dados em dimensões que reflitam, de maneira adequada, as características mais relevantes do conceito (Henseler et al., 2016). Assim sendo, os resultados do IHE-PU-Aluno indicam ao professor quais comportamentos (das cinco dimensões que compõem o instrumento) estão bem desenvolvidos e quais precisam ser adquiridos ou aperfeiçoados. Afinal, um repertório elaborado de HSE representa que o professor apresenta os diferentes comportamentos que compõem as classes de habilidades sociais avaliadas (A. Del Prette & Del Prette, 2018).

Ainda em relação ao uso de um modelo compósito, é importante fazer uma consideração sobre os coeficientes de fidedignidade do modelo de medida. Conforme destaca Hair et al.(2020, p. 105, tradução livre):

Os modelos de medida formativa compósitos são combinações lineares de um conjunto de indicadores que formam o construto. Ou seja, os indicadores apontam das variáveis medidas para o construto composto, são considerados causais e não necessariamente covariam. Como resultado, os conceitos subjacentes de consistência interna associados aos modelos de medida reflexiva não podem ser aplicados aos modelos de medida formativos.

Por isso, no presente estudo, não foram calculados coeficientes de consistência interna (por exemplo, alfa de Cronbach). No entanto, conforme sugerem Hair et al. (2011), os dados obtidos por meio do PLS-PM parecem indicar que o modelo apresenta um bom ajuste e, portanto, pode ser considerado fidedigno. Isso também é um indicativo de que o instrumento possui evidência de validade baseada em sua estrutura interna.

O processo de construção e validação de um instrumento envolve um longo percurso (Pasquali, 2010) e, nessa direção, novos estudos podem ser realizados para aumentar as evidências de validade e fidedignidade do IHSE-PU-Aluno. Para ampliar as evidências de validade do instrumento, parece ser interessante analisar a invariância do modelo e levantar evidências de validade baseadas em outras variáveis (American Educational Research Association et al., 2014). Já, para ampliar os indicadores de fidedignidade desse modelo, novos estudos podem examinar se os diferentes domínios que compõem o construto estão contemplados nos itens do instrumento, seja por meio de uma revisão ampla e criteriosa da literatura (Petter et al., 2007) ou pela avaliação dos itens por especialistas/experts (Hair et al., 2011; Petter et al., 2007).

Agradecimentos

Não há menções.

Financiamento

O presente trabalho foi realizado com apoio da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior – Brasil (Capes) – Código de Financiamento 001.

Disponibilidade de dados e materiais

Mediante solicitação.

Referências

American Educational Research Association, American Psychological Association, & National Council on Measurement in Education. (2014). Standards for Educational and Psychological Testing. American Educational Research Association. [ Links ]

Bariani, I. C. D., & Pavani, R. (2008). Sala de aula na universidade: espaço de relações interpessoais e participação acadêmica. Estudos de Psicologia (Campinas), 25(1), 67-75. https://doi.org/10.1590/S0103-166X2008000100007Links ]

Bernaards, C., & Jennrich, R. (2014). GPArotation: GPA Factor Rotation (2014.11-1). http://www.stat.ucla.edu/research/gpaLinks ]

Carvalho, M. A. V. de. (1995). Relação professor-aluno: fatores intervenientes tendo em vista a aprendizagem. Semina: Ciências Sociais e Humanas, 16(3), 57. https://doi.org/10.5433/1679-0383.1995v16n3p57Links ]

Coltman, T., Devinney, T. M., Midgley, D. F., & Venaik, S. (2008). Formative versus reflective measurement models: Tw o applications of formative measurement. Journal of Business Research, 61(12), 1250-1262. https://doi.org/10.1016/j.jbusres.2008.01.013Links ]

Damásio, B. F. (2012). Uso da análise fatorial exploratória em psicologia. Avaliação Psicológica, 11(2), 213-228. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1677-04712012000200007&lng=pt&nrm=isoLinks ]

Dancey, C. P., & Reidy, J. (2013). Estatística sem matemática para psicologia (5a). Penso. [ Links ]

Del Prette, Z. A. P., & Del Prette, A. (2001). Inventário de habilidades sociais (IHS-Del-Prette): manual de aplicação, apuração e interpretação. Casa do Psicólogo. [ Links ]

Del Prette, A., & Del Prette, Z. A. P. (2003). No contexto da travessia para o ambiente de trabalho: treinamento de habilidades sociais com universitários. Estudos de Psicologia (Natal), 8(3), 413-420. https://doi.org/10.1590/S1413-294X2003000300008Links ]

Del Prette, Z. A. P., & Del Prette, A. (2008). Um sistema de categorias de habilidades sociais educativas. Paideia, 18(41), 517-530. http://www.scielo.br/pdf/paideia/v18n41/v18n41a08.pdfLinks ]

Del Prette, Z. A. P., & Del Prette, A. (2009). Avaliação de habilidades sociais: bases conceituais, instrumentos e procedimentos. In Z. A. P. Del Prette & A. Del Prette (Eds.), Psicologia das habilidades sociais: diversidade teórica e suas implicações (pp. 189-231). Vozes. [ Links ]

Del Prette, Z. A. P., & Del Prette, A. (2010). Habilidades sociais e análise do comportamento: Proximidade histórica e atualidades. Revista Perspectivas, 01(02), 104-115. [ Links ]

Del Prette, A., & Del Prette, Z. A. P. (2010). Psicologia das relações interpessoais: vivências para o trabalho em grupo (8a edição). Vozes. [ Links ]

Del Prette, A., & Del Prette, Z. A. P. (2011). Enfoques e modelos de treinamento de habilidades sociais. In A. Del Prette & Z. A. P. Del Prette (Eds.), Habilidades sociais: intervenções efetivas em grupos (pp. 19-56). Casa do Psicólogo. [ Links ]

Del Prette, Z. A. P., & Del Prette, A. (2013). Inventário de habilidades sociais educativas – versão professor universitário (IHSE-PU): Estudos psicométricos em andamento.Links ]

Del Prette, Z. A. P., Dias, T. P., & Del Prette, A. (2017). Classes de habilidades sociais e processos de aprendizagem e ensino. In Z. A. P. Del Prette & A. Del Prette (Eds.), Habilidades sociais e competência social para uma vida melhor (1ª ed., pp. 25-35). EdUFSCar. [ Links ]

Del Prette, A., & Del Prette, Z. A. P. (2017). Competência social e habilidades sociais: manual teórico-prático. Vozes. [ Links ]

Del Prette, A., & Del Prette, Z. A. P. (2018). A relação entre habilidades sociais e análise do comportamento: história e atualidades. In N. Kienen, S. R. de S. A. Gil, J. C. Lusia, & J. Gamba (Eds.), Análise do comportamento: conceitos e aplicações a processos educativos clínicos e organizacionais (pp. 39-53). UEL. Recuperado de http://www.uel.br/pos/pgac/publicacoes/Links ]

Diamantopoulos, A., & Winklhofer, H. M. (2001). Index Construction with Formative Indicators: An Alternative to Scale Development. Journal of Marketing Research, 38(2), 269-277. https://doi.org/10.1509/jmkr.38.2.269.18845Links ]

Field, A. (2009). Descobrindo a estatística usando o SPSS (2a). Artmed. [ Links ]

Franco, V. R., Valentini, F., & Iglesias, F. (2018). Introdução à análise fatorial confirmatória. In B. F. Damásio & J. C. Borsa (Eds.), Manual de desenvolvimento de instrumentos psicológicos (1ª ed., pp. 295-322). Vetor. [ Links ]

Golino, H. F. (2016). Package “EGA”: version 0.4. github.com/hfgolino/EGA [ Links ]

Golino, H. F. (2018). Verificando o número de dimensões por meio do exploratory graph analysis. In B. F. Damásio & J. C. Borsa (Eds.), Manual de desenvolvimento de instrumentos psicológicos (1ª ed., pp. 267–293). Vetor. [ Links ]

Golino, H. F., & Epskamp, S. (2017). Exploratory graph analysis: A new approach for estimating the number of dimensions in psychological research. PLOS ONE, 12(6), e0174035. https://doi.org/10.1371/journal.pone.0174035Links ]

Grace, J. B., & Bollen, K. A. (2008). Representing general theoretical concepts in structural equation models: the role of composite variables. Environmental and Ecological Statistics, 15(2), 191-213. https://doi.org/10.1007/s10651-007-0047-7Links ]

Hagenauer, G., & Volet, S. E. (2014). Teacher–student relationship at university: an important yet under-researched field. Oxford Review of Education, 40(3), 370-388. https://doi.org/10.1080/03054985.2014.921613Links ]

Hair, Joe F., Howard, M. C., & Nitzl, C. (2020). Assessing measurement model quality in PLS-SEM using confirmatory composite analysis. Journal of Business Research, 109(December 2019), 101-110. https://doi.org/10.1016/j.jbusres.2019.11.069Links ]

Hair, Joe F., Ringle, C. M., & Sarstedt, M. (2011). PLS-SEM: Indeed a Silver Bullet. Journal of Marketing Theory and Practice, 19(2), 139-152. https://doi.org/10.2753/MTP1069-6679190202Links ]

Hair, Joseph. F., Black, W. C., Babin, B. J., & Anderson, R. E. (2010). Multivariate Data Analysis (7th ed.). Pearson Education. [ Links ]

Henseler, J., Ringle, C. M., & Sarstedt, M. (2016). Testing measurement invariance of composites using partial least squares. International Marketing Review, 33(3), 405-431. https://doi.org/10.1108/IMR-09-2014-0304Links ]

Li, C. (2013). Little’s Test of Missing Completely at Random. The Stata Journal: Promoting Communications on Statistics and Stata, 13(4), 795-809. https://doi.org/10.1177/1536867X1301300407Links ]

Lloret-Segura, S., Ferreres-Traver, A., Hernández-Baeza, A., & Tomás-Marco, I. (2014). El análisis factorial exploratorio de los ítems: una guía práctica, revisada y actualizada. Anales de Psicología, 30(3), 1151-1169. https://doi.org/10.6018/analesps.30.3.199361Links ]

Mair, P. (2018). Modern Psychometrics with R. Springer.https://doi.org/https://doi.org/10.1007/978-3-319-93177-7Links ]

Mair, P., & Leeuw, J. (2017). Gifi: Multivariate analysis with optimal scaling (R package version 0.3-8). https://r-forge.r-project.org/projects/psychor/Links ]

Marôco, J. (2007). A análise estatística: com utilização do SPSS (3a). Edições Síbalo. [ Links ]

Marôco, J. (2014). Análise de equações estruturais: fundamentos teóricos, software e aplicações (2a ed.). ReportNumber. [ Links ]

Masetto, M. T. (2003). Competência pedagógica do professor universitário. Summus. [ Links ]

Mayhew, M. J., Rockenbach, A. N., Bowman, N. A., Seifert, T. A., Wolniak, G. C., Pascarella, E. T., & Terenzini, P. T. (2016). How college affects students: 21st century evidence that higher education works (Vol. 3). Jossey-Bass. [ Links ]

Oliveira, C. T. de, Wiles, J. M., Fiorin, P. C., & Dias, A. C. G. (2014). Percepções de estudantes universitários sobre a relação professor-aluno. Psicologia Escolar e Educacional, 18(2), 239-246. https://doi.org/10.1590/2175-3539/2014/0182739Links ]

Pascarella, E. T., & Terenzini, P. T. (2005). How college affects students: a third decade of research (2nd ed.). Jossey-Bass. [ Links ]

Pasquali, L. (2010). Testes referentes a construto: teoria e modelo de construção. In L. Pasquali (Ed.), Instrumentação psicológica: fundamentos e prática (1ª ed., pp. 165-198). Artmed. [ Links ]

Petter, S., Straub, D., & Rai, A. (2007). Specifyng formative constructs in information systems research. MIS Quarterly, 31(4), 623-656. https://doi.org/10.2307/25148814Links ]

R Development Core Team. (2017). R: A language and environment for statistical computing. R Foundation for Statistical Computing (3.4). https://www.r-project.org/Links ]

Revelle, W. (2017). psych: Procedures for Psychological, Psychometric, and Personality Research (R package version 1.7.8). http://cran.r-project.org/package=psychLinks ]

Sanchez, G. (2013). PLS Path Modeling with R. Trowchez Editions. Recuperado de http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdfLinks ]

Sanchez, G., Trinchera, L., & Russolillo, G. (2015). Tools for Partial Least Squares Path Modeling (PLS-PM) (Version: 0.4.9). Recuperado de https://github.com/gastonstat/plspmLinks ]

Schmittmann, V. D., Cramer, A. O. J., Waldorp, L. J., Epskamp, S., Kievit, R. A., & Borsboom, D. (2013). Deconstructing the construct: A network perspective on psychological phenomena. New Ideas in Psychology, 31(1), 43-53. https://doi.org/10.1016/j.newideapsych.2011.02.007Links ]

Skinner, B. F. (1998). Ciência e comportamento humano (10a). Martins Fontes. [ Links ]

Skinner, B. F. (2007). Seleção por consequências. Revista Brasileira de Terapia Comportamental e Cognitiva, IX(1), 129-137. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1517-55452007000100010&lng=pt&nrm=isoLinks ]

Tinto, V. (1997). Classrooms as communities: exploring the educational character of student persistence. Journal of Higher Education, 68(6), 599-623. http://www.jstor.org/stable/2959965Links ]

Todorov, J. C. (2012). Sobre uma definição de comportamento. Perspectivas Em Análise Do Comportamento, 3(1), 32-37. https://doi.org/10.18761/perspectivas.v3i1.79Links ]

Van Der Heijden, P. G. M., & Van Buuren, S. (2016). Looking back at the Gifi System of nonlinear multivariate analysis. Journal of Statistical Software, 73(4), 91-100. https://doi.org/10.18637/jss.v073.i04Links ]

Vieira-Santos, J., Del Prette, A., & Del Prette, Z. A. P. (2018a). Inventário de Habilidades Sociais Educativas do Professor Universitário – versão aluno (IHSE-PU-Aluno): dados preliminares. Avaliação Psicológica, 17(2), 260-270. https://doi.org/10.15689/ap.2018.1702.14611.12Links ]

Vieira-Santos, J., Del Prette, A., & Del Prette, Z. A. P. (2018b). Habilidades sociais de docentes universitários: uma revisão sistemática da literatura. Acta Scientiarum. Education, 40(3), 35253. https://doi.org/10.4025/actascieduc.v40i3.35253Links ]

Vieira-Santos, J., & Henklain, M. H. O. (2017). Contingências sociais que dificultam o engajamento do professor universitário em relações de qualidade com seus alunos. Revista Perspectivas, 08(02), 200-214. https://doi.org/10.18761/PAC.2016.032bLinks ]

Vieira-Santos, J., Pereira Del Prette, Z. A., & Del Prette, A. (2017). Habilidades sociais educativas: revisão da produção brasileira. Avances En Psicología Latinoamericana, 36(1), 45. https://doi.org/10.12804/revistas.urosario.edu.co/apl/a.5069Links ]

Wetzels, M., Odekerken-Schröder, G., & Oppen, C. Van. (2009). Using PLS path modeling for assessing hierarchical construct models: guidelines and empirical illustration. MIS Quarterly, 33(1), 177-195. https://doi.org/10.2307/20650284Links ]

Zani, A. V., & Nogueira, M. S. (2006). Incidentes críticos do processo de ensino-aprendizagem do curso de graduação em enfermagem, segundo a percepção de alunos e docentes. Revista Latino-Americana de Enfermagem, 14(5), 742-748. http://www.eerp.usp.br/rlae%0AOnlineLinks ]

Recebido: 01 de Dezembro de 2019; Aceito: 01 de Junho de 2023

1 Endereço para correspondência: Centro Universitário Adventista de São Paulo. Estrada Municipal Pastor Walter Boger, S/N, Lagoa Bonita, 13448-900, Engenheiro Coelho, S P. Tel.: 0800 948 0048. E-mail:joenesantos@yahoo.com.br

Confitos de interesses

Os autores declaram que não há conflitos de interesses.

Creative Commons License Este é um artigo publicado em acesso aberto (Open Access) sob a licença Creative Commons Attribution NonCommercial, que permite uso, distribuição e reprodução em qualquer meio, sem restrições desde que sem fins comerciais e que o trabalho original seja corretamente citado.