ARTÍCULOS

 

"Las percepciones en la identificación de competencias para la educación superior"

 

"Perceptions in the identification of skills for higher education"

 

 

Oscar Serafini¹

CDID "Centro de Documentación. Investigación y Difusión de la Carrera de Psicología" Universidad Católica "Ntra. Sra. De la Asunción"²

 

 

---

RESUMEN

Uno de los procedimientos para la identificación de las competencias profesionales en Educación Superior ha sido la consulta a los actores involucrados. El objetivo del presente estudio es estimar la "fiabilidad" de las percepciones mediante la verificación del grado de acuerdo entre respondentes considerados individual y colectivamente como estamentos académicos.

Un cuestionario sobre competencias, aplicado a cuatro estamentos de la carrera de Ingeniería civil de la Universidad Católica de Asunción, produjo los datos de base. Para el propósito mencionado, se emplearon técnicas multivariadas como el Análisis Factorial, el Escalamiento Multidimensional y el Análisis de Perfiles.

Los resultados del estudio sugieren una fiabilidad aceptable de las percepciones colectivas e individuales. Desde la perspectiva metodológica la información obtenida resulta plausible y útil para la toma de decisiones académicas.

Palabras clave: Competencias, Competencias profesionales, Percepciones académicas.

---

ABSTRACT

One of the procedures for the identification of skills in higher education has been the consultation of stakeholders. The aim of this study was to estimate the "reliability" of perceptions by checking the degree of agreement among respondents considered individually and collectively as academic category.

A questionnaire on skills, applied to four levels of the civil engineering career at the Catholic University of Asuncion, produced the data base. For the purpose mentioned, we used multivariate techniques such as factor analysis, multidimensional scaling and Profile Analysis.

The results suggest an acceptable reliability of individual and collective perceptions. From the methodological perspective the information obtained is credible and useful for making academic decisions.

Key words: Competencies, professional competencies, academic perceptions.

---

 

 

Estado del Conocimiento

La investigación sobre competencias profesionales ha despertado creciente interés en el ámbito de la Educación Superior. Un ejemplo es el Proyecto Tuning que integra varias Universidades europeas y latinoamericanas, uno de cuyos propósitos es el de formular perfiles académicos comunes. (González y Wagenaar, 2006)

Se han empleado diferentes aproximaciones metodológicas en las investigaciones sobre competencias. Una de ellas ha sido la consulta a los actores o estamentos académicos, mediante instrumentos valorativos sobre la pertinencia, importancia, desarrollo, etc. de capacidades específicas. Se espera, obviamente, que los resultados sean útiles para la toma de decisiones en las áreas de interés. Esto supone que la información obtenida sea "fiable"; es decir, internamente consistente, libre de percepciones sesgadas colectivas o individuales. Más adelante se proponen nociones operacionales de fiabilidad.

En este contexto, el presente artículo explora la utilidad de algunos procedimientos multivariados a los efectos de evaluar la fiabilidad de la información en términos de acuerdos o coincidencias entre respondentes, considerados individual y colectivamente.

Los datos de base resultaron de la aplicación del Cuestionario "TUNING COMPETENCIAS ESPECÍFICAS EN INGENIERÍA CIVIL" elaborado en el marco del Proyecto Tuning- América Latina descrito en la referencia mencionada. Se aplicó a estamentos de la carrera de Ingeniería Civil de una Universidad Privada de Asunción. El cuestionario recogía las percepciones de estudiantes, académicos (docentes y administradores), graduados y empleadores sobre la importancia y desarrollo de 19 competencias propuestas. (Véase la Tabla Nº 1)

Los tópicos tratados fueron los siguientes:

- Coincidencia entre estamentos en sus estimaciones sobre importancia y desarrollo de las competencias.

- Acuerdo entre respondentes individuales sobre importancia de las competencias.

- Comportamiento del instrumento en términos de consistencia interna.

En cada caso, se formula una pregunta pertinente y se describe sucintamente el procedimiento utilizado para responderla.

 

Resultados

1. Coincidencia de las respuestas entre estamentos

• ¿En qué medida los estamentos coinciden en sus estimaciones sobre la importancia de competencias específicas para el ejercicio de la Ingeniería Civil?

Considérense los datos de la Tabla Nº 1. En la misma aparecen los promedios de los puntajes atribuidos a cada competencia, según una escala de cuatro categorías, cuya amplitud varía de 1 (poco importante) a 4 (muy importante).

 

 

Para responder a la pregunta, se calcularon los coeficientes (r) de Pearson entre las columnas de la tabla, generándose la siguiente matriz de intercorrelaciones:

 

 

La matriz muestra que los valores de los coeficientes van de moderados a altos (r = 0.48 a r = 0.84). En este sentido, puede inferirse que los diferentes estamentos tienden a asignar un orden de importancia similar a las competencias identificadas.

Sin embargo, no todos los estamentos muestran el mismo grado de acuerdo. Así, por ejemplo, entre empleadores y académicos la coincidencia es mayor (r=0.84) que entre estudiantes y egresados (r=0.53).

En esta línea, podría hablarse de distancia (o proximidad) entre estamentos, en términos de la similitud de sus percepciones.

2. Distancias entre estamentos

Con el objeto de facilitar una captación global de las distancias en el sentido mencionado, se presenta el Gráfico Nº 1. En el mismo, los estamentos están representados por puntos en un espacio de dos dimensiones. Para establecer la posición de los puntos se apeló al Análisis Factorial (componentes principales) de la Matriz de la Tabla Nº 2.

Como se sabe, el Análisis Factorial es un grupo de técnicas multivariadas cuyo propósito es identificar la estructura subyacente a matrices de covariación. Los componentes de la estructura suelen denominarse "factores". Así, es posible describir o explicar los datos de dichas matrices mediante un número menor de dimensiones que el de las variables definidas originalmente. En este caso se utilizó el Análisis Factorial tipo Q, como lo describe Comrey (1985).

El análisis ha identificado dos factores en la matriz de la Tabla Nº 2. Los coeficientes factoriales de cada estamento en dichos factores, han permitido situar los puntos correspondientes en el espacio, en la línea del Escalamiento Multidimensional Métrico.

 

 

Una observación de interés para la carrera, muestra que los puntos que representan a los estamentos de empleadores, estudiantes y académicos están próximos entre sí y distantes del de egresados.

Los tres primeros formarían así un aglomerado con estimaciones similares sobre la importancia de las competencias.

Si esta estructura es confirmada por replicaciones del estudio en otros contextos, podrían hacerse inferencias plausibles al respecto de las percepciones globales de los estamentos, que serían útiles para decisiones sobre, perfiles de salida, planes de estudio, sistemas de promoción, comunicación entre estamentos, etc.

¿Cuál es el grado de coincidencia de los estamentos respecto al nivel de desarrollo de las competencias durante el transcurso de la carrera?

Para responderla, se emplearon los procedimientos descritos en el apartado anterior, partiendo de los datos de la tabla Nº 2.

 

 

Se calcularon los coeficientes de correlación de Pearson que se muestran en la tabla Nº 3.

 

 

Como se observa, todos los coeficientes son altos, según los rangos interpretativos usuales. Esto permite inferir que los diferentes estamentos coinciden, prácticamente, en el nivel de desarrollo adjudicado a las competencias durante el ciclo de formación profesional.

3. Similitud entre Perfiles de Estimación de las competencias

Otra forma de explorar el acuerdo entre estamentos es la de indagar la similitud entre "perfiles" de estimación de cada uno respecto al mismo conjunto de competencias. Se entiende por perfil, el resultado de la descripción real o ideal de un ente determinado (sujeto, proyecto institución) en términos de varias dimensiones relacionadas, funcional o teóricamente, y consideradas simultáneamente.

Existen varios tipos de perfiles que pueden clasificarse según diferentes criterios:

- Según su lenguaje de presentación, los perfiles pueden ser cualitativos o cuantitativos. Los segundos se formulan en forma gráfica o numérica.

- Por su componente valorativo, se distinguen los perfiles obtenidos (reales) de los normativos (ideales o padrones). Por ejemplo, ciertas competencias relevantes para una profesión suelen constituir su perfil ideal o normativo.

- Según el número de casos incluidos, los perfiles pueden corresponder a individuos o a colectivos sociales.

- Por su referencia temporal, puede hablarse de perfiles sincrónicos o diacrónicos.

En el presente trabajo se estudiaron perfiles cuantitativos, normativos, colectivos y sincrónicos.

3.1. Análisis de perfiles

El Análisis de Perfiles (AP) es un procedimiento multivariado simple que puede proveer información útil sobre las distancias entre perfiles, sus niveles (en el marco de una determinada escala), la dispersión de sus valores, las semejanzas o diferencias en su configuración, etc. Nunnally y Berstein (1995).

En este apartado, se analizará la similaridad configuracional entre perfiles. La misma, puede definirse como el grado de correspondencia entre los valores (altos y bajos) de las dimensiones comunes de dos o más perfiles cuantitativos. Nótese que, cuando se representan gráficamente y la similaridad es total, los segmentos correspondientes son paralelos. El siguiente gráfico muestra las variaciones de los niveles de importancia atribuidas a cuatro competencias según cada estamento.

 

 

Códigos de Competencias

4 Concebir, analizar, proyectar y diseñar obras de ingeniería civil.

5 Planificar y programar obras y servicios de ingeniería civil.

9 Modelar y simular sistemas y procesos de ingeniería civil.

13 Abstracción espacial y representación gráfica.

Puede observarse una clara similaridad configuracional de los perfiles, efecto de la coincidencia de las estimaciones. Por ejemplo, la competencia "Concebir, analizar, proyectar y diseñar obras de ingeniería civil" ha sido percibida como relevante por todos los estamentos.

Este grupo de competencias fue escogido por su carácter ilustrativo, pero, obviamente, cualquier otro puede someterse al AP.

El grado de similitud entre perfiles se cuantifica mediante el Coeficiente de Similaridad Configuracional (ES2). (Serafini, 1988). El ES2 varía de 0 (máxima disimilaridad) a 1 (similaridad total). La interpretación de los valores intermedios puede hacerse según el siguiente cuadro.

Considérese la siguiente matriz de Coeficientes ES2, correspondientes a los perfiles presentados en el Gráfico Nº 2.

 

 

 

Como era de esperar todos los coeficientes son altos, según los cortes interpretativos del cuadro Nº 1.

Como síntesis del presente apartado, puede inferirse que el A.P. ha contribuido con evidencias adicionales sobre las coincidencias entre estamentos respecto al atributo en estudio.

4. Acuerdo entre respondentes individuales sobre importancia de las competencias.

• ¿En qué medida los respondentes, considerados individualmente, están de acuerdo sobre la importancia de las competencias propuestas para el ejercicio de la Ingeniería Civil?

Sin duda, la misma relevancia de la coincidencia entre colectivos (estamentos) respecto a la fiabilidad de la información, puede atribuirse al acuerdo entre individuos.

Un indicador frecuentemente usado para estimar la variación (diversidad) de las percepciones estimadas, según alguna escala numérica, es la Desviación Típica. Sin embargo, resulta difícil interpretar sus resultados, si no se dispone de valores de referencia.

Como alternativa, se propone el Coeficiente de Acuerdo (A). El mismo se basa en la relación entre la coincidencia de las respuestas a un instrumento y su distribución en un conjunto de categorías de un sistema clasificatorio o escala. Así, cuando el acuerdo es completo, las respuestas se concentran en una sola categoría; cuando el desacuerdo es total, todas presentan la misma frecuencia.

El Coeficiente de Acuerdo (A), resulta de una adaptación simple del Coeficiente de Entropía Relativa (R) propuesto por Scott y Wertheimer (1964)1:

A = 1 - R Donde:

R se define operacionalmente como:

R = H_{x / Hmax k}
H_x = Σ(p_i.log₂ 1/p_i) i
H_max = log₂k

Donde

p_i: frecuencia relativa en cada categoría de la escala

k: número de categorías de la escala

Los valores de (R) están inversamente relacionados con la predictibilidad de un evento o fenómeno, en relación con un conjunto de resultados posibles. En este sentido, los valores bajos de (R) implican la reducción del nivel de incertidumbre sobre la decisión clasificatoria, de la misma forma en la que se interpretan los valores altos de (A).

Amplitud del Coeficiente de Acuerdo (A)

Los valores de (A) varían de 0 (máximo desacuerdo) a 1 (acuerdo total) de las respuestas de un grupo de sujetos respecto a algún atributo o variable de interés. Los padrones interpretativos para valores intermedios son los siguientes:

 

 

 

Un ejemplo comunica mejor las nociones descritas. El gráfico Nº 3 muestra la frecuencia de las respuestas individuales referidas a la importancia de la competencia Nº 4 "Concebir, analizar, proyectar y diseñar obras de ingeniería civil".

Categorías de la escala

1 Nada

2 Poco

3 Suficiente

4 Mucho

Nótese la concentración de respuestas en la categoría Nº 4, producto del acuerdo de las percepciones individuales. Esto se expresa adecuadamente en el valor obtenido de A = 0.70.

Como contraste, el Grafico Nº 4 muestra la distribución de las percepciones sobre nivel de desarrollo de la competencia Nº 9.

 

 

Coeficiente de acuerdo (A) sobre las percepciones individuales respecto a nivel del desarrollo de la competencia Nº 9= 0.34 (Moderado).

 

 

El valor de A para la competencia No. 9 es claramente menor que el calculado para el caso de la competencia No. 4, lo que es coherente con la diferencia en la concentración de las respuestas respectivas.

Al parecer, los ejemplos descritos muestran la utilidad de (A) como indicador del acuerdo entre respondentes individuales. Como se calcula para cada ítem (competencia) se requiere la consideración simultánea de un conjunto de valores para una inferencia apropiada sobre el acuerdo global. La mediana y los cuartiles de A pueden servir como una aproximación práctica. Para el caso de la importancia de las competencias en estudio (ver Tabla 1) se tiene:

Mdn (A) = 0.48
Q₃ (A) = 0.56
Q₁ (A) = 0.40

Según la interpretación sugerida en el Cuadro No. 2, el nivel de acuerdo entre individuos se halla dentro de límites aceptables, ya que el valor mínimo puede interpretarse como "moderado" según dichos criterios.

4. Comportamiento del instrumento en términos de consistencia interna

• ¿Cuál es el grado de fiabilidad (consistencia interna) del instrumento utilizado para el presente estudio?

El cuestionario "Tuning – Competencias específicas de Ingeniería Civil", incluye dos componentes de 19 ítems cada uno. El primer componente indaga sobre "importancia que tiene la competencia o habilidad para el ejercicio de la profesión"; el segundo sobre "el nivel en que la habilidad o competencia se ha desarrollado en la Universidad".

La fiabilidad instrumental puede estimarse mediante varios procedimientos. Uno de ellos es el cálculo del coeficiente THETA (θ) descrito por Carmines y Zeller (1983), en el marco del Análisis Factorial.

El coeficiente se basa en la relación entre el número de ítems y la raíz latente (autovalor) correspondiente al primer factor extraído en el análisis.

En el presente caso, los valores hallados fueron:

Para el primer componente: θ = 0.85

Para el segundo componente: θ = 0.90

Se acepta, generalmente, que valores de θ mayores que 0.80 indican una fiabilidad adecuada para este tipo de instrumentos.

 

Discusión

Como se dijo, el propósito del presente estudio era estimar la credibilidad de la información obtenida sobre competencias profesionales, a partir de las percepciones de los actores involucrados.

Operacionalmente, se la ha definido como el grado de coincidencia entre colectivos (estamentos), es decir, el acuerdo entre sujetos individuales sobre atributos específicos de las competencias y la confiabilidad del instrumento.

Se ha apelado, principalmente, a procedimientos multivariados para generar los indicadores cuantitativos pertinentes. Así, a partir de una presentación matricial de los datos, se emplearon el Análisis Factorial y el Análisis de Perfiles. Para el caso del acuerdo entre individuos, se utilizó el Coeficiente de Acuerdo (A), sugiriendo cortes interpretativos para estimar el grado de plausibilidad de las inferencias a partir de los valores de A.

Los hallazgos muestran que, según los indicadores considerados, la consistencia interna de la información obtenida en la consulta a los actores académicos, es aceptable, con algunas reservas señaladas en los apartados correspondientes.

Desde la perspectiva metodológica, el análisis de las matrices de proximidad calculadas en respuestas a las preguntas, puede resultar útil como insumo para decisiones académicas en el área de perfiles profesionales.

 

Referencias

Carmines, E. y Zeller, R. (1983). Reliability and Validity Assesment. Beverly Hills: SAGE Publications        [ Links ]

Comrey, A. (1985). Manual de Análisis Factorial. Madrid: Catédra.         [ Links ]

González, J. y Wagenaar, R., eds. (2006). Tuning Educational Structures in Europe II. Universidad de Deusto-Universidad de Groningen, Bruselas.         [ Links ]

Nunnally, J. C. y Bernstein, I. J. (1995). Teoría Psicométrica. Mc Graw-Hill Inc., México.         [ Links ]

Scott, W. y Wertheimer, M. (1964). Introduction to Psychological Research. John Wiley & Sons, Inc. New York.         [ Links ]

Serafini, O. (1991). Los perfiles profesionales estructurados. Revista Portuguesa de Educaçao. 4 (1), pp. 25-36 I.E. – Universidade do Minho.

Serafini, O. (1988). Análisis de Perfiles en Ciencias de la Educación: Coeficientes ES1 y ES2 de similaridad configuracional entre perfiles cuantitativos. Revista Paraguaya de Sociología. Año 25, Nº. 72, pp. 193-200.         [ Links ]

 

Recibido: Octubre de 2011
Aceptado: Noviembre de 2011

 

 

¹ Correspondencia remitir a: oserafini@rieder.net.py, Oscar Serafini. FFCH-Universidad Católica de Asunción-Paraguay.
² Correspondencia puede ser remitida revistacientificaeureka@gmail.com, norma@tigo.com.py"Centro de Documentación Investigación y Difusión de la Carrera de Psicología", Universidad Católica de Asunción-Paraguay.