Las pruebas en línea: una experiencia puertorriqueña¹

 

 

Gabriel Cirino Gerena

Test Innovations

 

 

---

RESUMEN

Muchas de las organizaciones editoras de pruebas y organismos acreditativos de profesiones están administrando pruebas y exámenes de reválida a través del Internet. La mayoría de ellos ha contratado a las mismas empresas internacionales para que provean la infraestructura necesaria. Estas empresas cobran por el montaje de las pruebas y por cada administración, lo que aumenta significativamente el costo de administrar pruebas. Por tal razón, decidimos explorar la posibilidad de desarrollar nuestra propia infraestructura para ofrecer pruebas en línea utilizando el talento local. Afortunadamente, un equipo de programadores y psicólogos industriales logró realizar el proyecto. Este artículo discute algunas de las ventajas y desventajas de este tipo de administración de pruebas, reseña el sistema desarrollado y presenta algunos de los retos que hemos enfrentado.

Palabras clave: Pruebas en línea, Reválidas y certificación, Juntas examinadoras.

---

ABSTRACT

Many testing and credentialing organizations are using the Internet to administer tests and credentialing and certification exams. Most of them have contracted the same international firms to provide the testing infrastructure. These firms bilí separately for assembling each test and for each test administration, which increases considerably the cost of testing. For this reason we decided to explore the possibility of developing our own testing infrastructure and turn to local talent for that purpose. Luckily, a team of computer programmers and industrial psychologists were able to complete the project. This article discusses some of the advantages and disadvantages of this type of testing, reports on the system we were able to develop, and presents some of the challenges we have faced.

Keywords: Internet testing, Certification and credentialing, Examination boards.

---

 

 

El uso de las pruebas en línea es cada vez más común. Muchas de las pruebas que se utilizan como parte de la evaluación psicológica incluyen una versión que se ofrece a través del internet. Ejemplo de éstas son el Minnesota Multiphasic Personality Inventory (MMPI), el California Personality Inventory (CPI) y el Sixteen Personality Factors (16PF). Igualmente se están ofreciendo pruebas en línea para evaluar el aprovechamiento escolar, para certificar profesionales luego de un adiestramiento, particularmente en el campo de la programación de computadoras. Varios de los exámenes para obtener licencias o certificaciones de juntas examinadoras de los Estados Unidos se ofrecen en Puerto Rico a través del internet como son los de enfermería, contaduría pública autorizada, ingeniería, arquitectura, terapia ocupacional y otros. Se espera que dentro de unos años la mayoría de los exámenes de reválida en los Estados Unidos y Puerto Rico se ofrezcan por este medio. Por otro lado, abundan pruebas específicas de selección de personal y de auto-ayuda, algunas de las cuales no han sido desarrolladas con el rigor científico necesario.

El ofrecer las pruebas en línea tiene ventajas y desventajas. Por muchos años las empresas han tenido disponibles pruebas de aptitud, de aprovechamiento y otras para su uso en la selección de personal. Estas pruebas de papel y lápiz se han utilizado por años aunque estén disponibles versiones con normas actualizadas. Las pruebas en línea permiten que estas empresas cuenten con pruebas actualizadas y aumenta significativamente la seguridad de las mismas. Otra ventaja es que una empresa puede ofrecer sus pruebas de selección de personal o de certificación en cualquier parte del mundo y obtener los resultados en segundos. También, el uso de computadoras permite utilizar recursos que no están disponibles en pruebas de papel como es el presentar una escena filmada, una grabación o una figura que rota sobre su eje, antes de formular una serie de preguntas.

Otra ventaja es que se ha ampliado el acceso de los padres y estudiantes a pruebas de orientación vocacional y de aprovechamiento escolar, que antes se ofrecían solamente a través del sistema escolar público u otras instituciones educativas. También ha ampliado el acceso a personas que interesan realizar cambios de trabajo o carrera. Por lo general, estas pruebas presentan los resultados junto a un informe explicativo que puede ser compartido con los profesionales. Este tipo de pruebas dirigida mayormente al propio cliente, se popularizó hace algunos años en los Estados Unidos con el uso de La Búsqueda Auto-dirigida (Self-Directed Search) de John Holland (1971) lo cual sentó las bases para que surgieran otros similares. En Puerto Rico se viene utilizando el Sistema Cirino para la Planificación de Carreras desde el 1985 en versión manual primeramente, y luego en versión computadorizada.

Las pruebas en línea proveen para un proceso de examen más eficiente. Por ejemplo, con los exámenes en papel y lápiz suelen ocurrir equivocaciones al marcar una respuesta en la hoja de contestaciones, cuando la intención era marcar otra. Este error se elimina con el uso de la computadora porque se marca al lado de la respuesta que se lee y no en un documento separado. Similarmente, se elimina el error que ocurre, a veces, al dejar preguntas en blanco. Luego del blanco pueden ocurrir equivocaciones que resulten en que se marque fuera de lugar todas las respuestas restantes. También, se elimina el error producido por no borrar completamente una respuesta o por no ennegrecer completamente la burbuja correspondiente a la respuesta. Por último, hemos encontrado que el examen en línea toma menos tiempo que en papel, probablemente porque el responder con un clic al lado de la alternativa, es mucho más rápido que localizar y rellenar burbujas en la hoja de contestaciones.

Desafortunadamente hay también desventajas. Por falta de acceso al internet muchas personas tienen que acudir a bibliotecas, escuelas, centros municipales y otros lugares a tomar las pruebas. También hay personas que se sienten intimidadas por las computadoras. Nuestra experiencia es que en estos casos, la mayoría de las personas tiene experiencia con artefactos caseros como celulares, hornos de micro-honda, teléfono digital y otros, que son transferibles a la situación de tomar una prueba. Para tomar la prueba por internet necesita solamen­te utilizar el mouse para seleccionar las alternativas de información y de respuestas. En nuestro caso, les facilitamos que tomen una prueba de práctica, de manera que se familiaricen con el proceso antes de su cita de examen. Por último, cuando las pruebas incluyen muchas preguntas basadas en escenas filmadas, grabaciones o dibujos con movimiento, su costo puede resultar alto.

Algunas Consideraciones Psicométricas

Hay una serie de aspectos que una empresa u organización evaluadora que desee crear su propio sistema para administrar sus pruebas en línea debe considerar antes de tomar una decisión final. La primera de ellas es el modelo de administración de pruebas que utilizará. El modelo convencional consiste en transferir a la computadora las pruebas en papel. Las ventajas de este modelo es que el cambio es mínimo, siendo la principal diferencia el medio por el cual se presenta el examen. También, en que el modelo se puede utilizar para pruebas donde no se puede generar un banco de preguntas amplio, como es el caso de las pruebas de personalidad y los cuestionarios.

El modelo adaptativo, consiste en computadorizar un banco de preguntas calibradas previamente utilizando la Teoría de Respuesta al ítem y utilizar una programación que permita que la computadora diseñe una prueba a la medida de cada aspirante. En primer lugar el banco de preguntas debe ser amplio (600-1,000) preguntas y debe incluir suficientes preguntas en cada nivel de habilidad para que sea efectivo. Cuando el aspirante responde a las primeras preguntas que se le presentan, la computadora estima su nivel de habilidad y el error de medición correspondiente. El calcular un error de medición para cada nivel de habilidad es, según Embretson y Hershberger (1999), una de las "nuevas reglas de medición", ya que la regla clásica es que se sume un mismo error de medición para todo la prueba. A base de estos datos y los criterios adoptados para esta situación, la computadora selecciona una pregunta cercana a su nivel de dificultad para presentarla. Este proceso continúa hasta que se logra un nivel de error de medición aceptable o el aspirante responde al máximo de preguntas establecido. En este modelo no todos los aspirantes responden al mismo número de preguntas ni a las mismas preguntas.

Entre las ventajas del modelo adaptativo está el que usualmente requiere menos preguntas que el modelo convencional para evaluar a un aspirante en particular y se obtiene un error de medición menor. Esto es, con menos preguntas la prueba es más confiable y se evalúan los candidatos con mayor precisión (otra de las nuevas reglas de medición). Otra de las ventajas es que las puntuaciones representan más fielmente una escala de intervalos que las puntuaciones normalizadas de las pruebas convencionales. Finalmente, la escala de intervalos es independiente del grupo de normalización (se obtiene la misma escala con cualquier grupo, aunque éste no sea representativo de la población), por lo que se mantiene estable a través del tiempo (otra de las nuevas reglas de medición).

Entre las desventajas están el que la programación es mucho más complicada, por lo tanto más costosa. También, la necesidad de un banco de preguntas muy amplio que también aumenta el costo significativamente. En el caso de los exámenes de reválida, considero que es una desventaja que no todos los aspirantes respondan al mismo número de preguntas. Tomemos el caso de un aspirante que fracasa el examen luego de responder a 30 preguntas y observa que otro lo aprueba luego de responder a 60 preguntas. Resulta muy difícil convencer al primer aspirante de que el resultado sería el mismo si hubiera respondido a 60 preguntas. Otra desventaja es que, como en este modelo se considera que todas las preguntas miden una misma dimensión, puede que un aspirante responda a más preguntas de un tipo (estadísticas, por ejemplo) y otro responda a más preguntas de otro tipo (personalidad). Algunos programas, sin embargo, toman esto en cuenta y balancean los tipos de preguntas que recibe cada candidato.

Otras consideraciones para ofrecer pruebas en línea es que además de la programación para presentar las pruebas por internet, se necesita programación para corregirlas, convertir las puntuaciones a escala y preparar informes individuales (usualmente con una explicación de resultados) e informes grupales. También se requiere un portal donde se pueda presentar un catálogo con las pruebas disponibles, incluya un "carrito de compras" y una conexión con una empresa bancaria para cobrar por internet. Hay también consideraciones técnicas y de seguridad y consideraciones de facilidad de uso. Entre estas últimas se incluye cómo orientar o adiestrar al usuario/a en el acceso y uso de las pruebas. Debe tenerse en mente que el usuario/a puede estar localizado en Argentina o España. La experiencia nos ha enseñado que los procedimientos que nosotros encontramos que son evidentes y simples, no siempre lo son para los usuarios/as, aunque éstos/as sean profesionales.

Nuestra Experiencia

Todos los sistemas necesitan que el usuario/a se registre antes de realizar una transacción. Nuestro portal tiene una página de registro para nuevos usuarios/as y de acceso a usuarios/as ya registrados como se ilustra a continuación.

Cuando la persona completa el registro, el programa le crea una Página Administrativa del Usuario/a (PAU). En esta página es que recibe los códigos de las pruebas y obtiene los resultados individuales y grupales, entre otras cosas. Adelante se ilustra la PAU de Test Innovations que creamos como si fuéramos un usuario/a.

 

 

Cuando el usuario/a adquiere administraciones de pruebas recibe un código de la prueba para cada administración. Este código lo puede utilizar en cualquier computadora con acceso al internet. En el caso de las pruebas vocacionales, como el Sistema Cirino de Planificación de Carreras o el Inventario de Valores Ocupacionales, se le puede entregar el código a cada estudiante para que tome la prueba a su mejor conveniencia. Las pruebas disponibles se presentan de la siguiente manera:

 

 

Tan pronto la persona completa la prueba, los resultados aparecen de inmediato en la Página Administrativa del Usuario/a. Se listan los nombres de las personas examinadas, la fecha y las puntuaciones por cada parte de la prueba. Al hacer clic sobre un nombre aparece el informe individual. Se presenta primero el perfil de resultados:

 

 

El informe gráfico está acompañado de una explicación de los resultados con recomendaciones. Se explica cada escala o parte por separado y la puntuación total. Vea el siguiente ejemplo del Sistema de Evaluación Diagnóstica del Aprovechamiento-SEDA:

 

 

El Nuevo Reto: Reválidas en Línea

El Departamento de Salud tenía interés en explorar la posibilidad de ofrecer los exámenes de reválida en forma computadorizada. A estos fines solicitó propuestas a varias empresas internacionales y a Test Innovations. Afortunadamente, optaron porque nosotros seamos el proveedor del servicio de administración en computadoras. Con el nuevo arreglo las juntas continúan con su responsabilidad de redactar el examen de reválida, pero se delega en Test Innovations su administración en línea, la corrección, la preparación de informes y la revisión de resultados. Las juntas y el proveedor acuerdan un periodo de tiempo o "ventana" durante la cual se ofrecerán los exámenes. Los/as aspirantes indican sus preferencias (varias opciones en orden de preferencia) del día específico y la hora en que tomarían el examen. Cuando el número de solicitantes y las circunstancias lo justifican, se ofrecen opciones para tomar los exámenes en distintas partes del país.

Otro cambio que conlleva la administración en línea es la adopción de una nueva escala para informar las puntuaciones. En vez de la escala porcentual acostumbrada, se adopta una escala tipificada de 20 a 80 con base en la calibración Rasch del examen. Esta escala provee valores en intervalos iguales sin tener que "normalizar" las puntuaciones. Se utiliza el Modelo Rasch para equiparar el examen de una ocasión a otra y se adopta la regla de que todo examen incluya alrededor de un 20% de preguntas experimentales (Warm, 1978).

Por último, se incluye en el informe del y de la aspirante una gráfica con resultados parciales y totales y una explicación de dichos resultados. La presentación de resultados por partes es un tema que trae controversia porque la confiabilidad de dichos resultados, unido a la correlación alta entre ellos, lleva a que las diferencias entre las puntuaciones no sean todo lo confiable que debieran ser. Los y las aspirantes reclaman esta información para repasar más concienzudamente para retomar el examen. Por otro lado, en el caso de Román vs. Tribunal Examinador de Médicos, el Tribunal Supremo de Puerto Rico decidió que los y las aspirantes tienen derecho a que se les informen los resultados de cada parte del examen. (Román v. Tribunal Examinador de Médicos-1985).

Informes a las Juntas

Al concluir el período de examen se le entrega a la junta dos informes: un informe técnico y otro administrativo. El informe técnico incluye datos sobre el análisis psicométrico del examen, datos sobre la calibración de los reactivos, entre otros. Por ejemplo, el informe incluye datos como los siguientes:

 

 

En el informe administrativo se incluyen datos sobre variables de interés para la junta, como son los resultados por escuela, por número de intentos y otros. Ver ejemplo:

 

 

Conclusiones

La administración de pruebas por Internet presenta muchas ventajas para los psicólogos/as y para los/as clientes que las toman. También puede ayudar a mejorar la calidad de las pruebas ya que a medida que éstas se administran, se pueden evaluar y calibrar nuevas preguntas sin tener que llevar a cabo administraciones experimentales. Esto permite ofrecer nuevas versiones de las pruebas con mayor frecuencia. También, al utilizar el Internet, se pueden recuperar los datos de todas las pruebas administradas, por lo que es más fácil la investigación. Por otro lado, esta modalidad de pruebas generalmente requiere el uso de la Teoría de Respuesta al ítem (TRI) para desarrollarlas e interpretarlas. Esta teoría no es de conocimiento general entre los y las profesionales de la psicología y la educación. Esto plantea un reto de familiarizar a todos con las "nuevas reglas de medición" que se han creado con la TRI.

 

REFERENCIAS

Embretson, S.E. & Hershberger, S. L. (1999). The new rules of measurement: What every psychologist and educator should know. Mahwah, NJ: Lawrence Erlbaum.        [ Links ]

Holland, J. L. (1971). The counselor's guide to the Self-Directed Search. Palo Alto, CAL: Consulting Psychologists Press.        [ Links ]

Román v. Tribunal Examinador de Médicos, 116 DPR 71 (1985).        [ Links ]

Warm, T. A. (1978). A primer ofltem Response Theory. Oklahoma City, OK: Coast Guard Institute.        [ Links ]

 

 

Nota: Este artículo fue sometido para evaluación en julio de 2008 y aceptado para publicación en noviembre de 2008.
¹ Este artículo está basado en la presentación hecha por el autor en el Congreso de Medición Psicológica de la Asociación de Psicología realizado el 9 de mayo de 2008 en la Universidad Central de Bayamón. Puede comunicarse con el autor a gcirino@testinnovations.com o al 787-767-7752.