ARTIGO

 

Entrevistas cognitivas: revisión, directrices de uso y aplicación en investigaciones psicológicas

 

Entrevistas cognitivas: revisão, diretrizes de uso e aplicação em pesquisas psicológicas

 

Cognitive interviews: review, guidelines for use and application in psychological research

 

 

Caicedo Cavagnis Estefania; Mauricio Federico Zalazar-Jaime

Universidad Nacional de Córdoba – Facultad de Psicología, Córdoba, Argentina

Dirección para correspondência

 

 

---

RESUMEN

Las Entrevistas Cognitivas son método para identificar y corregir los problemas relacionados con las respuestas a un ítem de un cuestionario. La idea básica consiste en entender por qué una persona responde, de qué manera lo hace y determinar de qué modo se comportará. Es decir, proporcionan evidencias de validez basadas en el proceso de respuesta. Sin embargo, existen diferencias sobre cómo deben desarrollarse estas entrevistas. Por lo tanto, se presenta una guía para aclarar las etapas que componen ese proceso y de este modo facilitar la toma de decisiones en su desarrollo. Se espera que las futuras partes interesadas utilicen dicha guía, tanto en la creación o adaptación de instrumentos, como en instancias anteriores a la recolección de datos.

Palabras claves: entrevistas cognitivas; evaluación psicológica; aplicación, guía.

---

RESUMO

As entrevistas cognitivas são um método para identificar e corrigir problemas ao responder a um item em um questionário. A ideia básica é entender por que uma pessoa responde, como o faz e determinar de que modo se comportará. Ou seja, elas fornecem provas de validade com base no processo de resposta. No entanto, existem diferenças sobre como essas entrevistas devem ser desenvolvidas. Portanto, um guia é apresentado para esclarecer as etapas que compõem esse processo e facilitar a tomada de decisões em seu desenvolvimento. Espera-se que as futuras partes interessadas utilizem esse guia, seja na criação ou adaptação de instrumentos, bem como em instâncias anteriores à coleta de dados.

Palavras-chave: entrevistas cognitivas, avaliação psicológica, aplicação, guía.

---

ABSTRACT

Cognitive interviews are a method of identifying and correcting problems when responding to an item in a questionnaire. The basic idea is to understand why and how a person responds to a question. That is, he provides validity evidence based on the response process. However, there are differences on how these interviews should be developed. Therefore, a guide is presented to clarify the steps that make up this process and facilitate decision-making in its development. It is expected that this guide will be useful to future researchers either in the creation or adaptation of instruments as well as in instances preceding data collection.

Keywords: cognitive interviews; psychological evaluation; application; guide.

---

 

 

La evaluación psicológica se encarga de la exploración y análisis del comportamiento; actividad determinada por diferentes objetivos como la descripción, selección, predicción, explicación y valoración de los tratamientos o intervenciones (Fernández-Ballesteros, 2013). Debido a la expansión y la importancia que ha experimentado en las últimas décadas, diferentes asociaciones como la American Educational Research Association (AERA), American Psychological Association (APA) y National Council on Measurement in Education (NCME) han elaborado los Standards for Educational and Psychological Testing (AERA, APA & NCME, 2014), publicación que otorga un marco de referencia para el desarrollo, evaluación, interpretación y practicas vinculadas a la utilización de test.

Como destaca la AERA et al. (2014), la confiabilidad y la validez constituyen normas técnicas que todo instrumento debe cumplimentar para ser utilizado de forma adecuada y responsable. El primero, refiere a la consistencia que posee una prueba para medir un atributo en particular, mientras que la validez implica el grado en que la evidencia y la teoría apoyan la interpretación de los resultados para el cual fue propuesto el test. Un aspecto vinculado a ambas normas reside en que gran parte de los test son administrados en países diferentes respecto de donde se construyó y, por tanto, quien investiga debe realizar estudios de adaptación pertinentes con el objetivo de evitar problemas vinculados a la familiaridad de los estímulos, nivel de dificultad y características ligadas con la muestra, entre otros (ver Hambleton, Merenda & Spielberger, 2005); aspectos que adquieren relevancia ya que los diferentes ítems que componen un test actúan como un conjunto de estímulos, que deben ser comprendidos de forma univoca con el objetivo que las diferencias presentes en los puntajes se deba a cambios reales en el constructo que se pretenda evaluar.

En este punto, las Entrevistas Cognitivas (en adelante EC) proveen evidencia de validez basada en el proceso de respuesta mediante el análisis de las actividades de resolución (operaciones cognitivas) que enfrentan quienes participan al momento de responder los ítems de un instrumento (AERA et al., 2014); actividad que permite incrementar tanto la confiabilidad (por ejemplo, refinar enunciados ambiguos) como la validez (por ejemplo, proveer información acerca de la relevancia y claridad de un ítem; Dietrich & Ehrlenspiel, 2010). Por ejemplo, si administramos la sub-escala de razonamiento numérico perteneciente al Test de Aptitudes Diferenciales (DAT-5; Bennett, Wesman, & Seashore, 2000), podríamos determinar si la persona examinada puede deducir de forma natural la respuesta o, por el contrario, utiliza algún patrón de respuesta particular. Incluso, como señalan algunos trabajos (Goerman & Caspar, 2010; Willis & Miller, 2011) las EC también permiten evaluar la traducción o equivalencia socio-cultural de diferentes términos propios de cada región o grupo etario, permitiendo mantener cierta igualdad conceptual, semántica y funcional (Matsumoto, 2001).

La consideración respecto al diseño de las preguntas y la necesidad de estandarización de las mismas comenzó a formularse de forma incipiente en la década del '30 (Groves et al., 2009 citado por Miller, 2014). No obstante, no fue hasta la década de los '80 donde se produjo un avance significativo producto, por un lado, del movimiento CASM (por sus siglas en inglés, Cognitive Aspects of Survey Methodology), el cual introdujo la noción de que los procesos individuales de pensamiento deben ser considerados para evaluar la validez y las potenciales fuentes de error de los cuestionarios (Schwarz, 2007 citado por Miller, 2014; Tourangeau, 2003) y, por otro lado, la interacción entre la psicometría y la psicología cognitiva como uno de los métodos predominantes para identificar y corregir problemas en los procesos de pensamiento al momento de emitir una respuesta (Willis, 1999; Beatty & Willis, 2007).

A pesar de la existencia de diferentes modelos teóricos destinados a explicar cómo las personas procesan la información (Jobe & Herrmann, 1996; Presser et al., 2004; Willis, 2004), el más reconocido es el desarrollado por Tourangeau (1984), que destaca cuatro fases. La primera, compresión, se centra en evaluar la intencionalidad y el significado de la pregunta, es decir ¿a qué cree la persona que se hace referencia?, ¿cuál es el significado de las palabras y/o frases?; la segunda, recuperación, implica la actividad de indagar en la memoria aquella información relevante vinculada a ese estimulo desencadenante (ítem). Esta fuente resulta importante con el fin de inspeccionar qué estrategia de evocación utiliza la persona para brindar su respuesta. En la tercera fase, decisión/juicio, la persona considera la información recuperada en el paso previo y evalúa su relevancia según el estímulo inicial al cual fue sometido. Además, es posible observar en qué medida quien es examinado está mostrando un esfuerzo mental para responder a la pregunta de manera precisa y reflexiva, o en qué grado está dando determinadas respuestas para intentar complacer al examinador/a. La última instancia es la respuesta, proceso de carácter complejo que puede caracterizarse por ser consciente u automático.

Debido al paulatino reconocimiento que ha obtenido la metodología de las EC en la literatura, y debido a la escaza literatura en español respecto al tema, el objetivo de esta revisión consiste en poner a disposición a los futuros usuarios/as de esta técnica, una serie de lineamientos generales destinados a la preparación, conducción y análisis de las EC. Si bien el presente trabajo no pretende ser una guía exhaustiva, la misma provee una serie de recomendaciones necesarias para llevar a cabo una EC, por ejemplo, aspectos vinculados al procedimiento, muestra, administración (recolección de datos y protocolo de administración), análisis y cuestiones relacionadas al entrevistador/a.

Metodología de las entrevistas cognitivas: guía de aplicación

Como se mencionó, las EC constituyen un método cualitativo y flexible destinado a examinar los procesos cognitivos que lleva a cabo quien responde un test; éstas representan una modalidad que persigue como uno de los objetivos identificar problemas en el proceso pregunta-respuesta (Collins, 2003). La idea básica es entender por qué una persona responde como lo hace y, en este punto, determinar el modo en que una pregunta se comportará; específicamente su valor interpretativo. Pese a los acuerdos en la literatura y a la existencia de un modelo teórico dominante (Tourangeau, 1984), aún existen diferencias en relación a cómo deben llevarse a cabo (Presser et. al, 2004), por ejemplo ¿existen reglas generales o alguna estructura particular en cuanto a cantidad de participantes, tiempo aproximado de duración, y análisis de las respuestas? Por ello, a continuación, se intenta echar luz acerca de los pasos que componen este proceso, posibilitando la clarificación de los procesos y permitiendo la toma de decisiones consistentes con el objetivo del usuario.

Algunos apuntes sobre el procedimiento

En función de la información que se pretenda conocer, la EC puede ser desarrollada mediante dos estrategias, la técnica de pensar en voz alta y la de sondeo verbal (Collins, 2003). Aunque es importante presentar estas dos modalidades de manera separada, los límites entre ambas no son tan precisos. Además, si bien el uso del método de pensar en voz alta ha ido desapareciendo en favor de la técnica del sondeo verbal (Beatty & Willis, 2007), la primera se deriva de los procedimientos psicológicos descritos por Ericsson & Simon (1980), en la que se instruye a la persona para que verbalice sus pensamientos mientras responde a los ítems del cuestionario. En ella, quien entrevista lee cada pregunta y graba o anota el proceso que realiza el/la entrevistado/a para elaborar una respuesta, aquel sólo se interviene para solicitarle a la persona que le cuente qué está pensando cuando realiza una extensa pausa; esto responde a que no se debe interrumpir el proceso, guiar o sugerir posibles comentarios con el fin de evitar todo tipo de sesgo. Un ejemplo de la utilización de esta técnica se realizó en el estudio de adaptación del Revised Competitive State Anxiety Inventory-2 (CSAI-2R) a población deportiva argentina (Caicedo Cavagnis, Pereno & De la Vega, 2017), en donde se preguntó a los/as participantes del estudio "¿en qué estabas pensando cuando respondiste a la pregunta acerca de si estás a la altura del desafío?".

La segunda técnica, a diferencia de la primera, establece una guía de seguimiento por áreas específicas de cada ítem. Es decir, se desarrolla en base a las características o elementos de los ítems que, a criterio de quien realiza el estudio, son potencialmente problemáticos debido a la interpretación diferencial que puedan realizar las personas o sub-grupos de personas (Padilla & Benítez, 2014). Esta modalidad supone un rol más activo de quien entrevista y un sondeo más profundo de las respuestas, orientando las intervenciones hacia la comprensión de una palabra o frase, lo cual se logra mediante diferentes tipos de sondeo: comprensión/interpretación, parafraseo, juicio/confianza, recuerdo, específico y general. En la Tabla 1 se presentan ejemplos de los sondeos utilizados en el estudio de Caicedo Cavagnis et al. (2017) en donde también se analizó un cuestionario (auto-registro) de lesiones deportivas.

Cada una de las técnicas presentadas posee una serie de ventajas y desventajas (Beatty & Willis, 2007; Willson & Miller, 2014). Entre las ventajas del método de pensar en voz alta se destaca que, por las características de la entrevista (abierta), requiere un bajo nivel de entrenamiento por parte de quien conduce las entrevistas y, además, se garantiza que el proceso esté libre de sesgos y prejuicios debido a que sólo interviene mínimamente para saber qué está pensando la persona. En esta modalidad puede aparecer información inesperada, lo que convierte a este método en una opción valiosa cuando la persona es extrovertida, elocuente y tiene gran experiencia con la temática. En cuanto a las desventajas, se encuentra la resistencia a brindar información, sesgos en el procesamiento de la información y procesos de pensamiento automáticos que no siempre son fácilmente accesibles a la conciencia, ya que la información obtenida depende de la habilidad de introspección de quien es entrevistado. En adición, al estar guiada es posible que se desvirtúe el objetivo principal de la EC, lo que requiere de ciertas habilidades por parte de quien conduce la entrevista para encuadrarla nuevamente (Willis, 1999). Por último, aunque no necesariamente represente una desventaja, es importante realizar estas entrevistas de manera concurrente (ver apartado de Recolección de Datos), debido a que pueden estar sesgadas por el tipo de proceso de memoria involucrado. Así, se intenta conocer el procesamiento lo más próximo a la respuesta, con el fin de recuperar la información y el proceso de pensamiento implicado al momento de responder al cuestionario (Willson & Miller, 2014).

En cuanto a las ventajas de la técnica del sondeo verbal, se encuentra el control de la entrevista para recoger información específica o para indagar focos potenciales de error; la facilidad en el entrenamiento del entrevistador/a, y la formulación de preguntas vinculadas a la reflexión acerca de los motivos de un determinado comportamiento, actitud u opinión. En consecuencia, la productividad de información proporcionada es mayor debido a que los diferentes tipos de sondeo (ver Tabla 1) incitan a la fluidez de los pensamientos y/o críticas de las personas. Entre las desventajas se encuentra la artificialidad y la posibilidad que la pregunta sugiera determinados tipos de respuestas, por lo que se recomienda sondear con preguntas neutras. Por ejemplo, en la adaptación del Profile of Mood States-VIC en deportistas de Córdoba, Argentina (Caicedo Cavagnis, Pereno & De la Vega, manuscrito en preparación), un error hubiera sido preguntar de entre la lista de adjetivos que indagan estados de ánimo "¿crees que hostil es un adjetivo característico de estados de ánimo negativos?", cuando la pregunta correcta es "¿a qué tipo de estados de ánimo crees que hace referencia el adjetivo hostil?".

Apuntes sobre la muestra

Una de las primeras decisiones reside en la cantidad de personas que deberían entrevistarse, debido a que el objetivo reside en comprender los patrones y procesos cognitivos de quienes responden a un determinado cuestionario. Así, lo que guiará la cantidad y características de la muestra será la complejidad de las preguntas, el objetivo del estudio y los análisis a desarrollar. En este sentido, no hay una única forma de determinar el tamaño ideal de participantes, esto más bien dependerá de que, en las entrevistas realizadas, el/la investigador/a haya identificado todos los problemas posibles de un instrumento. Una de las estrategias consiste en incluir la mayor diversidad de características socio-demográficas como edad, sexo, nivel educativo, entre otras. Sin embargo, la principal dificultad es conocer cuánta diversidad es suficiente para cumplimentar este objetivo y, el hecho de que habrá características de la población que no puedan cubrirse. Otra estrategia radica en determinar aquella sub-población que podría tener mayores dificultades en la comprensión de las preguntas.

Como se observa, a pesar de las diferentes sugerencias, es importante recordar que al ser un método cualitativo la representatividad no es principalmente numérica, sino que está determinada por criterios como la saturación teórica (desarrollar entrevistas hasta que no haya nuevos descubrimientos), y la relevancia teórica (seleccionar personas hasta cubrir la mayor diversidad posible, y así garantizar la evaluación de la mayor cantidad de procesos o patrones de pensamiento; Willson & Miller, 2014). Padilla & Benitez (2014) indican que ambos criterios se alcanzan con un número entre 20 y 50 personas entrevistadas, aunque Willis (2004) sugiere que raramente sea necesario realizar más de 12 a 15 entrevistas. En adición a ello, las normativas establecidas por la AERA et al. (2014), insisten en la necesidad de comparar los procesos de respuesta utilizando sub-grupos de examinados/as. Por ejemplo, Caicedo Cavagnis et al. (2017) en su estudio definieron los grupos en función del sexo y tipo de deporte, debido a que lo que se pretendía analizar podría verse afectado por variables sociodemográficas y deportivas, entre otras.

Otra variable que contribuye a determinar el número suficiente de entrevistas consiste en observar los posibles problemas que puedan llegar a surgir en el proceso. Es decir, si se detectan grandes problemas a corregir, no tiene sentido seguir entrevistando hasta tanto no se rectifiquen dichas dificultades. Así, algunos autores (Willis, 1999; Beatty & Willis, 2007) sugieren conducir rondas de entrevistas de entre 5 y 15 personas donde se permita la revisión de las preguntas realizadas para detectar y modificar problemas que puedan surgir; de este modo se espera que a cada grupo se le presente el protocolo modificado en base a las observaciones de la ronda previa. Además, es importante considerar que a veces los requerimientos del estudio (tiempo y traslados, por ejemplo), hacen necesario establecer algún pago o retribución a cambio de la participación, aspectos que deberían ser evaluados al momento de realizar este tipo de actividades. Independientemente de la estrategia implementada, se recomienda la utilización de un muestreo no-probabilístico intencional (Willson & Miller, 2014), para asegurar que se reúnan una serie de características particulares.

Apuntes sobre la administración

En este punto, existe al menos tres aspectos los cuales deben atenderse. En primer lugar, es necesario que previo a la entrevista se realice una evaluación de los objetivos del cuestionario y se realicen chequeos técnicos en el protocolo de entrevistas, debido a que existe cierta tendencia a apresurarse al tomar las entrevistas, y luego encontrarse con ciertas dificultades las cuales podrían haberse evitado si se hubiese dispuesto de un tiempo extra para revisar el instrumento de evaluación (Forsyth & Lessler, 2004).

Por otro lado, es importante determinar la cantidad de entrevistas a realizar por día, la forma en que se desarrollarán, la posibilidad de grabarlas y el medio a través del cual se llevarán adelante. Lo usual y preferible es que se realicen en un laboratorio, cara a cara, aunque también pueden realizarse por teléfono (medio que puede ser útil cuando la entrevista ha sido pensada para ser realizada bajo esta modalidad o cuando las personas no pueden viajar al lugar de la entrevista; Willis, 1999). En tercer lugar, en el proceso de administración del protocolo es importante tener en cuenta a qué tipo de informante nos estamos dirigiendo, es decir, ¿nuestras preguntas configuran una persona experta o narradora? Esto se debe a que muchas veces las preguntas solicitan que la persona evalúe una pregunta, partes o el cuestionario en sí mismo y esto podría hacer que se fomenten aspectos vinculados con el diseño del cuestionario, cuando en realidad el foco debe colocarse en que el entrevistado sea quien brinde información (narre) acerca de su proceso de respuesta (Willson & Miller, 2014). En efecto, un ejemplo consiste en preguntarle al participante porque piensa de una determinada pregunta y no por qué respondió del modo en que lo hizo.

Recolección de datos

Las EC pueden hacerse de manera concurrente o retrospectiva (Willson & Miller, 2014). En los estudios de validez usualmente se realizan mediante un diseño retrospectivo, llevándose a cabo en un laboratorio equipado con material audiovisual con el fin de registrar el proceso (Padilla & Benítez, 2014), siendo ideal atravesar un proceso de desgravado una vez finalizada la EC.

En el sondeo retrospectivo, se responde al test en condiciones similares a las que serán aplicadas en un futuro y luego se inicia la entrevista propiamente dicha en una sesión de interrogatorio. Este tipo de sondeo es útil cuando se ponen a prueba cuestionarios auto-administrados, y en las etapas finales del desarrollo de éstos. Cabe destacar que esta modalidad, en dos pasos, puede afectar la recuperación y recuerdo de lo que estaba pensando la persona al momento de contestar el test, brindando en su lugar explicaciones ficticias en la sesión de interrogatorio. A diferencia de éste, el sondeo concurrente tiene la ventaja que la información sobre la que se preguntará está vigente en el mismo momento, debido a que se desarrolla en un ciclo donde quien entrevista realiza la pregunta, el entrevistado responde y a continuación se realiza el sondeo sobre la pregunta que respondió (Willis, 1999).

Independientemente del modo, el sondeo se desarrolla mediante preguntas delimitadas (escritas previamente) o espontáneas (durante la entrevista), las cuales poseen sus ventajas y desventajas. La formulación de preguntas depende del número de entrevistadores/as, su experticia, y el tipo de preguntas a realizar; lo sugerido es establecer una combinación de ambos tipos de preguntas (delimitadas y espontaneas), en tanto la interacción entrevistador/a - entrevistado/a admite frecuentemente que las preguntas espontáneas puedan ser ricas en información que, mediante un protocolo estrictamente delimitado, no se desarrollarían.

Un aspecto importante remite al tiempo de duración de las entrevistas. Al respecto, Willis (1999) sugiere que entrevistas de una hora son óptimas, ya que una duración mayor genera una demanda excesiva para la persona. La idea central es la flexibilidad; siempre hay que recordar que en la interacción entrevistado/a - entrevistador/a habrá aspectos que no puedan ser controlados y que, seguramente, nos obligarán a salirnos del protocolo prestablecido. En este punto, la única sugerencia es que no se realicen más de tres entrevistas por día, debido a que tanto la preparación previa como el desarrollo de las mismas insumen tiempo, atención y cuidado (Willis, 1999).

Protocolo de las entrevistas

Las EC tienen un carácter semiestructurado y están guiadas por un protocolo con instrucciones que se utiliza para presentar el estudio e indicar el rol que se espera que cumpla la persona que participa en el (Tabla 2). El protocolo posibilita, a quien entrevista, hacer preguntas relevantes para acceder al proceso psicológico y a las operaciones cognitivas de los entrevistados (Padilla & Benítez, 2014).

Es importante que se le exprese al entrevistado/a, previo al inicio, que no se estará recogiendo información personal, sino que se estará probando un cuestionario que tiene un conjunto de preguntas que pueden ser difíciles de comprender, responder y/o que en algunos casos pueden no tener sentido. Así, es importante recordar que, aunque la persona responderá a las preguntas del cuestionario, estamos primordialmente interesados en las formas en las que llegan a esas respuestas y los problemas que encuentran (por ejemplo, la claridad e inteligibilidad de los enunciados), más que la respuesta al cuestionario. En este punto se debe fomentar la crítica y la libre expresión, ya que las personas por ciertos aspectos vinculados a la deseabilidad social, tienden a comportarse lo más benevolentemente posible y quizá no dicen todo lo que quisieran decir respecto a una pregunta.

Independientemente del modo o la técnica seleccionado para la EC es importante tener entrevistadores/as experimentados/as que hayan sido entrenados/as en los objetivos particulares del estudio y, en el mejor de los casos, que hayan atravesado experiencias prácticas de este proceso. Una posibilidad es entrenar a un grupo de personas en esta metodología y que éstas luego sean las encargadas de entrenar a otras, elegir a los/as entrevistados/as y desarrollar toda la logística del proceso; y aunque la cantidad de entrevistas no es extensa, a mayor cantidad de entrevistadores las opiniones y la riqueza de la información obtenida será mayor que si un solo entrevistador se encarga de llevar adelante todas las entrevistas (Willis, 1999).

Apuntes sobre los análisis de datos

Existen una variedad de métodos que se utilizan para analizar los resultados y ninguno de ellos es necesariamente mejor que otro (Miller, Willson, Chepp & Ryan, 2014; Willis, 1999). Por ejemplo, hay quienes escuchan atentamente las grabaciones de cada entrevista, otras personas que trabajan sobre las notas que han tomado durante las mismas elaborando un reporte para comparar luego la producción de las distintas personas entrevistadas, e incluso otros entrevistadores/as que recuperan la respuesta exacta que brinda cada participante a cada pregunta. Sin embargo, el proceso analítico de las EC guía el tipo de conclusiones que pueden hacerse y por ello es importante, para agregar valor a los análisis, realizar un estudio sistemático y transparente (Miller et al., 2014), requisitos que han sido criticados por distintos autores (Fowler, Lloyd, Cosenza & Wilson, 2014).

En este sentido, Boeije & Willis (2013) indicaron que el análisis de las EC constituyen la caja negra de los reportes de las entrevistas, ya que rara vez se describe cómo se llevó adelante el proceso. Así, por un lado, la sistematicidad posibilita que ningún caso sea priorizado o descartado por sobre los demás y, por otro lado, la transparencia alude favorece la claridad en la forma en la que se analizan los casos y a qué conclusiones se arriban. Fowler et al. (2014) generaron dos modificaciones en el proceso de las EC para aportar transparencia de este proceso, por un lado, realizando sondeos específicos para todas las preguntas hasta que se considere que se ha evaluado cada paso del proceso formulado por Tourangeau (1984) y, por otro lado, seleccionando entrevistadores/as independientes que juzguen las entrevistas realizadas, señalando qué áreas poseen dificultades y cuáles no.

El análisis es un proceso de reducción, organización y explicación de los resultados que pueden ser conceptualizados en cinco pasos iterativos (llevar adelante la entrevista, resumirla, compararla entre los entrevistados, compararla por sub-grupos y realizar conclusiones; ver Tabla 3) que requieren, por parte quien investiga, que se tomen una serie de decisiones analíticas sobre esa información. En cada paso hay una reducción de datos que permite sintetizar cómo se comportan las personas frente a una determinada pregunta, objetivo último de las EC. Así, a la par que se reduce información también se gana en comprensión de cómo funciona dicha pregunta (Miller et al., 2014).

Es importante recordar que las EC son un proceso más cualitativo que cuantitativo, por lo que es importante prestar atención, más que a la repetición o respuestas globales de los entrevistados, al "juicio clínico" de quien toma la entrevista para determinar las implicaciones de los hallazgos. Otro aspecto que debe considerarse refiere a la existencia de diferencias, en cuanto a los atributos de las personas entrevistadas, respecto a aquellas personas que serán evaluadas con el cuestionario propiamente dicho y, en caso afirmativo, evaluar qué tan inválidos son los resultados. Además, el/la investigador/a debería interrogarse sobre los siguientes aspectos, ¿qué tanto difieren las condiciones de aplicación de las EC (laboratorio) y la aplicación final (trabajo de campo)? ¿la muestra es lo suficientemente grande? (Willis, 1999). Estas reflexiones son importantes debido a que muchas veces se critican las EC al compararlas con las pruebas piloto, debido a que la muestra es demasiado pequeña o porque existen diferencias en los ambientes de evaluación. Sin embargo, debe recordarse que el propósito de las EC no es hacer una estimación estadística, sino conocer el proceso de respuesta de los posibles participantes y analizar las dificultades en pro de mejorar el instrumento de medición. Como se pretende destacar, la cantidad de entrevistas no siempre es una ventaja en relación a la calidad del dato (Willis, 1999).

Pese a la utilidad de las EC, éstas pueden conducir a conclusiones incompletas, erróneas o engañosas, es decir, pueden identificar problemas que no ocurren en el proceso de evaluación real (errores de comisión), o no identificar problemas que sí ocurren (errores de omisión) o, también, pueden ser inconsistentes sus resultados cuando se llevan a cabo por distintos investigadores (errores de consistencia interna del método; Beatty & Willis, 2007). En la actualidad se ha avanzado en el diseño programas estadísticos para analizar los datos de las EC (por ejemplo, Q-suite; ver Mezetin & Massey, 2014 para una revisión), los cuales poseen la ventaja de manipular una gran cantidad de información, mediante ciertos procesos de codificación, interpretación, búsqueda de patrones y generación de resultados.

Apuntes sobre quien conduce la entrevista

A lo largo de este trabajo poco se ha dicho acerca del posicionamiento epistemológico de quien lleva adelante la entrevista, aspecto el cual no solo impactará en el proceso, también afectará los subsiguientes análisis que se realicen con el material obtenido. Es importante considerar que los/las investigadores/as poseen juicios acerca de las personas (cuánto saben, cómo saben, o si son o no capaces de comunicar, por ejemplo) que son importantes de reconocer puesto que mediatizarán el proceso de entrevista y los análisis. Conocer el posicionamiento epistemológico de quien entrevista y que visibilice sus creencias y lo que pretende al momento de entrevistar es importante, ya que configura el modo en que le dará sentido a la información. Así, puede adoptar un enfoque objetivo, en el que se busca entender los procesos cognitivos independientemente del contexto socio-cultural de las personas, o un enfoque interpretativo que se focaliza en cómo las interpretaciones y experiencias de vida proveen datos acerca del proceso de respuestas a un cuestionario (Willson & Miller, 2014).

A su vez, también es importante echar luz acerca del rol de quien entrevista en términos de su función: ¿recoge datos o investiga? En el primer caso, el objetivo es recabar información relacionada a los procesos cognitivos y requiere que se mantenga lo más ausente posible para no contaminar el proceso de pensamiento de la persona y no sesgar la precisión y validez de los datos, por tanto, el proceso se convierte en algo estandarizado. No requiere formación o experiencia en metodología cualitativa. En el segundo caso, sí requiere de conocimientos de metodología cualitativa debido a que estudia los significados; así la entrevista es una interacción compleja en la que juega un rol activo recabando información, examinando posibles contradicciones, incongruencias o vacíos en la narrativa de quien participa mediante la puesta en marcha de habilidades que le permitan formular sondeos adicionales para tener una historia más completa del proceso cognitivo de la persona (Willson & Miller, 2014).

 

Discusión

Las EC constituyen una importante herramienta que adquirió, desde su surgimiento, un paulatino reconocimiento en los procesos de construcción y validación de cuestionarios en diferentes disciplinas (por ejemplo, Mohorko & Hlebec, 2016; Eddy, Khastou, Cook & Amtmann, 2011; Dietrich & Ehrlnspiel, 2010), convirtiéndose en una de las técnicas más frecuentes para evaluar la evidencia de validez basada en el proceso de respuesta. El conocimiento de esta metodología por parte de los/las investigadores/as es de suma importancia ya permite a éstos, que los ítems de un cuestionario sean interpretados de forma clara y unívoca, mediante una inspección del proceso cognitivo del entrevistado/a (Padilla & Benítez, 2014), evitando posibles sesgos socio-culturales (Miller, 2014). En adición a ello, Willis & Zahnd (2007) destacan la creciente diversidad de la población respecto a sus características, y la importancia de prestar atención a los diversos contextos multiculturales, convierten a la EC en una herramienta capaz de adecuar los diferentes enunciados según la interpretación que realicen un determinado grupo de personas.

Debe recordase que las EC deben ser acompañadas por otra serie de estudios complementarios con el objetivo de fortalecer la solidez del trabajo, como por ejemplo estudios de evidencia basada en el contenido. De este modo, la información recabada proporcionara múltiples fuentes de evidencia para una mejor calidad del ítem y/o pregunta, destacando la necesidad de volver a evaluar las preguntas revisadas con el fin de inspeccionar si las modificaciones realizadas tuvieron el efecto deseado.

En adición a ello, un debate presente en la literatura reside en clarificar si las EC corresponden a un proceso sistemático establecido para realizar una tarea con el fin de alcanzar un objetivo predeterminado (método) o constituye un procedimiento o conjunto de reglas, normas o protocolos que tienen como objetivo obtener un resultado determinado (técnica). Si bien a lo largo de este manuscrito se han usado ambos términos de forma equivalente, resulta importante esclarecer al lector sobre dicho aspecto. Al igual que el movimiento CASM, los autores consideran que las EC constituyen una técnica, ya que son una herramienta para abordar el conocimiento (por ejemplo, indagar los procesos cognitivos de los participantes), el cual no responde a un modelo estrictamente estandarizado, por el contrario, según el objetivo que persiga el/las investigador/as, puede basarse en la implementación de alguna u otra herramienta particular.

En resumen, el objetivo de este trabajo consistió en revisar y sistematizar la información referente a las EC con el fin de poner a disposición del lector esta técnica, ejemplificando tanto su aplicación e interpretación en investigación psicológica. Para ello, a lo largo del artículo se identificaron cada uno de los pasos de planificación, elaboración e interpretación de esta metodología, y se ofrecieron una serie ejemplos que permitan su visualización.

 

Agradecimientos

Al Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET) y a la Secretaría de Ciencia y Tecnología de la Universidad Nacional de Córdoba.

 

Referencias

American Educational Research Association (2014). Standards for educational and psychological testing. Washington DC, United States of America: American Educational Research Association.         [ Links ]

Beatty, P. C., & Willis, G. B. (2007). Research synthesis: The practice of cognitive interviewing. Public Opinion Quarterly, 71(2), 287-311. doi:10.1093/poq/nfm006        [ Links ]

Bennett, G. K., Seashore, H. G., & Wesman, A. G. (2000). Test de Aptitudes Diferenciales (DAT-5). Manual. Madrid: TEA Ediciones.         [ Links ]

Boije, H. & Willis, G. (2013). The cognitive interviewing reporting framework (CIRF). Towards the harmonization of cognitive testing reports. European Journal of Research Methods for the Behavioral and Social Sciences, 9(3), 87-95. doi: 10.1027/1614-2241/a000075        [ Links ]

Cabanillas, J. I.; Choque, M. C.; Ramos, G. C.; Pereno, G. L. & Caicedo Cavagnis, E. (2017). Estados de ánimo y rendimiento deportivo individual en competencia de jugadores de rugby de Córdoba. (Tesis de Licenciatura). Facultad de Psicología, Universidad Nacional de Córdoba, Argentina.         [ Links ]

Caicedo Cavagnis, E.; Pereno, G. L. & De la Vega, M. R. (2017). Adaptación del Inventario Revisado de Ansiedad Estado Competitiva - 2 a población deportiva argentina. Interdisciplinaria, 34(2), 389-405. Recuperado de http://www.redalyc.org/pdf/180/18054403009.pdf        [ Links ]

Caicedo Cavagnis, E.; Pereno, G. L. & De la Vega Marcos, R. (manuscrito en preparación). Adaptación del Perfil de los Estados de ánimo-VIC a deportistas argentinos. Manuscrito en preparación.         [ Links ]

Collins, D. (2003). Pretesting survey instruments: an overview of cognitive methods. Quality life research, 12(3), 229-238. doi: 10.1023/A:1023254226592        [ Links ]

Dietrich, H. & Ehrlnspiel, F. (2010). Cognitive interviewing: a qualitative tool for improving questionnaires in sport science. Measurement in Physical Education and Exercise Science, 14(1), 51-60. https://doi.org/10.1080/10913670903455025.         [ Links ]

Eddy, L., Khastou, L., Cook, K. F., & Amtmann, D. (2011). Item selection in self-report measures for children and adolescents with disabilities: Lessons from cognitive interviews. Journal of pediatric nursing, 26(6), 559-565. doi:10.1016/j.pedn.2010.07.004        [ Links ]

Ericsson, K. A. & Simon, H. A. (1980). Verbal reports as data. Psychologycal Review, 87(3), 215-250. doi: 10.1037/0033-295X.87.3.215        [ Links ]

Fernández-Ballesteros, R. (2013). Evaluación Psicológica. Concepto, métodos y estudio de casos (2da edición). Madrid: Pirámide.         [ Links ]

Forsyth, B. H. & Lessler, J. T. (2004). Cognitive laboratory methods: a taxonomy. Em Biemer, P. P.; Groves, R. M.; Lyberg, L. E.; Mathiowetz, N. A. & Sudman, S. (Eds.) Measurement Errors in Surveys, (pp. 393-418). Hoboken, New Jersey: Wiley-Interscience.         [ Links ]

Fowler, F. J.; Lloyd, S. J.; Cosenza, C. A. & Wilson, I. B. (2014). Coding Cognitive Interview: an approach to enhancing the value of cognitive testing for survey question evaluation. Field Methods,28(1) 1-18. doi:10.1177/1525822X14549921.         [ Links ]

Goerman, P. L., & Caspar, R. (2010). Managing the cognitive pretesting of multilingual survey instruments: A case study of pretesting of the U.S. Census Bureau Bilingual Spanish/English Questionnaire. Em, J. Harkness, M. Braun, B. Edwards, T. P. Johnson, L. Lyberg, P. Ph. Mohler, B-E Pennell, T. W. Smith. (Eds), Survey Methods in Multinational, Multiregional, and Multicultural Contexts. (pp. 75-90). New Jersey: John Wiley & Sons, Inc. doi: 10.1002/9780470609927.ch5        [ Links ]

Hambleton, M., & Merenda, P. Spielberger (2005). Adapting educational and psychological tests for cross-cultural assessment. Mahwah, NJ: Lawrence Erlbaum.         [ Links ]

Jobe, J. B., & Herrmann, D. J. (1996). Implications of models of survey cognition for memory theory. Em D.J. Herrmann, M. Johnson, C. McEvoy, C. Hertzog, and P. Hertel (Eds.), Basic and Applied Memory Research (Vol 2, pp. 193-207). Hillsdale, NJ: Lawrence Erlbaum.         [ Links ]

Matsumoto, D. (2001). The handbook of culture and psychology. United States: Oxford University Press.         [ Links ]

Mezetin, J. & Massey, M. (2014). Analysis Software for Cognitive Interviewing Studies: Q-Notes and Q-Bank. Em Miller, K.; Willson, S.; Chepp, V. & Padilla, J. L (Eds), Cognitive Interviewing Methodology, (pp.107-132) Wiley: United States of America.         [ Links ]

Miller, K. (2014). Introduction. En Miller, K.; Willson, S.; Chepp, V. & Padilla, J.L Cognitive Interviewing Methodology. Wiley: United States of America.         [ Links ]

Miller, K.; Willson, S.; Chepp, V. & Ryan, J. M. (2014). Analysis. Em Miller, K.; Willson, S.; Chepp, V. & Padilla, J. L. (Eds), Cognitive Interviewing Methodology. (p.156) Wiley: United States of America.         [ Links ]

Mohorko, A., & Hlebec, V. (2016). Degree of cognitive interviewer involvement in questionnaire pretesting on trending survey modes. Computers in Human Behavior, 62 (2016), 79-89. doi:10.1016/j.chb.2016.03.021.         [ Links ]

Padilla, J. L. & Benítez, I. (2014). Validity evidence based on responde processes. Psicothema, 26(1), 136-144. doi:10.7334/psicothema2013.259.         [ Links ]

Presser, S.; Couper, M. P.; Lessler, J. T.; Martin, E.; Martin, J.; Rothgeb, J. M. & Singer, E. (2004). Methods for testing and evaluating survey questions. Public Opinion Quarterly, 68(1), 109-130. doi:10.1093/poq/nfh008.         [ Links ]

Tourangeau, R. (1984). Cognitive sciences and survey methods. Em T. B. Jabine,M. L. Stral, J.M. Tanur & R. Tourangeau. (Eds). Cognitive aspects of survey methodology: Building a bridge between discipline: Report of the Advanced Research Seminar on Cognitive Aspects of Survey Methodology, (pp.73-100) Washington: National Academy Press.         [ Links ]

Tourangeau, R. (2003). Cognitive aspects of survey measurement and mismeasurement. International Journal of Public Opinion Research, 15(1), 3-7. doi:10.1093/ijpor/15.1.3        [ Links ]

Willis, G. B. (1999). Cognitive interviewing: A "how to" guide. Manual for the short course 'Reducing survey error through research on the cognitive and decision process in surveys'. Research Triangle Park, NC: Research Triangle Institute. Recuperado de http://www.chime.ucla.edu/publications/docs/cognitive%20interviewing%20guide.pdf        [ Links ]

Willis, G. B. (2004). Cognitive Interviewing: A Tool for Improving Questionnaire Design. Thousand Oaks, CA: Sage.         [ Links ]

Willis G. B. & Miller, K. (2011). Cross-Cultural Cognitive Interviewing: Seeking Comparability and Enhancing Understanding. Field Methods, 23(4), 331-341. doi:10.1177/1525822X11416092.         [ Links ]

Willis, G., & Zahnd, E. (2007). Questionnaire design from a cross-cultural perspective: An empirical investigation of Koreans and Non-Koreans. Journal of Health Care for the Poor and Underserved, 18(4 suppl), 197-217. doi:10.1353/hpu.2007.0118        [ Links ]

Willson, S. & Miller, K. (2014). Data collection. In Miller, K.; Willson, S.; Chepp, V. & Padilla, J.L Cognitive Interviewing Methodology. Wiley: United States of America.         [ Links ]

 

 

Dirección para correspondência:
Mauricio Federico Zalazar-Jaime
Facultad de Psicología. Universidad Nacional de Córdoba
Ciudad Universitaria, Córdoba, Argentina. CP: 5000.
Teléfono: +54-0351-5353890 (Interno: 60201).
mfzalazar@gmail.com

Recebido em janeiro de 2018
Aceito em setembro de 2018

 

 

Notas sobre los autores:
Estefania Caicedo Cavagnis es Licenciada en Psicología por la Universidad Nacional de Córdoba. Doctoranda en Psicología (Facultad de Psicología, UNC). Instituto de Investigaciones Psicológicas (IIPsi – CONICET – UNC). Profesora asistente de Metodología de la Investigación Psicológica y docente a cargo del Seminario electivo no permanente Introducción a la Psicología del deporte y el ejercicio físico: aplicaciones al alto rendimiento deportivo.
Mauricio Federico Zalazar-Jaime es Licenciado en Psicología por la Universidad Nacional de Córdoba (UNC). Doctorando en Psicología. Se ha desempeñado como ayudante alumno y docente en diferentes cátedras de la carrera de Psicología (UNC). Profesor de las materias, Técnicas e Instrumentos de Exploración II y Metodología de la Investigación Psicológica (Universidad Siglo 21).