Pruebas de screening para la evaluación de la comprensión de textos

 

Epreuve de "screening" pour l'évaluation de la compréhension de texte

 

Instrumentos de screening para a avaliação da compreensão de textos

 

Screening tools to assess text comprehension

 

 

Aldo Ferreres ^I,III; Valeria Abusamra ^II,III; Andrea Casajús ^II,III; Romina Cartoceti ^II,III; Mario Squillace ^I,III; Bárbara Sampedro ^II,III

^IFacultad de Psicología- Universidad de Buenos Aires, Argentina
^IIFacultad de Filosofía y Letras – Universidad de Buenos Aires, Argentina
^IIIHospital Eva Perón, Provincia de Buenos Aires, Argentina

Dirección correspondencia

 

 

---

RESUMEN

Este trabajo tiene el objetivo de presentar cuatro pruebas de screening para detectar dificultades en la comprensión de textos narrativos y expositivos en alumnos de 5°, 6° y 7° grado de escuela primaria. Se presentan los primeros estudios psicométricos realizados y los baremos calculados a partir de una muestra de 851 alumnos de la ciudad de Buenos Aires y sus alrededores. Las pruebas de screening fueron elaboradas sobre la base de un modelo multicomponencial de la comprensión de textos y los primeros estudios psicométricos muestran que todos los ítems diferencian entre buenos y malos comprendedores, tienen aceptable consistencia interna y los puntajes correlacionaron con los obtenidos en las pruebas de una batería más extensa de evaluación de la comprensión de textos (test Leer para Comprender).

Palabras-clave: Comprensión de textos, Lectura, Evaluación.

---

ABSTRACT

The aim of this work is to present four tests of screening to detect difficulties in narrative and informative text comprehension in students from years 5°, 6° and 7° of primary school. The first statistical studies and the normative data from a sample of 851 students from Buenos Aires were presented. The screenings were elaborated in base on a multicomponencial model of text comprehension and the first statistical studies show that all the items differentiate between good and poor comprehenders, have acceptable internal consistency and the scores correlated with the obtained in the tasks of a more extensive tool to evaluate text comprehension (Leer para Comprender test).

Keywords: Text comprehension, Reading, Evaluation.

---

RESUMO

Este trabalho tem por objetivo apresentar quatro tarefas de screening para detectar dificuldades de compreensão de textos narrativos e expositivos em alunos de 5o., 6o. e 7o. ano do Ensino Fundamental. Apresentam-se os primeiros estudos psicométricos realizados, assim como as normas calculadas a partir de uma amostra de 851 alunos da cidade de Buenos Aires e de cidades próximas. As tarefas de screening foram elaboradas a partir de um modelo de múltiplos componentes da compreensão de textos e os primeiros estudos psicométricos mostram que todos os itens diferenciam leitores com bom e mau desempenho na compreensão de textos. Assim, têm consistência interna aceitável e os escores correlacionaram com aqueles obtidos em subtestes de uma bateria mais extensa de avaliação da compreensão de textos (teste Ler para Compreender).

Palavras-chave: Compreensão de textos, Leitura, Avaliação.

---

RÉSUMÉ

L'objectif de ce travail est de présenter 4 tests qui permettent de détecter la compréhension des textes narratifs et informatifs, chez des enfants scolarisés, en cinquième, sixième ou septième année. Ce travail présente les premières analyses concernant les données informatives sur un échantillon de 851 étudiants de Buenos Aires. "The screenings" a été élaboré sur la base d'un modèle de la compréhension de texte multicomposantes "multicomponencial"et les premières analyses montrent que tous les items diffèrent entre les" bon et les moins bon",.... ce qui a une consistance interne acceptable et les scores corrèlent avec ceux de l'outil plus exigeant pour évaluer la compréhension de texte (Test Lire pour Comprendre).

Mots-clés: Compréhension de textes, Lecture, Évaluation.

---

 

 

En Argentina y muchos otros países hay una preocupación creciente por las falencias de comprensión lectora que se registran en todos los niveles de escolaridad. La preocupación surge de la percepción de los docentes y de los padres y además las dificultades han sido efectivamente registradas por varias investigaciones (Piacente & Tittarelli, 2006). Si bien la comprensión de textos se erige como una de las competencias esenciales a la que todos aspiran, las deficiencias percibidas plantean la necesidad de estudiar qué cuestiones subyacen a dichas dificultades, cómo evaluarlas y cómo se puede intervenir para mejorar esta habilidad.

Como en otros dominios del aprendizaje escolar, el desarrollo de las habilidades de comprensión de textos depende de factores intrínsecos del individuo, psico-emocionales y cognitivos (decodificación lectora, vocabulario, memoria de trabajo, funciones ejecutivas, etc.) y de factores ambientales (calidad de la enseñanza y contexto socio-económico-cultural) que interaccionan entre sí. Las deficiencias en uno o más de estos factores pueden afectar el desarrollo de cualquier aprendizaje escolar, más aún el de la comprensión de textos, proceso cognitivo de alto orden, que demanda gran cantidad de recursos y requiere de una alta disposición motivacional.

Se ha estimado que en países como Inglaterra (Nation & Snowling, 1997) e Italia (Cornoldi et al., 1996) el porcentaje de estudiantes con dificultades específicas para la comprensión de textos oscila entre el 5% y el 10% de la población escolar total. Por dificultad "específica" de la comprensión lectora estos autores entienden el déficit de comprensión que aparece en un individuo cuya capacidad de decodificación (medida en términos de precisión y fluidez en la lectura en voz alta) está dentro de lo esperado para su edad y escolaridad. En otras palabras la dificultad de comprensión lectora es "específica" cuando no se ve acompañada por (y consecuentemente no puede ser atribuida a) una dificultad de decodificación. A las específicas, hay que sumar entonces las dificultades "no específicas" de la comprensión de texto que incluyen en primer lugar las debidas a deficiencias de la lectura y, con frecuencia, del lenguaje. Las dificultades en la lectura (retraso lector y dislexia) afectan la comprensión de textos porque la automatización de la decodificación lectora es condición necesaria (aunque no suficiente) para una buena comprensión. Por su parte, algunos trastornos del desarrollo del lenguaje, cuando son leves, pueden pasar desapercibidos y recién se ponen de manifiesto cuando el programa escolar pone a los alumnos frente a las exigencias del nivel discursivo (sobre todo en comprensión de textos narrativos y expositivos). También puede ocurrir que las dificultades en la comprensión de textos estén asociadas con déficits de atención y, con bastante menor frecuencia, que sean el primer signo de un retardo mental leve o de un trastorno generalizado del desarrollo. Listadas las causas intrínsecas, es necesario señalar el enorme peso de los factores ambientales, el más relevante cuantitativamente cuando se trabaja en países en los que la desigualdad social va acompañada por la desigualdad en la calidad de la enseñanza que se imparte.

El problema de las dificultades de comprensión lectora requiere de mucha más investigación y del aporte de múltiples disciplinas y enfoques tanto para estudiar el efecto de los distintos factores causales como para proponer formas de intervención. Un paso necesario en esa dirección es el desarrollo de instrumentos de evaluación específicos.

En una situación ideal, la evaluación de la comprensión de textos debería proceder al menos en dos fases: la primera dirigida a detectar un déficit eventual y una segunda fase en la que el examinador busca especificar la naturaleza y las características de la dificultad o trastorno del niño (Tressoldi & Vio, 1996). Para la primera fase es conveniente la utilización de pruebas de screening, breves y sensibles y para la segunda la utilización de instrumentos comprensivos, es decir baterías más extensas, analíticas, que permitan mayor detalle y especificidad en el diagnóstico.

En Argentina son pocos los instrumentos normatizados que permiten medir la comprensión textual. El test LEE (Defior-Citoler et al., 2006) ha sido diseñado para evaluar dificultades de lectura y escritura en niños de 1° a 4° grado de escuela primaria e incluye un apartado para comprensión de texto. Abusamra et al., (in press) desarrollaron el test Leer para Comprender que es un instrumento comprensivo destinado a la evaluación de la comprensión de textos en alumnos de 5°, 6° y 7° grado de escuelas primarias. El test se basa en un modelo multicomponencial de lectura. La idea que subyace al modelo es que en el proceso de comprensión de un texto pueden identificarse subcomponentes que se constituyen en competencias independientes implicadas en la comprensión textual. El modelo propone que, en primer lugar, el lector, cuando se enfrenta a un texto debe reconocer: (1) Personajes, lugar, tiempo y hechos. En relación con estos últimos, debe reconocer los hechos que pertenecen a las diferentes tipologías textuales y procesar los nexos que los integran: (2) Hechos y secuencias.

Por otra parte, el lector debe poseer ciertas habilidades psicolingüísticas fundamentales: a partir del significado de las palabras (3. Semántica léxica), debe acceder a la correcta elaboración de nexos gramaticales y sintácticos no sólo dentro del marco oracional sino también entre oraciones (4. Estructura sintáctica). Los textos no ofrecen de manera explícita toda la información sino que requieren de un lector activo que sea capaz no sólo de establecer lazos entre las distintas partes del texto (5. Cohesión) sino también de reponer la información faltante sobre la base del propio conocimiento de mundo que posee. El proceso de reposición de la información que falta en el texto se conoce como (6) Inferencia. En este proceso de integración activa es necesario reconocer las partes importantes del texto para no sobrecargar al sistema de procesamiento lingüístico con información no relevante (7. Jerarquía del texto). Cuando el lector ha seleccionado un número suficiente de informaciones significativas puede empezar a construir representaciones más generales del contenido del texto (8. Modelos mentales) que irá almacenando en su memoria. Los modelos mentales tienen la función de estructurar un cuadro de referencia general sobre la base de las dimensiones espaciales, temporales, causales, interpersonales y motivacionales.

A otro nivel, es esencial que los lectores posean habilidades metacognitivas generales que lo ayuden a reconocer las características del texto que deben afrontar (9. Intuición del texto) y a adaptar el proceso de lectura a los diferentes requerimientos y objetivos de la tarea (10. Flexibilidad). En este sentido, no es lo mismo leer para memorizar, para captar una idea principal o para reconocer tipos de palabras. Por último, los lectores monitorean su propio proceso de comprensión, reconociendo los momentos en lo que dicho proceso no es adecuado (11. Errores e incongruencias).

En este trabajo nos proponemos focalizar en la primera fase de diagnóstico de las dificultades en la comprensión de textos. Presentamos cuatro pruebas de screening para evaluar la compresión de textos y sus estudios psicométricos iniciales. Las pruebas de rastreo han sido desarrolladas teniendo como referencia el mismo modelo de evaluación que sirvió de base para el desarrollo del test Leer para Comprender (Abusamra et al., 2008). También se utilizó la misma estrategia de evaluación de la comprensión textual que consiste en utilizar el paradigma de respuestas de opción múltiple y mantener el texto presente durante las respuestas. La decisión de incluir preguntas en las que la respuesta se realiza por selección entre opciones se relaciona con el objetivo de la evaluación. Si lo que se pretende valorar es el proceso de comprensión, es importante neutralizar otras variables que puedan incidir. El uso de preguntas abiertas, por ejemplo, implica dos procesos complejos y demandantes: la comprensión y la producción (redacción) de textos. Por otra parte, no poner límite de tiempo para responder y mantener el texto presente permite reducir las demandas de memoria de trabajo y realizar una evaluación más específica de las habilidades de comprensión. Estas pruebas de screening fueron diseñadas para estudiantes de los últimos grados de escuela primaria y fueron aplicadas a una muestra de 5°, 6° y 7° grado para realizar los primeros estudios psicométricos.

 

Método

Participantes

Las pruebas fueron aplicadas a alumnos que concurren a escuelas públicas y privadas de la ciudad de Buenos Aires y del área suburbana (Gran Buenos Aires). Se tomaron a todos los alumnos presentes en el grado en el momento de la evaluación pero sólo se incluyeron los casos que respondían a los siguientes criterios de inclusión: lengua materna español, ausencia de repetición de grado y ausencia de antecedentes de enfermedad neurológica, psiquiátrica, trastornos del aprendizaje o trastornos sensoriales, todos ellos informados por el maestro. La muestra sobre las que se realizaron los cálculos quedó conformada por un total de 851 alumnos. Se trató de que cada alumno completara los dos textos correspondientes a su grado (uno narrativo y otro informativo) pero por razones operativas eso se logró en aproximadamente la mitad pero no en todos los casos. Los protocolos finalmente analizados correspondieron a 1142 pruebas cuya distribución por grado y prueba se vuelca en la Tabla 1.

Material

Con el fin de contar con una prueba breve, de aplicación rápida y que permita obtener una primera valoración de las habilidades de comprensión de textos de un alumno o grupo de alumnos se diseñaron dos pares de pruebas de screening, uno para 5° grado y otro para 6° y 7° grado. Cada par consiste en un texto narrativo y otro informativo, los correspondientes a 5° grado son más breves y de menor dificultad que los de 6° y 7°. Cada prueba está integrada por un texto y 10 preguntas con cuatro alternativas de respuesta entre las cuales el alumno debe marcar la correcta (opción múltiple). Las opciones de respuesta incluyen una única correcta y tres distractores que tienen distinto grado de proximidad semántica con la respuesta correcta. Las preguntas fueron elaboradas tomando en cuenta las áreas que evalúa el test Leer para Comprender (Abusamra et al., in press) pero mientras que en el Test se evalúa exhaustivamente cada componente del modelo multicomponencial, en las pruebas de screening se introducen unas pocas preguntas por área tratando de cubrir la mayor cantidad de áreas posible.

El texto narrativo seleccionado para 5° grado es una adaptación del cuento "El rebelde" (Mariño, 1996) y el informativo, "Un almuerzo histórico" es una adaptación de un relato de Ana Arias (Arias, 1998) incluido en el libro Historias de la comida que describe las condiciones de vida que caracterizaban la época prehistórica. Para estas pruebas de 5° grado las preguntas buscan valorar las habilidades incluidas en los núcleos de contenido y elaboración del modelo de comprensión de textos propuesto (De Beni et al., 2003).

 

 

Para 6° y 7° grado el texto narrativo seleccionado es una adaptación del cuento "La perra y la señorita" de Luis Pescetti y el informativo "Japón: primero en dibujos animados", es una adaptación de uno de los textos que forma parte de una prueba estandarizada de evaluación de la lectura utilizada en Italia (Cornoldi & Colpo, 1998). En este caso, el texto expone los resultados de un experimento que se llevó a cabo en Japón para comprobar el grado de dependencia a la televisión de una familia japonesa promedio; el vocabulario más técnico y menos frecuente marca una diferencia de dificultad respecto de los textos utilizados con los niños más pequeños.

En todos los casos, los fragmentos seleccionados abordan temáticas que se relacionan con los contenidos a los que los niños están habituados. En el Anexo A figuran los textos, preguntas y respuestas correctas de las cuatro pruebas de screening.

Para el estudio de correlación se aplicaron las pruebas del test Leer para Comprender de Abusamra et al. (in press).

Muestra y procedimiento

Las pruebas de screening se administraron colectivamente a los alumnos, que participaron de manera voluntaria y anónima, durante el horario de clase, en el aula habitual y con su maestra presente. Se explicó a los alumnos el objetivo de la prueba, el mecanismo de respuesta por opción múltiple, se aclaró que no había un límite de tiempo, y que el texto quedaría siempre presente para que pudieran consultarlo en el momento de responder las preguntas. El evaluador no realizó ninguna aclaración con respecto a cuestiones de contenido pero si con respecto a cuestiones formales (cómo marcar la opción correcta, por ejemplo).

Para la puntación se asignó un punto por cada respuesta correcta y cero por respuesta incorrecta; el puntaje de cada alumno correspondió a la suma total de puntos por cada prueba cuyo máximo posible es de 10 puntos. Para el cálculo del tiempo se lo midió en minutos contando a partir del comienzo de la prueba (luego de impartidas las instrucciones y aclaradas las consultas) hasta el momento en que cada alumno la entregaba.

Las pruebas que evalúan cada área del test Leer para Comprender fueron aplicadas de acuerdo a las especificaciones del mismo que consisten en las mismas condiciones con las que se tomaron las pruebas de screening (administración colectiva, sin tiempo límite, texto presente). Como se trata de una batería de tipo comprensivo cuya administración demanda mucho más tiempo que las pruebas de screening sólo se administró a cada alumno entre una y tres de las 11 áreas del test.

Análisis de lo datos

Se realizaron los siguientes estudios psicométricos: discriminación de ítems, confiabilidad por consistencia interna, pruebas de correlación y se calcularon los baremos para cada prueba y grado.

 

Resultados

Discriminación de los ítems

Para establecer si los ítems de cada prueba de screening eran adecuados para discriminar entre buenos y malos comprendedores se realizaron dos estudios. En primer lugar se analizó la significación de las diferencias de puntaje entre el grupo de mayor rendimiento (cuartil superior) y el de desempeño más bajo (cuartil inferior) mediante el estadístico no paramétrico U de Mann-Withney. Todos los elementos de las cuatro pruebas mostraron diferencias significativas al compararse los grupos de mayor y menor puntuación (p 0,001). En segundo lugar se examinaron los coeficientes biseriales puntuales (Tornimbeni et al., 2008) hallándose que en las cuatro pruebas todos los reactivos discriminaban. A partir de estos dos análisis se puede afirmar que los ítems incluidos en las pruebas de screening exhiben una buena capacidad discriminativa que permite distinguir a los buenos comprendedores de los malos.

Confiabilidad

Se estudió la consistencia interna de las pruebas de screening mediante al cálculo del coeficiente Alpha de Cronbach que arrojó los siguientes valores: El Rebelde: 0,69, Un almuerzo prehistórico: 0,69, La Perra y la Señorita: 0,71, Japón: primero en dibujos animados: 0,66. Teniendo en cuenta que el número de reactivos incluidos en una escala psicométrica es un factor que afecta el coeficiente Alpha y que cada prueba de screening incluye tan sólo 10 reactivos, estos valores pueden considerarse adecuados, concluyéndose que los ítems muestran un aceptable grado de consistencia interna y homogeneidad.

Otros estudios estadísticos

Se evaluó la correlación entre las cuatro pruebas de screening y las 11 áreas del test Leer para comprender mediante la prueba no paramétrica Rho de Spearman. La matriz de correlaciones se muestra en la Tabla 2. Todos los resultados fueron positivos y significativos, y los coeficientes de correlación oscilaron entre 0,409 y 0,729. Estos resultados eran esperables porque las pruebas de screening fueron elaboradas siguiendo el mismo modelo de evaluación que el test Leer para Comprender. La diferencia consistió en que mientras las pruebas de screening contienen preguntas que evalúan casi todos los componentes de la comprensión de textos cada área del test evalúa exhaustivamente sólo uno de ellos.

Baremos

Se calcularon los baremos de las pruebas de screening para presentarlos en tres formatos (Anexo B): 1) media y desvío estándar del puntaje por prueba y por grado, 2) media y desvío estándar del tiempo por prueba y por grado, 3) valor percentilar de los puntajes y 4) cuartiles. Dentro del primer formato, junto con la media y el desvío estándar del puntaje se proporciona un "puntaje de alerta", este valor corresponde al primer número entero igual o inferior a la media, menos un desvío estándar. Por ejemplo para la prueba El Rebelde (5° grado) el cálculo sería el siguiente: 5,92 – 2,51 = 3,41; como el primer número entero inferior es 3, ese es el valor del puntaje de alerta. El evaluador debe comparar el puntaje obtenido por el alumno en la prueba de screening con el puntaje de alerta del grado correspondiente. Si el puntaje del alumno resulta igual o inferior al puntaje de alerta, su rendimiento es inferior al promedio y sugiere la necesidad de evaluar en profundidad sus habilidades de comprensión de textos aplicando una prueba comprensiva como el test Leer para Comprender.

 

 

El anexo B también incluye las medias y los desvíos estándar del tiempo que los alumnos de la muestra tardaron en contestar las preguntas. Este dato puede resultar útil para identificar casos en los que la precisión de las respuestas está dentro de la norma pero al costo de un mayor gasto de tiempo.

Los baremos también se presentan en formato de percentiles (anexo B). Muchos clínicos prefieren este formato porque son puntuaciones transformadas, intuitivamente más fáciles de entender y de comunicar (por ejemplo a los padres o a los docentes). En la columna de la izquierda figuran todos los puntajes directos posibles (de 1 al 10) y en las columnas correspondientes a cada grado y prueba figura el percentil que corresponde a cada puntaje directo.

Finalmente, los baremos se presentan en formato de cuartiles lo que permite ubicar el puntaje obtenido por un alumno en cuatro categorías (muy débil, débil, suficiente y óptimo) en referencia a los valores de los cuartiles de la muestra normativa.

 

Conclusiones

El objetivo de la presente investigación fue presentar cuatro pruebas de screening para evaluar la comprensión de textos y sus estudios psicométricos iniciales. Los dos estudios de discriminación muestran que todos los ítems de las cuatro pruebas de screening discriminan entre buenos y malos lectores.

Los resultados del cálculo del coeficiente Alpha de Cronbach sugieren que los ítems de las cuatro pruebas muestran un aceptable grado de consistencia interna y homogeneidad. El estudio de correlación muestra que los puntajes en las pruebas de screening correlacionan positiva y significativamente con los puntajes en las 11 áreas del test Leer para Comprender. Aunque son necesarios más estudios para describir las propiedades psicométricas de las cuatro pruebas de screening aquí presentadas los resultados de los estudios iniciales sugieren que son pruebas adecuadas para la detección de dificultades de comprensión de textos. Los baremos permiten determinar si el puntaje obtenido por un alumno en la prueba de screening está dentro de la norma o por debajo de ella.

Finalmente, es importante recordar que los test de screening como los aquí presentados son instrumentos de detección y sus resultados no resultan por sí solos suficientes para fundar la emisión de un diagnóstico. En este sentido, un rendimiento por debajo del punto de alerta debe siempre dar lugar a un seguimiento atento del alumno y, en situaciones ideales, proceder a un segundo nivel de evaluación con un test comprensivo.

 

Referências

Abusamra V., Cartoceti R., Raiter A., Ferreres A. (2008). Una perspectiva cognitiva en el estudio de la comprensión de textos. Psico (San Pablo, Brasil); 250-259. Volumen 39.         [ Links ]

Abusamra, V., Ferreres, A., Raiter, A., De Beni. R. & Cornoldi, C. (in press). Leer para comprender: Test para evaluar la comprensión de textos. Buenos Aires: Editorial Paidos.         [ Links ]

Arias, A. (1998). Historias de la comida. Cuentos para jugar. Buenos Aires: Altea.         [ Links ]

Cornoldi, C., & Colpo, G. (1998). Prove di lettura MT per la scuola elementare 2, Firenze: Organizzazioni Speciali.         [ Links ]

Cornoldi, C., De Beni, R., & Pazzaglia, F. (1996). Profiles of reading comprehension difficulties: An analysis of single cases. En C. Cornoldi y J Oakhill (eds), Reading comprehension difficulties: Processes and intervention. Mahwah: NJ Erlbaum, 113-136.         [ Links ]

De Beni, R., Cornoldi, C., Carretti, B., & Meneghetti, B. (2003). Nuova Guida alla Comprensione del Testo. Volume1. Trento: Erickson.         [ Links ]

Defior-Citoler, S., Fonseca, L., Gottheil, B., Aldrey A., Jiménez Fernández, G., Pujals, M., Rosa, G., & Serrano Chica, F. D. (2006). LEE Test de Lectura y Escritura en Español. Buenos Aires: Paidós.         [ Links ]

Mariño, R. (1996). "El Rebelde" en Cuentos ridículos. Buenos Aires: Editorial Sudamericana.         [ Links ]

Nation, M. J. & Snowling, K. (1997). Assesing reading difficulties. The validity and utility of current measures of reading skill. British Journal of Educational Psychology, 67, 359-370.         [ Links ]

Pescetti, L. M. (1999). "La perra y la señorita" en El pulpo está crudo. Buenos Aires : Alfaguara.         [ Links ]

Tornimbeni, S., Pérez, E., Olaz, F. (2008) Introducción a la psicometría. Buenos Aires: Paidós.         [ Links ]

Tressoldi, P. E. & Vio, C. (1996). Diagnosi dei disturbi dell´apprendimento scolastico. Trento: Erickson.         [ Links ]

 

Dirección correspondencia
E-mail: aferrere@psi.uba.ar

Artículo recibido: 13/08/2009
Artículo revisado: 15/09/2009
Artículo aceptado: 01/10/2009.

 

 

Agradecimientos: este trabajo fue realizado en el marco del proyecto de investigación UBACYT P008.